Appendix C Results of the Robust Track Prepared by: Giorgio Maria Di Nunzio and Nicola Ferro {dinunzio, ferro}@dei.unipd.it Department of Information Engineering University of Padua Italy 1 2 Introduction 3 4 Results for CLEF 2009 Ad-hoc Robust Track The following pages contain the results and graphs for all the experiments that have been officially submitted to the CLEF 2007 campaign for the Ad-hoc Robust track. This document is divided in three main parts: 1. List of submitted experiments 2. Track overview results and graphs 3. Individual experiment results and graphs 1. List of Submitted Experiments This section gives a listing of all experiments and their characteristics: Participant: name of the participant who submitted the experiment. Country: country of the participant. Expeirment DOI: Digital Object Identifier (DOI) for each experiment. Task: track/task to which the experiment belongs. Lang.: language of the topics used to create the experiment (ISO identifiers for language). Fields: identifies the parts of the topics used to create the experiment (T = title, D = Description, N = Narrative). Constr.: identifies how the query has been constructed from topic fields (manual/automatic). Pool: specifies if experiment was used for relevance assessment pooling. 2. Track Overview Results and Graphs For each track/task graphs and tables are shown in order to compare the experiments. The graphs and tables contain the following information: - Best experiments of at most top five participants - Interpolated recall vs precision averages plot - Average precision comparison to median plot - All experiments - Average precision box plot - Average precision Tukey t-test plot - Best experiments of at most top five participants - Document cutoff levels (DCL) vs precision at DCL plot - R-Precision comparison to median plot - All experiments - R-Precision box plot - R-Precision Tukey t-test plot - A table with descriptive statistics of performance figures for each topic - Min: The minimum of a set of observations - 1st Q: The first quartile of a set of observations - 2nd Q: The second quartile (median) of a set of observations - 3rd Q: The third quartile of a set of observations - Max: The maximum of a set of observations - Mean: The arithmetic mean of a set of observations - Std: The standard deviation of a set of observations - IQR: Interquartile range, the difference between the 3rd and 1st quartiles - Range: The difference between the maximum and the minimum of a set of observations - C.Var: Coefficient of variation, the spread of a set of data as a proportion of its mean - Geom.: The geometric mean of a set of observations - Harm.: The harmonic mean of a set of observations - MAO: The mean of absolute deviation of the values in a set of observations - LOT: The lower threshold below which values of a set of observations are considered outliers - UOT: The upper threshold below which values of a set of observations are considered outliers - MNO: Mean without outliers, the arithmetic mean of a set of observations without outliers - SNO: Std without outliers, the standard deviation a set of observations without outliers 5 3. Individual Experiment Results and Graphs This section provides the individual results for each official experiment. For each experiment the following tables and graphs are shown: - Overall statistics and information - Interpolated recall vs precision averages plot - Average precision statistics and box plot - Average precision comparison to median plot - Document cutoff levels vs precision at DCL plot - R-Precision statistics and box plot - R-Precision comparison to median plot Topics are identified with DOIs, as well as the experiments. The prefix for the DOI of a topic is 10.2452. The following example shows how to build the DOI for a topic given its number: for topic 200-AH, the corresponding DOI is 10.2452/200-AH 6 List of Submitted Experiments 7 8 Participant Country Experiment DOI Task Lang. Fields Constr. Pool darmstadt Germany 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_1 darmstadt Germany 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_2 darmstadt Germany 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_3 darmstadt Germany 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_4 darmstadt Germany 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_5 geneva Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.GENEVA.ISIENNATDOMTDN geneva Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.GENEVA.ISIENNATTDN geneva Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.GENEVA.ISILEMTD geneva Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.GENEVA.NAT_TDN_WEB geneva Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.GENEVA.NUS_WSD_TD ixa Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.IXA.ENENNOWSD know-center Austria 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.KNOW-CENTER.ASSO know-center Austria 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.KNOW-CENTER.SYNONYM know-center Austria 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.KNOW-CENTER.SYNSET reina Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.REINA.ROB1 reina Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.REINA.ROB2 reina Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en T AUTOMATIC no CLEF2009.REINA.ROB3 reina Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.REINA.ROB4 reina Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.REINA.ROB5 ufrgs Brazil 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.UFRGS.UFRGS_MONO uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.UNIBA.UNIBAKRF uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.UNIBA.UNIBAKTD uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.UNIBA.UNIBAKTDN valencia Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.VALENCIA.NLEL0901 valencia Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2009 en T AUTOMATIC no CLEF2009.VALENCIA.NLEL0906 ixa Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.IXA.ESENNOWSD know-center Austria 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.KNOW-CENTER.BILIASSO know-center Austria 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.KNOW-CENTER.BILISYNONYM know-center Austria 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.KNOW-CENTER.BILISYNSET reina Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.REINA.BILI1 reina Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TDN AUTOMATIC no CLEF2009.REINA.BILI2 reina Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es T AUTOMATIC no CLEF2009.REINA.BILI3 reina Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TDN AUTOMATIC no CLEF2009.REINA.BILI4 reina Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.REINA.BILI5 ufrgs Brazil 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.UFRGS.BILINGUAL uniba Italy 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TDN AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSKEYRF uniba Italy 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TD AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSTD uniba Italy 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2009 es TDN AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSTDN alicante Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.ALICANTE.ALI01WND alicante Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.ALICANTE.ALI02WSD 9 Participant Country Experiment DOI Task Lang. Fields Constr. Pool alicante Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.ALICANTE.ALI03WNDWSD darmstadt Germany 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_WSD_1 darmstadt Germany 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_WSD_2 darmstadt Germany 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_WSD_3 darmstadt Germany 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_WSD_4 darmstadt Germany 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.DARMSTADT.DA_WSD_5 geneva Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.GENEVA.ISINUSLWTDN geneva Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.GENEVA.ISINUSWSDTD ixa Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.IXA.ENENALLSENSES100DOCS ixa Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.IXA.ENENBESTSENSE100DOCS ixa Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.IXA.ENENBESTSENSE500DOCS jaen Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.JAEN.SINAI1_NOWSD_FB_OKAPI jaen Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.JAEN.SINAI2_NUS_FB_OKAPI know-center Austria 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.KNOW-CENTER.ASSOWSD know-center Austria 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.KNOW-CENTER.SYNONYMWSD know-center Austria 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.KNOW-CENTER.SYNSETWSD reina Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.REINA.ROBWSD1 reina Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.REINA.ROBWSD2 reina Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en T AUTOMATIC no CLEF2009.REINA.ROBWSD3 reina Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.REINA.ROBWSD4 reina Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.REINA.ROBWSD5 ufrgs Brazil 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.UFRGS.WSD_MONOLINGUAL uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.UNIBA.UNIBAKEYSYNRF uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.UNIBA.UNIBAWSDNL0802 uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.UNIBA.UNIBAWSDNL0901 uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.UNIBA.UNIBAWSDTD uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TDN AUTOMATIC no CLEF2009.UNIBA.UNIBAWSDTDN valencia Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.VALENCIA.NLEL0902 valencia Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en T AUTOMATIC no CLEF2009.VALENCIA.NLEL0903 valencia Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en TD AUTOMATIC no CLEF2009.VALENCIA.NLEL0904 valencia Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009 en T AUTOMATIC no CLEF2009.VALENCIA.NLEL0905 geneva Switzerland 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.GENEVA.ISINUSWSDTD CLEF2009 ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.IXA.ESEN1STTOPSALLSENSES100DOCS CLEF2009 ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.IXA.ESEN1STTOPSBESTSENSE500DOCS CLEF2009 ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.IXA.ESENALLSENSES100DOCS CLEF2009 ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.IXA.ESENBESTSENSE500DOCS CLEF2009 know-center Austria 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.KNOW-CENTER.BILIASSOWSD CLEF2009 know-center Austria 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.KNOW-CENTER.BILISYNONYMWSD CLEF2009 know-center Austria 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.KNOW-CENTER.BILISYNSETWSD CLEF2009 reina Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.REINA.BILIWSD1 CLEF2009 10 Participant Country Experiment DOI Task Lang. Fields Constr. Pool reina Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no CLEF2009.REINA.BILIWSD2 CLEF2009 reina Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es T AUTOMATIC no CLEF2009.REINA.BILIWSD3 CLEF2009 reina Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no CLEF2009.REINA.BILIWSD4 CLEF2009 reina Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.REINA.BILIWSD5 CLEF2009 uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSKEYSYNRF CLEF2009 uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSWSDNL0802 CLEF2009 uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSWSDNL0901 CLEF2009 uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSWSDTD CLEF2009 uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no CLEF2009.UNIBA.UNIBACROSSWSDTDN CLEF2009 11 Track Overview Results and Graphs 12 13 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] reina [Experiment ROB2; MAP 44.52%; Not Pooled] 90% uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] know−center [Experiment ASSO; MAP 41.70%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] Difference 0.5 reina [Experiment ROB2; MAP 44.52%; Not Pooled] uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] 0 geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] −0.5 know−center [Experiment ASSO; MAP 41.70%; Not Pooled] −1 141−AH142−AH143−AH144−AH145−AH146−AH147−AH148−AH149−AH150−AH151−AH152−AH153−AH154−AH155−AH156−AH157−AH158−AH159−AH160−AH161−AH162−AH163−AH164−AH165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] Difference reina [Experiment ROB2; MAP 44.52%; Not Pooled] 0 uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] know−center [Experiment ASSO; MAP 41.70%; Not Pooled] −1 166−AH167−AH168−AH169−AH170−AH171−AH172−AH173−AH174−AH175−AH176−AH177−AH178−AH179−AH180−AH181−AH182−AH183−AH184−AH185−AH186−AH187−AH188−AH189−AH190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] Difference reina [Experiment ROB2; MAP 44.52%; Not Pooled] 0 uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] know−center [Experiment ASSO; MAP 41.70%; Not Pooled] −1 191−AH192−AH193−AH194−AH195−AH196−AH197−AH198−AH199−AH200−AH251−AH252−AH253−AH254−AH255−AH256−AH257−AH258−AH259−AH260−AH261−AH262−AH263−AH264−AH265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] Difference reina [Experiment ROB2; MAP 44.52%; Not Pooled] 0 uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] know−center [Experiment ASSO; MAP 41.70%; Not Pooled] −1 266−AH267−AH268−AH269−AH270−AH271−AH272−AH273−AH274−AH275−AH276−AH277−AH278−AH279−AH280−AH281−AH282−AH283−AH284−AH285−AH286−AH287−AH288−AH289−AH290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] Difference reina [Experiment ROB2; MAP 44.52%; Not Pooled] 0 uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] know−center [Experiment ASSO; MAP 41.70%; Not Pooled] −1 291−AH292−AH293−AH294−AH295−AH296−AH297−AH298−AH299−AH300−AH301−AH302−AH303−AH304−AH305−AH306−AH307−AH308−AH309−AH310−AH311−AH312−AH313−AH314−AH315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] Difference reina [Experiment ROB2; MAP 44.52%; Not Pooled] 0 uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] know−center [Experiment ASSO; MAP 41.70%; Not Pooled] −1 316−AH317−AH318−AH319−AH320−AH321−AH322−AH323−AH324−AH325−AH326−AH327−AH328−AH329−AH330−AH331−AH332−AH333−AH334−AH335−AH336−AH337−AH338−AH339−AH340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] Difference 0.5 reina [Experiment ROB2; MAP 44.52%; Not Pooled] uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] 0 geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] −0.5 know−center [Experiment ASSO; MAP 41.70%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 14 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Ad−Hoc Robust Monolingual English Test Task − Box Plot of the Topics darmstadt [Experiment DA_4; MAP 45.09%; Not Pooled] darmstadt [Experiment DA_5; MAP 45.00%; Not Pooled] reina [Experiment ROB2; MAP 44.52%; Not Pooled] darmstadt [Experiment DA_2; MAP 44.09%; Not Pooled] darmstadt [Experiment DA_1; MAP 43.96%; Not Pooled] reina [Experiment ROB4; MAP 43.50%; Not Pooled] darmstadt [Experiment DA_3; MAP 43.16%; Not Pooled] uniba [Experiment UNIBAKRF; MAP 42.50%; Not Pooled] reina [Experiment ROB1; MAP 41.94%; Not Pooled] geneva [Experiment ISIENNATTDN; MAP 41.71%; Not Pooled] geneva [Experiment ISIENNATDOMTDN; MAP 41.71%; Not Pooled] know−center [Experiment ASSO; MAP 41.70%; Not Pooled] Experiments geneva [Experiment NAT_TDN_WEB; MAP 41.59%; Not Pooled] uniba [Experiment UNIBAKTDN; MAP 41.50%; Not Pooled] reina [Experiment ROB5; MAP 40.66%; Not Pooled] know−center [Experiment SYNSET; MAP 40.33%; Not Pooled] know−center [Experiment SYNONYM; MAP 40.33%; Not Pooled] valencia [Experiment NLEL0901; MAP 40.26%; Not Pooled] uniba [Experiment UNIBAKTD; MAP 39.62%; Not Pooled] ixa [Experiment ENENNOWSD; MAP 38.26%; Not Pooled] geneva [Experiment ISILEMTD; MAP 37.38%; Not Pooled] reina [Experiment ROB3; MAP 37.09%; Not Pooled] valencia [Experiment NLEL0906; MAP 33.42%; Not Pooled] ufrgs [Experiment UFRGS_MONO; MAP 31.69%; Not Pooled] geneva [Experiment NUS_WSD_TD; MAP 29.35%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Average Precision 15 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 10.2455/TUKEY_T_TEST.91EB3343B3844844935B940F5AEA7190 Ad−Hoc Robust Monolingual English Test Task − Tukey T test with "top group" highlighted DA_4 DA_5 ROB2 DA_2 DA_1 ROB4 DA_3 UNIBAKRF ROB1 Experiments ASSO ISIENNATDOMTDN ISIENNATTDN NAT_TDN_WEB UNIBAKTDN ROB5 SYNONYM SYNSET NLEL0901 UNIBAKTD ENENNOWSD ISILEMTD ROB3 NLEL0906 UFRGS_MONO NUS_WSD_TD 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 arcsin(sqrt(Average Precsion)) 16 17 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision 100% darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] 90% uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] Difference 0.5 reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] 0 geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] −0.5 know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] −1 141−AH142−AH143−AH144−AH145−AH146−AH147−AH148−AH149−AH150−AH151−AH152−AH153−AH154−AH155−AH156−AH157−AH158−AH159−AH160−AH161−AH162−AH163−AH164−AH165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] Difference reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] 0 uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] −1 166−AH167−AH168−AH169−AH170−AH171−AH172−AH173−AH174−AH175−AH176−AH177−AH178−AH179−AH180−AH181−AH182−AH183−AH184−AH185−AH186−AH187−AH188−AH189−AH190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] Difference reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] 0 uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] −1 191−AH192−AH193−AH194−AH195−AH196−AH197−AH198−AH199−AH200−AH251−AH252−AH253−AH254−AH255−AH256−AH257−AH258−AH259−AH260−AH261−AH262−AH263−AH264−AH265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] Difference reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] 0 uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] −1 266−AH267−AH268−AH269−AH270−AH271−AH272−AH273−AH274−AH275−AH276−AH277−AH278−AH279−AH280−AH281−AH282−AH283−AH284−AH285−AH286−AH287−AH288−AH289−AH290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] Difference reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] 0 uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] −1 291−AH292−AH293−AH294−AH295−AH296−AH297−AH298−AH299−AH300−AH301−AH302−AH303−AH304−AH305−AH306−AH307−AH308−AH309−AH310−AH311−AH312−AH313−AH314−AH315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] Difference reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] 0 uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] −1 316−AH317−AH318−AH319−AH320−AH321−AH322−AH323−AH324−AH325−AH326−AH327−AH328−AH329−AH330−AH331−AH332−AH333−AH334−AH335−AH336−AH337−AH338−AH339−AH340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] Difference 0.5 reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] 0 geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] −0.5 know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 18 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Ad−Hoc Robust Monolingual English Test Task − Box Plot of the Topics reina [Experiment ROB2; R−Prec 43.54%; Not Pooled] darmstadt [Experiment DA_4; R−Prec 43.01%; Not Pooled] darmstadt [Experiment DA_5; R−Prec 42.57%; Not Pooled] reina [Experiment ROB4; R−Prec 42.37%; Not Pooled] darmstadt [Experiment DA_2; R−Prec 41.67%; Not Pooled] darmstadt [Experiment DA_1; R−Prec 41.62%; Not Pooled] uniba [Experiment UNIBAKRF; R−Prec 41.28%; Not Pooled] darmstadt [Experiment DA_3; R−Prec 41.13%; Not Pooled] reina [Experiment ROB1; R−Prec 40.94%; Not Pooled] uniba [Experiment UNIBAKTDN; R−Prec 40.82%; Not Pooled] geneva [Experiment ISIENNATTDN; R−Prec 40.43%; Not Pooled] geneva [Experiment ISIENNATDOMTDN; R−Prec 40.43%; Not Pooled] Experiments geneva [Experiment NAT_TDN_WEB; R−Prec 40.25%; Not Pooled] know−center [Experiment ASSO; R−Prec 40.13%; Not Pooled] uniba [Experiment UNIBAKTD; R−Prec 39.40%; Not Pooled] reina [Experiment ROB5; R−Prec 39.12%; Not Pooled] know−center [Experiment SYNSET; R−Prec 38.87%; Not Pooled] know−center [Experiment SYNONYM; R−Prec 38.87%; Not Pooled] valencia [Experiment NLEL0901; R−Prec 38.72%; Not Pooled] ixa [Experiment ENENNOWSD; R−Prec 37.13%; Not Pooled] geneva [Experiment ISILEMTD; R−Prec 36.92%; Not Pooled] reina [Experiment ROB3; R−Prec 36.49%; Not Pooled] valencia [Experiment NLEL0906; R−Prec 32.98%; Not Pooled] ufrgs [Experiment UFRGS_MONO; R−Prec 31.30%; Not Pooled] geneva [Experiment NUS_WSD_TD; R−Prec 29.53%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% R−Precision 19 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Ad−Hoc Robust Monolingual English Test Task − Tukey T test with "top group" highlighted ROB2 DA_4 ROB4 DA_5 UNIBAKRF DA_1 UNIBAKTDN DA_2 DA_3 Experiments ROB1 NAT_TDN_WEB ISIENNATDOMTDN ISIENNATTDN ASSO UNIBAKTD ROB5 SYNONYM SYNSET NLEL0901 ENENNOWSD ISILEMTD ROB3 NLEL0906 UFRGS_MONO NUS_WSD_TD 0.45 0.5 0.55 0.6 0.65 0.7 0.75 arcsin(sqrt(R−Precision)) 20 21 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 142-AH 7.00 8.00 8.00 8.00 8.00 7.96 0.20 0.00 1.00 0.03 7.96 7.95 0.08 8.00 8.00 8.00 0.00 143-AH 37.00 39.00 39.00 39.00 39.00 38.92 0.40 0.00 2.00 0.01 38.92 38.92 0.15 39.00 39.00 39.00 0.00 144-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00 145-AH 35.00 37.00 37.00 37.00 37.00 36.92 0.40 0.00 2.00 0.01 36.92 36.92 0.15 37.00 37.00 37.00 0.00 146-AH 1.00 2.00 2.00 2.00 2.00 1.92 0.28 0.00 1.00 0.14 1.89 1.85 0.15 2.00 2.00 2.00 0.00 147-AH 47.00 49.75 51.00 51.00 51.00 50.24 1.27 1.25 4.00 0.03 50.22 50.21 1.03 48.00 51.00 50.38 1.10 148-AH 3.00 6.00 6.00 6.00 6.00 5.64 0.81 0.00 3.00 0.14 5.57 5.47 0.58 6.00 6.00 6.00 0.00 149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 150-AH 2.00 8.00 9.00 10.00 10.00 8.60 1.96 2.00 8.00 0.23 8.23 7.54 1.34 7.00 10.00 9.09 1.00 151-AH 7.00 9.00 9.00 9.00 12.00 9.28 0.98 0.00 5.00 0.11 9.23 9.19 0.61 9.00 9.00 9.00 0.00 152-AH 9.00 11.00 11.00 11.00 11.00 10.76 0.52 0.00 2.00 0.05 10.75 10.73 0.38 11.00 11.00 11.00 0.00 153-AH 0.00 0.00 1.00 1.00 1.00 0.52 0.51 1.00 1.00 0.98 0.00 0.00 0.50 0.00 1.00 0.52 0.51 154-AH 18.00 20.00 20.00 21.00 21.00 20.40 0.71 1.00 3.00 0.03 20.39 20.38 0.58 20.00 21.00 20.50 0.51 155-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00 156-AH 14.00 19.75 20.00 20.00 21.00 19.16 1.99 0.25 7.00 0.10 19.05 18.92 1.52 20.00 20.00 20.00 0.00 157-AH 61.00 130.00 131.00 137.00 139.00 129.12 15.26 7.00 78.00 0.12 127.83 125.87 7.41 129.00 139.00 133.32 3.58 158-AH 1.00 32.00 34.00 34.00 34.00 29.48 10.77 2.00 33.00 0.37 21.89 6.83 6.84 31.00 34.00 33.36 0.90 159-AH 45.00 48.75 50.00 51.00 54.00 49.96 2.07 2.25 9.00 0.04 49.92 49.88 1.49 47.00 54.00 50.17 1.83 160-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 162-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 163-AH 115.00 120.00 121.00 121.00 121.00 120.52 1.23 1.00 6.00 0.01 120.51 120.51 0.69 120.00 121.00 120.75 0.44 164-AH 20.00 25.00 25.00 27.00 27.00 25.44 1.53 2.00 7.00 0.06 25.39 25.34 1.09 24.00 27.00 25.67 1.05 165-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 167-AH 1.00 5.00 5.00 5.00 5.00 4.72 0.84 0.00 4.00 0.18 4.56 4.20 0.47 5.00 5.00 5.00 0.00 168-AH 10.00 18.00 18.00 18.00 18.00 17.68 1.60 0.00 8.00 0.09 17.58 17.44 0.61 18.00 18.00 18.00 0.00 169-AH 1.00 4.00 4.00 4.25 6.00 3.96 1.34 0.25 5.00 0.34 3.68 3.30 0.86 4.00 4.00 4.00 0.00 170-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 171-AH 2.00 17.00 18.00 18.00 19.00 16.92 3.59 1.00 17.00 0.21 15.98 13.22 1.97 16.00 19.00 17.87 0.92 172-AH 6.00 7.00 7.00 7.00 7.00 6.88 0.33 0.00 1.00 0.05 6.87 6.86 0.21 7.00 7.00 7.00 0.00 173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 174-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 175-AH 6.00 7.00 7.00 7.00 7.00 6.88 0.33 0.00 1.00 0.05 6.87 6.86 0.21 7.00 7.00 7.00 0.00 176-AH 39.00 39.00 39.00 39.00 39.00 39.00 0.00 0.00 0.00 0.00 39.00 39.00 0.00 39.00 39.00 39.00 0.00 177-AH 11.00 13.00 13.00 13.00 13.00 12.88 0.44 0.00 2.00 0.03 12.87 12.86 0.22 13.00 13.00 13.00 0.00 178-AH 3.00 3.00 3.00 4.00 4.00 3.44 0.51 1.00 1.00 0.15 3.40 3.37 0.49 3.00 4.00 3.44 0.51 179-AH 18.00 21.00 22.00 22.00 22.00 21.32 1.11 1.00 4.00 0.05 21.29 21.26 0.82 21.00 22.00 21.68 0.48 180-AH 20.00 38.50 40.00 40.00 40.00 37.88 4.47 1.50 20.00 0.12 37.54 37.08 2.90 37.00 40.00 39.65 0.75 181-AH 90.00 91.00 92.00 92.00 92.00 91.68 0.56 1.00 2.00 0.01 91.68 91.68 0.46 90.00 92.00 91.68 0.56 182-AH 3.00 4.00 4.00 4.00 4.00 3.92 0.28 0.00 1.00 0.07 3.91 3.90 0.15 4.00 4.00 4.00 0.00 183-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00 184-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00 185-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 187-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 188-AH 0.00 1.00 1.00 1.00 1.00 0.92 0.28 0.00 1.00 0.30 0.40 0.00 0.15 1.00 1.00 1.00 0.00 189-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00 190-AH 7.00 7.00 7.00 8.00 9.00 7.52 0.77 1.00 2.00 0.10 7.48 7.45 0.67 7.00 9.00 7.52 0.77 22 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 192-AH 4.00 6.00 6.00 6.00 6.00 5.92 0.40 0.00 2.00 0.07 5.90 5.88 0.15 6.00 6.00 6.00 0.00 193-AH 5.00 6.75 7.00 7.00 7.00 6.72 0.54 0.25 2.00 0.08 6.70 6.67 0.43 7.00 7.00 7.00 0.00 194-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 196-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 197-AH 49.00 50.00 50.00 50.00 50.00 49.96 0.20 0.00 1.00 0.00 49.96 49.96 0.08 50.00 50.00 50.00 0.00 198-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 199-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00 200-AH 2.00 8.00 9.00 9.00 9.00 8.48 1.42 1.00 7.00 0.17 8.24 7.69 0.75 8.00 9.00 8.75 0.44 251-AH 33.00 52.50 55.00 58.00 61.00 53.84 6.27 5.50 28.00 0.12 53.43 52.93 4.38 48.00 61.00 55.26 3.83 252-AH 25.00 29.00 29.00 29.00 29.00 28.80 0.82 0.00 4.00 0.03 28.79 28.77 0.37 29.00 29.00 29.00 0.00 253-AH 72.00 136.50 147.00 153.25 159.00 142.60 18.30 16.75 87.00 0.13 141.11 139.06 12.06 123.00 159.00 145.54 11.12 254-AH 82.00 165.00 179.00 182.25 194.00 171.20 22.92 17.25 112.00 0.13 169.18 166.33 14.83 146.00 194.00 176.48 11.63 255-AH 3.00 4.00 4.00 4.00 4.00 3.88 0.33 0.00 1.00 0.09 3.86 3.85 0.21 4.00 4.00 4.00 0.00 256-AH 19.00 31.00 34.00 34.00 34.00 31.24 5.15 3.00 15.00 0.16 30.73 30.09 3.75 29.00 34.00 33.33 1.46 257-AH 44.00 54.00 58.00 61.25 63.00 57.08 4.97 7.25 19.00 0.09 56.86 56.63 4.15 44.00 63.00 57.08 4.97 258-AH 2.00 3.00 4.00 4.00 4.00 3.48 0.77 1.00 2.00 0.22 3.38 3.26 0.67 2.00 4.00 3.48 0.77 259-AH 1.00 3.00 3.00 3.00 3.00 2.88 0.44 0.00 2.00 0.15 2.82 2.73 0.22 3.00 3.00 3.00 0.00 260-AH 56.00 61.00 62.00 62.00 63.00 61.44 1.58 1.00 7.00 0.03 61.42 61.40 1.13 60.00 63.00 61.91 0.81 261-AH 2.00 13.00 17.00 22.25 28.00 17.56 6.73 9.25 26.00 0.38 15.78 12.57 5.31 2.00 28.00 17.56 6.73 262-AH 32.00 60.00 71.00 76.00 79.00 65.24 14.61 16.00 47.00 0.22 63.24 60.76 11.59 39.00 79.00 68.04 11.40 263-AH 32.00 43.75 47.00 47.00 48.00 44.92 4.41 3.25 16.00 0.10 44.68 44.40 3.16 42.00 48.00 46.36 1.73 264-AH 19.00 21.00 21.00 21.25 22.00 21.04 0.73 0.25 3.00 0.03 21.03 21.01 0.46 21.00 21.00 21.00 0.00 265-AH 5.00 6.00 6.00 6.00 6.00 5.84 0.37 0.00 1.00 0.06 5.83 5.81 0.27 6.00 6.00 6.00 0.00 266-AH 2.00 3.75 4.00 4.00 4.00 3.56 0.82 0.25 2.00 0.23 3.44 3.30 0.67 4.00 4.00 4.00 0.00 267-AH 19.00 20.00 20.00 21.00 21.00 20.32 0.56 1.00 2.00 0.03 20.31 20.31 0.49 19.00 21.00 20.32 0.56 268-AH 2.00 3.00 3.00 3.00 3.00 2.88 0.33 0.00 1.00 0.12 2.86 2.83 0.21 3.00 3.00 3.00 0.00 269-AH 8.00 8.00 8.00 8.00 9.00 8.08 0.28 0.00 1.00 0.03 8.08 8.07 0.15 8.00 8.00 8.00 0.00 270-AH 15.00 56.00 57.00 57.00 57.00 54.80 8.38 1.00 42.00 0.15 53.53 50.82 3.49 56.00 57.00 56.70 0.47 271-AH 12.00 22.75 23.00 24.00 24.00 21.76 4.06 1.25 12.00 0.19 21.28 20.67 2.88 22.00 24.00 23.48 0.68 272-AH 5.00 13.00 13.00 14.00 14.00 12.64 2.25 1.00 9.00 0.18 12.36 11.94 1.40 12.00 14.00 13.41 0.59 273-AH 60.00 79.75 81.00 83.00 83.00 79.68 5.10 3.25 23.00 0.06 79.50 79.30 3.21 77.00 83.00 81.27 1.72 274-AH 6.00 15.00 16.00 16.00 16.00 15.16 2.12 1.00 10.00 0.14 14.93 14.56 1.14 14.00 16.00 15.70 0.56 275-AH 40.00 56.75 62.00 63.00 65.00 59.12 6.49 6.25 25.00 0.11 58.73 58.27 4.89 49.00 65.00 60.61 4.08 276-AH 53.00 58.75 59.00 59.00 59.00 58.44 1.42 0.25 6.00 0.02 58.42 58.40 0.85 59.00 59.00 59.00 0.00 277-AH 13.00 17.00 19.00 20.00 25.00 18.72 2.26 3.00 12.00 0.12 18.59 18.45 1.67 13.00 21.00 18.46 1.89 278-AH 11.00 16.00 21.00 21.00 21.00 18.96 2.89 5.00 10.00 0.15 18.71 18.42 2.45 11.00 21.00 18.96 2.89 279-AH 3.00 4.00 4.00 4.00 4.00 3.96 0.20 0.00 1.00 0.05 3.95 3.95 0.08 4.00 4.00 4.00 0.00 280-AH 3.00 19.00 21.00 22.00 24.00 19.56 4.98 3.00 21.00 0.25 18.29 15.50 3.08 17.00 24.00 20.87 2.10 281-AH 40.00 42.00 42.00 42.00 42.00 41.88 0.44 0.00 2.00 0.01 41.88 41.88 0.22 42.00 42.00 42.00 0.00 282-AH 1.00 24.00 25.00 29.00 30.00 25.08 6.26 5.00 29.00 0.25 22.62 12.85 3.92 21.00 30.00 26.61 2.89 283-AH 14.00 31.75 35.00 36.25 37.00 33.44 4.87 4.50 23.00 0.15 32.94 32.18 3.19 27.00 37.00 34.25 2.75 284-AH 38.00 38.00 38.00 38.00 38.00 38.00 0.00 0.00 0.00 0.00 38.00 38.00 0.00 38.00 38.00 38.00 0.00 285-AH 61.00 66.00 68.00 69.00 69.00 67.20 2.24 3.00 8.00 0.03 67.16 67.13 1.76 63.00 69.00 67.46 1.86 286-AH 2.00 8.00 8.00 10.00 10.00 8.16 2.06 2.00 8.00 0.25 7.75 7.05 1.37 6.00 10.00 8.65 1.19 287-AH 41.00 46.00 48.00 48.00 49.00 47.04 1.79 2.00 8.00 0.04 47.01 46.97 1.24 43.00 49.00 47.29 1.30 288-AH 38.00 53.50 58.00 64.25 70.00 58.00 7.91 10.75 32.00 0.14 57.44 56.84 6.16 38.00 70.00 58.00 7.91 289-AH 13.00 17.00 18.00 18.00 18.00 17.56 1.04 1.00 5.00 0.06 17.53 17.48 0.63 17.00 18.00 17.75 0.44 290-AH 42.00 48.75 49.00 49.00 49.00 48.00 2.06 0.25 7.00 0.04 47.96 47.91 1.52 49.00 49.00 49.00 0.00 23 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 26.00 28.00 28.00 29.00 30.00 28.44 0.92 1.00 4.00 0.03 28.43 28.41 0.73 27.00 30.00 28.54 0.78 292-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00 293-AH 8.00 34.00 34.00 34.00 34.00 32.92 5.20 0.00 26.00 0.16 32.05 30.06 1.99 34.00 34.00 34.00 0.00 294-AH 27.00 27.00 27.00 27.00 27.00 27.00 0.00 0.00 0.00 0.00 27.00 27.00 0.00 27.00 27.00 27.00 0.00 295-AH 21.00 34.00 43.00 45.00 50.00 39.00 9.00 11.00 29.00 0.23 37.78 36.33 7.36 21.00 50.00 39.00 9.00 296-AH 4.00 24.00 24.00 24.00 24.00 22.96 4.13 0.00 20.00 0.18 22.08 19.78 1.91 24.00 24.00 24.00 0.00 297-AH 8.00 10.00 11.00 12.00 12.00 11.08 1.12 2.00 4.00 0.10 11.02 10.96 0.88 8.00 12.00 11.08 1.12 298-AH 25.00 28.00 28.00 29.00 30.00 28.00 1.22 1.00 5.00 0.04 27.97 27.95 0.80 27.00 30.00 28.36 0.73 299-AH 67.00 73.00 74.00 75.00 76.00 73.72 2.19 2.00 9.00 0.03 73.69 73.65 1.44 71.00 76.00 74.26 1.18 300-AH 40.00 41.75 42.00 42.00 42.00 41.64 0.70 0.25 2.00 0.02 41.63 41.63 0.55 42.00 42.00 42.00 0.00 301-AH 4.00 5.00 5.00 14.00 16.00 8.12 4.72 9.00 12.00 0.58 7.00 6.20 4.24 4.00 16.00 8.12 4.72 302-AH 8.00 16.75 17.00 17.00 17.00 16.20 2.12 0.25 9.00 0.13 16.01 15.75 1.22 17.00 17.00 17.00 0.00 303-AH 10.00 12.00 13.00 14.00 14.00 12.96 1.06 2.00 4.00 0.08 12.92 12.87 0.78 10.00 14.00 12.96 1.06 304-AH 6.00 12.00 15.00 15.00 15.00 13.24 2.45 3.00 9.00 0.19 12.96 12.59 1.89 8.00 15.00 13.54 1.98 305-AH 44.00 59.00 61.00 61.00 61.00 58.32 4.92 2.00 17.00 0.08 58.10 57.85 3.65 59.00 61.00 60.60 0.75 306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 307-AH 31.00 67.75 71.00 73.25 75.00 68.24 9.23 5.50 44.00 0.14 67.38 66.11 5.51 62.00 75.00 70.52 3.72 308-AH 10.00 10.00 11.00 11.00 11.00 10.52 0.51 1.00 1.00 0.05 10.51 10.50 0.50 10.00 11.00 10.52 0.51 309-AH 5.00 10.00 10.00 10.00 10.00 9.64 1.08 0.00 5.00 0.11 9.56 9.44 0.60 10.00 10.00 10.00 0.00 310-AH 24.00 43.50 48.00 51.00 59.00 46.16 6.85 7.50 35.00 0.15 45.57 44.82 4.78 35.00 59.00 47.08 5.17 311-AH 42.00 50.75 52.00 53.00 53.00 51.00 2.77 2.25 11.00 0.05 50.92 50.84 1.84 48.00 53.00 51.70 1.40 312-AH 22.00 30.75 31.00 31.00 31.00 30.24 2.11 0.25 9.00 0.07 30.16 30.06 1.16 31.00 31.00 31.00 0.00 313-AH 5.00 8.00 12.00 15.00 17.00 11.64 3.95 7.00 12.00 0.34 10.89 10.05 3.36 5.00 17.00 11.64 3.95 314-AH 13.00 16.75 17.00 17.00 17.00 16.60 0.91 0.25 4.00 0.05 16.57 16.54 0.61 17.00 17.00 17.00 0.00 315-AH 27.00 39.00 45.00 53.25 59.00 44.52 10.25 14.25 32.00 0.23 43.28 41.95 8.74 27.00 59.00 44.52 10.25 316-AH 28.00 85.00 95.00 100.75 110.00 87.16 23.85 15.75 82.00 0.27 82.44 75.46 18.00 68.00 110.00 96.29 10.62 317-AH 10.00 26.50 28.00 29.00 30.00 26.68 4.26 2.50 20.00 0.16 26.18 25.38 2.81 24.00 30.00 27.95 1.65 318-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00 319-AH 10.00 14.00 16.00 16.00 17.00 14.96 1.57 2.00 7.00 0.10 14.87 14.77 1.18 13.00 17.00 15.17 1.20 320-AH 6.00 9.00 11.00 12.00 13.00 10.20 1.91 3.00 7.00 0.19 10.00 9.77 1.54 6.00 13.00 10.20 1.91 321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 322-AH 7.00 11.00 12.00 13.00 14.00 11.72 1.72 2.00 7.00 0.15 11.59 11.44 1.33 9.00 14.00 11.92 1.44 323-AH 11.00 21.00 25.00 25.00 25.00 22.96 3.25 4.00 14.00 0.14 22.67 22.26 2.37 18.00 25.00 23.46 2.13 324-AH 19.00 37.50 61.00 65.25 69.00 53.04 15.49 27.75 50.00 0.29 50.28 46.89 13.39 19.00 69.00 53.04 15.49 325-AH 59.00 60.00 60.00 61.00 61.00 60.40 0.65 1.00 2.00 0.01 60.40 60.39 0.58 59.00 61.00 60.40 0.65 326-AH 1.00 3.00 4.00 4.00 4.00 3.28 0.98 1.00 3.00 0.30 3.05 2.70 0.75 3.00 4.00 3.59 0.50 327-AH 0.00 4.00 4.00 4.00 4.00 3.84 0.80 0.00 4.00 0.21 2.39 0.00 0.31 4.00 4.00 4.00 0.00 328-AH 23.00 23.00 23.00 23.00 23.00 23.00 0.00 0.00 0.00 0.00 23.00 23.00 0.00 23.00 23.00 23.00 0.00 329-AH 17.00 17.00 17.00 17.00 17.00 17.00 0.00 0.00 0.00 0.00 17.00 17.00 0.00 17.00 17.00 17.00 0.00 330-AH 45.00 51.00 51.00 51.00 51.00 50.16 1.82 0.00 6.00 0.04 50.13 50.09 1.34 51.00 51.00 51.00 0.00 331-AH 12.00 17.00 17.00 17.00 17.00 16.80 1.00 0.00 5.00 0.06 16.76 16.72 0.38 17.00 17.00 17.00 0.00 332-AH 3.00 8.00 8.00 8.00 8.00 7.80 1.00 0.00 5.00 0.13 7.69 7.50 0.38 8.00 8.00 8.00 0.00 333-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00 334-AH 4.00 5.00 5.00 5.00 5.00 4.96 0.20 0.00 1.00 0.04 4.96 4.95 0.08 5.00 5.00 5.00 0.00 335-AH 11.00 14.00 14.00 15.00 15.00 14.00 1.00 1.00 4.00 0.07 13.96 13.92 0.64 13.00 15.00 14.22 0.67 336-AH 0.00 11.50 13.00 14.25 16.00 11.88 4.26 2.75 16.00 0.36 6.66 0.00 3.22 10.00 16.00 13.80 1.40 337-AH 18.00 20.00 20.00 20.00 20.00 19.76 0.52 0.00 2.00 0.03 19.75 19.75 0.38 20.00 20.00 20.00 0.00 338-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00 339-AH 18.00 19.00 19.00 19.00 19.00 18.92 0.28 0.00 1.00 0.01 18.92 18.92 0.15 19.00 19.00 19.00 0.00 340-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00 24 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 5.00 6.00 6.00 6.00 6.00 5.96 0.20 0.00 1.00 0.03 5.96 5.95 0.08 6.00 6.00 6.00 0.00 342-AH 55.00 95.00 96.00 96.00 96.00 94.00 8.15 1.00 41.00 0.09 93.53 92.88 3.12 94.00 96.00 95.62 0.71 343-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 344-AH 30.00 31.75 33.00 33.00 33.00 32.28 1.10 1.25 3.00 0.03 32.26 32.24 0.92 30.00 33.00 32.28 1.10 345-AH 8.00 9.00 9.00 9.00 9.00 8.92 0.28 0.00 1.00 0.03 8.92 8.91 0.15 9.00 9.00 9.00 0.00 346-AH 10.00 11.00 11.00 11.00 11.00 10.96 0.20 0.00 1.00 0.02 10.96 10.96 0.08 11.00 11.00 11.00 0.00 347-AH 7.00 8.00 8.00 8.00 9.00 7.92 0.49 0.00 2.00 0.06 7.91 7.89 0.29 8.00 8.00 8.00 0.00 348-AH 0.00 2.00 2.00 2.00 2.00 1.92 0.40 0.00 2.00 0.21 1.23 0.00 0.15 2.00 2.00 2.00 0.00 349-AH 27.00 27.00 27.00 27.00 27.00 27.00 0.00 0.00 0.00 0.00 27.00 27.00 0.00 27.00 27.00 27.00 0.00 350-AH 9.00 10.00 10.00 10.00 10.00 9.84 0.37 0.00 1.00 0.04 9.83 9.83 0.27 10.00 10.00 10.00 0.00 25 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.4062 0.9366 0.9705 0.9750 1.0000 0.9396 0.1143 0.0384 0.5938 0.1216 0.9289 0.9113 0.0507 0.8978 1.0000 0.9619 0.0272 143-AH 0.5861 0.6595 0.7237 0.9114 0.9441 0.7720 0.1298 0.2519 0.3580 0.1682 0.7615 0.7510 0.1189 0.5861 0.9441 0.7720 0.1298 144-AH 0.2611 0.5650 0.7024 0.7500 0.8056 0.6314 0.1710 0.1850 0.5444 0.2708 0.6020 0.5647 0.1389 0.3625 0.8056 0.6627 0.1379 145-AH 0.4077 0.5944 0.6721 0.6857 0.7697 0.6426 0.0801 0.0913 0.3619 0.1247 0.6372 0.6310 0.0616 0.5131 0.7697 0.6523 0.0648 146-AH 0.0486 0.4420 0.5041 0.5066 0.5172 0.4353 0.1345 0.0646 0.4687 0.3091 0.3973 0.3160 0.1077 0.5000 0.5172 0.5061 0.0046 147-AH 0.2978 0.6711 0.7587 0.8158 0.8477 0.7241 0.1326 0.1447 0.5498 0.1832 0.7085 0.6868 0.0993 0.4925 0.8477 0.7418 0.1007 148-AH 0.0523 0.0815 0.1703 0.1991 0.2055 0.1398 0.0631 0.1176 0.1532 0.4517 0.1239 0.1080 0.0601 0.0523 0.2055 0.1398 0.0631 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0010 0.0462 0.0615 0.1499 0.2323 0.0896 0.0670 0.1037 0.2313 0.7476 0.0533 0.0113 0.0570 0.0010 0.2323 0.0896 0.0670 151-AH 0.0393 0.1558 0.2306 0.3446 0.4464 0.2306 0.1212 0.1888 0.4071 0.5253 0.1870 0.1347 0.0928 0.0393 0.4464 0.2306 0.1212 152-AH 0.1145 0.3979 0.5416 0.6729 0.7673 0.5226 0.1765 0.2750 0.6528 0.3378 0.4831 0.4265 0.1427 0.1145 0.7673 0.5226 0.1765 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.1132 0.3054 0.3582 0.4031 0.4721 0.3444 0.0859 0.0977 0.3590 0.2496 0.3304 0.3107 0.0636 0.1715 0.4721 0.3540 0.0727 155-AH 0.0091 0.1075 0.1391 0.1960 0.2889 0.1491 0.0681 0.0884 0.2797 0.4567 0.1283 0.0859 0.0517 0.0091 0.2889 0.1491 0.0681 156-AH 0.0556 0.1251 0.1413 0.1668 0.3676 0.1583 0.0698 0.0417 0.3121 0.4411 0.1463 0.1359 0.0471 0.0898 0.2039 0.1401 0.0294 157-AH 0.0479 0.4695 0.4874 0.5695 0.7143 0.5005 0.1295 0.0999 0.6664 0.2587 0.4658 0.3656 0.0810 0.3397 0.7143 0.5194 0.0906 158-AH 0.0001 0.3429 0.4699 0.5767 0.6984 0.4228 0.1987 0.2338 0.6983 0.4699 0.1633 0.0007 0.1520 0.0001 0.6984 0.4228 0.1987 159-AH 0.1088 0.2158 0.2526 0.3627 0.7430 0.3084 0.1419 0.1469 0.6341 0.4603 0.2821 0.2593 0.1069 0.1088 0.5359 0.2903 0.1116 160-AH 0.0242 0.0455 0.0656 0.1481 0.2522 0.1010 0.0667 0.1025 0.2280 0.6599 0.0806 0.0635 0.0573 0.0242 0.2522 0.1010 0.0667 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.5755 0.8054 0.8579 0.8662 0.8867 0.8279 0.0657 0.0608 0.3113 0.0794 0.8250 0.8215 0.0447 0.7246 0.8867 0.8384 0.0403 164-AH 0.0406 0.0673 0.1283 0.1683 0.3257 0.1314 0.0683 0.1010 0.2851 0.5198 0.1154 0.1005 0.0497 0.0406 0.2428 0.1233 0.0562 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0003 0.0829 0.2160 0.3016 0.4256 0.1894 0.1281 0.2187 0.4253 0.6763 0.1139 0.0063 0.1187 0.0003 0.4256 0.1894 0.1281 168-AH 0.0104 0.3299 0.4708 0.5091 0.7830 0.4368 0.1516 0.1792 0.7726 0.3471 0.3770 0.1632 0.1116 0.2147 0.6415 0.4403 0.1066 169-AH 0.0004 0.0089 0.0161 0.0533 0.1673 0.0379 0.0458 0.0444 0.1669 1.2091 0.0183 0.0054 0.0335 0.0004 0.0852 0.0266 0.0252 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0005 0.0654 0.1176 0.1284 0.1704 0.0978 0.0452 0.0630 0.1698 0.4623 0.0725 0.0114 0.0377 0.0005 0.1704 0.0978 0.0452 172-AH 0.0194 0.0753 0.0915 0.1230 0.2767 0.1053 0.0523 0.0477 0.2573 0.4967 0.0943 0.0820 0.0362 0.0194 0.1931 0.0982 0.0390 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.4821 0.7227 0.7473 0.7775 0.8322 0.7415 0.0657 0.0548 0.3501 0.0887 0.7381 0.7341 0.0420 0.6767 0.8322 0.7523 0.0383 176-AH 0.7836 0.8966 0.9247 0.9331 0.9392 0.9020 0.0503 0.0365 0.1556 0.0558 0.9006 0.8990 0.0374 0.8738 0.9392 0.9223 0.0170 177-AH 0.0741 0.2111 0.3467 0.4632 0.6054 0.3562 0.1627 0.2521 0.5312 0.4567 0.3149 0.2670 0.1326 0.0741 0.6054 0.3562 0.1627 178-AH 0.0131 0.0406 0.1207 0.1792 0.2932 0.1242 0.0948 0.1386 0.2801 0.7628 0.0811 0.0449 0.0752 0.0131 0.2932 0.1242 0.0948 179-AH 0.1318 0.4083 0.6480 0.7809 0.8444 0.5930 0.2174 0.3726 0.7126 0.3666 0.5405 0.4697 0.1858 0.1318 0.8444 0.5930 0.2174 180-AH 0.0095 0.0879 0.5949 0.6824 0.7726 0.4303 0.3045 0.5945 0.7631 0.7077 0.2453 0.0851 0.2853 0.0095 0.7726 0.4303 0.3045 181-AH 0.5387 0.8137 0.8307 0.8404 0.8660 0.8103 0.0671 0.0267 0.3273 0.0828 0.8070 0.8031 0.0414 0.8079 0.8660 0.8360 0.0169 182-AH 0.0268 0.0845 0.1543 0.5100 0.5680 0.2481 0.1997 0.4254 0.5412 0.8047 0.1671 0.1072 0.1804 0.0268 0.5680 0.2481 0.1997 183-AH 0.0193 0.0496 0.1869 0.3572 0.6000 0.2406 0.1849 0.3076 0.5807 0.7682 0.1616 0.0942 0.1517 0.0193 0.6000 0.2406 0.1849 184-AH 0.3827 0.5443 0.5781 0.6126 0.6695 0.5725 0.0769 0.0682 0.2869 0.1344 0.5669 0.5606 0.0525 0.4521 0.6695 0.5888 0.0548 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.7254 0.8786 0.9478 0.9866 1.0000 0.9319 0.0653 0.1080 0.2746 0.0700 0.9295 0.9270 0.0515 0.7254 1.0000 0.9319 0.0653 190-AH 0.3101 0.6564 0.6875 0.7057 0.8109 0.6702 0.0945 0.0493 0.5008 0.1409 0.6616 0.6493 0.0561 0.5863 0.7466 0.6842 0.0341 26 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1539 0.3941 0.5260 0.7288 0.9762 0.5492 0.2547 0.3347 0.8223 0.4638 0.4897 0.4287 0.1990 0.1539 0.9762 0.5492 0.2547 193-AH 0.2067 0.4209 0.4806 0.5837 0.7871 0.4987 0.1231 0.1628 0.5804 0.2469 0.4828 0.4645 0.0957 0.2067 0.7871 0.4987 0.1231 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.2600 0.6573 0.7957 0.8881 0.9558 0.7400 0.1959 0.2308 0.6958 0.2647 0.7075 0.6651 0.1570 0.3892 0.9558 0.7600 0.1721 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.3575 0.4582 0.5533 0.6424 0.6786 0.5441 0.1021 0.1843 0.3211 0.1877 0.5342 0.5237 0.0836 0.3575 0.6786 0.5441 0.1021 200-AH 0.0007 0.2803 0.5845 0.6538 0.7357 0.4620 0.2353 0.3734 0.7350 0.5094 0.3181 0.0161 0.2092 0.0007 0.7357 0.4620 0.2353 251-AH 0.1546 0.4753 0.5292 0.5469 0.6011 0.4966 0.0994 0.0716 0.4465 0.2001 0.4814 0.4559 0.0630 0.4522 0.6011 0.5223 0.0443 252-AH 0.2418 0.3989 0.4401 0.5206 0.5766 0.4417 0.0919 0.1217 0.3349 0.2080 0.4311 0.4190 0.0692 0.2418 0.5766 0.4417 0.0919 253-AH 0.0995 0.3333 0.4313 0.4508 0.4767 0.3897 0.0889 0.1174 0.3772 0.2282 0.3745 0.3484 0.0691 0.2397 0.4767 0.4018 0.0666 254-AH 0.0628 0.1945 0.2428 0.2657 0.3209 0.2315 0.0642 0.0713 0.2580 0.2772 0.2200 0.2035 0.0483 0.1311 0.3209 0.2386 0.0548 255-AH 0.1317 0.3451 0.4437 0.5283 0.5972 0.4238 0.1133 0.1832 0.4655 0.2673 0.4058 0.3817 0.0912 0.1317 0.5972 0.4238 0.1133 256-AH 0.2501 0.8057 0.8391 0.8587 0.8771 0.7641 0.1727 0.0530 0.6269 0.2261 0.7367 0.6963 0.1300 0.8057 0.8771 0.8453 0.0236 257-AH 0.1403 0.2226 0.2637 0.2841 0.3205 0.2481 0.0462 0.0615 0.1802 0.1864 0.2433 0.2378 0.0368 0.1403 0.3205 0.2481 0.0462 258-AH 0.0077 0.0212 0.0349 0.1178 0.3039 0.0692 0.0727 0.0967 0.2962 1.0500 0.0434 0.0292 0.0565 0.0077 0.1653 0.0594 0.0549 259-AH 0.0012 0.5032 0.6728 0.6760 0.6836 0.5743 0.1941 0.1728 0.6824 0.3380 0.3853 0.0197 0.1382 0.4090 0.6836 0.6241 0.0934 260-AH 0.3093 0.5342 0.6312 0.6653 0.7110 0.5938 0.0911 0.1312 0.4017 0.1535 0.5857 0.5759 0.0755 0.4885 0.7110 0.6056 0.0707 261-AH 0.0043 0.0750 0.1163 0.3442 0.3869 0.1750 0.1317 0.2692 0.3827 0.7526 0.1192 0.0507 0.1151 0.0043 0.3869 0.1750 0.1317 262-AH 0.0493 0.1895 0.3504 0.4110 0.4580 0.3090 0.1235 0.2214 0.4088 0.3999 0.2734 0.2217 0.1031 0.0493 0.4580 0.3090 0.1235 263-AH 0.0401 0.2035 0.2256 0.2516 0.2919 0.2198 0.0543 0.0481 0.2518 0.2470 0.2086 0.1859 0.0368 0.1805 0.2919 0.2320 0.0334 264-AH 0.2354 0.4141 0.5496 0.6039 0.7331 0.5042 0.1268 0.1899 0.4976 0.2516 0.4869 0.4676 0.1093 0.2354 0.7331 0.5042 0.1268 265-AH 0.0234 0.2484 0.4421 0.5740 0.7410 0.4269 0.1934 0.3256 0.7176 0.4529 0.3571 0.2224 0.1532 0.0234 0.7410 0.4269 0.1934 266-AH 0.0024 0.0082 0.0338 0.1295 0.1845 0.0642 0.0650 0.1213 0.1821 1.0131 0.0317 0.0146 0.0570 0.0024 0.1845 0.0642 0.0650 267-AH 0.2141 0.2517 0.3266 0.3562 0.4418 0.3097 0.0677 0.1046 0.2277 0.2185 0.3027 0.2960 0.0588 0.2141 0.4418 0.3097 0.0677 268-AH 0.0754 0.6684 0.6768 0.6905 0.7255 0.6397 0.1325 0.0221 0.6501 0.2071 0.6049 0.5012 0.0740 0.6667 0.7121 0.6816 0.0134 269-AH 0.0769 0.1974 0.2310 0.2828 0.3780 0.2342 0.0719 0.0854 0.3011 0.3069 0.2217 0.2063 0.0555 0.0769 0.3780 0.2342 0.0719 270-AH 0.0115 0.6720 0.7112 0.7428 0.7784 0.6722 0.1555 0.0708 0.7669 0.2314 0.5898 0.2050 0.0810 0.5886 0.7784 0.7121 0.0436 271-AH 0.0721 0.4726 0.5450 0.5896 0.6244 0.4733 0.1885 0.1170 0.5523 0.3983 0.3963 0.2705 0.1436 0.3191 0.6244 0.5492 0.0702 272-AH 0.0102 0.1308 0.1706 0.2166 0.2710 0.1629 0.0729 0.0857 0.2607 0.4472 0.1302 0.0719 0.0551 0.0102 0.2710 0.1629 0.0729 273-AH 0.4535 0.6067 0.7197 0.7452 0.8257 0.6852 0.0933 0.1385 0.3722 0.1362 0.6787 0.6717 0.0792 0.4535 0.8257 0.6852 0.0933 274-AH 0.0100 0.2379 0.2911 0.3320 0.4251 0.2743 0.1048 0.0940 0.4151 0.3820 0.2320 0.1220 0.0752 0.1084 0.4251 0.2956 0.0778 275-AH 0.0844 0.2624 0.3608 0.4534 0.5870 0.3459 0.1336 0.1910 0.5027 0.3863 0.3127 0.2689 0.1061 0.0844 0.5870 0.3459 0.1336 276-AH 0.3207 0.4666 0.5427 0.5860 0.6476 0.5211 0.0920 0.1194 0.3269 0.1765 0.5123 0.5026 0.0749 0.3207 0.6476 0.5211 0.0920 277-AH 0.0921 0.1500 0.1641 0.1723 0.2716 0.1669 0.0425 0.0223 0.1795 0.2547 0.1620 0.1574 0.0279 0.1199 0.1879 0.1573 0.0186 278-AH 0.0610 0.2169 0.2688 0.3160 0.3726 0.2617 0.0766 0.0991 0.3116 0.2928 0.2469 0.2245 0.0599 0.1551 0.3726 0.2701 0.0656 279-AH 0.0276 0.1510 0.3108 0.4921 0.6099 0.3157 0.1820 0.3411 0.5824 0.5766 0.2520 0.1752 0.1477 0.0276 0.6099 0.3157 0.1820 280-AH 0.0004 0.0403 0.0687 0.0977 0.1347 0.0688 0.0361 0.0574 0.1343 0.5249 0.0521 0.0084 0.0305 0.0004 0.1347 0.0688 0.0361 281-AH 0.1584 0.4062 0.4899 0.5381 0.6218 0.4641 0.1099 0.1319 0.4634 0.2369 0.4478 0.4252 0.0855 0.2554 0.6218 0.4769 0.0915 282-AH 0.0001 0.1289 0.1469 0.1695 0.2660 0.1410 0.0545 0.0406 0.2660 0.3866 0.0963 0.0014 0.0367 0.0870 0.1912 0.1478 0.0285 283-AH 0.0672 0.2578 0.3350 0.4990 0.6751 0.3626 0.1646 0.2412 0.6079 0.4540 0.3225 0.2738 0.1338 0.0672 0.6751 0.3626 0.1646 284-AH 0.3335 0.5050 0.5227 0.5612 0.6049 0.5143 0.0693 0.0562 0.2714 0.1347 0.5092 0.5035 0.0490 0.4226 0.6049 0.5288 0.0495 285-AH 0.3639 0.6317 0.7368 0.7967 0.8273 0.6757 0.1550 0.1650 0.4634 0.2294 0.6545 0.6289 0.1226 0.3936 0.8273 0.7021 0.1308 286-AH 0.0009 0.0320 0.0533 0.0921 0.1085 0.0594 0.0334 0.0600 0.1075 0.5626 0.0440 0.0146 0.0286 0.0009 0.1085 0.0594 0.0334 287-AH 0.1609 0.3508 0.4236 0.4402 0.4940 0.3873 0.0819 0.0894 0.3331 0.2116 0.3763 0.3617 0.0631 0.2788 0.4940 0.4051 0.0559 288-AH 0.0473 0.1575 0.1753 0.2499 0.3720 0.1911 0.0753 0.0924 0.3247 0.3939 0.1744 0.1539 0.0580 0.0473 0.3720 0.1911 0.0753 289-AH 0.0137 0.6243 0.7097 0.7661 0.9081 0.6764 0.1702 0.1418 0.8944 0.2516 0.5952 0.2315 0.1081 0.4675 0.9081 0.7041 0.1017 290-AH 0.0856 0.1714 0.2540 0.3076 0.3961 0.2381 0.0923 0.1362 0.3105 0.3876 0.2176 0.1946 0.0786 0.0856 0.3961 0.2381 0.0923 27 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.2620 0.4918 0.5639 0.6751 0.7480 0.5635 0.1370 0.1833 0.4860 0.2431 0.5448 0.5226 0.1092 0.2620 0.7480 0.5635 0.1370 292-AH 0.1402 0.5931 0.6125 0.8167 0.8929 0.6432 0.1934 0.2236 0.7527 0.3006 0.5963 0.5131 0.1366 0.4493 0.8929 0.6868 0.1262 293-AH 0.0055 0.5551 0.6048 0.6413 0.6885 0.5745 0.1331 0.0863 0.6830 0.2317 0.4934 0.1127 0.0759 0.4881 0.6885 0.5982 0.0618 294-AH 0.3607 0.6145 0.6551 0.6684 0.6920 0.6239 0.0728 0.0539 0.3312 0.1166 0.6188 0.6126 0.0496 0.5342 0.6920 0.6441 0.0392 295-AH 0.0880 0.2167 0.3363 0.3742 0.4228 0.2906 0.0963 0.1575 0.3349 0.3313 0.2707 0.2457 0.0808 0.0880 0.4228 0.2906 0.0963 296-AH 0.0027 0.4732 0.5245 0.5457 0.6621 0.4826 0.1427 0.0725 0.6594 0.2957 0.3976 0.0591 0.0970 0.3691 0.6027 0.5198 0.0506 297-AH 0.1407 0.3656 0.4156 0.4380 0.5775 0.4051 0.0865 0.0724 0.4368 0.2134 0.3936 0.3771 0.0595 0.2774 0.4950 0.4028 0.0530 298-AH 0.0605 0.1661 0.2110 0.2243 0.3054 0.1980 0.0581 0.0582 0.2449 0.2933 0.1879 0.1747 0.0433 0.1063 0.3054 0.2037 0.0516 299-AH 0.2283 0.3246 0.3849 0.4388 0.5221 0.3858 0.0749 0.1142 0.2938 0.1941 0.3784 0.3704 0.0591 0.2283 0.5221 0.3858 0.0749 300-AH 0.1551 0.2008 0.2200 0.2467 0.2835 0.2224 0.0316 0.0459 0.1284 0.1421 0.2202 0.2178 0.0240 0.1551 0.2835 0.2224 0.0316 301-AH 0.0022 0.0105 0.0165 0.4054 0.5453 0.1550 0.2157 0.3949 0.5432 1.3913 0.0336 0.0110 0.1951 0.0022 0.5453 0.1550 0.2157 302-AH 0.0488 0.3064 0.3392 0.3930 0.4657 0.3404 0.0931 0.0866 0.4169 0.2734 0.3180 0.2693 0.0612 0.2882 0.4657 0.3620 0.0564 303-AH 0.0480 0.2153 0.2995 0.3792 0.4693 0.2940 0.1111 0.1639 0.4213 0.3777 0.2662 0.2242 0.0836 0.0480 0.4693 0.2940 0.1111 304-AH 0.2686 0.2800 0.3274 0.3574 0.4412 0.3275 0.0505 0.0774 0.1726 0.1543 0.3239 0.3205 0.0423 0.2686 0.4412 0.3275 0.0505 305-AH 0.1458 0.2781 0.3041 0.3438 0.4436 0.3086 0.0783 0.0657 0.2978 0.2539 0.2979 0.2858 0.0572 0.1926 0.4076 0.3107 0.0554 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0496 0.2476 0.3140 0.3432 0.4702 0.2892 0.0911 0.0956 0.4206 0.3149 0.2679 0.2314 0.0688 0.1378 0.4702 0.2992 0.0778 308-AH 0.5554 0.7475 0.7815 0.8033 0.8228 0.7629 0.0647 0.0558 0.2673 0.0849 0.7599 0.7565 0.0436 0.7005 0.8228 0.7792 0.0329 309-AH 0.0125 0.0407 0.0476 0.0528 0.0950 0.0476 0.0143 0.0121 0.0824 0.3003 0.0453 0.0420 0.0091 0.0272 0.0615 0.0471 0.0081 310-AH 0.0352 0.0787 0.0888 0.1297 0.2535 0.1004 0.0447 0.0511 0.2183 0.4452 0.0918 0.0834 0.0315 0.0352 0.1526 0.0940 0.0320 311-AH 0.1026 0.2381 0.3284 0.3703 0.4230 0.3078 0.0796 0.1322 0.3205 0.2587 0.2954 0.2792 0.0671 0.1026 0.4230 0.3078 0.0796 312-AH 0.0819 0.4301 0.4907 0.6086 0.7398 0.4834 0.1709 0.1785 0.6579 0.3536 0.4394 0.3697 0.1273 0.2047 0.7398 0.5152 0.1363 313-AH 0.0012 0.0140 0.0196 0.0556 0.1702 0.0438 0.0470 0.0416 0.1690 1.0720 0.0231 0.0092 0.0349 0.0012 0.1028 0.0296 0.0262 314-AH 0.0160 0.0642 0.0762 0.0815 0.1040 0.0726 0.0192 0.0173 0.0880 0.2645 0.0687 0.0618 0.0127 0.0595 0.1040 0.0771 0.0118 315-AH 0.1552 0.2360 0.3467 0.4312 0.6487 0.3543 0.1459 0.1952 0.4935 0.4118 0.3253 0.2973 0.1185 0.1552 0.6487 0.3543 0.1459 316-AH 0.0072 0.0639 0.1685 0.2033 0.2838 0.1443 0.0859 0.1394 0.2765 0.5954 0.1098 0.0629 0.0744 0.0072 0.2838 0.1443 0.0859 317-AH 0.0745 0.2033 0.2169 0.2505 0.2885 0.2240 0.0426 0.0473 0.2141 0.1901 0.2184 0.2096 0.0294 0.1889 0.2885 0.2302 0.0297 318-AH 0.0163 0.0729 0.1500 0.2724 0.4632 0.1838 0.1329 0.1995 0.4469 0.7231 0.1387 0.0959 0.1056 0.0163 0.4632 0.1838 0.1329 319-AH 0.0988 0.3010 0.3948 0.4478 0.5273 0.3749 0.1055 0.1468 0.4285 0.2814 0.3558 0.3281 0.0828 0.0988 0.5273 0.3749 0.1055 320-AH 0.0027 0.0168 0.0219 0.0350 0.0856 0.0282 0.0188 0.0182 0.0829 0.6663 0.0228 0.0168 0.0143 0.0027 0.0571 0.0258 0.0148 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0186 0.0318 0.0349 0.0535 0.1453 0.0497 0.0326 0.0217 0.1267 0.6561 0.0430 0.0386 0.0233 0.0186 0.0798 0.0397 0.0156 323-AH 0.0947 0.2647 0.2717 0.2860 0.3265 0.2613 0.0503 0.0213 0.2318 0.1923 0.2546 0.2445 0.0322 0.2569 0.3097 0.2780 0.0143 324-AH 0.0325 0.2303 0.4368 0.5765 0.6989 0.4102 0.1978 0.3461 0.6664 0.4822 0.3437 0.2403 0.1756 0.0325 0.6989 0.4102 0.1978 325-AH 0.4135 0.5222 0.5499 0.6472 0.7624 0.5816 0.0887 0.1250 0.3489 0.1526 0.5752 0.5689 0.0732 0.4135 0.7624 0.5816 0.0887 326-AH 0.1540 0.2429 0.3811 0.5130 0.5712 0.3695 0.1433 0.2701 0.4172 0.3879 0.3393 0.3080 0.1288 0.1540 0.5712 0.3695 0.1433 327-AH 0.0000 0.1509 0.2416 0.4746 0.5583 0.2869 0.1810 0.3237 0.5583 0.6307 0.1602 0.0002 0.1609 0.0000 0.5583 0.2869 0.1810 328-AH 0.3841 0.4211 0.4455 0.6070 0.8062 0.5023 0.1111 0.1859 0.4221 0.2211 0.4918 0.4825 0.0899 0.3841 0.8062 0.5023 0.1111 329-AH 0.3961 0.6105 0.6391 0.6697 0.7536 0.6314 0.0706 0.0593 0.3576 0.1118 0.6270 0.6219 0.0465 0.5674 0.7536 0.6470 0.0445 330-AH 0.2023 0.6959 0.7791 0.8251 0.8426 0.7428 0.1350 0.1292 0.6403 0.1818 0.7221 0.6824 0.0881 0.5650 0.8426 0.7654 0.0761 331-AH 0.0449 0.2446 0.2664 0.4700 0.7410 0.3223 0.1818 0.2254 0.6961 0.5639 0.2677 0.2008 0.1418 0.0449 0.7410 0.3223 0.1818 332-AH 0.1260 0.3152 0.3867 0.4404 0.5226 0.3820 0.0937 0.1252 0.3966 0.2453 0.3678 0.3483 0.0720 0.2267 0.5226 0.3926 0.0787 333-AH 0.1465 1.0000 1.0000 1.0000 1.0000 0.9580 0.1714 0.0000 0.8535 0.1789 0.9184 0.8053 0.0739 1.0000 1.0000 1.0000 0.0000 334-AH 0.0115 0.1573 0.2206 0.3023 0.4522 0.2399 0.1188 0.1450 0.4407 0.4953 0.2014 0.1231 0.0922 0.0115 0.4522 0.2399 0.1188 335-AH 0.0247 0.1404 0.1807 0.2138 0.2888 0.1782 0.0646 0.0734 0.2641 0.3627 0.1620 0.1341 0.0486 0.0640 0.2888 0.1846 0.0574 336-AH 0.0000 0.0221 0.0815 0.2031 0.2852 0.1135 0.0980 0.1810 0.2852 0.8629 0.0426 0.0002 0.0870 0.0000 0.2852 0.1135 0.0980 337-AH 0.5337 0.7109 0.8369 0.8717 0.8895 0.7889 0.1025 0.1608 0.3558 0.1299 0.7819 0.7742 0.0875 0.5337 0.8895 0.7889 0.1025 338-AH 0.0383 0.5973 0.6876 0.7820 0.9456 0.6639 0.1933 0.1847 0.9072 0.2912 0.5961 0.3904 0.1262 0.5258 0.9456 0.7112 0.1046 339-AH 0.2706 0.5356 0.5888 0.6896 0.7316 0.5859 0.1110 0.1540 0.4610 0.1894 0.5739 0.5591 0.0855 0.4074 0.7316 0.5990 0.0914 340-AH 0.2429 0.3063 0.3557 0.5108 0.6393 0.3976 0.1073 0.2045 0.3964 0.2699 0.3845 0.3723 0.0911 0.2429 0.6393 0.3976 0.1073 28 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1147 0.6851 0.8750 0.9048 0.9762 0.8080 0.1796 0.2196 0.8615 0.2223 0.7666 0.6596 0.1275 0.6794 0.9762 0.8369 0.1091 342-AH 0.3606 0.6240 0.7177 0.7977 0.8194 0.6884 0.1291 0.1737 0.4589 0.1875 0.6741 0.6565 0.1009 0.3714 0.8194 0.7021 0.1119 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.2078 0.3961 0.4513 0.5492 0.7153 0.4690 0.1485 0.1531 0.5075 0.3166 0.4451 0.4195 0.1113 0.2078 0.7153 0.4690 0.1485 345-AH 0.0554 0.1271 0.2277 0.2948 0.4861 0.2175 0.1109 0.1678 0.4307 0.5096 0.1846 0.1489 0.0867 0.0554 0.4861 0.2175 0.1109 346-AH 0.0453 0.0638 0.0913 0.1023 0.1411 0.0860 0.0248 0.0385 0.0959 0.2882 0.0823 0.0784 0.0205 0.0453 0.1411 0.0860 0.0248 347-AH 0.0319 0.0414 0.0485 0.0938 0.1977 0.0709 0.0414 0.0524 0.1658 0.5847 0.0619 0.0554 0.0323 0.0319 0.1514 0.0656 0.0326 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9163 0.2462 0.0000 1.0000 0.2686 0.5904 0.0002 0.1473 1.0000 1.0000 1.0000 0.0000 349-AH 0.2763 0.3264 0.3885 0.4497 0.7860 0.4391 0.1687 0.1233 0.5097 0.3842 0.4135 0.3931 0.1314 0.2763 0.5307 0.3615 0.0633 350-AH 0.4314 0.6300 0.6858 0.7014 0.7287 0.6530 0.0774 0.0714 0.2973 0.1186 0.6479 0.6421 0.0583 0.5634 0.7287 0.6706 0.0498 29 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000 142-AH 0.5000 0.8750 0.8750 0.8750 1.0000 0.8750 0.0884 0.0000 0.5000 0.1010 0.8695 0.8621 0.0300 0.8750 0.8750 0.8750 0.0000 143-AH 0.5128 0.5897 0.6923 0.8205 0.8462 0.6923 0.1212 0.2308 0.3333 0.1750 0.6820 0.6718 0.1087 0.5128 0.8462 0.6923 0.1212 144-AH 0.0000 0.3333 0.6667 0.6667 0.6667 0.5333 0.1925 0.3333 0.6667 0.3608 0.3425 0.0002 0.1707 0.0000 0.6667 0.5333 0.1925 145-AH 0.4211 0.5724 0.6579 0.6579 0.7105 0.6105 0.0808 0.0855 0.2895 0.1323 0.6048 0.5985 0.0636 0.4474 0.7105 0.6184 0.0720 146-AH 0.0000 0.5000 0.5000 0.5000 0.5000 0.4600 0.1384 0.0000 0.5000 0.3010 0.2104 0.0001 0.0736 0.5000 0.5000 0.5000 0.0000 147-AH 0.3333 0.6225 0.6863 0.7059 0.8039 0.6588 0.1000 0.0833 0.4706 0.1518 0.6498 0.6384 0.0687 0.5098 0.8039 0.6724 0.0751 148-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1533 0.0461 0.0000 0.1667 0.3010 0.0766 0.0001 0.0245 0.1667 0.1667 0.1667 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.1000 0.2250 0.3000 0.1240 0.1300 0.2250 0.3000 1.0484 0.0018 0.0000 0.1210 0.0000 0.3000 0.1240 0.1300 151-AH 0.0000 0.2292 0.3333 0.4167 0.4167 0.2767 0.1535 0.1875 0.4167 0.5548 0.0420 0.0000 0.1237 0.0000 0.4167 0.2767 0.1535 152-AH 0.1818 0.3409 0.5455 0.6364 0.7273 0.5091 0.1721 0.2955 0.5455 0.3380 0.4749 0.4356 0.1484 0.1818 0.7273 0.5091 0.1721 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0476 0.3214 0.3810 0.3929 0.4762 0.3429 0.1029 0.0714 0.4286 0.3000 0.3160 0.2626 0.0754 0.2381 0.4762 0.3745 0.0556 155-AH 0.0000 0.0000 0.0000 0.3333 0.3333 0.1067 0.1587 0.3333 0.3333 1.4878 0.0003 0.0000 0.1451 0.0000 0.3333 0.1067 0.1587 156-AH 0.0909 0.1705 0.1818 0.2727 0.4091 0.2164 0.0812 0.1023 0.3182 0.3752 0.2028 0.1903 0.0641 0.0909 0.4091 0.2164 0.0812 157-AH 0.1439 0.5162 0.5396 0.5629 0.6691 0.5324 0.0964 0.0468 0.5252 0.1811 0.5176 0.4891 0.0518 0.4964 0.6331 0.5454 0.0327 158-AH 0.0000 0.3456 0.4118 0.5000 0.6176 0.4024 0.1756 0.1544 0.6176 0.4364 0.1238 0.0001 0.1234 0.2941 0.6176 0.4572 0.0946 159-AH 0.1296 0.2593 0.2778 0.3704 0.6667 0.3163 0.1257 0.1111 0.5370 0.3974 0.2941 0.2733 0.0952 0.1296 0.5000 0.3017 0.1045 160-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0200 0.1000 0.0000 0.5000 5.0000 0.0000 0.0000 0.0384 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3600 0.4899 1.0000 1.0000 1.3608 0.0006 0.0000 0.4608 0.0000 1.0000 0.3600 0.4899 163-AH 0.5328 0.7398 0.7623 0.7807 0.8197 0.7498 0.0578 0.0410 0.2869 0.0771 0.7474 0.7446 0.0389 0.6803 0.8197 0.7589 0.0368 164-AH 0.0000 0.0741 0.1111 0.1481 0.2593 0.1141 0.0613 0.0741 0.2593 0.5378 0.0732 0.0002 0.0453 0.0000 0.2593 0.1141 0.0613 165-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.2000 0.2000 0.2500 0.4000 0.2160 0.1281 0.0500 0.4000 0.5929 0.0484 0.0001 0.0883 0.2000 0.2000 0.2000 0.0000 168-AH 0.0000 0.3889 0.4444 0.5000 0.6667 0.4422 0.1226 0.1111 0.6667 0.2773 0.2953 0.0002 0.0784 0.2778 0.6111 0.4517 0.0717 169-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0333 0.0680 0.0000 0.1667 2.0412 0.0001 0.0000 0.0533 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0526 0.1053 0.1053 0.1579 0.0821 0.0458 0.0526 0.1579 0.5576 0.0291 0.0001 0.0386 0.0000 0.1579 0.0821 0.0458 172-AH 0.0000 0.0000 0.1429 0.1429 0.2857 0.1086 0.0853 0.1429 0.2857 0.7858 0.0071 0.0000 0.0695 0.0000 0.2857 0.1086 0.0853 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.4286 0.5714 0.5714 0.7143 0.8571 0.6400 0.0933 0.1429 0.4286 0.1458 0.6334 0.6266 0.0827 0.4286 0.8571 0.6400 0.0933 176-AH 0.6667 0.7692 0.7949 0.8269 0.8718 0.7897 0.0619 0.0577 0.2051 0.0784 0.7873 0.7846 0.0464 0.7436 0.8718 0.8132 0.0316 177-AH 0.0769 0.2885 0.4615 0.5385 0.6923 0.4185 0.1750 0.2500 0.6154 0.4181 0.3686 0.2970 0.1440 0.0769 0.6923 0.4185 0.1750 178-AH 0.0000 0.0000 0.2500 0.2500 0.2500 0.1600 0.1225 0.2500 0.2500 0.7655 0.0065 0.0000 0.1152 0.0000 0.2500 0.1600 0.1225 179-AH 0.1364 0.4318 0.6364 0.6818 0.7273 0.5418 0.1690 0.2500 0.5909 0.3119 0.5073 0.4594 0.1425 0.1364 0.7273 0.5418 0.1690 180-AH 0.0000 0.1125 0.6000 0.6250 0.6750 0.4000 0.2758 0.5125 0.6750 0.6894 0.0704 0.0001 0.2580 0.0000 0.6750 0.4000 0.2758 181-AH 0.5652 0.7364 0.7826 0.7935 0.8043 0.7617 0.0490 0.0571 0.2391 0.0643 0.7600 0.7580 0.0329 0.7174 0.8043 0.7699 0.0275 182-AH 0.0000 0.0000 0.2500 0.5000 0.7500 0.2600 0.2746 0.5000 0.7500 1.0562 0.0056 0.0000 0.2144 0.0000 0.7500 0.2600 0.2746 183-AH 0.0000 0.0000 0.0000 0.2500 0.2500 0.0900 0.1225 0.2500 0.2500 1.3608 0.0004 0.0000 0.1152 0.0000 0.2500 0.0900 0.1225 184-AH 0.3333 0.5556 0.5556 0.5556 0.6667 0.5467 0.0711 0.0000 0.3333 0.1301 0.5417 0.5359 0.0416 0.5556 0.5556 0.5556 0.0000 185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3600 0.4899 1.0000 1.0000 1.3608 0.0006 0.0000 0.4608 0.0000 1.0000 0.3600 0.4899 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2000 0.4082 0.0000 1.0000 2.0412 0.0001 0.0000 0.3200 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.7143 0.7143 0.8571 0.8929 1.0000 0.8343 0.1143 0.1786 0.2857 0.1370 0.8269 0.8197 0.0960 0.7143 1.0000 0.8343 0.1143 190-AH 0.3333 0.6667 0.6667 0.6944 0.7778 0.6667 0.0962 0.0278 0.4444 0.1443 0.6583 0.6474 0.0533 0.6667 0.6667 0.6667 0.0000 30 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1667 0.3333 0.5000 0.7083 0.8333 0.5067 0.2177 0.3750 0.6667 0.4297 0.4599 0.4119 0.1696 0.1667 0.8333 0.5067 0.2177 193-AH 0.1429 0.2857 0.4286 0.4643 0.7143 0.4057 0.1348 0.1786 0.5714 0.3322 0.3832 0.3589 0.1074 0.1429 0.7143 0.4057 0.1348 194-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4000 0.5000 1.0000 1.0000 1.2500 0.0010 0.0000 0.4800 0.0000 1.0000 0.4000 0.5000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4800 0.5099 1.0000 1.0000 1.0623 0.0025 0.0000 0.4992 0.0000 1.0000 0.4800 0.5099 197-AH 0.3200 0.5650 0.7200 0.7800 0.8600 0.6608 0.1567 0.2150 0.5400 0.2371 0.6400 0.6160 0.1319 0.3200 0.8600 0.6608 0.1567 198-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6800 0.4761 1.0000 1.0000 0.7001 0.0251 0.0000 0.4352 0.0000 1.0000 0.6800 0.4761 199-AH 0.4000 0.4000 0.4000 0.6000 0.7000 0.5000 0.1225 0.2000 0.3000 0.2449 0.4867 0.4749 0.1040 0.4000 0.7000 0.5000 0.1225 200-AH 0.0000 0.3333 0.5556 0.6667 0.6667 0.4756 0.2164 0.3333 0.6667 0.4551 0.2022 0.0001 0.1785 0.0000 0.6667 0.4756 0.2164 251-AH 0.2308 0.4769 0.5077 0.5423 0.5846 0.4929 0.0874 0.0654 0.3538 0.1774 0.4827 0.4684 0.0572 0.4154 0.5846 0.5151 0.0440 252-AH 0.2414 0.3793 0.4483 0.4828 0.5862 0.4386 0.0793 0.1034 0.3448 0.1809 0.4311 0.4229 0.0632 0.2414 0.5862 0.4386 0.0793 253-AH 0.2000 0.4145 0.4842 0.4961 0.5263 0.4537 0.0734 0.0816 0.3263 0.1617 0.4460 0.4354 0.0531 0.3211 0.5263 0.4643 0.0520 254-AH 0.1572 0.2784 0.3231 0.3624 0.3930 0.3172 0.0613 0.0841 0.2358 0.1933 0.3105 0.3024 0.0473 0.1572 0.3930 0.3172 0.0613 255-AH 0.2500 0.2500 0.2500 0.3125 0.5000 0.3100 0.1090 0.0625 0.2500 0.3515 0.2952 0.2841 0.0912 0.2500 0.2500 0.2500 0.0000 256-AH 0.2647 0.7059 0.7059 0.7353 0.8529 0.6882 0.1236 0.0294 0.5882 0.1796 0.6734 0.6516 0.0824 0.7059 0.7647 0.7188 0.0185 257-AH 0.1905 0.2937 0.3492 0.3532 0.4286 0.3289 0.0533 0.0595 0.2381 0.1622 0.3243 0.3190 0.0412 0.2540 0.4286 0.3347 0.0458 258-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0600 0.1307 0.0000 0.5000 2.1784 0.0001 0.0000 0.0960 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.3333 0.6667 0.6667 0.6667 0.5467 0.2126 0.3333 0.6667 0.3888 0.2387 0.0001 0.1728 0.0000 0.6667 0.5467 0.2126 260-AH 0.3968 0.5357 0.5714 0.5873 0.6508 0.5594 0.0537 0.0516 0.2540 0.0960 0.5567 0.5538 0.0392 0.4762 0.6508 0.5661 0.0426 261-AH 0.0294 0.1765 0.2059 0.4118 0.4412 0.2518 0.1307 0.2353 0.4118 0.5193 0.2094 0.1483 0.1105 0.0294 0.4412 0.2518 0.1307 262-AH 0.1176 0.2471 0.3529 0.4176 0.4941 0.3468 0.1044 0.1706 0.3765 0.3010 0.3278 0.3040 0.0841 0.1176 0.4941 0.3468 0.1044 263-AH 0.0833 0.2708 0.2917 0.3125 0.3958 0.2867 0.0599 0.0417 0.3125 0.2090 0.2778 0.2631 0.0406 0.2292 0.3542 0.2945 0.0348 264-AH 0.2273 0.4432 0.5000 0.5455 0.6818 0.4855 0.1119 0.1023 0.4545 0.2305 0.4711 0.4543 0.0879 0.3182 0.6818 0.5059 0.0902 265-AH 0.0000 0.1667 0.3333 0.6667 0.6667 0.3933 0.2198 0.5000 0.6667 0.5589 0.1634 0.0001 0.1872 0.0000 0.6667 0.3933 0.2198 266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 267-AH 0.1905 0.2857 0.2857 0.3810 0.4286 0.3086 0.0661 0.0952 0.2381 0.2142 0.3016 0.2945 0.0541 0.1905 0.4286 0.3086 0.0661 268-AH 0.0000 0.6667 0.6667 0.6667 0.6667 0.6400 0.1333 0.0000 0.6667 0.2083 0.4275 0.0002 0.0512 0.6667 0.6667 0.6667 0.0000 269-AH 0.1111 0.2222 0.2222 0.3333 0.4444 0.2711 0.1115 0.1111 0.3333 0.4112 0.2461 0.2193 0.0953 0.1111 0.4444 0.2711 0.1115 270-AH 0.0702 0.5921 0.6140 0.6491 0.6842 0.5860 0.1266 0.0570 0.6140 0.2161 0.5531 0.4590 0.0707 0.5614 0.6842 0.6244 0.0323 271-AH 0.1250 0.4583 0.5000 0.5417 0.5833 0.4500 0.1521 0.0833 0.4583 0.3381 0.4068 0.3403 0.1100 0.3750 0.5833 0.5119 0.0513 272-AH 0.0000 0.2143 0.2143 0.2857 0.3571 0.2171 0.0862 0.0714 0.3571 0.3970 0.1017 0.0001 0.0551 0.1429 0.3571 0.2435 0.0476 273-AH 0.4578 0.5904 0.6386 0.7018 0.7470 0.6357 0.0779 0.1114 0.2892 0.1226 0.6308 0.6258 0.0659 0.4578 0.7470 0.6357 0.0779 274-AH 0.0000 0.2500 0.3125 0.3906 0.5000 0.3225 0.1137 0.1406 0.5000 0.3524 0.2129 0.0002 0.0786 0.1250 0.5000 0.3359 0.0936 275-AH 0.1515 0.3295 0.4091 0.4848 0.6212 0.4048 0.1195 0.1553 0.4697 0.2952 0.3841 0.3582 0.0896 0.1515 0.6212 0.4048 0.1195 276-AH 0.3051 0.4703 0.5424 0.5763 0.6271 0.5166 0.0813 0.1059 0.3220 0.1574 0.5097 0.5017 0.0655 0.3729 0.6271 0.5254 0.0698 277-AH 0.1538 0.2596 0.3077 0.3462 0.3462 0.2892 0.0567 0.0865 0.1923 0.1962 0.2830 0.2759 0.0468 0.1538 0.3462 0.2892 0.0567 278-AH 0.1905 0.2381 0.2857 0.3333 0.4286 0.2838 0.0680 0.0952 0.2381 0.2396 0.2759 0.2681 0.0520 0.1905 0.4286 0.2838 0.0680 279-AH 0.0000 0.2500 0.5000 0.5000 0.7500 0.4200 0.2131 0.2500 0.7500 0.5074 0.2593 0.0002 0.1832 0.0000 0.7500 0.4200 0.2131 280-AH 0.0000 0.0800 0.0800 0.1200 0.2800 0.0992 0.0634 0.0400 0.2800 0.6388 0.0336 0.0001 0.0471 0.0400 0.1600 0.1000 0.0355 281-AH 0.1429 0.3810 0.4524 0.5298 0.5952 0.4476 0.1104 0.1488 0.4524 0.2466 0.4308 0.4075 0.0857 0.2857 0.5952 0.4603 0.0923 282-AH 0.0000 0.1613 0.2258 0.2581 0.3548 0.2052 0.0853 0.0968 0.3548 0.4157 0.0967 0.0001 0.0618 0.1290 0.3548 0.2230 0.0614 283-AH 0.1053 0.2895 0.3421 0.5066 0.6579 0.3905 0.1502 0.2171 0.5526 0.3845 0.3579 0.3162 0.1192 0.1053 0.6579 0.3905 0.1502 284-AH 0.3158 0.4474 0.4737 0.5263 0.5789 0.4832 0.0653 0.0789 0.2632 0.1351 0.4786 0.4737 0.0520 0.3684 0.5789 0.4901 0.0564 285-AH 0.3913 0.5833 0.6957 0.7391 0.7681 0.6475 0.1196 0.1558 0.3768 0.1848 0.6353 0.6213 0.0998 0.3913 0.7681 0.6475 0.1196 286-AH 0.0000 0.0833 0.0833 0.0833 0.1667 0.0733 0.0366 0.0000 0.1667 0.4997 0.0202 0.0001 0.0235 0.0833 0.0833 0.0833 0.0000 287-AH 0.2041 0.3827 0.4898 0.5102 0.5306 0.4441 0.0926 0.1276 0.3265 0.2086 0.4322 0.4168 0.0748 0.2041 0.5306 0.4441 0.0926 288-AH 0.0395 0.2632 0.2895 0.3487 0.4342 0.2858 0.0916 0.0855 0.3947 0.3205 0.2632 0.2199 0.0649 0.1711 0.4342 0.3038 0.0692 289-AH 0.0000 0.6111 0.6111 0.7222 0.8889 0.6356 0.1652 0.1111 0.8889 0.2599 0.4200 0.0002 0.1054 0.4444 0.7778 0.6522 0.0905 290-AH 0.0816 0.1837 0.2857 0.3724 0.4898 0.2759 0.1129 0.1888 0.4082 0.4091 0.2508 0.2232 0.0893 0.0816 0.4898 0.2759 0.1129 31 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.3000 0.5333 0.5667 0.6417 0.7333 0.5680 0.1069 0.1083 0.4333 0.1883 0.5563 0.5417 0.0736 0.4333 0.7333 0.5913 0.0733 292-AH 0.0000 0.5000 0.5000 0.5000 0.7500 0.5000 0.1443 0.0000 0.7500 0.2887 0.3312 0.0002 0.0600 0.5000 0.5000 0.5000 0.0000 293-AH 0.0294 0.5221 0.5882 0.6176 0.6765 0.5494 0.1221 0.0956 0.6471 0.2222 0.5047 0.3270 0.0716 0.4706 0.6765 0.5711 0.0575 294-AH 0.4444 0.6111 0.6667 0.6667 0.7037 0.6252 0.0844 0.0556 0.2593 0.1350 0.6190 0.6119 0.0660 0.5556 0.7037 0.6630 0.0338 295-AH 0.1569 0.3137 0.3922 0.4167 0.4706 0.3600 0.0794 0.1029 0.3137 0.2206 0.3497 0.3369 0.0653 0.2157 0.4706 0.3685 0.0687 296-AH 0.0000 0.4479 0.4583 0.5417 0.6667 0.4667 0.1433 0.0938 0.6667 0.3071 0.3072 0.0002 0.0953 0.3750 0.6667 0.5076 0.0820 297-AH 0.1667 0.4167 0.4167 0.4167 0.5833 0.4033 0.0709 0.0000 0.4167 0.1757 0.3957 0.3851 0.0413 0.4167 0.4167 0.4167 0.0000 298-AH 0.0000 0.2000 0.2333 0.2667 0.3667 0.2427 0.0761 0.0667 0.3667 0.3135 0.1645 0.0002 0.0524 0.1667 0.3667 0.2528 0.0581 299-AH 0.2237 0.3553 0.4079 0.4243 0.5000 0.3963 0.0590 0.0691 0.2763 0.1489 0.3916 0.3861 0.0456 0.3289 0.5000 0.4035 0.0478 300-AH 0.0476 0.1905 0.1905 0.2619 0.3810 0.2105 0.0736 0.0714 0.3333 0.3497 0.1953 0.1744 0.0545 0.0952 0.3333 0.2101 0.0582 301-AH 0.0000 0.0000 0.0000 0.4375 0.6250 0.1625 0.2345 0.4375 0.6250 1.4434 0.0006 0.0000 0.2110 0.0000 0.6250 0.1625 0.2345 302-AH 0.0588 0.2941 0.3529 0.4118 0.4706 0.3553 0.0874 0.1176 0.4118 0.2459 0.3368 0.2966 0.0593 0.2353 0.4706 0.3676 0.0631 303-AH 0.1429 0.2857 0.3571 0.4286 0.5000 0.3486 0.0906 0.1429 0.3571 0.2600 0.3357 0.3206 0.0731 0.1429 0.5000 0.3486 0.0906 304-AH 0.2667 0.2667 0.3333 0.3333 0.4000 0.3147 0.0528 0.0667 0.1333 0.1677 0.3106 0.3067 0.0461 0.2667 0.4000 0.3147 0.0528 305-AH 0.2131 0.2910 0.3443 0.3730 0.4426 0.3377 0.0676 0.0820 0.2295 0.2002 0.3310 0.3242 0.0540 0.2131 0.4426 0.3377 0.0676 306-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9200 0.2769 0.0000 1.0000 0.3010 0.3981 0.0001 0.1472 1.0000 1.0000 1.0000 0.0000 307-AH 0.1169 0.3604 0.4156 0.4318 0.5065 0.3792 0.0978 0.0714 0.3896 0.2578 0.3616 0.3360 0.0715 0.3506 0.5065 0.4174 0.0403 308-AH 0.5455 0.7273 0.7273 0.7273 0.8182 0.7055 0.0603 0.0000 0.2727 0.0855 0.7027 0.6997 0.0422 0.7273 0.7273 0.7273 0.0000 309-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0040 0.0200 0.0000 0.1000 5.0000 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000 310-AH 0.0476 0.0952 0.1587 0.1905 0.3651 0.1467 0.0709 0.0952 0.3175 0.4833 0.1303 0.1135 0.0532 0.0476 0.2381 0.1376 0.0555 311-AH 0.1852 0.3333 0.4074 0.4444 0.4815 0.3852 0.0838 0.1111 0.2963 0.2177 0.3748 0.3625 0.0684 0.1852 0.4815 0.3852 0.0838 312-AH 0.1613 0.4758 0.5161 0.6129 0.6452 0.5058 0.1266 0.1371 0.4839 0.2502 0.4844 0.4533 0.0932 0.3226 0.6452 0.5330 0.0880 313-AH 0.0000 0.0000 0.0500 0.0625 0.3000 0.0640 0.0872 0.0625 0.3000 1.3629 0.0016 0.0000 0.0653 0.0000 0.1500 0.0310 0.0402 314-AH 0.0000 0.0000 0.0000 0.0556 0.1111 0.0311 0.0361 0.0556 0.1111 1.1619 0.0007 0.0000 0.0324 0.0000 0.1111 0.0311 0.0361 315-AH 0.2034 0.3093 0.4237 0.5254 0.6780 0.4210 0.1454 0.2161 0.4746 0.3455 0.3955 0.3692 0.1167 0.2034 0.6780 0.4210 0.1454 316-AH 0.0085 0.0826 0.1864 0.2987 0.3390 0.1898 0.1136 0.2161 0.3305 0.5985 0.1299 0.0508 0.0957 0.0085 0.3390 0.1898 0.1136 317-AH 0.2000 0.2667 0.3000 0.3000 0.3667 0.2947 0.0369 0.0333 0.1667 0.1251 0.2923 0.2899 0.0259 0.2333 0.3333 0.2924 0.0251 318-AH 0.0000 0.0000 0.1111 0.2500 0.4444 0.1511 0.1782 0.2500 0.4444 1.1795 0.0020 0.0000 0.1547 0.0000 0.4444 0.1511 0.1782 319-AH 0.1579 0.3158 0.4211 0.4737 0.5789 0.3958 0.1097 0.1579 0.4211 0.2771 0.3785 0.3583 0.0935 0.1579 0.5789 0.3958 0.1097 320-AH 0.0000 0.0000 0.0625 0.0625 0.1875 0.0550 0.0520 0.0625 0.1875 0.9462 0.0043 0.0000 0.0352 0.0000 0.1250 0.0435 0.0349 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0714 0.1429 0.1429 0.0600 0.0642 0.1429 0.1429 1.0692 0.0013 0.0000 0.0576 0.0000 0.1429 0.0600 0.0642 323-AH 0.1538 0.2308 0.2308 0.2788 0.3462 0.2462 0.0471 0.0481 0.1923 0.1914 0.2417 0.2371 0.0363 0.1923 0.3462 0.2542 0.0397 324-AH 0.1081 0.3108 0.4459 0.6486 0.7027 0.4562 0.1752 0.3378 0.5946 0.3840 0.4171 0.3693 0.1534 0.1081 0.7027 0.4562 0.1752 325-AH 0.4262 0.5041 0.5574 0.6230 0.7541 0.5639 0.0798 0.1189 0.3279 0.1414 0.5586 0.5533 0.0619 0.4262 0.7541 0.5639 0.0798 326-AH 0.2500 0.2500 0.5000 0.5000 0.5000 0.3900 0.1267 0.2500 0.2500 0.3248 0.3686 0.3472 0.1232 0.2500 0.5000 0.3900 0.1267 327-AH 0.0000 0.0000 0.2500 0.2500 0.5000 0.1700 0.1726 0.2500 0.5000 1.0153 0.0032 0.0000 0.1496 0.0000 0.5000 0.1700 0.1726 328-AH 0.4783 0.4783 0.5217 0.5652 0.7826 0.5339 0.0705 0.0870 0.3043 0.1320 0.5300 0.5265 0.0513 0.4783 0.6087 0.5236 0.0488 329-AH 0.4118 0.4706 0.5882 0.6029 0.7059 0.5553 0.0816 0.1324 0.2941 0.1469 0.5494 0.5433 0.0698 0.4118 0.7059 0.5553 0.0816 330-AH 0.2941 0.6667 0.7059 0.7255 0.7843 0.6800 0.0980 0.0588 0.4902 0.1441 0.6703 0.6556 0.0582 0.6667 0.7843 0.7094 0.0366 331-AH 0.0000 0.2353 0.2941 0.4265 0.6471 0.3082 0.1734 0.1912 0.6471 0.5626 0.1318 0.0001 0.1321 0.0000 0.6471 0.3082 0.1734 332-AH 0.1250 0.2500 0.3750 0.3750 0.5000 0.3300 0.1013 0.1250 0.3750 0.3070 0.3144 0.2976 0.0868 0.1250 0.5000 0.3300 0.1013 333-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9520 0.1661 0.0000 0.8000 0.1745 0.9211 0.8475 0.0845 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2320 0.1249 0.2000 0.4000 0.5384 0.0740 0.0001 0.0941 0.0000 0.4000 0.2320 0.1249 335-AH 0.0000 0.1333 0.2000 0.2667 0.3333 0.1973 0.0952 0.1333 0.3333 0.4825 0.0902 0.0001 0.0779 0.0000 0.3333 0.1973 0.0952 336-AH 0.0000 0.0000 0.0588 0.2500 0.2941 0.1365 0.1233 0.2500 0.2941 0.9035 0.0103 0.0000 0.1152 0.0000 0.2941 0.1365 0.1233 337-AH 0.5500 0.7000 0.8000 0.8000 0.8500 0.7480 0.0930 0.1000 0.3000 0.1243 0.7419 0.7353 0.0747 0.5500 0.8500 0.7480 0.0930 338-AH 0.0000 0.6000 0.6000 0.7000 0.9000 0.6040 0.1791 0.1000 0.9000 0.2965 0.3932 0.0002 0.1085 0.5000 0.8000 0.6364 0.0790 339-AH 0.3158 0.4737 0.5263 0.5921 0.6316 0.5305 0.0923 0.1184 0.3158 0.1740 0.5218 0.5120 0.0717 0.3158 0.6316 0.5305 0.0923 340-AH 0.2000 0.4000 0.4000 0.6000 0.6000 0.4800 0.1155 0.2000 0.4000 0.2406 0.4650 0.4478 0.1056 0.2000 0.6000 0.4800 0.1155 32 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.3333 0.6667 0.8333 0.8333 0.8333 0.7600 0.1186 0.1667 0.5000 0.1561 0.7480 0.7310 0.0939 0.6667 0.8333 0.7778 0.0803 342-AH 0.3646 0.5729 0.6875 0.7708 0.8021 0.6550 0.1248 0.1979 0.4375 0.1906 0.6421 0.6275 0.1055 0.3646 0.8021 0.6550 0.1248 343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 344-AH 0.2727 0.3939 0.4242 0.5455 0.6667 0.4594 0.1224 0.1515 0.3939 0.2664 0.4433 0.4270 0.1000 0.2727 0.6667 0.4594 0.1224 345-AH 0.0000 0.1111 0.2222 0.3333 0.4444 0.2178 0.1452 0.2222 0.4444 0.6665 0.0465 0.0001 0.1124 0.0000 0.4444 0.2178 0.1452 346-AH 0.0000 0.0000 0.0909 0.0909 0.1818 0.0800 0.0605 0.0909 0.1818 0.7566 0.0079 0.0000 0.0448 0.0000 0.1818 0.0800 0.0605 347-AH 0.0000 0.0000 0.0000 0.1111 0.2222 0.0578 0.0793 0.1111 0.2222 1.3734 0.0005 0.0000 0.0693 0.0000 0.2222 0.0578 0.0793 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9000 0.2887 0.0000 1.0000 0.3208 0.3872 0.0001 0.1760 1.0000 1.0000 1.0000 0.0000 349-AH 0.2593 0.3241 0.3704 0.4167 0.5926 0.3926 0.1132 0.0926 0.3333 0.2882 0.3785 0.3660 0.0889 0.2593 0.4444 0.3426 0.0549 350-AH 0.3000 0.5000 0.7000 0.7000 0.7000 0.6160 0.1143 0.2000 0.4000 0.1856 0.6036 0.5882 0.0941 0.3000 0.7000 0.6160 0.1143 33 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000 142-AH 0.3906 0.8750 0.9688 0.9688 1.0000 0.9200 0.1194 0.0938 0.6094 0.1297 0.9084 0.8897 0.0665 0.8594 1.0000 0.9421 0.0466 143-AH 0.5707 0.6800 0.7502 0.9216 0.9559 0.7719 0.1371 0.2416 0.3853 0.1776 0.7600 0.7480 0.1204 0.5707 0.9559 0.7719 0.1371 144-AH 0.0000 0.4167 0.5556 0.6667 0.7778 0.5289 0.2036 0.2500 0.7778 0.3849 0.3346 0.0002 0.1607 0.2222 0.7778 0.5509 0.1749 145-AH 0.4072 0.5904 0.6454 0.6607 0.7583 0.6219 0.0839 0.0703 0.3511 0.1349 0.6158 0.6092 0.0640 0.5042 0.7583 0.6377 0.0656 146-AH 0.0000 0.4375 0.5000 0.5000 0.5000 0.4200 0.1568 0.0625 0.5000 0.3733 0.1883 0.0001 0.1216 0.5000 0.5000 0.5000 0.0000 147-AH 0.3153 0.7092 0.7586 0.7882 0.8570 0.7335 0.1156 0.0789 0.5417 0.1576 0.7212 0.7033 0.0728 0.6709 0.8570 0.7625 0.0541 148-AH 0.0000 0.1111 0.1667 0.1667 0.1667 0.1278 0.0513 0.0556 0.1667 0.4018 0.0624 0.0001 0.0413 0.0556 0.1667 0.1389 0.0355 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0400 0.1625 0.2000 0.0660 0.0796 0.1625 0.2000 1.2066 0.0012 0.0000 0.0701 0.0000 0.2000 0.0660 0.0796 151-AH 0.0000 0.1736 0.2778 0.3142 0.4097 0.2375 0.1359 0.1406 0.4097 0.5722 0.0368 0.0000 0.1109 0.0000 0.4097 0.2375 0.1359 152-AH 0.1736 0.3595 0.5207 0.6364 0.7273 0.5078 0.1616 0.2769 0.5537 0.3182 0.4779 0.4424 0.1337 0.1736 0.7273 0.5078 0.1616 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0499 0.2602 0.3265 0.3639 0.4195 0.3001 0.0902 0.1037 0.3696 0.3004 0.2785 0.2392 0.0692 0.1315 0.4195 0.3106 0.0751 155-AH 0.0000 0.0000 0.0000 0.1111 0.2222 0.0489 0.0791 0.1111 0.2222 1.6177 0.0002 0.0000 0.0665 0.0000 0.2222 0.0489 0.0791 156-AH 0.0413 0.0971 0.1736 0.2738 0.3574 0.1788 0.0914 0.1767 0.3161 0.5115 0.1560 0.1341 0.0771 0.0413 0.3574 0.1788 0.0914 157-AH 0.3645 0.5774 0.5944 0.6539 0.8035 0.6171 0.0910 0.0765 0.4390 0.1475 0.6102 0.6028 0.0639 0.5154 0.7221 0.6054 0.0495 158-AH 0.0277 0.3049 0.4126 0.4991 0.6514 0.3855 0.1757 0.1942 0.6237 0.4557 0.3019 0.1541 0.1318 0.0277 0.6514 0.3855 0.1757 159-AH 0.0573 0.1641 0.2075 0.3241 0.8975 0.2736 0.1721 0.1600 0.8402 0.6291 0.2348 0.2016 0.1201 0.0573 0.4880 0.2476 0.1153 160-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0100 0.0500 0.0000 0.2500 5.0000 0.0000 0.0000 0.0192 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3600 0.4899 1.0000 1.0000 1.3608 0.0006 0.0000 0.4608 0.0000 1.0000 0.3600 0.4899 163-AH 0.8489 0.9157 0.9240 0.9290 0.9336 0.9176 0.0191 0.0133 0.0847 0.0208 0.9174 0.9172 0.0129 0.9002 0.9336 0.9234 0.0087 164-AH 0.0000 0.0316 0.0604 0.0724 0.5597 0.0856 0.1098 0.0408 0.5597 1.2825 0.0446 0.0002 0.0594 0.0000 0.1193 0.0539 0.0269 165-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1100 0.2000 0.2200 0.3600 0.1616 0.1029 0.1100 0.3600 0.6370 0.0363 0.0001 0.0847 0.0000 0.3600 0.1616 0.1029 168-AH 0.0370 0.2901 0.4074 0.4606 0.7099 0.3948 0.1396 0.1705 0.6728 0.3536 0.3579 0.2760 0.1025 0.0370 0.7099 0.3948 0.1396 169-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0244 0.0528 0.0000 0.1667 2.1591 0.0001 0.0000 0.0391 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0443 0.0582 0.0789 0.1191 0.0603 0.0266 0.0346 0.1191 0.4410 0.0410 0.0002 0.0208 0.0000 0.1191 0.0603 0.0266 172-AH 0.0000 0.0000 0.0408 0.1020 0.2449 0.0596 0.0609 0.1020 0.2449 1.0222 0.0042 0.0000 0.0489 0.0000 0.2449 0.0596 0.0609 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.3878 0.6122 0.6939 0.7143 0.8163 0.6776 0.0821 0.1020 0.4286 0.1211 0.6718 0.6648 0.0571 0.6122 0.8163 0.6896 0.0568 176-AH 0.7337 0.8779 0.9145 0.9247 0.9402 0.8857 0.0654 0.0468 0.2064 0.0739 0.8832 0.8805 0.0491 0.8442 0.9402 0.9120 0.0231 177-AH 0.0710 0.1938 0.3491 0.4334 0.5858 0.3458 0.1616 0.2396 0.5148 0.4674 0.2999 0.2442 0.1287 0.0710 0.5858 0.3458 0.1616 178-AH 0.0000 0.0000 0.1250 0.2500 0.5625 0.1425 0.1438 0.2500 0.5625 1.0091 0.0056 0.0000 0.1146 0.0000 0.5625 0.1425 0.1438 179-AH 0.2149 0.3946 0.5971 0.7438 0.8657 0.5711 0.2116 0.3492 0.6508 0.3705 0.5264 0.4768 0.1839 0.2149 0.8657 0.5711 0.2116 180-AH 0.0000 0.0592 0.6444 0.7381 0.8294 0.4537 0.3482 0.6789 0.8294 0.7674 0.0648 0.0001 0.3278 0.0000 0.8294 0.4537 0.3482 181-AH 0.6990 0.8734 0.8843 0.8954 0.9147 0.8752 0.0426 0.0221 0.2157 0.0486 0.8741 0.8728 0.0249 0.8405 0.9147 0.8851 0.0185 182-AH 0.0000 0.0000 0.1250 0.5000 0.5625 0.2075 0.2309 0.5000 0.5625 1.1126 0.0047 0.0000 0.1990 0.0000 0.5625 0.2075 0.2309 183-AH 0.0000 0.0000 0.0000 0.2031 0.3750 0.0950 0.1411 0.2031 0.3750 1.4848 0.0004 0.0000 0.1216 0.0000 0.3750 0.0950 0.1411 184-AH 0.3457 0.5031 0.5309 0.5679 0.6420 0.5264 0.0641 0.0648 0.2963 0.1218 0.5223 0.5176 0.0462 0.4074 0.6420 0.5340 0.0530 185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3600 0.4899 1.0000 1.0000 1.3608 0.0006 0.0000 0.4608 0.0000 1.0000 0.3600 0.4899 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2000 0.4082 0.0000 1.0000 2.0412 0.0001 0.0000 0.3200 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.7755 0.8112 0.9388 0.9847 1.0000 0.9045 0.0875 0.1735 0.2245 0.0968 0.9003 0.8960 0.0771 0.7755 1.0000 0.9045 0.0875 190-AH 0.2963 0.6265 0.6667 0.7068 0.8025 0.6558 0.1000 0.0802 0.5062 0.1525 0.6460 0.6324 0.0664 0.5185 0.8025 0.6708 0.0677 34 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1111 0.3333 0.4444 0.8333 0.9722 0.5211 0.2665 0.5000 0.8611 0.5113 0.4546 0.3870 0.2176 0.1111 0.9722 0.5211 0.2665 193-AH 0.1429 0.2857 0.3878 0.5000 0.7143 0.3992 0.1324 0.2143 0.5714 0.3317 0.3778 0.3553 0.1059 0.1429 0.7143 0.3992 0.1324 194-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4000 0.5000 1.0000 1.0000 1.2500 0.0010 0.0000 0.4800 0.0000 1.0000 0.4000 0.5000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4800 0.5099 1.0000 1.0000 1.0623 0.0025 0.0000 0.4992 0.0000 1.0000 0.4800 0.5099 197-AH 0.3852 0.6571 0.8036 0.8804 0.9588 0.7583 0.1690 0.2233 0.5736 0.2229 0.7365 0.7107 0.1335 0.3852 0.9588 0.7583 0.1690 198-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6800 0.4761 1.0000 1.0000 0.7001 0.0251 0.0000 0.4352 0.0000 1.0000 0.6800 0.4761 199-AH 0.2700 0.3775 0.5100 0.6250 0.7000 0.4976 0.1397 0.2475 0.4300 0.2808 0.4771 0.4553 0.1111 0.2700 0.7000 0.4976 0.1397 200-AH 0.0000 0.2778 0.5062 0.6296 0.7037 0.4365 0.2298 0.3519 0.7037 0.5265 0.2368 0.0002 0.1995 0.0000 0.7037 0.4365 0.2298 251-AH 0.2542 0.4779 0.5342 0.5483 0.5749 0.5067 0.0706 0.0704 0.3207 0.1394 0.5005 0.4922 0.0489 0.4651 0.5749 0.5238 0.0366 252-AH 0.2497 0.3436 0.3936 0.4486 0.5303 0.3919 0.0797 0.1049 0.2806 0.2033 0.3838 0.3753 0.0659 0.2497 0.5303 0.3919 0.0797 253-AH 0.3348 0.5950 0.6359 0.6690 0.6960 0.6215 0.0741 0.0740 0.3612 0.1192 0.6161 0.6088 0.0491 0.5446 0.6960 0.6335 0.0448 254-AH 0.2923 0.5048 0.5476 0.5728 0.6053 0.5275 0.0769 0.0680 0.3130 0.1458 0.5207 0.5122 0.0521 0.4307 0.6053 0.5463 0.0424 255-AH 0.0625 0.2500 0.2500 0.3281 0.5000 0.2900 0.0970 0.0781 0.4375 0.3343 0.2720 0.2462 0.0744 0.1875 0.4375 0.2908 0.0768 256-AH 0.2889 0.8028 0.8201 0.8410 0.8711 0.7567 0.1571 0.0383 0.5822 0.2076 0.7349 0.7043 0.1184 0.8028 0.8711 0.8307 0.0193 257-AH 0.1474 0.2298 0.2663 0.2900 0.3792 0.2660 0.0493 0.0602 0.2318 0.1852 0.2614 0.2563 0.0365 0.1474 0.3792 0.2660 0.0493 258-AH 0.0000 0.0000 0.0000 0.0000 0.3750 0.0400 0.0918 0.0000 0.3750 2.2946 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.4444 0.6667 0.6667 0.6667 0.5511 0.2041 0.2222 0.6667 0.3703 0.2424 0.0001 0.1575 0.3333 0.6667 0.5990 0.1242 260-AH 0.3789 0.5671 0.6311 0.6672 0.7284 0.6169 0.0751 0.1002 0.3495 0.1217 0.6119 0.6061 0.0575 0.5021 0.7284 0.6268 0.0576 261-AH 0.0510 0.1546 0.2007 0.4291 0.4542 0.2495 0.1379 0.2744 0.4031 0.5526 0.2118 0.1739 0.1202 0.0510 0.4542 0.2495 0.1379 262-AH 0.1864 0.3201 0.4055 0.4619 0.5686 0.3948 0.0883 0.1418 0.3821 0.2238 0.3841 0.3718 0.0728 0.1864 0.5686 0.3948 0.0883 263-AH 0.1419 0.2049 0.2227 0.2722 0.3277 0.2359 0.0467 0.0674 0.1858 0.1978 0.2315 0.2271 0.0378 0.1419 0.3277 0.2359 0.0467 264-AH 0.1901 0.3642 0.4938 0.5393 0.6632 0.4524 0.1249 0.1751 0.4731 0.2760 0.4333 0.4115 0.1064 0.1901 0.6632 0.4524 0.1249 265-AH 0.0556 0.1736 0.3333 0.5278 0.6389 0.3433 0.1931 0.3542 0.5833 0.5624 0.2775 0.2076 0.1645 0.0556 0.6389 0.3433 0.1931 266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 267-AH 0.1837 0.2166 0.2698 0.3180 0.4308 0.2725 0.0655 0.1015 0.2472 0.2403 0.2652 0.2584 0.0505 0.1837 0.4308 0.2725 0.0655 268-AH 0.0000 0.6667 0.6667 0.6667 0.6667 0.6222 0.1398 0.0000 0.6667 0.2247 0.4145 0.0002 0.0747 0.6667 0.6667 0.6667 0.0000 269-AH 0.0494 0.1235 0.1852 0.2963 0.3580 0.2044 0.0920 0.1728 0.3086 0.4502 0.1821 0.1583 0.0813 0.0494 0.3580 0.2044 0.0920 270-AH 0.2416 0.6534 0.6750 0.7121 0.7578 0.6631 0.0983 0.0588 0.5162 0.1483 0.6517 0.6321 0.0525 0.6202 0.7578 0.6860 0.0377 271-AH 0.1024 0.4158 0.5000 0.5313 0.5625 0.4351 0.1552 0.1155 0.4601 0.3566 0.3857 0.3078 0.1148 0.3663 0.5625 0.4982 0.0524 272-AH 0.0000 0.1033 0.1429 0.1531 0.2296 0.1282 0.0541 0.0497 0.2296 0.4224 0.0623 0.0001 0.0401 0.0561 0.1939 0.1352 0.0353 273-AH 0.5660 0.6949 0.7236 0.7638 0.8469 0.7255 0.0667 0.0689 0.2809 0.0920 0.7225 0.7193 0.0511 0.6314 0.8469 0.7321 0.0591 274-AH 0.0000 0.2197 0.2461 0.2988 0.4336 0.2586 0.1009 0.0791 0.4336 0.3900 0.1691 0.0002 0.0700 0.1641 0.3633 0.2549 0.0503 275-AH 0.1791 0.2979 0.3955 0.4717 0.5941 0.3849 0.1127 0.1738 0.4151 0.2928 0.3670 0.3470 0.0905 0.1791 0.5941 0.3849 0.1127 276-AH 0.3456 0.4828 0.5234 0.5662 0.6561 0.5221 0.0843 0.0834 0.3105 0.1615 0.5151 0.5077 0.0631 0.3737 0.6561 0.5294 0.0775 277-AH 0.1006 0.1816 0.1982 0.2160 0.3151 0.1990 0.0516 0.0344 0.2145 0.2591 0.1924 0.1853 0.0344 0.1760 0.2589 0.2041 0.0224 278-AH 0.1542 0.2041 0.2426 0.2710 0.3356 0.2416 0.0491 0.0669 0.1814 0.2034 0.2368 0.2320 0.0386 0.1542 0.3356 0.2416 0.0491 279-AH 0.0000 0.1250 0.3750 0.5000 0.6250 0.3200 0.1886 0.3750 0.6250 0.5895 0.1854 0.0002 0.1622 0.0000 0.6250 0.3200 0.1886 280-AH 0.0000 0.0480 0.0608 0.0756 0.1808 0.0631 0.0382 0.0276 0.1808 0.6054 0.0232 0.0001 0.0255 0.0336 0.1120 0.0665 0.0212 281-AH 0.0709 0.3464 0.4422 0.4810 0.5737 0.4138 0.1135 0.1346 0.5028 0.2744 0.3896 0.3427 0.0862 0.2449 0.5737 0.4281 0.0901 282-AH 0.0000 0.1371 0.1540 0.1959 0.3236 0.1566 0.0635 0.0588 0.3236 0.4057 0.0760 0.0001 0.0418 0.0916 0.1988 0.1632 0.0300 283-AH 0.1046 0.2543 0.3006 0.4747 0.7271 0.3651 0.1607 0.2204 0.6226 0.4402 0.3329 0.3016 0.1320 0.1046 0.7271 0.3651 0.1607 284-AH 0.2652 0.4243 0.4501 0.5182 0.6115 0.4561 0.0755 0.0938 0.3463 0.1654 0.4498 0.4429 0.0547 0.3594 0.6115 0.4641 0.0655 285-AH 0.4400 0.6514 0.7643 0.8269 0.8597 0.7143 0.1372 0.1755 0.4197 0.1920 0.6993 0.6818 0.1081 0.4400 0.8597 0.7143 0.1372 286-AH 0.0000 0.0347 0.0694 0.0833 0.1528 0.0594 0.0354 0.0486 0.1528 0.5958 0.0212 0.0001 0.0281 0.0000 0.1528 0.0594 0.0354 287-AH 0.2303 0.3386 0.4207 0.4339 0.4902 0.3915 0.0641 0.0953 0.2599 0.1637 0.3859 0.3796 0.0530 0.2303 0.4902 0.3915 0.0641 288-AH 0.0658 0.2358 0.2600 0.3086 0.4628 0.2652 0.0735 0.0728 0.3970 0.2773 0.2527 0.2335 0.0518 0.1650 0.3611 0.2653 0.0482 289-AH 0.0000 0.6319 0.6975 0.7840 0.8920 0.6737 0.1822 0.1520 0.8920 0.2705 0.4423 0.0002 0.1192 0.4136 0.8920 0.7018 0.1187 290-AH 0.0421 0.1104 0.2461 0.3328 0.4036 0.2266 0.1167 0.2224 0.3615 0.5151 0.1906 0.1512 0.0984 0.0421 0.4036 0.2266 0.1167 35 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.2489 0.5094 0.5589 0.6542 0.7722 0.5702 0.1291 0.1447 0.5233 0.2264 0.5527 0.5299 0.0930 0.4867 0.7722 0.5977 0.0911 292-AH 0.0000 0.5000 0.5000 0.7500 0.8750 0.5425 0.1991 0.2500 0.8750 0.3669 0.3489 0.0002 0.1412 0.1875 0.8750 0.5651 0.1674 293-AH 0.1600 0.5000 0.5908 0.6222 0.6479 0.5511 0.1024 0.1222 0.4879 0.1859 0.5361 0.5090 0.0718 0.4369 0.6479 0.5674 0.0634 294-AH 0.3772 0.5974 0.6447 0.6893 0.7051 0.6244 0.0882 0.0919 0.3278 0.1412 0.6173 0.6090 0.0643 0.5226 0.7051 0.6515 0.0480 295-AH 0.1949 0.2860 0.3522 0.3750 0.4160 0.3293 0.0613 0.0889 0.2211 0.1860 0.3230 0.3160 0.0506 0.1949 0.4160 0.3293 0.0613 296-AH 0.0208 0.4058 0.4635 0.5299 0.6510 0.4513 0.1338 0.1241 0.6302 0.2964 0.4048 0.2456 0.0947 0.2587 0.6510 0.4693 0.1014 297-AH 0.1458 0.3681 0.4028 0.4167 0.6458 0.3931 0.0931 0.0486 0.5000 0.2370 0.3812 0.3662 0.0561 0.3194 0.4306 0.3934 0.0308 298-AH 0.0000 0.1647 0.2000 0.2125 0.3300 0.1914 0.0709 0.0478 0.3300 0.3702 0.1281 0.0002 0.0488 0.1122 0.2600 0.1887 0.0363 299-AH 0.2637 0.3454 0.3693 0.4349 0.5402 0.3943 0.0736 0.0896 0.2765 0.1866 0.3879 0.3815 0.0603 0.2637 0.5402 0.3943 0.0736 300-AH 0.0198 0.1117 0.1406 0.1961 0.3260 0.1594 0.0759 0.0845 0.3061 0.4760 0.1381 0.1073 0.0595 0.0198 0.3073 0.1525 0.0689 301-AH 0.0000 0.0000 0.0000 0.3672 0.5430 0.1433 0.2090 0.3672 0.5430 1.4586 0.0008 0.0000 0.1877 0.0000 0.5430 0.1433 0.2090 302-AH 0.0830 0.2768 0.3045 0.3391 0.4533 0.3114 0.0734 0.0623 0.3702 0.2358 0.2999 0.2812 0.0501 0.2457 0.4325 0.3152 0.0508 303-AH 0.0612 0.2079 0.3010 0.3227 0.4337 0.2845 0.0947 0.1148 0.3724 0.3328 0.2653 0.2379 0.0745 0.0612 0.4337 0.2845 0.0947 304-AH 0.2400 0.2611 0.2933 0.3033 0.3956 0.2962 0.0433 0.0422 0.1556 0.1463 0.2933 0.2907 0.0322 0.2400 0.3644 0.2846 0.0311 305-AH 0.2249 0.2585 0.2752 0.3164 0.5536 0.2983 0.0738 0.0580 0.3287 0.2475 0.2912 0.2854 0.0520 0.2249 0.3564 0.2765 0.0378 306-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9200 0.2769 0.0000 1.0000 0.3010 0.3981 0.0001 0.1472 1.0000 1.0000 1.0000 0.0000 307-AH 0.2299 0.3330 0.3682 0.3805 0.5355 0.3690 0.0621 0.0475 0.3056 0.1683 0.3642 0.3595 0.0377 0.3073 0.4215 0.3604 0.0293 308-AH 0.5289 0.7087 0.7438 0.7707 0.8099 0.7260 0.0664 0.0620 0.2810 0.0915 0.7227 0.7190 0.0452 0.6529 0.8099 0.7420 0.0378 309-AH 0.0000 0.0000 0.0000 0.0000 0.0600 0.0024 0.0120 0.0000 0.0600 5.0000 0.0000 0.0000 0.0046 0.0000 0.0000 0.0000 0.0000 310-AH 0.0325 0.0641 0.1086 0.1285 0.3822 0.1098 0.0688 0.0644 0.3497 0.6268 0.0951 0.0828 0.0404 0.0325 0.1985 0.0984 0.0397 311-AH 0.2020 0.2837 0.3567 0.3879 0.4376 0.3312 0.0704 0.1042 0.2356 0.2126 0.3234 0.3152 0.0617 0.2020 0.4376 0.3312 0.0704 312-AH 0.1155 0.4121 0.5203 0.6087 0.7170 0.4918 0.1544 0.1967 0.6015 0.3139 0.4587 0.4099 0.1210 0.1998 0.7170 0.5075 0.1358 313-AH 0.0000 0.0000 0.0200 0.0406 0.2100 0.0410 0.0613 0.0406 0.2100 1.4940 0.0011 0.0000 0.0457 0.0000 0.0925 0.0170 0.0245 314-AH 0.0000 0.0000 0.0000 0.0193 0.0494 0.0100 0.0133 0.0193 0.0494 1.3313 0.0004 0.0000 0.0113 0.0000 0.0309 0.0084 0.0107 315-AH 0.1913 0.2631 0.3769 0.5192 0.7096 0.3990 0.1556 0.2561 0.5182 0.3899 0.3698 0.3419 0.1285 0.1913 0.7096 0.3990 0.1556 316-AH 0.0162 0.1065 0.2098 0.2778 0.3559 0.1961 0.0973 0.1713 0.3396 0.4962 0.1570 0.0958 0.0797 0.0162 0.3559 0.1961 0.0973 317-AH 0.1667 0.1978 0.2289 0.2564 0.3289 0.2336 0.0428 0.0586 0.1622 0.1832 0.2299 0.2263 0.0334 0.1667 0.3289 0.2336 0.0428 318-AH 0.0000 0.0000 0.0370 0.1821 0.4568 0.1086 0.1502 0.1821 0.4568 1.3828 0.0015 0.0000 0.1231 0.0000 0.3827 0.0941 0.1344 319-AH 0.1108 0.3144 0.3712 0.4335 0.5014 0.3559 0.0927 0.1191 0.3906 0.2604 0.3404 0.3188 0.0700 0.1967 0.5014 0.3661 0.0790 320-AH 0.0000 0.0029 0.0195 0.0508 0.0859 0.0281 0.0283 0.0479 0.0859 1.0047 0.0041 0.0000 0.0238 0.0000 0.0859 0.0281 0.0283 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0051 0.0791 0.2041 0.0406 0.0559 0.0791 0.2041 1.3769 0.0009 0.0000 0.0467 0.0000 0.1224 0.0338 0.0453 323-AH 0.1376 0.2189 0.2278 0.2563 0.2988 0.2283 0.0370 0.0374 0.1612 0.1621 0.2251 0.2213 0.0244 0.2145 0.2988 0.2392 0.0230 324-AH 0.1161 0.2696 0.4684 0.6658 0.7750 0.4736 0.2012 0.3962 0.6589 0.4248 0.4249 0.3702 0.1723 0.1161 0.7750 0.4736 0.2012 325-AH 0.4321 0.5109 0.5625 0.6127 0.7745 0.5772 0.0837 0.1019 0.3424 0.1451 0.5715 0.5660 0.0659 0.4321 0.7404 0.5690 0.0745 326-AH 0.0625 0.2344 0.3750 0.5000 0.5000 0.3450 0.1478 0.2656 0.4375 0.4284 0.3048 0.2539 0.1336 0.0625 0.5000 0.3450 0.1478 327-AH 0.0000 0.0000 0.1250 0.2656 0.3750 0.1475 0.1442 0.2656 0.3750 0.9776 0.0041 0.0000 0.1284 0.0000 0.3750 0.1475 0.1442 328-AH 0.3894 0.4112 0.4594 0.5808 0.8223 0.4969 0.1052 0.1697 0.4329 0.2118 0.4874 0.4792 0.0843 0.3894 0.8223 0.4969 0.1052 329-AH 0.3495 0.5398 0.5813 0.6289 0.6886 0.5705 0.0828 0.0891 0.3391 0.1452 0.5638 0.5558 0.0605 0.4810 0.6886 0.5893 0.0537 330-AH 0.5648 0.7590 0.7935 0.8335 0.8401 0.7825 0.0642 0.0745 0.2753 0.0821 0.7797 0.7765 0.0473 0.7009 0.8401 0.7916 0.0464 331-AH 0.0000 0.1315 0.1592 0.4204 0.6505 0.2418 0.1868 0.2889 0.6505 0.7727 0.0969 0.0001 0.1553 0.0000 0.6505 0.2418 0.1868 332-AH 0.1250 0.2188 0.2812 0.3281 0.4375 0.2806 0.0832 0.1094 0.3125 0.2966 0.2685 0.2560 0.0694 0.1250 0.4375 0.2806 0.0832 333-AH 0.0400 1.0000 1.0000 1.0000 1.0000 0.9536 0.1924 0.0000 0.9600 0.2018 0.8718 0.5079 0.0817 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.1200 0.1600 0.2200 0.4000 0.1872 0.1220 0.1000 0.4000 0.6520 0.0574 0.0001 0.0913 0.0000 0.3600 0.1582 0.0984 335-AH 0.0000 0.0878 0.1244 0.2167 0.2756 0.1435 0.0744 0.1289 0.2756 0.5187 0.0870 0.0002 0.0603 0.0000 0.2756 0.1435 0.0744 336-AH 0.0000 0.0355 0.0623 0.2154 0.2491 0.1152 0.0973 0.1799 0.2491 0.8450 0.0213 0.0001 0.0894 0.0000 0.2491 0.1152 0.0973 337-AH 0.6000 0.7081 0.8550 0.8762 0.9050 0.7910 0.1013 0.1681 0.3050 0.1281 0.7844 0.7774 0.0906 0.6000 0.9050 0.7910 0.1013 338-AH 0.0000 0.5375 0.6200 0.7725 0.9300 0.6248 0.1999 0.2350 0.9300 0.3199 0.4039 0.0002 0.1410 0.2100 0.9300 0.6508 0.1549 339-AH 0.2105 0.4578 0.5097 0.6170 0.6898 0.5233 0.1165 0.1593 0.4792 0.2226 0.5084 0.4896 0.0940 0.3823 0.6898 0.5364 0.0986 340-AH 0.0800 0.2300 0.2400 0.4400 0.6000 0.3104 0.1277 0.2100 0.5200 0.4114 0.2835 0.2539 0.1108 0.0800 0.6000 0.3104 0.1277 36 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1389 0.6667 0.8333 0.8333 0.9722 0.7767 0.1708 0.1667 0.8333 0.2199 0.7423 0.6643 0.1214 0.6667 0.9722 0.8032 0.1096 342-AH 0.4064 0.6325 0.7784 0.8447 0.8582 0.7344 0.1237 0.2122 0.4518 0.1685 0.7230 0.7098 0.1039 0.4064 0.8582 0.7344 0.1237 343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 344-AH 0.1901 0.3545 0.4151 0.5200 0.6648 0.4426 0.1382 0.1655 0.4747 0.3122 0.4203 0.3964 0.1077 0.1901 0.6648 0.4426 0.1382 345-AH 0.0000 0.1080 0.1728 0.2500 0.4074 0.1728 0.1092 0.1420 0.4074 0.6319 0.0389 0.0001 0.0810 0.0000 0.4074 0.1728 0.1092 346-AH 0.0000 0.0000 0.0413 0.0661 0.1074 0.0400 0.0328 0.0661 0.1074 0.8193 0.0046 0.0000 0.0273 0.0000 0.1074 0.0400 0.0328 347-AH 0.0000 0.0000 0.0000 0.0741 0.1852 0.0390 0.0553 0.0741 0.1852 1.4172 0.0004 0.0000 0.0468 0.0000 0.1852 0.0390 0.0553 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9000 0.2887 0.0000 1.0000 0.3208 0.3872 0.0001 0.1760 1.0000 1.0000 1.0000 0.0000 349-AH 0.1838 0.2469 0.2990 0.3724 0.7160 0.3579 0.1627 0.1255 0.5322 0.4547 0.3293 0.3073 0.1243 0.1838 0.4198 0.2833 0.0589 350-AH 0.2900 0.5550 0.6500 0.6600 0.6800 0.5940 0.1016 0.1050 0.3900 0.1711 0.5834 0.5697 0.0765 0.4700 0.6800 0.6170 0.0650 37 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 144-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.8933 0.2198 0.0000 0.6667 0.2461 0.8565 0.8065 0.1707 1.0000 1.0000 1.0000 0.0000 145-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 146-AH 0.0833 0.8750 1.0000 1.0000 1.0000 0.8567 0.2717 0.1250 0.9167 0.3171 0.7755 0.5952 0.2179 1.0000 1.0000 1.0000 0.0000 147-AH 0.8462 1.0000 1.0000 1.0000 1.0000 0.9938 0.0308 0.0000 0.1538 0.0310 0.9933 0.9928 0.0118 1.0000 1.0000 1.0000 0.0000 148-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.6597 0.3678 0.6667 0.8750 0.5575 0.5371 0.4167 0.3539 0.1250 1.0000 0.6597 0.3678 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0045 0.0792 0.2000 0.3665 1.0000 0.2380 0.2156 0.2872 0.9955 0.9061 0.1363 0.0429 0.1561 0.0045 0.5000 0.2062 0.1491 151-AH 0.0723 0.3833 0.6000 1.0000 1.0000 0.6422 0.3634 0.6167 0.9277 0.5658 0.4809 0.2892 0.3168 0.0723 1.0000 0.6422 0.3634 152-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9567 0.1543 0.0000 0.7500 0.1612 0.9324 0.8803 0.0763 1.0000 1.0000 1.0000 0.0000 155-AH 0.0129 0.1607 0.2500 0.3333 0.5000 0.2564 0.1338 0.1726 0.4871 0.5219 0.2112 0.1298 0.1084 0.0129 0.5000 0.2564 0.1338 156-AH 0.1552 0.2500 0.3333 0.8125 1.0000 0.5110 0.3133 0.5625 0.8448 0.6132 0.4276 0.3630 0.2663 0.1552 1.0000 0.5110 0.3133 157-AH 0.1481 1.0000 1.0000 1.0000 1.0000 0.9333 0.1876 0.0000 0.8519 0.2010 0.8915 0.7839 0.1121 1.0000 1.0000 1.0000 0.0000 158-AH 0.0026 1.0000 1.0000 1.0000 1.0000 0.8554 0.3336 0.0000 0.9974 0.3900 0.4767 0.0219 0.2313 1.0000 1.0000 1.0000 0.0000 159-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 160-AH 0.0370 0.0526 0.0769 0.1864 0.5000 0.1327 0.1096 0.1337 0.4630 0.8253 0.1016 0.0817 0.0842 0.0370 0.3333 0.1174 0.0801 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 164-AH 0.0833 0.1618 0.1875 0.3333 1.0000 0.2884 0.2503 0.1716 0.9167 0.8677 0.2258 0.1896 0.1718 0.0833 0.5000 0.2065 0.0975 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0013 0.3125 0.5000 1.0000 1.0000 0.5927 0.3897 0.6875 0.9987 0.6576 0.3550 0.0295 0.3585 0.0013 1.0000 0.5927 0.3897 168-AH 0.0275 0.4615 0.5714 1.0000 1.0000 0.6588 0.2681 0.5385 0.9725 0.4069 0.5704 0.3310 0.2203 0.0275 1.0000 0.6588 0.2681 169-AH 0.0024 0.0181 0.0500 0.1063 1.0000 0.1493 0.2694 0.0881 0.9976 1.8043 0.0518 0.0199 0.1669 0.0024 0.1250 0.0450 0.0350 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0055 0.2000 0.3333 1.0000 1.0000 0.5648 0.4055 0.8000 0.9945 0.7179 0.3516 0.0870 0.3830 0.0055 1.0000 0.5648 0.4055 172-AH 0.0276 0.1101 0.2000 0.3333 1.0000 0.2569 0.2119 0.2232 0.9724 0.8249 0.1940 0.1425 0.1518 0.0276 0.5000 0.2259 0.1479 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.2727 0.5000 0.7500 1.0000 1.0000 0.7649 0.2600 0.5000 0.7273 0.3399 0.7133 0.6542 0.2257 0.2727 1.0000 0.7649 0.2600 178-AH 0.0333 0.0848 0.3333 0.5000 1.0000 0.3593 0.3001 0.4152 0.9667 0.8351 0.2255 0.1220 0.2325 0.0333 1.0000 0.3593 0.3001 179-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9867 0.0667 0.0000 0.3333 0.0676 0.9839 0.9804 0.0256 1.0000 1.0000 1.0000 0.0000 180-AH 0.0283 0.1581 1.0000 1.0000 1.0000 0.6700 0.4378 0.8419 0.9717 0.6534 0.4038 0.1625 0.4090 0.0283 1.0000 0.6700 0.4378 181-AH 0.6415 1.0000 1.0000 1.0000 1.0000 0.9857 0.0717 0.0000 0.3585 0.0727 0.9824 0.9781 0.0275 1.0000 1.0000 1.0000 0.0000 182-AH 0.0300 0.1188 0.3333 0.7500 1.0000 0.4498 0.3654 0.6312 0.9700 0.8124 0.2841 0.1576 0.3242 0.0300 1.0000 0.4498 0.3654 183-AH 0.0235 0.0593 0.2500 0.6250 1.0000 0.3922 0.3703 0.5657 0.9765 0.9440 0.2268 0.1179 0.3039 0.0235 1.0000 0.3922 0.3703 184-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9800 0.0692 0.0000 0.2500 0.0706 0.9772 0.9740 0.0368 1.0000 1.0000 1.0000 0.0000 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 190-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 38 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9133 0.1932 0.0000 0.6667 0.2115 0.8843 0.8418 0.1387 1.0000 1.0000 1.0000 0.0000 193-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.4286 1.0000 1.0000 1.0000 1.0000 0.9771 0.1143 0.0000 0.5714 0.1170 0.9667 0.9494 0.0439 1.0000 1.0000 1.0000 0.0000 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4545 0.5675 1.0000 1.0000 1.0000 0.8394 0.2211 0.4325 0.5455 0.2634 0.8056 0.7669 0.1928 0.4545 1.0000 0.8394 0.2211 200-AH 0.0039 0.5750 0.8333 1.0000 1.0000 0.7554 0.3181 0.4250 0.9961 0.4211 0.5698 0.0838 0.2509 0.0039 1.0000 0.7554 0.3181 251-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 252-AH 0.4211 0.9643 1.0000 1.0000 1.0000 0.9351 0.1434 0.0357 0.5789 0.1534 0.9203 0.8990 0.0986 1.0000 1.0000 1.0000 0.0000 253-AH 0.6512 0.9773 1.0000 1.0000 1.0000 0.9547 0.0957 0.0227 0.3488 0.1002 0.9493 0.9429 0.0689 1.0000 1.0000 1.0000 0.0000 254-AH 0.4167 0.5750 0.8000 1.0000 1.0000 0.7822 0.2349 0.4250 0.5833 0.3003 0.7437 0.7021 0.2105 0.4167 1.0000 0.7822 0.2349 255-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9500 0.1768 0.0000 0.7500 0.1861 0.9202 0.8621 0.0920 1.0000 1.0000 1.0000 0.0000 256-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 257-AH 0.4286 0.5000 0.5152 0.6667 1.0000 0.5944 0.1520 0.1667 0.5714 0.2557 0.5788 0.5657 0.1158 0.4286 0.7500 0.5591 0.0946 258-AH 0.0182 0.0419 0.0769 0.1690 0.6667 0.1542 0.1754 0.1270 0.6485 1.1378 0.0920 0.0613 0.1298 0.0182 0.3333 0.0994 0.0901 259-AH 0.0036 1.0000 1.0000 1.0000 1.0000 0.9203 0.2758 0.0000 0.9964 0.2996 0.6438 0.0482 0.1466 1.0000 1.0000 1.0000 0.0000 260-AH 0.5556 1.0000 1.0000 1.0000 1.0000 0.9576 0.1085 0.0000 0.4444 0.1134 0.9501 0.9404 0.0713 1.0000 1.0000 1.0000 0.0000 261-AH 0.1429 0.5417 0.7143 1.0000 1.0000 0.7231 0.2393 0.4583 0.8571 0.3309 0.6718 0.5937 0.1931 0.1429 1.0000 0.7231 0.2393 262-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9807 0.0810 0.0000 0.4000 0.0826 0.9764 0.9706 0.0356 1.0000 1.0000 1.0000 0.0000 263-AH 0.2000 0.4718 1.0000 1.0000 1.0000 0.7686 0.3052 0.5282 0.8000 0.3971 0.6894 0.5936 0.2777 0.2000 1.0000 0.7686 0.3052 264-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 265-AH 0.0833 0.4167 1.0000 1.0000 1.0000 0.7318 0.3318 0.5833 0.9167 0.4534 0.6200 0.4587 0.3004 0.0833 1.0000 0.7318 0.3318 266-AH 0.0060 0.0205 0.0800 0.1667 0.2500 0.0998 0.0850 0.1461 0.2440 0.8516 0.0589 0.0300 0.0738 0.0060 0.2500 0.0998 0.0850 267-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 268-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9524 0.1813 0.0000 0.8571 0.1904 0.9102 0.7937 0.0876 1.0000 1.0000 1.0000 0.0000 269-AH 0.2500 0.3333 0.5000 0.6667 1.0000 0.5347 0.2465 0.3333 0.7500 0.4610 0.4867 0.4471 0.2017 0.2500 1.0000 0.5347 0.2465 270-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9657 0.1714 0.0000 0.8571 0.1775 0.9251 0.8065 0.0658 1.0000 1.0000 1.0000 0.0000 271-AH 0.8750 1.0000 1.0000 1.0000 1.0000 0.9950 0.0250 0.0000 0.1250 0.0251 0.9947 0.9943 0.0096 1.0000 1.0000 1.0000 0.0000 272-AH 0.0250 0.2500 0.3125 0.3333 0.5000 0.2917 0.1004 0.0833 0.4750 0.3441 0.2583 0.1827 0.0692 0.2000 0.4000 0.3054 0.0554 273-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 274-AH 0.0476 0.5750 0.6667 0.7500 0.8000 0.6331 0.1845 0.1750 0.7524 0.2915 0.5748 0.4144 0.1336 0.3636 0.8000 0.6752 0.1142 275-AH 0.3889 0.5536 0.8824 1.0000 1.0000 0.7941 0.2202 0.4464 0.6111 0.2773 0.7607 0.7244 0.1968 0.3889 1.0000 0.7941 0.2202 276-AH 0.6250 1.0000 1.0000 1.0000 1.0000 0.9583 0.0932 0.0000 0.3750 0.0972 0.9532 0.9470 0.0667 1.0000 1.0000 1.0000 0.0000 277-AH 0.2500 0.3600 0.3750 0.5000 1.0000 0.4510 0.2180 0.1400 0.7500 0.4835 0.4161 0.3922 0.1474 0.2500 0.5000 0.3761 0.0736 278-AH 0.2143 0.9375 1.0000 1.0000 1.0000 0.8926 0.2249 0.0625 0.7857 0.2520 0.8437 0.7557 0.1633 1.0000 1.0000 1.0000 0.0000 279-AH 0.0488 0.3333 0.6667 1.0000 1.0000 0.6486 0.2856 0.6667 0.9512 0.4402 0.5581 0.3937 0.2298 0.0488 1.0000 0.6486 0.2856 280-AH 0.0041 0.1429 0.2000 0.3409 1.0000 0.2800 0.2083 0.1981 0.9959 0.7437 0.2018 0.0678 0.1517 0.0041 0.5000 0.2500 0.1476 281-AH 0.2065 1.0000 1.0000 1.0000 1.0000 0.9243 0.2012 0.0000 0.7935 0.2176 0.8845 0.8062 0.1272 1.0000 1.0000 1.0000 0.0000 282-AH 0.0017 0.3214 1.0000 1.0000 1.0000 0.6568 0.3775 0.6786 0.9983 0.5748 0.4293 0.0376 0.3570 0.0017 1.0000 0.6568 0.3775 283-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9733 0.0923 0.0000 0.3333 0.0948 0.9681 0.9615 0.0491 1.0000 1.0000 1.0000 0.0000 284-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 285-AH 0.6875 1.0000 1.0000 1.0000 1.0000 0.9775 0.0784 0.0000 0.3125 0.0802 0.9739 0.9694 0.0414 1.0000 1.0000 1.0000 0.0000 286-AH 0.0089 0.1250 0.2500 1.0000 1.0000 0.4247 0.3867 0.8750 0.9911 0.9104 0.2431 0.0960 0.3342 0.0089 1.0000 0.4247 0.3867 287-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.9133 0.1492 0.2500 0.5000 0.1634 0.8993 0.8824 0.1248 0.5000 1.0000 0.9133 0.1492 288-AH 0.2941 0.4503 0.5000 0.6667 1.0000 0.5928 0.2292 0.2164 0.7059 0.3866 0.5553 0.5232 0.1832 0.2941 0.6667 0.4910 0.1087 289-AH 0.0213 1.0000 1.0000 1.0000 1.0000 0.9549 0.1956 0.0000 0.9787 0.2048 0.8520 0.3513 0.0793 1.0000 1.0000 1.0000 0.0000 290-AH 0.1667 0.2286 0.4444 0.6091 1.0000 0.4815 0.2838 0.3805 0.8333 0.5894 0.4050 0.3402 0.2256 0.1667 1.0000 0.4815 0.2838 39 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.7778 1.0000 1.0000 1.0000 1.0000 0.9822 0.0615 0.0000 0.2222 0.0626 0.9801 0.9777 0.0327 1.0000 1.0000 1.0000 0.0000 292-AH 0.2857 1.0000 1.0000 1.0000 1.0000 0.9514 0.1709 0.0000 0.7143 0.1797 0.9251 0.8772 0.0894 1.0000 1.0000 1.0000 0.0000 293-AH 0.0909 0.8182 1.0000 1.0000 1.0000 0.8870 0.1933 0.1818 0.9091 0.2180 0.8338 0.6682 0.1267 0.7273 1.0000 0.9201 0.1015 294-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 295-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8908 0.1864 0.2500 0.5000 0.2093 0.8677 0.8399 0.1572 0.5000 1.0000 0.8908 0.1864 296-AH 0.0244 0.7273 0.7500 0.8333 1.0000 0.7585 0.1795 0.1061 0.9756 0.2367 0.6823 0.3481 0.0933 0.6667 0.8571 0.7589 0.0545 297-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9900 0.0500 0.0000 0.2500 0.0505 0.9886 0.9868 0.0192 1.0000 1.0000 1.0000 0.0000 298-AH 0.1103 0.4444 0.5556 0.6667 1.0000 0.5430 0.1922 0.2222 0.8897 0.3539 0.4999 0.4375 0.1464 0.2143 1.0000 0.5611 0.1734 299-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 300-AH 0.1969 0.3833 0.5556 1.0000 1.0000 0.6454 0.2957 0.6167 0.8031 0.4581 0.5739 0.5012 0.2587 0.1969 1.0000 0.6454 0.2957 301-AH 0.0085 0.0570 0.0784 1.0000 1.0000 0.3605 0.4483 0.9430 0.9915 1.2437 0.1290 0.0502 0.4093 0.0085 1.0000 0.3605 0.4483 302-AH 0.3333 0.6667 0.7500 1.0000 1.0000 0.7907 0.1794 0.3333 0.6667 0.2270 0.7686 0.7426 0.1507 0.3333 1.0000 0.7907 0.1794 303-AH 0.1765 1.0000 1.0000 1.0000 1.0000 0.8685 0.2714 0.0000 0.8235 0.3125 0.8000 0.6912 0.2103 1.0000 1.0000 1.0000 0.0000 304-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 305-AH 0.2857 1.0000 1.0000 1.0000 1.0000 0.8968 0.2262 0.0000 0.7143 0.2523 0.8535 0.7874 0.1652 1.0000 1.0000 1.0000 0.0000 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.4464 0.5280 0.6667 1.0000 1.0000 0.7094 0.2179 0.4720 0.5536 0.3071 0.6787 0.6506 0.1932 0.4464 1.0000 0.7094 0.2179 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0513 0.0714 0.0833 0.0976 0.1818 0.0880 0.0260 0.0262 0.1305 0.2950 0.0850 0.0824 0.0180 0.0513 0.1111 0.0841 0.0175 310-AH 0.1111 0.3077 0.5000 0.6250 1.0000 0.5335 0.2976 0.3173 0.8889 0.5578 0.4478 0.3589 0.2239 0.1111 1.0000 0.5335 0.2976 311-AH 0.3333 0.5333 0.6667 1.0000 1.0000 0.7003 0.2122 0.4667 0.6667 0.3030 0.6696 0.6395 0.1758 0.3333 1.0000 0.7003 0.2122 312-AH 0.3333 0.6607 1.0000 1.0000 1.0000 0.8415 0.2150 0.3393 0.6667 0.2555 0.8086 0.7679 0.1902 0.3333 1.0000 0.8415 0.2150 313-AH 0.0065 0.0385 0.0968 0.1278 1.0000 0.1606 0.2232 0.0894 0.9935 1.3898 0.0791 0.0374 0.1448 0.0065 0.1364 0.0701 0.0451 314-AH 0.0431 0.1059 0.1190 0.1268 0.1538 0.1158 0.0274 0.0209 0.1107 0.2363 0.1114 0.1049 0.0191 0.0909 0.1538 0.1221 0.0173 315-AH 0.5909 1.0000 1.0000 1.0000 1.0000 0.9736 0.0941 0.0000 0.4091 0.0966 0.9680 0.9606 0.0485 1.0000 1.0000 1.0000 0.0000 316-AH 0.0403 0.1857 0.4516 1.0000 1.0000 0.5040 0.3473 0.8143 0.9597 0.6891 0.3706 0.2388 0.2832 0.0403 1.0000 0.5040 0.3473 317-AH 0.5000 0.6563 1.0000 1.0000 1.0000 0.8217 0.2116 0.3437 0.5000 0.2575 0.7927 0.7619 0.1997 0.5000 1.0000 0.8217 0.2116 318-AH 0.0251 0.1102 0.1818 0.3750 1.0000 0.3155 0.2993 0.2648 0.9749 0.9488 0.2120 0.1398 0.2247 0.0251 0.6667 0.2222 0.1623 319-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 320-AH 0.0088 0.0435 0.1000 0.2056 0.5000 0.1399 0.1203 0.1621 0.4912 0.8598 0.0959 0.0589 0.0938 0.0088 0.3333 0.1249 0.0960 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0281 0.0573 0.0714 0.2292 1.0000 0.1973 0.2620 0.1719 0.9719 1.3277 0.1151 0.0814 0.1692 0.0281 0.4000 0.1275 0.1060 323-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 324-AH 0.3125 0.9792 1.0000 1.0000 1.0000 0.9359 0.1602 0.0208 0.6875 0.1712 0.9143 0.8775 0.0974 1.0000 1.0000 1.0000 0.0000 325-AH 0.7857 1.0000 1.0000 1.0000 1.0000 0.9914 0.0429 0.0000 0.2143 0.0432 0.9904 0.9892 0.0165 1.0000 1.0000 1.0000 0.0000 326-AH 0.3333 0.6250 1.0000 1.0000 1.0000 0.8467 0.2587 0.3750 0.6667 0.3056 0.7936 0.7246 0.2208 0.3333 1.0000 0.8467 0.2587 327-AH 0.0000 0.2500 0.3333 1.0000 1.0000 0.4908 0.3498 0.7500 1.0000 0.7128 0.2617 0.0002 0.2888 0.0000 1.0000 0.4908 0.3498 328-AH 0.5000 0.5556 0.6667 1.0000 1.0000 0.7426 0.2062 0.4444 0.5000 0.2776 0.7160 0.6912 0.1859 0.5000 1.0000 0.7426 0.2062 329-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 330-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9756 0.1015 0.0000 0.5000 0.1041 0.9681 0.9569 0.0450 1.0000 1.0000 1.0000 0.0000 331-AH 0.0704 0.3333 0.3571 1.0000 1.0000 0.5083 0.3257 0.6667 0.9296 0.6408 0.4090 0.3105 0.2753 0.0704 1.0000 0.5083 0.3257 332-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9067 0.1929 0.0000 0.5000 0.2128 0.8806 0.8475 0.1493 1.0000 1.0000 1.0000 0.0000 333-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9700 0.1500 0.0000 0.7500 0.1546 0.9461 0.8929 0.0576 1.0000 1.0000 1.0000 0.0000 334-AH 0.0144 0.3333 0.4286 1.0000 1.0000 0.5339 0.3180 0.6667 0.9856 0.5955 0.4176 0.1969 0.2610 0.0144 1.0000 0.5339 0.3180 335-AH 0.0556 0.5000 1.0000 1.0000 1.0000 0.8044 0.3105 0.5000 0.9444 0.3860 0.6868 0.4464 0.2661 0.0556 1.0000 0.8044 0.3105 336-AH 0.0000 0.0573 0.5000 1.0000 1.0000 0.5240 0.3889 0.9427 1.0000 0.7422 0.2047 0.0002 0.3160 0.0000 1.0000 0.5240 0.3889 337-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 338-AH 0.0541 1.0000 1.0000 1.0000 1.0000 0.9488 0.1980 0.0000 0.9459 0.2086 0.8755 0.5814 0.0942 1.0000 1.0000 1.0000 0.0000 339-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 340-AH 0.2500 0.4821 0.5000 0.8125 1.0000 0.6171 0.2387 0.3304 0.7500 0.3867 0.5764 0.5396 0.1944 0.2500 1.0000 0.6171 0.2387 40 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 342-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9373 0.1622 0.0000 0.6667 0.1730 0.9163 0.8824 0.1053 1.0000 1.0000 1.0000 0.0000 345-AH 0.1000 0.2917 0.5000 0.5000 1.0000 0.4904 0.2809 0.2083 0.9000 0.5729 0.3976 0.2973 0.1871 0.1000 0.6667 0.3933 0.1813 346-AH 0.0606 0.1029 0.1667 0.2500 0.5000 0.1868 0.1124 0.1471 0.4394 0.6017 0.1609 0.1396 0.0764 0.0606 0.2500 0.1596 0.0639 347-AH 0.0488 0.0695 0.0833 0.2500 1.0000 0.2105 0.2207 0.1805 0.9512 1.0486 0.1407 0.1045 0.1561 0.0488 0.5000 0.1776 0.1503 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9333 0.1622 0.0000 0.6000 0.1737 0.9144 0.8876 0.1120 1.0000 1.0000 1.0000 0.0000 350-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 41 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.8571 1.0000 1.0000 1.0000 1.0000 0.9886 0.0396 0.0000 0.1429 0.0400 0.9877 0.9868 0.0210 1.0000 1.0000 1.0000 0.0000 144-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.8933 0.2198 0.0000 0.6667 0.2461 0.8565 0.8065 0.1707 1.0000 1.0000 1.0000 0.0000 145-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9806 0.0545 0.0000 0.2000 0.0556 0.9790 0.9772 0.0342 1.0000 1.0000 1.0000 0.0000 146-AH 0.0833 0.8750 1.0000 1.0000 1.0000 0.8567 0.2717 0.1250 0.9167 0.3171 0.7755 0.5952 0.2179 1.0000 1.0000 1.0000 0.0000 147-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9609 0.0826 0.0000 0.2500 0.0860 0.9571 0.9528 0.0626 1.0000 1.0000 1.0000 0.0000 148-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.6597 0.3678 0.6667 0.8750 0.5575 0.5371 0.4167 0.3539 0.1250 1.0000 0.6597 0.3678 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0045 0.0792 0.2000 0.3665 1.0000 0.2380 0.2156 0.2872 0.9955 0.9061 0.1363 0.0429 0.1561 0.0045 0.5000 0.2062 0.1491 151-AH 0.0723 0.2921 0.6000 0.8125 1.0000 0.5612 0.3274 0.5204 0.9277 0.5834 0.4262 0.2723 0.2670 0.0723 1.0000 0.5612 0.3274 152-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9333 0.1863 0.0000 0.6667 0.1996 0.9054 0.8621 0.1173 1.0000 1.0000 1.0000 0.0000 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.1562 0.8125 1.0000 1.0000 1.0000 0.8696 0.2380 0.1875 0.8438 0.2737 0.8134 0.7082 0.1774 0.6667 1.0000 0.9470 0.1046 155-AH 0.0129 0.1607 0.2500 0.3333 0.5000 0.2564 0.1338 0.1726 0.4871 0.5219 0.2112 0.1298 0.1084 0.0129 0.5000 0.2564 0.1338 156-AH 0.1552 0.2096 0.2609 0.3750 1.0000 0.3253 0.1927 0.1654 0.8448 0.5924 0.2890 0.2646 0.1320 0.1552 0.5000 0.2775 0.0961 157-AH 0.1481 0.6871 0.7143 0.7714 1.0000 0.7260 0.1579 0.0842 0.8519 0.2175 0.6972 0.6365 0.0900 0.5714 0.8333 0.7167 0.0557 158-AH 0.0000 0.7778 1.0000 1.0000 1.0000 0.8245 0.3327 0.2222 1.0000 0.4035 0.2350 0.0001 0.2387 0.5714 1.0000 0.9369 0.1271 159-AH 0.1508 0.4000 0.4615 0.7194 0.9524 0.5471 0.2307 0.3194 0.8016 0.4217 0.4975 0.4448 0.1959 0.1508 0.9524 0.5471 0.2307 160-AH 0.0370 0.0526 0.0769 0.1864 0.5000 0.1327 0.1096 0.1337 0.4630 0.8253 0.1016 0.0817 0.0842 0.0370 0.3333 0.1174 0.0801 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.8235 1.0000 1.0000 1.0000 1.0000 0.9884 0.0382 0.0000 0.1765 0.0386 0.9877 0.9868 0.0204 1.0000 1.0000 1.0000 0.0000 164-AH 0.0730 0.1239 0.1806 0.2184 1.0000 0.2326 0.2389 0.0945 0.9270 1.0269 0.1791 0.1533 0.1340 0.0730 0.3333 0.1659 0.0639 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0013 0.3125 0.5000 1.0000 1.0000 0.5927 0.3897 0.6875 0.9987 0.6576 0.3550 0.0295 0.3585 0.0013 1.0000 0.5927 0.3897 168-AH 0.0275 0.4615 0.5357 0.6667 1.0000 0.5772 0.1987 0.2051 0.9725 0.3443 0.5142 0.3167 0.1411 0.3750 0.8333 0.5637 0.1163 169-AH 0.0024 0.0181 0.0500 0.1063 1.0000 0.1493 0.2694 0.0881 0.9976 1.8043 0.0518 0.0199 0.1669 0.0024 0.1250 0.0450 0.0350 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0049 0.0952 0.1429 0.2000 0.6667 0.1639 0.1284 0.1048 0.6618 0.7834 0.1221 0.0597 0.0790 0.0049 0.3333 0.1430 0.0759 172-AH 0.0276 0.1101 0.2000 0.3333 1.0000 0.2569 0.2119 0.2232 0.9724 0.8249 0.1940 0.1425 0.1518 0.0276 0.5000 0.2259 0.1479 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.0755 0.4000 0.7500 1.0000 1.0000 0.6945 0.3035 0.6000 0.9245 0.4371 0.5867 0.4065 0.2533 0.0755 1.0000 0.6945 0.3035 178-AH 0.0333 0.0848 0.3333 0.5000 1.0000 0.3593 0.3001 0.4152 0.9667 0.8351 0.2255 0.1220 0.2325 0.0333 1.0000 0.3593 0.3001 179-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9173 0.2037 0.0000 0.8000 0.2221 0.8765 0.7962 0.1323 1.0000 1.0000 1.0000 0.0000 180-AH 0.0283 0.1581 0.8333 1.0000 1.0000 0.6230 0.4184 0.8419 0.9717 0.6716 0.3803 0.1604 0.3886 0.0283 1.0000 0.6230 0.4184 181-AH 0.6415 0.9121 0.9474 1.0000 1.0000 0.9397 0.0783 0.0879 0.3585 0.0833 0.9361 0.9318 0.0516 0.8333 1.0000 0.9522 0.0486 182-AH 0.0300 0.1188 0.3333 0.7500 1.0000 0.4498 0.3654 0.6312 0.9700 0.8124 0.2841 0.1576 0.3242 0.0300 1.0000 0.4498 0.3654 183-AH 0.0235 0.0593 0.2500 0.6250 1.0000 0.3922 0.3703 0.5657 0.9765 0.9440 0.2268 0.1179 0.3039 0.0235 1.0000 0.3922 0.3703 184-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9800 0.0692 0.0000 0.2500 0.0706 0.9772 0.9740 0.0368 1.0000 1.0000 1.0000 0.0000 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 190-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 42 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9133 0.1932 0.0000 0.6667 0.2115 0.8843 0.8418 0.1387 1.0000 1.0000 1.0000 0.0000 193-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.4286 1.0000 1.0000 1.0000 1.0000 0.9651 0.1268 0.0000 0.5714 0.1314 0.9530 0.9342 0.0641 1.0000 1.0000 1.0000 0.0000 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4545 0.5675 1.0000 1.0000 1.0000 0.8394 0.2211 0.4325 0.5455 0.2634 0.8056 0.7669 0.1928 0.4545 1.0000 0.8394 0.2211 200-AH 0.0039 0.5750 0.8333 1.0000 1.0000 0.7554 0.3181 0.4250 0.9961 0.4211 0.5698 0.0838 0.2509 0.0039 1.0000 0.7554 0.3181 251-AH 0.4783 0.9534 1.0000 1.0000 1.0000 0.9608 0.1094 0.0466 0.5217 0.1139 0.9521 0.9393 0.0565 0.9444 1.0000 0.9887 0.0219 252-AH 0.4211 0.6237 0.8333 0.8393 1.0000 0.7588 0.1759 0.2156 0.5789 0.2319 0.7365 0.7114 0.1439 0.4211 1.0000 0.7588 0.1759 253-AH 0.2969 0.7321 0.8077 0.8333 0.8636 0.7646 0.1220 0.1012 0.5668 0.1595 0.7507 0.7290 0.0804 0.6512 0.8636 0.7939 0.0589 254-AH 0.1933 0.3742 0.4464 0.5027 0.6216 0.4362 0.1171 0.1285 0.4283 0.2685 0.4189 0.3988 0.0883 0.1933 0.6216 0.4362 0.1171 255-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9500 0.1768 0.0000 0.7500 0.1861 0.9202 0.8621 0.0920 1.0000 1.0000 1.0000 0.0000 256-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 257-AH 0.3158 0.4056 0.4706 0.5000 0.5882 0.4541 0.0729 0.0944 0.2724 0.1606 0.4482 0.4423 0.0616 0.3158 0.5882 0.4541 0.0729 258-AH 0.0182 0.0419 0.0769 0.1690 0.6667 0.1542 0.1754 0.1270 0.6485 1.1378 0.0920 0.0613 0.1298 0.0182 0.3333 0.0994 0.0901 259-AH 0.0036 1.0000 1.0000 1.0000 1.0000 0.9203 0.2758 0.0000 0.9964 0.2996 0.6438 0.0482 0.1466 1.0000 1.0000 1.0000 0.0000 260-AH 0.5556 0.7865 1.0000 1.0000 1.0000 0.9011 0.1283 0.2135 0.4444 0.1423 0.8913 0.8803 0.1137 0.5556 1.0000 0.9011 0.1283 261-AH 0.0000 0.3442 0.6667 0.8393 1.0000 0.6113 0.2995 0.4951 1.0000 0.4898 0.3278 0.0002 0.2443 0.0000 1.0000 0.6113 0.2995 262-AH 0.1324 0.5542 0.8333 0.9042 1.0000 0.7480 0.2272 0.3500 0.8676 0.3037 0.6946 0.6020 0.1871 0.1324 1.0000 0.7480 0.2272 263-AH 0.0559 0.3126 0.3636 0.4470 0.5625 0.3769 0.1106 0.1344 0.5066 0.2935 0.3525 0.3030 0.0863 0.2564 0.5625 0.3903 0.0900 264-AH 0.7500 0.9722 1.0000 1.0000 1.0000 0.9476 0.0987 0.0278 0.2500 0.1041 0.9421 0.9360 0.0797 1.0000 1.0000 1.0000 0.0000 265-AH 0.0833 0.4167 1.0000 1.0000 1.0000 0.7318 0.3318 0.5833 0.9167 0.4534 0.6200 0.4587 0.3004 0.0833 1.0000 0.7318 0.3318 266-AH 0.0060 0.0205 0.0800 0.1667 0.2500 0.0998 0.0850 0.1461 0.2440 0.8516 0.0589 0.0300 0.0738 0.0060 0.2500 0.0998 0.0850 267-AH 0.4444 0.7500 1.0000 1.0000 1.0000 0.8569 0.1798 0.2500 0.5556 0.2098 0.8360 0.8121 0.1603 0.4444 1.0000 0.8569 0.1798 268-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9524 0.1813 0.0000 0.8571 0.1904 0.9102 0.7937 0.0876 1.0000 1.0000 1.0000 0.0000 269-AH 0.2500 0.3333 0.5000 0.6667 1.0000 0.5347 0.2465 0.3333 0.7500 0.4610 0.4867 0.4471 0.2017 0.2500 1.0000 0.5347 0.2465 270-AH 0.0305 1.0000 1.0000 1.0000 1.0000 0.9559 0.1937 0.0000 0.9695 0.2026 0.8650 0.4392 0.0776 1.0000 1.0000 1.0000 0.0000 271-AH 0.2500 0.8512 1.0000 1.0000 1.0000 0.8516 0.2680 0.1488 0.7500 0.3146 0.7825 0.6770 0.1927 0.8000 1.0000 0.9630 0.0691 272-AH 0.0250 0.2400 0.3125 0.3333 0.4000 0.2744 0.1031 0.0933 0.3750 0.3757 0.2324 0.1500 0.0734 0.2222 0.4000 0.3070 0.0532 273-AH 0.9474 1.0000 1.0000 1.0000 1.0000 0.9962 0.0134 0.0000 0.0526 0.0134 0.9961 0.9960 0.0071 1.0000 1.0000 1.0000 0.0000 274-AH 0.0476 0.5750 0.6667 0.7500 0.8000 0.6231 0.1996 0.1750 0.7524 0.3204 0.5552 0.3906 0.1480 0.3636 0.8000 0.6690 0.1254 275-AH 0.1961 0.4396 0.5714 0.7500 0.9000 0.5722 0.1969 0.3104 0.7039 0.3441 0.5346 0.4915 0.1599 0.1961 0.9000 0.5722 0.1969 276-AH 0.5500 0.7837 0.8182 0.8595 1.0000 0.8165 0.0917 0.0758 0.4500 0.1123 0.8112 0.8054 0.0619 0.7273 0.8889 0.8188 0.0451 277-AH 0.2500 0.3582 0.3684 0.4010 0.6250 0.3912 0.0965 0.0428 0.3750 0.2467 0.3808 0.3711 0.0672 0.3182 0.4375 0.3732 0.0250 278-AH 0.2143 0.5357 0.6667 0.7500 1.0000 0.6122 0.1899 0.2143 0.7857 0.3101 0.5756 0.5289 0.1443 0.2500 1.0000 0.6288 0.1745 279-AH 0.0488 0.3333 0.6667 1.0000 1.0000 0.6486 0.2856 0.6667 0.9512 0.4402 0.5581 0.3937 0.2298 0.0488 1.0000 0.6486 0.2856 280-AH 0.0041 0.0698 0.1333 0.1628 0.3636 0.1321 0.0807 0.0930 0.3595 0.6108 0.0992 0.0454 0.0607 0.0041 0.2727 0.1225 0.0661 281-AH 0.2065 0.7143 0.8333 1.0000 1.0000 0.8160 0.2055 0.2857 0.7935 0.2518 0.7789 0.7186 0.1566 0.4000 1.0000 0.8414 0.1651 282-AH 0.0000 0.2291 0.2727 0.3640 0.5714 0.2857 0.1250 0.1349 0.5714 0.4376 0.1766 0.0002 0.0914 0.1622 0.4615 0.2976 0.0815 283-AH 0.2353 0.6667 0.8333 1.0000 1.0000 0.7929 0.2129 0.3333 0.7647 0.2685 0.7516 0.6873 0.1603 0.2353 1.0000 0.7929 0.2129 284-AH 0.3478 0.6667 0.8333 1.0000 1.0000 0.8206 0.1976 0.3333 0.6522 0.2408 0.7931 0.7598 0.1643 0.3478 1.0000 0.8206 0.1976 285-AH 0.6875 0.8763 1.0000 1.0000 1.0000 0.9175 0.1222 0.1237 0.3125 0.1332 0.9088 0.8991 0.0996 0.7143 1.0000 0.9489 0.0921 286-AH 0.0021 0.0345 0.0741 0.1133 0.2222 0.0794 0.0508 0.0788 0.2202 0.6399 0.0599 0.0275 0.0415 0.0021 0.2222 0.0794 0.0508 287-AH 0.4545 0.5530 0.6250 0.6786 0.7500 0.6254 0.0871 0.1255 0.2955 0.1392 0.6194 0.6134 0.0739 0.4545 0.7500 0.6254 0.0871 288-AH 0.0668 0.3316 0.4000 0.5252 0.6667 0.4034 0.1493 0.1936 0.5999 0.3702 0.3673 0.3116 0.1139 0.0668 0.6667 0.4034 0.1493 289-AH 0.0213 0.9215 1.0000 1.0000 1.0000 0.9242 0.2014 0.0785 0.9787 0.2180 0.8233 0.3466 0.1035 0.9000 1.0000 0.9804 0.0375 290-AH 0.1437 0.2286 0.3889 0.5852 0.6364 0.4000 0.1752 0.3567 0.4926 0.4381 0.3586 0.3167 0.1541 0.1437 0.6364 0.4000 0.1752 43 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9511 0.1171 0.0000 0.5000 0.1231 0.9419 0.9295 0.0782 1.0000 1.0000 1.0000 0.0000 292-AH 0.2857 1.0000 1.0000 1.0000 1.0000 0.9514 0.1709 0.0000 0.7143 0.1797 0.9251 0.8772 0.0894 1.0000 1.0000 1.0000 0.0000 293-AH 0.0119 0.8182 0.8750 1.0000 1.0000 0.8577 0.2025 0.1818 0.9881 0.2361 0.7466 0.2243 0.1205 0.7222 1.0000 0.8929 0.1020 294-AH 0.5000 0.7500 0.8750 1.0000 1.0000 0.8650 0.1474 0.2500 0.5000 0.1704 0.8517 0.8371 0.1304 0.5000 1.0000 0.8650 0.1474 295-AH 0.2069 0.5341 0.6667 0.7500 0.8571 0.6301 0.1504 0.2159 0.6502 0.2386 0.6081 0.5775 0.1245 0.4286 0.8571 0.6478 0.1244 296-AH 0.0132 0.7143 0.7500 0.7778 0.8571 0.7252 0.1569 0.0635 0.8439 0.2164 0.6406 0.2323 0.0736 0.6667 0.8571 0.7548 0.0524 297-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9660 0.1281 0.0000 0.6000 0.1326 0.9530 0.9317 0.0626 1.0000 1.0000 1.0000 0.0000 298-AH 0.1103 0.3750 0.5000 0.6667 0.7500 0.4978 0.1792 0.2917 0.6397 0.3600 0.4567 0.4015 0.1450 0.1103 0.7500 0.4978 0.1792 299-AH 0.4706 0.7025 0.8182 0.9023 1.0000 0.7854 0.1400 0.1998 0.5294 0.1782 0.7718 0.7565 0.1132 0.4706 1.0000 0.7854 0.1400 300-AH 0.1969 0.2593 0.2778 0.3978 0.6250 0.3327 0.1163 0.1386 0.4281 0.3498 0.3159 0.3018 0.0948 0.1969 0.5556 0.3205 0.1013 301-AH 0.0084 0.0389 0.0784 1.0000 1.0000 0.3574 0.4505 0.9611 0.9916 1.2605 0.1204 0.0456 0.4113 0.0084 1.0000 0.3574 0.4505 302-AH 0.1176 0.6667 0.6667 0.7500 1.0000 0.6845 0.1477 0.0833 0.8824 0.2158 0.6543 0.5826 0.0825 0.6000 0.8333 0.7043 0.0536 303-AH 0.1765 0.4286 0.5714 0.7625 1.0000 0.6092 0.2368 0.3339 0.8235 0.3887 0.5643 0.5164 0.1874 0.1765 1.0000 0.6092 0.2368 304-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 305-AH 0.2400 0.4558 0.6316 0.7000 0.8889 0.5963 0.1798 0.2442 0.6489 0.3016 0.5660 0.5309 0.1445 0.2400 0.8889 0.5963 0.1798 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.1569 0.4604 0.4769 0.5467 0.8000 0.4932 0.1285 0.0863 0.6431 0.2606 0.4737 0.4475 0.0853 0.3902 0.6000 0.5003 0.0529 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0513 0.0714 0.0833 0.0976 0.1818 0.0880 0.0260 0.0262 0.1305 0.2950 0.0850 0.0824 0.0180 0.0513 0.1111 0.0841 0.0175 310-AH 0.0660 0.1360 0.1829 0.2241 0.3729 0.1819 0.0752 0.0881 0.3068 0.4136 0.1665 0.1507 0.0588 0.0660 0.3226 0.1739 0.0652 311-AH 0.2903 0.4940 0.5385 0.6250 0.6923 0.5338 0.1085 0.1310 0.4020 0.2033 0.5217 0.5079 0.0841 0.3333 0.6923 0.5440 0.0980 312-AH 0.2500 0.5582 0.6842 1.0000 1.0000 0.7198 0.2306 0.4418 0.7500 0.3204 0.6797 0.6341 0.1932 0.2500 1.0000 0.7198 0.2306 313-AH 0.0065 0.0381 0.0952 0.1203 1.0000 0.1529 0.2214 0.0822 0.9935 1.4480 0.0754 0.0368 0.1390 0.0065 0.2222 0.0735 0.0527 314-AH 0.0431 0.1059 0.1190 0.1268 0.1538 0.1152 0.0279 0.0209 0.1107 0.2418 0.1107 0.1042 0.0198 0.0857 0.1538 0.1215 0.0183 315-AH 0.5909 0.6667 0.7500 0.8571 1.0000 0.7579 0.1115 0.1905 0.4091 0.1471 0.7501 0.7422 0.0930 0.5909 1.0000 0.7579 0.1115 316-AH 0.0403 0.1261 0.2359 0.4462 0.5833 0.2750 0.1616 0.3202 0.5431 0.5875 0.2224 0.1690 0.1399 0.0403 0.5833 0.2750 0.1616 317-AH 0.2963 0.4018 0.5000 0.5497 0.6667 0.4778 0.1107 0.1479 0.3704 0.2316 0.4649 0.4517 0.0921 0.2963 0.6667 0.4778 0.1107 318-AH 0.0251 0.1102 0.1818 0.3750 1.0000 0.3155 0.2993 0.2648 0.9749 0.9488 0.2120 0.1398 0.2247 0.0251 0.6667 0.2222 0.1623 319-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9480 0.1851 0.0000 0.8000 0.1953 0.9120 0.8333 0.0957 1.0000 1.0000 1.0000 0.0000 320-AH 0.0088 0.0375 0.0571 0.0964 0.2222 0.0755 0.0558 0.0590 0.2135 0.7390 0.0581 0.0427 0.0424 0.0088 0.1250 0.0586 0.0322 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0281 0.0523 0.0702 0.2000 0.4000 0.1276 0.1092 0.1477 0.3719 0.8558 0.0934 0.0722 0.0896 0.0281 0.4000 0.1276 0.1092 323-AH 0.3077 0.8333 1.0000 1.0000 1.0000 0.8972 0.1908 0.1667 0.6923 0.2127 0.8680 0.8237 0.1398 0.7500 1.0000 0.9594 0.0787 324-AH 0.1111 0.7905 0.9091 1.0000 1.0000 0.8343 0.2033 0.2095 0.8889 0.2437 0.7850 0.6631 0.1396 0.5000 1.0000 0.8644 0.1395 325-AH 0.7500 0.8646 0.8750 1.0000 1.0000 0.8951 0.0862 0.1354 0.2500 0.0963 0.8911 0.8870 0.0702 0.7500 1.0000 0.8951 0.0862 326-AH 0.3333 0.6250 1.0000 1.0000 1.0000 0.8467 0.2587 0.3750 0.6667 0.3056 0.7936 0.7246 0.2208 0.3333 1.0000 0.8467 0.2587 327-AH 0.0000 0.2500 0.3333 1.0000 1.0000 0.4908 0.3498 0.7500 1.0000 0.7128 0.2617 0.0002 0.2888 0.0000 1.0000 0.4908 0.3498 328-AH 0.5000 0.5556 0.6250 0.7625 1.0000 0.6856 0.1592 0.2069 0.5000 0.2323 0.6692 0.6543 0.1312 0.5000 1.0000 0.6856 0.1592 329-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9700 0.1099 0.0000 0.5000 0.1133 0.9615 0.9494 0.0552 1.0000 1.0000 1.0000 0.0000 330-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9532 0.1421 0.0000 0.6667 0.1491 0.9358 0.9050 0.0787 1.0000 1.0000 1.0000 0.0000 331-AH 0.0704 0.3333 0.3571 0.6786 1.0000 0.4721 0.2812 0.3452 0.9296 0.5956 0.3917 0.3056 0.2255 0.0704 1.0000 0.4721 0.2812 332-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9067 0.1929 0.0000 0.5000 0.2128 0.8806 0.8475 0.1493 1.0000 1.0000 1.0000 0.0000 333-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9700 0.1500 0.0000 0.7500 0.1546 0.9461 0.8929 0.0576 1.0000 1.0000 1.0000 0.0000 334-AH 0.0144 0.3333 0.4286 1.0000 1.0000 0.5339 0.3180 0.6667 0.9856 0.5955 0.4176 0.1969 0.2610 0.0144 1.0000 0.5339 0.3180 335-AH 0.0420 0.1690 0.2778 0.4659 1.0000 0.3365 0.2116 0.2969 0.9580 0.6287 0.2770 0.2151 0.1587 0.0420 0.6000 0.3088 0.1636 336-AH 0.0000 0.0348 0.1143 0.5417 1.0000 0.3588 0.3868 0.5069 1.0000 1.0779 0.0980 0.0002 0.3376 0.0000 1.0000 0.3588 0.3868 337-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 338-AH 0.0541 1.0000 1.0000 1.0000 1.0000 0.9488 0.1980 0.0000 0.9459 0.2086 0.8755 0.5814 0.0942 1.0000 1.0000 1.0000 0.0000 339-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 340-AH 0.2500 0.4821 0.5000 0.8125 1.0000 0.6171 0.2387 0.3304 0.7500 0.3867 0.5764 0.5396 0.1944 0.2500 1.0000 0.6171 0.2387 44 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 342-AH 0.7692 0.8729 0.9259 0.9412 1.0000 0.9056 0.0666 0.0683 0.2308 0.0736 0.9032 0.9006 0.0510 0.7826 1.0000 0.9113 0.0616 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.3333 0.6500 0.8571 1.0000 1.0000 0.8057 0.1978 0.3500 0.6667 0.2454 0.7777 0.7437 0.1650 0.3333 1.0000 0.8057 0.1978 345-AH 0.1000 0.2917 0.5000 0.5000 1.0000 0.4904 0.2809 0.2083 0.9000 0.5729 0.3976 0.2973 0.1871 0.1000 0.6667 0.3933 0.1813 346-AH 0.0606 0.0816 0.1176 0.1765 0.2500 0.1319 0.0519 0.0948 0.1894 0.3936 0.1221 0.1128 0.0455 0.0606 0.2500 0.1319 0.0519 347-AH 0.0488 0.0695 0.0833 0.2500 1.0000 0.2105 0.2207 0.1805 0.9512 1.0486 0.1407 0.1045 0.1561 0.0488 0.5000 0.1776 0.1503 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.3333 0.6000 0.7500 1.0000 1.0000 0.7898 0.2015 0.4000 0.6667 0.2551 0.7613 0.7282 0.1690 0.3333 1.0000 0.7898 0.2015 350-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 45 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9867 0.0667 0.0000 0.3333 0.0676 0.9839 0.9804 0.0256 1.0000 1.0000 1.0000 0.0000 143-AH 0.7857 1.0000 1.0000 1.0000 1.0000 0.9795 0.0607 0.0000 0.2143 0.0619 0.9775 0.9752 0.0360 1.0000 1.0000 1.0000 0.0000 144-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.8933 0.2198 0.0000 0.6667 0.2461 0.8565 0.8065 0.1707 1.0000 1.0000 1.0000 0.0000 145-AH 0.7500 0.9808 1.0000 1.0000 1.0000 0.9589 0.0830 0.0192 0.2500 0.0865 0.9550 0.9507 0.0625 1.0000 1.0000 1.0000 0.0000 146-AH 0.0833 0.8750 1.0000 1.0000 1.0000 0.8567 0.2717 0.1250 0.9167 0.3171 0.7755 0.5952 0.2179 1.0000 1.0000 1.0000 0.0000 147-AH 0.5238 0.8392 1.0000 1.0000 1.0000 0.9119 0.1336 0.1608 0.4762 0.1465 0.9006 0.8871 0.1038 0.6667 1.0000 0.9281 0.1086 148-AH 0.0122 0.0502 0.0556 0.0645 0.1667 0.0595 0.0275 0.0143 0.1545 0.4626 0.0541 0.0475 0.0158 0.0294 0.0750 0.0570 0.0106 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0045 0.0749 0.1944 0.3665 1.0000 0.2280 0.2168 0.2916 0.9955 0.9506 0.1290 0.0423 0.1556 0.0045 0.5000 0.1959 0.1485 151-AH 0.0723 0.2921 0.5714 0.7500 1.0000 0.5374 0.3051 0.4579 0.9277 0.5677 0.4139 0.2696 0.2441 0.0723 1.0000 0.5374 0.3051 152-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8899 0.2448 0.0000 0.8571 0.2751 0.8289 0.7092 0.1762 1.0000 1.0000 1.0000 0.0000 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.1429 0.3750 0.5556 0.8333 1.0000 0.5913 0.2728 0.4583 0.8571 0.4614 0.5174 0.4326 0.2347 0.1429 1.0000 0.5913 0.2728 155-AH 0.0129 0.1607 0.2500 0.3333 0.5000 0.2564 0.1338 0.1726 0.4871 0.5219 0.2112 0.1298 0.1084 0.0129 0.5000 0.2564 0.1338 156-AH 0.1000 0.1900 0.2222 0.2827 0.7143 0.2602 0.1282 0.0927 0.6143 0.4925 0.2378 0.2198 0.0846 0.1000 0.3913 0.2301 0.0706 157-AH 0.1401 0.6374 0.6829 0.7619 0.9355 0.6862 0.1503 0.1246 0.7954 0.2190 0.6586 0.6007 0.0950 0.5217 0.9355 0.7090 0.1003 158-AH 0.0000 0.6788 0.7857 0.8889 1.0000 0.7064 0.3112 0.2100 1.0000 0.4405 0.2015 0.0001 0.2295 0.4667 1.0000 0.8270 0.1325 159-AH 0.1508 0.2764 0.3000 0.5830 0.9524 0.4371 0.2452 0.3066 0.8016 0.5610 0.3827 0.3415 0.1996 0.1508 0.9524 0.4371 0.2452 160-AH 0.0370 0.0526 0.0769 0.1864 0.5000 0.1327 0.1096 0.1337 0.4630 0.8253 0.1016 0.0817 0.0842 0.0370 0.3333 0.1174 0.0801 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.8065 0.9652 1.0000 1.0000 1.0000 0.9784 0.0440 0.0348 0.1935 0.0450 0.9774 0.9763 0.0295 0.9231 1.0000 0.9888 0.0213 164-AH 0.0643 0.1132 0.1667 0.1952 0.3750 0.1657 0.0707 0.0820 0.3107 0.4265 0.1516 0.1378 0.0520 0.0643 0.2800 0.1570 0.0568 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0013 0.3125 0.5000 1.0000 1.0000 0.5927 0.3897 0.6875 0.9987 0.6576 0.3550 0.0295 0.3585 0.0013 1.0000 0.5927 0.3897 168-AH 0.0275 0.4615 0.5357 0.5905 1.0000 0.5520 0.1765 0.1289 0.9725 0.3197 0.4960 0.3115 0.1115 0.3750 0.7143 0.5304 0.0778 169-AH 0.0000 0.0122 0.0168 0.0621 0.1000 0.0322 0.0323 0.0499 0.1000 1.0050 0.0153 0.0002 0.0274 0.0000 0.1000 0.0322 0.0323 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0823 0.1333 0.1667 0.2000 0.1238 0.0553 0.0843 0.2000 0.4467 0.0804 0.0002 0.0448 0.0000 0.2000 0.1238 0.0553 172-AH 0.0276 0.0947 0.1154 0.1750 0.3750 0.1482 0.0807 0.0803 0.3474 0.5444 0.1294 0.1107 0.0626 0.0276 0.2857 0.1388 0.0668 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9767 0.0816 0.0000 0.3333 0.0836 0.9727 0.9677 0.0429 1.0000 1.0000 1.0000 0.0000 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.0755 0.4000 0.7500 1.0000 1.0000 0.6818 0.3003 0.6000 0.9245 0.4404 0.5760 0.4016 0.2525 0.0755 1.0000 0.6818 0.3003 178-AH 0.0333 0.0848 0.3333 0.5000 1.0000 0.3593 0.3001 0.4152 0.9667 0.8351 0.2255 0.1220 0.2325 0.0333 1.0000 0.3593 0.3001 179-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9125 0.2112 0.0000 0.8000 0.2315 0.8695 0.7878 0.1400 1.0000 1.0000 1.0000 0.0000 180-AH 0.0283 0.1218 0.8261 0.9423 1.0000 0.5827 0.4095 0.8205 0.9717 0.7027 0.3471 0.1516 0.3851 0.0283 1.0000 0.5827 0.4095 181-AH 0.6415 0.8947 0.9333 0.9611 1.0000 0.9155 0.0735 0.0663 0.3585 0.0803 0.9123 0.9085 0.0492 0.8182 1.0000 0.9270 0.0473 182-AH 0.0300 0.1188 0.3333 0.7500 1.0000 0.4498 0.3654 0.6312 0.9700 0.8124 0.2841 0.1576 0.3242 0.0300 1.0000 0.4498 0.3654 183-AH 0.0235 0.0593 0.2500 0.6250 1.0000 0.3922 0.3703 0.5657 0.9765 0.9440 0.2268 0.1179 0.3039 0.0235 1.0000 0.3922 0.3703 184-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9720 0.0778 0.0000 0.2500 0.0801 0.9686 0.9646 0.0493 1.0000 1.0000 1.0000 0.0000 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 190-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9867 0.0667 0.0000 0.3333 0.0676 0.9839 0.9804 0.0256 1.0000 1.0000 1.0000 0.0000 46 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.2500 0.6667 1.0000 1.0000 1.0000 0.8333 0.2753 0.3333 0.7500 0.3304 0.7662 0.6720 0.2267 0.2500 1.0000 0.8333 0.2753 193-AH 0.2143 1.0000 1.0000 1.0000 1.0000 0.9586 0.1629 0.0000 0.7857 0.1699 0.9295 0.8621 0.0762 1.0000 1.0000 1.0000 0.0000 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.4194 0.9792 1.0000 1.0000 1.0000 0.9370 0.1456 0.0208 0.5806 0.1554 0.9217 0.8998 0.0958 1.0000 1.0000 1.0000 0.0000 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4545 0.5385 0.6000 0.7708 1.0000 0.6679 0.1805 0.2324 0.5455 0.2703 0.6465 0.6272 0.1466 0.4545 1.0000 0.6679 0.1805 200-AH 0.0039 0.5000 0.8333 1.0000 1.0000 0.7190 0.3135 0.5000 0.9961 0.4360 0.5420 0.0832 0.2547 0.0039 1.0000 0.7190 0.3135 251-AH 0.3333 0.9333 0.9444 0.9480 1.0000 0.9052 0.1436 0.0147 0.6667 0.1586 0.8874 0.8580 0.0758 0.9333 0.9565 0.9431 0.0074 252-AH 0.2917 0.5341 0.6364 0.8333 1.0000 0.6538 0.1820 0.2992 0.7083 0.2783 0.6282 0.6009 0.1415 0.2917 1.0000 0.6538 0.1820 253-AH 0.2077 0.6327 0.7170 0.7525 0.8148 0.6743 0.1345 0.1198 0.6072 0.1995 0.6547 0.6225 0.0956 0.4556 0.8148 0.6937 0.0950 254-AH 0.1489 0.3038 0.3842 0.4179 0.5568 0.3745 0.0949 0.1141 0.4080 0.2533 0.3608 0.3441 0.0708 0.1489 0.5568 0.3745 0.0949 255-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9500 0.1768 0.0000 0.7500 0.1861 0.9202 0.8621 0.0920 1.0000 1.0000 1.0000 0.0000 256-AH 0.5833 1.0000 1.0000 1.0000 1.0000 0.9833 0.0833 0.0000 0.4167 0.0847 0.9787 0.9722 0.0320 1.0000 1.0000 1.0000 0.0000 257-AH 0.1912 0.3611 0.4118 0.4421 0.5152 0.3953 0.0692 0.0810 0.3240 0.1752 0.3883 0.3798 0.0522 0.2857 0.5152 0.4038 0.0558 258-AH 0.0182 0.0419 0.0769 0.1690 0.6667 0.1542 0.1754 0.1270 0.6485 1.1378 0.0920 0.0613 0.1298 0.0182 0.3333 0.0994 0.0901 259-AH 0.0036 1.0000 1.0000 1.0000 1.0000 0.9203 0.2758 0.0000 0.9964 0.2996 0.6438 0.0482 0.1466 1.0000 1.0000 1.0000 0.0000 260-AH 0.5556 0.7020 0.8333 0.9308 1.0000 0.8193 0.1130 0.2288 0.4444 0.1380 0.8114 0.8031 0.0955 0.5556 1.0000 0.8193 0.1130 261-AH 0.0000 0.1042 0.2593 0.7273 0.8571 0.3527 0.3085 0.6231 0.8571 0.8747 0.1488 0.0002 0.2687 0.0000 0.8571 0.3527 0.3085 262-AH 0.0779 0.4000 0.5714 0.7269 0.8571 0.5457 0.2351 0.3269 0.7792 0.4308 0.4675 0.3493 0.1906 0.0779 0.8571 0.5457 0.2351 263-AH 0.0552 0.2951 0.3590 0.4183 0.5556 0.3462 0.0937 0.1232 0.5003 0.2707 0.3264 0.2851 0.0692 0.2558 0.5556 0.3583 0.0730 264-AH 0.2609 0.8036 1.0000 1.0000 1.0000 0.8690 0.2265 0.1964 0.7391 0.2606 0.8275 0.7673 0.1798 0.6250 1.0000 0.9553 0.1050 265-AH 0.0195 0.2920 0.5000 0.6875 1.0000 0.5420 0.2798 0.3955 0.9805 0.5162 0.4393 0.2346 0.2297 0.0195 1.0000 0.5420 0.2798 266-AH 0.0060 0.0205 0.0800 0.1667 0.2500 0.0998 0.0850 0.1461 0.2440 0.8516 0.0589 0.0300 0.0738 0.0060 0.2500 0.0998 0.0850 267-AH 0.2308 0.3810 0.6250 0.6786 1.0000 0.5477 0.2044 0.2976 0.7692 0.3732 0.5088 0.4691 0.1761 0.2308 1.0000 0.5477 0.2044 268-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9524 0.1813 0.0000 0.8571 0.1904 0.9102 0.7937 0.0876 1.0000 1.0000 1.0000 0.0000 269-AH 0.0347 0.2825 0.4000 0.6667 1.0000 0.4343 0.2105 0.3842 0.9653 0.4847 0.3754 0.2737 0.1681 0.0347 1.0000 0.4343 0.2105 270-AH 0.0186 1.0000 1.0000 1.0000 1.0000 0.9528 0.1959 0.0000 0.9814 0.2056 0.8456 0.3203 0.0793 1.0000 1.0000 1.0000 0.0000 271-AH 0.0162 0.7443 0.8571 0.8785 1.0000 0.7283 0.3228 0.1342 0.9838 0.4431 0.4769 0.1094 0.2261 0.7143 1.0000 0.8622 0.0856 272-AH 0.0148 0.2400 0.2727 0.3125 0.4000 0.2576 0.0976 0.0725 0.3852 0.3789 0.2137 0.1211 0.0686 0.1695 0.4000 0.2887 0.0493 273-AH 0.9048 0.9474 0.9600 1.0000 1.0000 0.9670 0.0296 0.0526 0.0952 0.0306 0.9665 0.9661 0.0245 0.9048 1.0000 0.9670 0.0296 274-AH 0.0221 0.3593 0.4000 0.5179 0.8000 0.4419 0.1956 0.1586 0.7779 0.4425 0.3740 0.2247 0.1462 0.2857 0.6667 0.4274 0.1075 275-AH 0.1650 0.4241 0.5278 0.6800 0.8824 0.5296 0.1853 0.2559 0.7173 0.3500 0.4905 0.4412 0.1465 0.1650 0.8824 0.5296 0.1853 276-AH 0.4615 0.7407 0.7727 0.8153 0.8667 0.7535 0.1052 0.0745 0.4051 0.1396 0.7451 0.7351 0.0716 0.6667 0.8667 0.7870 0.0514 277-AH 0.2500 0.3333 0.3636 0.3889 0.4737 0.3593 0.0561 0.0556 0.2237 0.1561 0.3549 0.3504 0.0387 0.2683 0.4375 0.3538 0.0418 278-AH 0.0896 0.3038 0.3846 0.5312 0.6250 0.4010 0.1583 0.2274 0.5354 0.3948 0.3658 0.3224 0.1277 0.0896 0.6250 0.4010 0.1583 279-AH 0.0488 0.3333 0.6667 1.0000 1.0000 0.6486 0.2856 0.6667 0.9512 0.4402 0.5581 0.3937 0.2298 0.0488 1.0000 0.6486 0.2856 280-AH 0.0000 0.0670 0.1061 0.1590 0.3333 0.1164 0.0710 0.0919 0.3333 0.6104 0.0692 0.0002 0.0536 0.0000 0.2083 0.1073 0.0560 281-AH 0.2065 0.6429 0.7500 0.8333 1.0000 0.7172 0.1764 0.1905 0.7935 0.2460 0.6877 0.6432 0.1335 0.3913 1.0000 0.7384 0.1437 282-AH 0.0000 0.1818 0.2353 0.3448 0.4375 0.2415 0.1050 0.1630 0.4375 0.4349 0.1507 0.0002 0.0832 0.0000 0.4375 0.2415 0.1050 283-AH 0.0820 0.4125 0.6000 0.8139 1.0000 0.6046 0.2489 0.4014 0.9180 0.4117 0.5310 0.4153 0.2044 0.0820 1.0000 0.6046 0.2489 284-AH 0.3478 0.5451 0.6000 0.6978 0.8889 0.6314 0.1311 0.1527 0.5411 0.2076 0.6181 0.6042 0.1003 0.3478 0.8889 0.6314 0.1311 285-AH 0.5476 0.8486 0.9375 0.9625 1.0000 0.8753 0.1471 0.1139 0.4524 0.1680 0.8614 0.8453 0.1163 0.7692 1.0000 0.9427 0.0557 286-AH 0.0000 0.0256 0.0492 0.0893 0.1304 0.0583 0.0380 0.0637 0.1304 0.6520 0.0359 0.0002 0.0314 0.0000 0.1304 0.0583 0.0380 287-AH 0.3056 0.5208 0.5610 0.6052 0.7222 0.5539 0.0948 0.0843 0.4167 0.1711 0.5450 0.5345 0.0680 0.4333 0.7222 0.5732 0.0696 288-AH 0.0668 0.2887 0.3333 0.4482 0.5455 0.3410 0.1255 0.1595 0.4786 0.3680 0.3104 0.2667 0.0935 0.0668 0.5455 0.3410 0.1255 289-AH 0.0207 0.7411 0.8571 1.0000 1.0000 0.8271 0.2056 0.2589 0.9793 0.2485 0.7345 0.3259 0.1363 0.6364 1.0000 0.8607 0.1210 290-AH 0.1071 0.2214 0.3611 0.5263 0.5909 0.3609 0.1601 0.3049 0.4838 0.4437 0.3199 0.2749 0.1356 0.1071 0.5909 0.3609 0.1601 47 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.4000 0.9145 1.0000 1.0000 1.0000 0.9175 0.1598 0.0855 0.6000 0.1742 0.8981 0.8700 0.1052 0.8750 1.0000 0.9767 0.0405 292-AH 0.2857 1.0000 1.0000 1.0000 1.0000 0.9514 0.1709 0.0000 0.7143 0.1797 0.9251 0.8772 0.0894 1.0000 1.0000 1.0000 0.0000 293-AH 0.0088 0.7443 0.8333 0.9167 1.0000 0.8144 0.1994 0.1723 0.9912 0.2448 0.7010 0.1763 0.1194 0.6364 1.0000 0.8480 0.1099 294-AH 0.5000 0.6635 0.6957 0.7500 0.8750 0.6973 0.1003 0.0865 0.3750 0.1439 0.6902 0.6830 0.0696 0.5455 0.8750 0.7055 0.0935 295-AH 0.1481 0.4319 0.4615 0.5466 0.6842 0.4581 0.1198 0.1147 0.5361 0.2616 0.4385 0.4116 0.0830 0.2679 0.6842 0.4813 0.0920 296-AH 0.0000 0.7143 0.7500 0.7778 0.8571 0.7034 0.1813 0.0635 0.8571 0.2578 0.4611 0.0002 0.1038 0.6250 0.8571 0.7514 0.0606 297-AH 0.1200 0.9643 1.0000 1.0000 1.0000 0.9231 0.1884 0.0357 0.8800 0.2041 0.8765 0.7426 0.1169 1.0000 1.0000 1.0000 0.0000 298-AH 0.1103 0.2823 0.3750 0.5000 0.7000 0.3898 0.1560 0.2177 0.5897 0.4002 0.3568 0.3204 0.1242 0.1103 0.7000 0.3898 0.1560 299-AH 0.2319 0.5598 0.6207 0.7143 0.8000 0.6010 0.1348 0.1545 0.5681 0.2243 0.5825 0.5579 0.1005 0.3415 0.8000 0.6164 0.1131 300-AH 0.1969 0.2507 0.2632 0.2878 0.5294 0.2919 0.0881 0.0372 0.3326 0.3019 0.2818 0.2738 0.0616 0.1969 0.3333 0.2573 0.0305 301-AH 0.0084 0.0337 0.0769 1.0000 1.0000 0.3444 0.4422 0.9663 0.9916 1.2842 0.1090 0.0410 0.4018 0.0084 1.0000 0.3444 0.4422 302-AH 0.1176 0.5000 0.5556 0.7143 0.8333 0.5578 0.1708 0.2143 0.7157 0.3062 0.5228 0.4682 0.1336 0.2667 0.8333 0.5761 0.1472 303-AH 0.1765 0.4286 0.5714 0.7625 1.0000 0.6092 0.2368 0.3339 0.8235 0.3887 0.5643 0.5164 0.1874 0.1765 1.0000 0.6092 0.2368 304-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 305-AH 0.2344 0.4036 0.4571 0.5050 0.6190 0.4458 0.1014 0.1014 0.3847 0.2275 0.4326 0.4171 0.0762 0.2561 0.6190 0.4639 0.0832 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0780 0.4545 0.4722 0.4926 0.7037 0.4532 0.1303 0.0382 0.6257 0.2875 0.4236 0.3684 0.0758 0.4423 0.5161 0.4759 0.0215 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0513 0.0688 0.0750 0.0976 0.1818 0.0849 0.0271 0.0288 0.1305 0.3195 0.0816 0.0788 0.0195 0.0513 0.1111 0.0809 0.0185 310-AH 0.0648 0.1314 0.1497 0.1947 0.3729 0.1638 0.0687 0.0633 0.3081 0.4197 0.1508 0.1381 0.0504 0.0648 0.2766 0.1551 0.0543 311-AH 0.1395 0.4170 0.5161 0.5897 0.6471 0.4873 0.1309 0.1727 0.5075 0.2687 0.4646 0.4323 0.1063 0.2892 0.6471 0.5017 0.1114 312-AH 0.0973 0.5000 0.6667 0.8333 0.9091 0.6371 0.2088 0.3333 0.8117 0.3278 0.5864 0.4961 0.1625 0.0973 0.9091 0.6371 0.2088 313-AH 0.0065 0.0252 0.0429 0.1149 0.4444 0.0981 0.1176 0.0897 0.4380 1.1992 0.0539 0.0309 0.0831 0.0065 0.2353 0.0603 0.0546 314-AH 0.0431 0.1017 0.1190 0.1268 0.1538 0.1147 0.0281 0.0251 0.1107 0.2449 0.1102 0.1037 0.0204 0.0842 0.1538 0.1209 0.0189 315-AH 0.2609 0.5221 0.6316 0.7080 0.8148 0.5954 0.1636 0.1859 0.5539 0.2748 0.5679 0.5334 0.1260 0.2609 0.8148 0.5954 0.1636 316-AH 0.0334 0.1151 0.2359 0.3308 0.4615 0.2345 0.1322 0.2156 0.4282 0.5636 0.1930 0.1489 0.1117 0.0334 0.4615 0.2345 0.1322 317-AH 0.2000 0.3462 0.4444 0.5385 0.6667 0.4477 0.1177 0.1923 0.4667 0.2628 0.4317 0.4143 0.0941 0.2000 0.6667 0.4477 0.1177 318-AH 0.0251 0.1102 0.1818 0.3750 1.0000 0.3004 0.2740 0.2648 0.9749 0.9121 0.2073 0.1390 0.2051 0.0251 0.6667 0.2395 0.1831 319-AH 0.1538 0.6667 1.0000 1.0000 1.0000 0.8100 0.2543 0.3333 0.8462 0.3140 0.7508 0.6545 0.2128 0.3125 1.0000 0.8373 0.2191 320-AH 0.0087 0.0218 0.0355 0.0729 0.2222 0.0490 0.0453 0.0511 0.2135 0.9245 0.0365 0.0282 0.0312 0.0087 0.1111 0.0418 0.0279 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0281 0.0511 0.0652 0.0734 0.1667 0.0724 0.0359 0.0223 0.1386 0.4965 0.0655 0.0598 0.0251 0.0281 0.0882 0.0586 0.0152 323-AH 0.0986 0.3750 0.7500 0.7500 0.8571 0.6062 0.2429 0.3750 0.7586 0.4007 0.5353 0.4333 0.2087 0.0986 0.8571 0.6062 0.2429 324-AH 0.0467 0.5268 0.7500 0.8500 0.9412 0.6675 0.2322 0.3232 0.8944 0.3478 0.5912 0.4107 0.1865 0.0467 0.9412 0.6675 0.2322 325-AH 0.6176 0.7181 0.7879 0.8571 1.0000 0.8086 0.1119 0.1390 0.3824 0.1384 0.8014 0.7944 0.0873 0.6176 1.0000 0.8086 0.1119 326-AH 0.3333 0.6250 1.0000 1.0000 1.0000 0.8467 0.2587 0.3750 0.6667 0.3056 0.7936 0.7246 0.2208 0.3333 1.0000 0.8467 0.2587 327-AH 0.0000 0.2500 0.3333 1.0000 1.0000 0.4908 0.3498 0.7500 1.0000 0.7128 0.2617 0.0002 0.2888 0.0000 1.0000 0.4908 0.3498 328-AH 0.5000 0.5556 0.6250 0.6667 1.0000 0.6516 0.1310 0.1111 0.5000 0.2010 0.6404 0.6304 0.0938 0.5000 0.7143 0.6023 0.0636 329-AH 0.4615 0.7500 1.0000 1.0000 1.0000 0.8664 0.1677 0.2500 0.5385 0.1936 0.8478 0.8256 0.1397 0.4615 1.0000 0.8664 0.1677 330-AH 0.3333 0.9173 0.9474 1.0000 1.0000 0.9169 0.1464 0.0827 0.6667 0.1596 0.8991 0.8697 0.0854 0.8182 1.0000 0.9545 0.0533 331-AH 0.0704 0.3300 0.3571 0.6750 1.0000 0.4394 0.2347 0.3450 0.9296 0.5340 0.3718 0.2907 0.1872 0.0704 1.0000 0.4394 0.2347 332-AH 0.0048 0.5000 0.6667 1.0000 1.0000 0.7042 0.2821 0.5000 0.9952 0.4006 0.5664 0.1016 0.2366 0.0048 1.0000 0.7042 0.2821 333-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9700 0.1500 0.0000 0.7500 0.1546 0.9461 0.8929 0.0576 1.0000 1.0000 1.0000 0.0000 334-AH 0.0144 0.3333 0.4286 1.0000 1.0000 0.5339 0.3180 0.6667 0.9856 0.5955 0.4176 0.1969 0.2610 0.0144 1.0000 0.5339 0.3180 335-AH 0.0420 0.1585 0.2500 0.4659 0.6000 0.2985 0.1780 0.3074 0.5580 0.5964 0.2462 0.1934 0.1473 0.0420 0.6000 0.2985 0.1780 336-AH 0.0000 0.0335 0.1143 0.3727 0.5000 0.1923 0.1841 0.3392 0.5000 0.9573 0.0647 0.0002 0.1694 0.0000 0.5000 0.1923 0.1841 337-AH 0.8571 1.0000 1.0000 1.0000 1.0000 0.9779 0.0519 0.0000 0.1429 0.0531 0.9764 0.9749 0.0372 1.0000 1.0000 1.0000 0.0000 338-AH 0.0541 1.0000 1.0000 1.0000 1.0000 0.9320 0.1990 0.0000 0.9459 0.2136 0.8598 0.5748 0.1088 1.0000 1.0000 1.0000 0.0000 339-AH 0.3333 0.6667 0.8000 1.0000 1.0000 0.8137 0.1963 0.3333 0.6667 0.2412 0.7864 0.7531 0.1640 0.3333 1.0000 0.8137 0.1963 340-AH 0.2500 0.4821 0.5000 0.8125 1.0000 0.6171 0.2387 0.3304 0.7500 0.3867 0.5764 0.5396 0.1944 0.2500 1.0000 0.6171 0.2387 48 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 342-AH 0.6897 0.8264 0.8800 0.9259 0.9615 0.8650 0.0693 0.0995 0.2719 0.0801 0.8622 0.8593 0.0560 0.6897 0.9615 0.8650 0.0693 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.3333 0.4950 0.6667 0.9256 1.0000 0.7008 0.2299 0.4306 0.6667 0.3280 0.6626 0.6240 0.2027 0.3333 1.0000 0.7008 0.2299 345-AH 0.0938 0.1173 0.5000 0.5000 1.0000 0.3775 0.2247 0.3827 0.9062 0.5954 0.3030 0.2311 0.1843 0.0938 1.0000 0.3775 0.2247 346-AH 0.0575 0.0816 0.1176 0.1601 0.2143 0.1239 0.0439 0.0785 0.1568 0.3541 0.1161 0.1084 0.0381 0.0575 0.2143 0.1239 0.0439 347-AH 0.0488 0.0635 0.0833 0.1295 0.5000 0.1216 0.0978 0.0660 0.4512 0.8040 0.1005 0.0884 0.0621 0.0488 0.2222 0.0981 0.0461 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.2917 0.4311 0.5000 0.6643 1.0000 0.5856 0.2397 0.2332 0.7083 0.4093 0.5441 0.5090 0.1898 0.2917 1.0000 0.5856 0.2397 350-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 49 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9829 0.0857 0.0000 0.4286 0.0872 0.9779 0.9709 0.0329 1.0000 1.0000 1.0000 0.0000 143-AH 0.7857 0.9286 1.0000 1.0000 1.0000 0.9547 0.0694 0.0714 0.2143 0.0727 0.9521 0.9493 0.0543 0.8235 1.0000 0.9694 0.0494 144-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.8933 0.2198 0.0000 0.6667 0.2461 0.8565 0.8065 0.1707 1.0000 1.0000 1.0000 0.0000 145-AH 0.5909 0.8281 0.8667 0.9231 1.0000 0.8625 0.0870 0.0950 0.4091 0.1009 0.8579 0.8527 0.0613 0.7368 1.0000 0.8738 0.0675 146-AH 0.0833 0.8750 1.0000 1.0000 1.0000 0.8567 0.2717 0.1250 0.9167 0.3171 0.7755 0.5952 0.2179 1.0000 1.0000 1.0000 0.0000 147-AH 0.4000 0.7955 0.9130 0.9434 1.0000 0.8563 0.1521 0.1479 0.6000 0.1777 0.8399 0.8188 0.1173 0.6000 1.0000 0.8753 0.1213 148-AH 0.0122 0.0502 0.0556 0.0645 0.1667 0.0595 0.0275 0.0143 0.1545 0.4626 0.0541 0.0475 0.0158 0.0294 0.0750 0.0570 0.0106 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0449 0.0909 0.2708 0.3750 0.1512 0.1337 0.2259 0.3750 0.8848 0.0688 0.0002 0.1130 0.0000 0.3750 0.1512 0.1337 151-AH 0.0723 0.2178 0.4000 0.6667 1.0000 0.4448 0.2715 0.4489 0.9277 0.6104 0.3439 0.2381 0.2124 0.0723 1.0000 0.4448 0.2715 152-AH 0.1212 0.3666 0.8571 1.0000 1.0000 0.7289 0.3385 0.6334 0.8788 0.4644 0.6032 0.4360 0.2903 0.1212 1.0000 0.7289 0.3385 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.1273 0.3653 0.4706 0.6364 0.8750 0.4684 0.1886 0.2711 0.7477 0.4026 0.4228 0.3667 0.1480 0.1273 0.8750 0.4684 0.1886 155-AH 0.0129 0.1607 0.2500 0.3333 0.5000 0.2564 0.1338 0.1726 0.4871 0.5219 0.2112 0.1298 0.1084 0.0129 0.5000 0.2564 0.1338 156-AH 0.0833 0.1731 0.2162 0.2393 0.5385 0.2311 0.1100 0.0662 0.4551 0.4758 0.2094 0.1895 0.0712 0.0833 0.3182 0.1976 0.0590 157-AH 0.1051 0.6337 0.6562 0.7443 0.8400 0.6537 0.1425 0.1107 0.7349 0.2179 0.6230 0.5483 0.0844 0.5795 0.8400 0.6864 0.0739 158-AH 0.0000 0.4192 0.6875 0.7464 0.9286 0.5714 0.2783 0.3273 0.9286 0.4871 0.1645 0.0001 0.2269 0.0000 0.9286 0.5714 0.2783 159-AH 0.1508 0.2734 0.2969 0.4653 0.9524 0.3940 0.2023 0.1919 0.8016 0.5135 0.3547 0.3246 0.1567 0.1508 0.7500 0.3708 0.1691 160-AH 0.0370 0.0526 0.0769 0.1864 0.5000 0.1327 0.1096 0.1337 0.4630 0.8253 0.1016 0.0817 0.0842 0.0370 0.3333 0.1174 0.0801 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.7872 0.9430 0.9643 0.9858 1.0000 0.9552 0.0475 0.0428 0.2128 0.0497 0.9540 0.9527 0.0327 0.8810 1.0000 0.9622 0.0328 164-AH 0.0643 0.0942 0.1667 0.1952 0.2857 0.1599 0.0620 0.1010 0.2214 0.3877 0.1471 0.1338 0.0501 0.0643 0.2857 0.1599 0.0620 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0406 0.0667 0.3813 0.5000 0.1799 0.1702 0.3406 0.5000 0.9461 0.0786 0.0002 0.1453 0.0000 0.5000 0.1799 0.1702 168-AH 0.0195 0.4615 0.5357 0.5455 1.0000 0.5277 0.1622 0.0839 0.9805 0.3074 0.4710 0.2585 0.0883 0.3750 0.6667 0.5169 0.0591 169-AH 0.0000 0.0122 0.0168 0.0621 0.1000 0.0322 0.0323 0.0499 0.1000 1.0050 0.0153 0.0002 0.0274 0.0000 0.1000 0.0322 0.0323 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0698 0.1064 0.1200 0.1667 0.0966 0.0371 0.0502 0.1667 0.3839 0.0655 0.0002 0.0285 0.0000 0.1667 0.0966 0.0371 172-AH 0.0276 0.0808 0.1034 0.1307 0.3750 0.1281 0.0806 0.0498 0.3474 0.6293 0.1096 0.0945 0.0598 0.0276 0.2000 0.0983 0.0370 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9400 0.1307 0.0000 0.5000 0.1390 0.9289 0.9146 0.0960 1.0000 1.0000 1.0000 0.0000 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.0755 0.3972 0.5000 0.7143 0.8333 0.5235 0.2131 0.3171 0.7579 0.4072 0.4584 0.3512 0.1697 0.0755 0.8333 0.5235 0.2131 178-AH 0.0061 0.0128 0.0625 0.0894 0.4000 0.0819 0.0965 0.0767 0.3939 1.1785 0.0456 0.0250 0.0617 0.0061 0.1765 0.0571 0.0453 179-AH 0.1148 0.7750 1.0000 1.0000 1.0000 0.8367 0.2570 0.2250 0.8852 0.3071 0.7583 0.5985 0.1855 0.7000 1.0000 0.9201 0.1117 180-AH 0.0206 0.1009 0.7222 0.8472 1.0000 0.5426 0.3876 0.7463 0.9794 0.7143 0.3211 0.1364 0.3591 0.0206 1.0000 0.5426 0.3876 181-AH 0.6415 0.8947 0.9149 0.9394 1.0000 0.9073 0.0699 0.0447 0.3585 0.0771 0.9043 0.9009 0.0429 0.8333 1.0000 0.9227 0.0389 182-AH 0.0300 0.0770 0.1071 0.6667 0.7500 0.2815 0.2858 0.5897 0.7200 1.0152 0.1648 0.1051 0.2518 0.0300 0.7500 0.2815 0.2858 183-AH 0.0235 0.0593 0.2500 0.4000 0.5000 0.2504 0.1571 0.3407 0.4765 0.6274 0.1818 0.1115 0.1300 0.0235 0.5000 0.2504 0.1571 184-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9620 0.0893 0.0000 0.2500 0.0928 0.9575 0.9524 0.0638 1.0000 1.0000 1.0000 0.0000 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 190-AH 0.3636 1.0000 1.0000 1.0000 1.0000 0.9531 0.1374 0.0000 0.6364 0.1442 0.9377 0.9119 0.0788 1.0000 1.0000 1.0000 0.0000 50 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.2500 0.6667 1.0000 1.0000 1.0000 0.8333 0.2753 0.3333 0.7500 0.3304 0.7662 0.6720 0.2267 0.2500 1.0000 0.8333 0.2753 193-AH 0.1905 0.2825 0.5000 1.0000 1.0000 0.6213 0.3379 0.7175 0.8095 0.5439 0.5252 0.4392 0.3133 0.1905 1.0000 0.6213 0.3379 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.3265 0.9474 1.0000 1.0000 1.0000 0.9039 0.1930 0.0526 0.6735 0.2135 0.8752 0.8334 0.1461 1.0000 1.0000 1.0000 0.0000 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4545 0.5385 0.6000 0.7273 0.8333 0.6281 0.1177 0.1888 0.3788 0.1874 0.6175 0.6069 0.0987 0.4545 0.8333 0.6281 0.1177 200-AH 0.0000 0.4688 0.8333 1.0000 1.0000 0.7055 0.3174 0.5312 1.0000 0.4498 0.4163 0.0002 0.2617 0.0000 1.0000 0.7055 0.3174 251-AH 0.1117 0.8000 0.9130 0.9231 0.9565 0.8073 0.2137 0.1231 0.8448 0.2647 0.7495 0.6207 0.1428 0.6452 0.9565 0.8740 0.0838 252-AH 0.2791 0.4475 0.5455 0.6063 0.8333 0.5556 0.1372 0.1588 0.5543 0.2469 0.5395 0.5231 0.1032 0.2791 0.8333 0.5556 0.1372 253-AH 0.1394 0.5635 0.6629 0.6888 0.7403 0.6117 0.1316 0.1254 0.6009 0.2151 0.5878 0.5414 0.0913 0.5135 0.7403 0.6435 0.0679 254-AH 0.1043 0.2682 0.3405 0.3924 0.4894 0.3300 0.0842 0.1242 0.3850 0.2551 0.3168 0.2986 0.0650 0.1043 0.4894 0.3300 0.0842 255-AH 0.0690 0.2222 0.3333 0.4583 0.6667 0.3681 0.1861 0.2361 0.5977 0.5055 0.3185 0.2641 0.1507 0.0690 0.6667 0.3681 0.1861 256-AH 0.2558 1.0000 1.0000 1.0000 1.0000 0.9645 0.1504 0.0000 0.7442 0.1559 0.9411 0.8904 0.0653 1.0000 1.0000 1.0000 0.0000 257-AH 0.1769 0.3104 0.3710 0.4033 0.5128 0.3609 0.0780 0.0928 0.3359 0.2162 0.3518 0.3414 0.0592 0.1769 0.5128 0.3609 0.0780 258-AH 0.0030 0.0222 0.0426 0.1167 0.6667 0.0913 0.1336 0.0945 0.6637 1.4636 0.0489 0.0258 0.0786 0.0030 0.2143 0.0673 0.0602 259-AH 0.0036 1.0000 1.0000 1.0000 1.0000 0.9203 0.2758 0.0000 0.9964 0.2996 0.6438 0.0482 0.1466 1.0000 1.0000 1.0000 0.0000 260-AH 0.4419 0.6897 0.7778 0.8279 0.8750 0.7578 0.1004 0.1382 0.4331 0.1325 0.7504 0.7416 0.0779 0.6333 0.8750 0.7709 0.0774 261-AH 0.0000 0.0227 0.0706 0.5921 0.8571 0.2486 0.3053 0.5694 0.8571 1.2283 0.0531 0.0001 0.2702 0.0000 0.8571 0.2486 0.3053 262-AH 0.0416 0.2280 0.4483 0.6292 0.7027 0.4274 0.2097 0.4011 0.6611 0.4907 0.3481 0.2315 0.1738 0.0416 0.7027 0.4274 0.2097 263-AH 0.0552 0.2799 0.3115 0.3429 0.4167 0.3040 0.0742 0.0630 0.3614 0.2442 0.2889 0.2577 0.0501 0.2388 0.4167 0.3202 0.0473 264-AH 0.2333 0.5957 0.8750 1.0000 1.0000 0.7673 0.2619 0.4043 0.7667 0.3414 0.7083 0.6316 0.2243 0.2333 1.0000 0.7673 0.2619 265-AH 0.0195 0.2920 0.5000 0.6875 1.0000 0.5420 0.2798 0.3955 0.9805 0.5162 0.4393 0.2346 0.2297 0.0195 1.0000 0.5420 0.2798 266-AH 0.0046 0.0080 0.0323 0.1667 0.2500 0.0861 0.0918 0.1587 0.2454 1.0666 0.0357 0.0145 0.0808 0.0046 0.2500 0.0861 0.0918 267-AH 0.1321 0.2121 0.2800 0.5096 0.8000 0.3586 0.1983 0.2975 0.6679 0.5530 0.3121 0.2746 0.1661 0.1321 0.8000 0.3586 0.1983 268-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9524 0.1813 0.0000 0.8571 0.1904 0.9102 0.7937 0.0876 1.0000 1.0000 1.0000 0.0000 269-AH 0.0347 0.2727 0.3077 0.5000 0.7500 0.3724 0.1515 0.2273 0.7153 0.4068 0.3329 0.2555 0.1213 0.0347 0.7500 0.3724 0.1515 270-AH 0.0000 0.9518 0.9565 1.0000 1.0000 0.9109 0.2081 0.0482 1.0000 0.2285 0.5972 0.0002 0.1133 0.9048 1.0000 0.9780 0.0281 271-AH 0.0162 0.6063 0.7273 0.8045 0.8889 0.6295 0.2840 0.1983 0.8727 0.4512 0.4181 0.1063 0.2093 0.5000 0.8889 0.7448 0.0972 272-AH 0.0101 0.1521 0.2500 0.3125 0.3846 0.2256 0.1080 0.1604 0.3745 0.4786 0.1722 0.0832 0.0859 0.0101 0.3846 0.2256 0.1080 273-AH 0.8065 0.8649 0.9000 0.9360 1.0000 0.9039 0.0550 0.0711 0.1935 0.0608 0.9023 0.9007 0.0482 0.8065 1.0000 0.9039 0.0550 274-AH 0.0212 0.3209 0.3750 0.4750 0.7143 0.3945 0.1765 0.1541 0.6931 0.4476 0.3297 0.1978 0.1268 0.1562 0.5556 0.3821 0.0983 275-AH 0.1250 0.3526 0.4762 0.6300 0.7692 0.4722 0.1715 0.2774 0.6442 0.3632 0.4337 0.3833 0.1281 0.1250 0.7692 0.4722 0.1715 276-AH 0.3684 0.6187 0.7308 0.7522 0.8571 0.6886 0.1239 0.1334 0.4887 0.1800 0.6759 0.6608 0.0968 0.4615 0.8571 0.7019 0.1067 277-AH 0.0489 0.2904 0.3333 0.3636 0.4737 0.3294 0.0827 0.0732 0.4248 0.2510 0.3113 0.2694 0.0564 0.2500 0.4286 0.3290 0.0457 278-AH 0.0598 0.2155 0.2759 0.3500 0.5714 0.2902 0.1233 0.1345 0.5116 0.4250 0.2613 0.2245 0.0926 0.0598 0.5385 0.2784 0.1108 279-AH 0.0235 0.0932 0.5000 0.6667 0.7500 0.3980 0.3079 0.5734 0.7265 0.7736 0.2327 0.1119 0.2941 0.0235 0.7500 0.3980 0.3079 280-AH 0.0000 0.0487 0.0696 0.1321 0.2000 0.0874 0.0541 0.0834 0.2000 0.6188 0.0404 0.0001 0.0461 0.0000 0.2000 0.0874 0.0541 281-AH 0.2065 0.5000 0.6452 0.7162 0.8824 0.6111 0.1740 0.2162 0.6758 0.2848 0.5825 0.5470 0.1420 0.2065 0.8824 0.6111 0.1740 282-AH 0.0000 0.1581 0.1923 0.2427 0.3929 0.1973 0.0926 0.0846 0.3929 0.4695 0.1221 0.0002 0.0666 0.0541 0.3448 0.2054 0.0674 283-AH 0.0446 0.3073 0.4286 0.7294 1.0000 0.4997 0.2570 0.4221 0.9554 0.5143 0.4136 0.2822 0.2131 0.0446 1.0000 0.4997 0.2570 284-AH 0.3478 0.4898 0.5455 0.6316 0.7059 0.5557 0.0849 0.1418 0.3581 0.1528 0.5492 0.5422 0.0681 0.3478 0.7059 0.5557 0.0849 285-AH 0.4490 0.7974 0.8824 0.9079 0.9412 0.8081 0.1549 0.1105 0.4922 0.1917 0.7907 0.7698 0.1192 0.7667 0.9412 0.8805 0.0489 286-AH 0.0000 0.0193 0.0446 0.0760 0.1087 0.0479 0.0334 0.0567 0.1087 0.6988 0.0220 0.0001 0.0269 0.0000 0.1087 0.0479 0.0334 287-AH 0.1261 0.4286 0.5208 0.5535 0.6250 0.4918 0.1105 0.1249 0.4989 0.2246 0.4730 0.4402 0.0799 0.2754 0.6250 0.5070 0.0817 288-AH 0.0668 0.2202 0.2887 0.4093 0.4894 0.2966 0.1166 0.1890 0.4225 0.3932 0.2689 0.2336 0.0922 0.0668 0.4894 0.2966 0.1166 289-AH 0.0204 0.6667 0.7500 0.9183 1.0000 0.7783 0.2041 0.2516 0.9796 0.2622 0.6904 0.3148 0.1440 0.6190 1.0000 0.8099 0.1321 290-AH 0.1009 0.2143 0.3158 0.4420 0.5769 0.3230 0.1453 0.2277 0.4760 0.4498 0.2882 0.2515 0.1135 0.1009 0.5769 0.3230 0.1453 51 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.3600 0.7336 0.9333 1.0000 1.0000 0.8418 0.1924 0.2664 0.6400 0.2285 0.8140 0.7772 0.1573 0.3600 1.0000 0.8418 0.1924 292-AH 0.0513 1.0000 1.0000 1.0000 1.0000 0.9001 0.2518 0.0000 0.9487 0.2798 0.8083 0.5263 0.1678 1.0000 1.0000 1.0000 0.0000 293-AH 0.0000 0.7122 0.7368 0.7867 0.8462 0.7105 0.1603 0.0745 0.8462 0.2256 0.4709 0.0002 0.0813 0.6111 0.8462 0.7482 0.0502 294-AH 0.5000 0.6466 0.6923 0.7065 0.7500 0.6632 0.0717 0.0599 0.2500 0.1081 0.6591 0.6545 0.0549 0.6053 0.7500 0.6909 0.0327 295-AH 0.1308 0.3137 0.4419 0.4944 0.6667 0.4144 0.1276 0.1807 0.5359 0.3078 0.3919 0.3642 0.1046 0.1308 0.6667 0.4144 0.1276 296-AH 0.0000 0.5619 0.6667 0.7330 0.8182 0.6174 0.1956 0.1710 0.8182 0.3168 0.3987 0.0002 0.1399 0.4706 0.8182 0.6775 0.0995 297-AH 0.0769 0.7875 0.8333 1.0000 1.0000 0.8025 0.2272 0.2125 0.9231 0.2831 0.7384 0.5734 0.1540 0.5714 1.0000 0.8531 0.1448 298-AH 0.1103 0.2000 0.2439 0.2867 0.6429 0.2715 0.1302 0.0867 0.5325 0.4798 0.2475 0.2274 0.0874 0.1103 0.3333 0.2298 0.0622 299-AH 0.2088 0.4493 0.5333 0.5610 0.7273 0.5030 0.1027 0.1117 0.5185 0.2042 0.4908 0.4751 0.0747 0.3415 0.7273 0.5152 0.0842 300-AH 0.1969 0.2391 0.2600 0.2865 0.4815 0.2769 0.0693 0.0474 0.2846 0.2503 0.2702 0.2648 0.0448 0.1969 0.3043 0.2545 0.0285 301-AH 0.0000 0.0062 0.0094 0.7917 0.8571 0.2639 0.3828 0.7855 0.8571 1.4506 0.0128 0.0001 0.3486 0.0000 0.8571 0.2639 0.3828 302-AH 0.0212 0.3684 0.4615 0.6091 0.7500 0.4778 0.1899 0.2407 0.7288 0.3975 0.4013 0.2194 0.1416 0.0212 0.7500 0.4778 0.1899 303-AH 0.0485 0.2400 0.4167 0.5114 0.7500 0.4052 0.1792 0.2714 0.7015 0.4423 0.3566 0.2840 0.1478 0.0485 0.7500 0.4052 0.1792 304-AH 0.0779 0.2273 0.3571 0.5000 0.6667 0.3606 0.1628 0.2727 0.5887 0.4516 0.3214 0.2779 0.1374 0.0779 0.6667 0.3606 0.1628 305-AH 0.2235 0.3008 0.3594 0.4343 0.5000 0.3648 0.0832 0.1335 0.2765 0.2281 0.3555 0.3460 0.0687 0.2235 0.5000 0.3648 0.0832 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0385 0.3872 0.4667 0.4861 0.5854 0.4102 0.1445 0.0989 0.5469 0.3522 0.3608 0.2629 0.1050 0.3671 0.5854 0.4678 0.0536 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0148 0.0499 0.0714 0.0755 0.1538 0.0681 0.0259 0.0256 0.1391 0.3806 0.0631 0.0565 0.0170 0.0148 0.1000 0.0645 0.0192 310-AH 0.0455 0.1048 0.1421 0.1712 0.3729 0.1446 0.0641 0.0663 0.3274 0.4430 0.1323 0.1199 0.0412 0.0455 0.2184 0.1351 0.0439 311-AH 0.1266 0.3524 0.4865 0.5689 0.6333 0.4482 0.1367 0.2166 0.5068 0.3049 0.4226 0.3888 0.1162 0.1266 0.6333 0.4482 0.1367 312-AH 0.0973 0.5000 0.6111 0.8333 0.9091 0.6166 0.2100 0.3333 0.8117 0.3406 0.5663 0.4811 0.1663 0.0973 0.9091 0.6166 0.2100 313-AH 0.0000 0.0231 0.0372 0.1149 0.3158 0.0737 0.0808 0.0918 0.3158 1.0967 0.0195 0.0001 0.0614 0.0000 0.2500 0.0636 0.0644 314-AH 0.0234 0.1014 0.1176 0.1254 0.1538 0.1101 0.0295 0.0240 0.1304 0.2680 0.1040 0.0932 0.0204 0.0842 0.1538 0.1169 0.0186 315-AH 0.0896 0.3088 0.5294 0.6513 0.8148 0.4701 0.2238 0.3424 0.7253 0.4762 0.3952 0.3028 0.1827 0.0896 0.8148 0.4701 0.2238 316-AH 0.0000 0.1068 0.2045 0.2940 0.3789 0.1973 0.1144 0.1872 0.3789 0.5801 0.0864 0.0001 0.0953 0.0000 0.3789 0.1973 0.1144 317-AH 0.0865 0.2881 0.3333 0.3913 0.4737 0.3305 0.0765 0.1032 0.3871 0.2315 0.3182 0.2976 0.0547 0.2553 0.4737 0.3407 0.0584 318-AH 0.0251 0.1102 0.1667 0.3361 0.6000 0.2433 0.1753 0.2259 0.5749 0.7205 0.1860 0.1339 0.1398 0.0251 0.6000 0.2433 0.1753 319-AH 0.0682 0.3646 0.5385 0.6818 0.8571 0.5139 0.2142 0.3172 0.7890 0.4168 0.4465 0.3420 0.1647 0.0682 0.8571 0.5139 0.2142 320-AH 0.0087 0.0209 0.0265 0.0568 0.2069 0.0434 0.0412 0.0359 0.1982 0.9492 0.0327 0.0261 0.0275 0.0087 0.0943 0.0366 0.0237 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0238 0.0408 0.0561 0.0669 0.1613 0.0590 0.0282 0.0260 0.1375 0.4776 0.0539 0.0497 0.0191 0.0238 0.0926 0.0547 0.0188 323-AH 0.0310 0.1682 0.2000 0.2975 0.4211 0.2157 0.0849 0.1293 0.3900 0.3934 0.1959 0.1648 0.0661 0.0310 0.4211 0.2157 0.0849 324-AH 0.0000 0.3623 0.6596 0.7228 0.8000 0.5364 0.2492 0.3605 0.8000 0.4645 0.3147 0.0002 0.2155 0.0000 0.8000 0.5364 0.2492 325-AH 0.5435 0.6040 0.7037 0.7892 0.9500 0.7012 0.1143 0.1852 0.4065 0.1630 0.6925 0.6841 0.0935 0.5435 0.9500 0.7012 0.1143 326-AH 0.0000 0.3214 0.6667 1.0000 1.0000 0.5714 0.3577 0.6786 1.0000 0.6260 0.1540 0.0001 0.3124 0.0000 1.0000 0.5714 0.3577 327-AH 0.0000 0.2316 0.3000 0.4000 0.5000 0.3006 0.1508 0.1684 0.5000 0.5015 0.1784 0.0002 0.1181 0.0000 0.5000 0.3006 0.1508 328-AH 0.5000 0.5200 0.5600 0.6364 0.9091 0.6050 0.1193 0.1164 0.4091 0.1972 0.5952 0.5868 0.0903 0.5000 0.7273 0.5677 0.0638 329-AH 0.4615 0.7500 0.8571 0.9167 1.0000 0.8120 0.1564 0.1667 0.5385 0.1926 0.7954 0.7763 0.1246 0.6154 1.0000 0.8425 0.1206 330-AH 0.3148 0.8534 0.9091 0.9427 1.0000 0.8744 0.1464 0.0893 0.6852 0.1674 0.8562 0.8267 0.0901 0.7273 1.0000 0.9108 0.0649 331-AH 0.0642 0.3195 0.3448 0.5333 1.0000 0.4077 0.2159 0.2138 0.9358 0.5294 0.3453 0.2652 0.1616 0.0642 0.7500 0.3831 0.1809 332-AH 0.0048 0.2765 0.3750 0.5000 0.7500 0.3992 0.1834 0.2235 0.7452 0.4595 0.3233 0.0906 0.1487 0.0048 0.7500 0.3992 0.1834 333-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9700 0.1500 0.0000 0.7500 0.1546 0.9461 0.8929 0.0576 1.0000 1.0000 1.0000 0.0000 334-AH 0.0144 0.1823 0.3333 0.4286 1.0000 0.3782 0.2798 0.2463 0.9856 0.7398 0.2850 0.1592 0.2070 0.0144 0.6667 0.2934 0.1634 335-AH 0.0420 0.1064 0.2000 0.2778 0.4545 0.2119 0.1090 0.1714 0.4125 0.5144 0.1816 0.1492 0.0915 0.0420 0.4545 0.2119 0.1090 336-AH 0.0000 0.0302 0.0741 0.1942 0.3158 0.1170 0.1056 0.1640 0.3158 0.9027 0.0283 0.0001 0.0929 0.0000 0.3158 0.1170 0.1056 337-AH 0.7500 0.8571 0.9231 1.0000 1.0000 0.9129 0.0805 0.1429 0.2500 0.0882 0.9093 0.9057 0.0665 0.7500 1.0000 0.9129 0.0805 338-AH 0.0541 1.0000 1.0000 1.0000 1.0000 0.9176 0.2296 0.0000 0.9459 0.2502 0.8336 0.5526 0.1318 1.0000 1.0000 1.0000 0.0000 339-AH 0.3158 0.5929 0.7500 0.8571 0.9000 0.7027 0.1677 0.2643 0.5842 0.2387 0.6801 0.6536 0.1386 0.3158 0.9000 0.7027 0.1677 340-AH 0.2500 0.4821 0.5000 0.6000 0.7500 0.5238 0.1068 0.1179 0.5000 0.2039 0.5120 0.4983 0.0844 0.4000 0.7500 0.5352 0.0922 52 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 342-AH 0.4462 0.7736 0.8108 0.8445 0.9091 0.8014 0.0882 0.0709 0.4629 0.1101 0.7955 0.7875 0.0525 0.7250 0.9091 0.8163 0.0490 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.1807 0.4800 0.5862 0.7464 1.0000 0.6065 0.2172 0.2664 0.8193 0.3581 0.5645 0.5161 0.1700 0.1807 1.0000 0.6065 0.2172 345-AH 0.0870 0.1173 0.2308 0.4464 0.7500 0.2873 0.1761 0.3291 0.6630 0.6129 0.2373 0.1942 0.1424 0.0870 0.7500 0.2873 0.1761 346-AH 0.0575 0.0816 0.1000 0.1429 0.1818 0.1113 0.0348 0.0612 0.1243 0.3126 0.1061 0.1010 0.0298 0.0575 0.1818 0.1113 0.0348 347-AH 0.0470 0.0635 0.0833 0.1081 0.2143 0.0964 0.0449 0.0446 0.1673 0.4657 0.0883 0.0820 0.0330 0.0470 0.1481 0.0827 0.0250 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.2647 0.3333 0.4167 0.6107 1.0000 0.5203 0.2628 0.2774 0.7353 0.5051 0.4689 0.4306 0.2119 0.2647 1.0000 0.5203 0.2628 350-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9360 0.1403 0.0000 0.5000 0.1499 0.9230 0.9063 0.1024 1.0000 1.0000 1.0000 0.0000 53 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9829 0.0857 0.0000 0.4286 0.0872 0.9779 0.9709 0.0329 1.0000 1.0000 1.0000 0.0000 143-AH 0.6957 0.7798 0.9444 1.0000 1.0000 0.8968 0.1174 0.2202 0.3043 0.1309 0.8890 0.8808 0.1024 0.6957 1.0000 0.8968 0.1174 144-AH 0.1818 0.5000 0.6667 1.0000 1.0000 0.6826 0.2449 0.5000 0.8182 0.3588 0.6328 0.5725 0.1939 0.1818 1.0000 0.6826 0.2449 145-AH 0.4848 0.7500 0.8000 0.8421 0.9412 0.7627 0.1173 0.0921 0.4563 0.1538 0.7526 0.7409 0.0844 0.6154 0.9412 0.7968 0.0729 146-AH 0.0833 0.8750 1.0000 1.0000 1.0000 0.8567 0.2717 0.1250 0.9167 0.3171 0.7755 0.5952 0.2179 1.0000 1.0000 1.0000 0.0000 147-AH 0.2625 0.7541 0.8929 0.9175 1.0000 0.8161 0.1674 0.1634 0.7375 0.2051 0.7920 0.7544 0.1235 0.5476 1.0000 0.8392 0.1239 148-AH 0.0122 0.0315 0.0411 0.0498 0.0750 0.0416 0.0145 0.0183 0.0628 0.3484 0.0388 0.0356 0.0115 0.0122 0.0750 0.0416 0.0145 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0449 0.0909 0.1667 0.3636 0.1112 0.0859 0.1217 0.3636 0.7729 0.0582 0.0002 0.0687 0.0000 0.2500 0.1006 0.0694 151-AH 0.0723 0.1252 0.3125 0.4261 0.7143 0.3050 0.1848 0.3009 0.6420 0.6060 0.2455 0.1910 0.1585 0.0723 0.7143 0.3050 0.1848 152-AH 0.1053 0.3666 0.8333 1.0000 1.0000 0.6789 0.3368 0.6334 0.8947 0.4961 0.5552 0.3998 0.2945 0.1053 1.0000 0.6789 0.3368 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.1216 0.2571 0.3600 0.4006 0.6000 0.3327 0.1247 0.1435 0.4784 0.3750 0.3068 0.2781 0.1001 0.1216 0.6000 0.3327 0.1247 155-AH 0.0129 0.1000 0.1538 0.2000 0.4000 0.1709 0.0938 0.1000 0.3871 0.5490 0.1436 0.1020 0.0726 0.0129 0.2857 0.1510 0.0665 156-AH 0.0556 0.1275 0.1875 0.2184 0.4286 0.1937 0.0906 0.0909 0.3730 0.4675 0.1742 0.1547 0.0651 0.0556 0.3333 0.1749 0.0655 157-AH 0.0782 0.5806 0.6087 0.6798 0.7733 0.6061 0.1359 0.0992 0.6951 0.2243 0.5731 0.4837 0.0768 0.5429 0.7733 0.6377 0.0680 158-AH 0.0000 0.3652 0.5185 0.7143 0.8333 0.4894 0.2499 0.3491 0.8333 0.5107 0.1424 0.0001 0.1983 0.0000 0.8333 0.4894 0.2499 159-AH 0.1337 0.2627 0.2917 0.3725 0.8621 0.3556 0.1709 0.1099 0.7284 0.4805 0.3249 0.3002 0.1201 0.1337 0.4314 0.2914 0.0725 160-AH 0.0370 0.0526 0.0769 0.1864 0.5000 0.1327 0.1096 0.1337 0.4630 0.8253 0.1016 0.0817 0.0842 0.0370 0.3333 0.1174 0.0801 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.6265 0.9166 0.9444 0.9622 1.0000 0.9262 0.0767 0.0456 0.3735 0.0828 0.9225 0.9182 0.0430 0.9028 1.0000 0.9459 0.0289 164-AH 0.0643 0.0921 0.1667 0.1939 0.2857 0.1581 0.0625 0.1018 0.2214 0.3950 0.1451 0.1316 0.0508 0.0643 0.2857 0.1581 0.0625 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0406 0.0667 0.3813 0.5000 0.1799 0.1702 0.3406 0.5000 0.9461 0.0786 0.0002 0.1453 0.0000 0.5000 0.1799 0.1702 168-AH 0.0162 0.4615 0.5333 0.5381 0.8889 0.5196 0.1500 0.0766 0.8727 0.2888 0.4623 0.2322 0.0837 0.3750 0.5789 0.5056 0.0480 169-AH 0.0000 0.0067 0.0153 0.0443 0.0857 0.0268 0.0301 0.0376 0.0857 1.1196 0.0048 0.0000 0.0247 0.0000 0.0857 0.0268 0.0301 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0673 0.0845 0.1069 0.1667 0.0856 0.0368 0.0396 0.1667 0.4299 0.0570 0.0002 0.0267 0.0130 0.1429 0.0858 0.0291 172-AH 0.0276 0.0808 0.1034 0.1307 0.3750 0.1281 0.0806 0.0498 0.3474 0.6293 0.1096 0.0945 0.0598 0.0276 0.2000 0.0983 0.0370 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9400 0.1307 0.0000 0.5000 0.1390 0.9289 0.9146 0.0960 1.0000 1.0000 1.0000 0.0000 176-AH 0.9412 1.0000 1.0000 1.0000 1.0000 0.9929 0.0195 0.0000 0.0588 0.0196 0.9928 0.9926 0.0124 1.0000 1.0000 1.0000 0.0000 177-AH 0.0446 0.3158 0.4667 0.6042 0.7500 0.4567 0.1910 0.2884 0.7054 0.4182 0.3911 0.2685 0.1497 0.0446 0.7500 0.4567 0.1910 178-AH 0.0061 0.0128 0.0625 0.0894 0.4000 0.0819 0.0965 0.0767 0.3939 1.1785 0.0456 0.0250 0.0617 0.0061 0.1765 0.0571 0.0453 179-AH 0.0592 0.5597 0.8333 0.9091 1.0000 0.7103 0.2937 0.3494 0.9408 0.4134 0.6036 0.4160 0.2396 0.0592 1.0000 0.7103 0.2937 180-AH 0.0206 0.0981 0.6875 0.7849 0.8889 0.4859 0.3406 0.6867 0.8683 0.7010 0.2961 0.1332 0.3187 0.0206 0.8889 0.4859 0.3406 181-AH 0.6190 0.8911 0.9070 0.9233 0.9512 0.8933 0.0657 0.0323 0.3322 0.0736 0.8905 0.8872 0.0380 0.8594 0.9512 0.9119 0.0236 182-AH 0.0300 0.0770 0.1071 0.6667 0.7500 0.2815 0.2858 0.5897 0.7200 1.0152 0.1648 0.1051 0.2518 0.0300 0.7500 0.2815 0.2858 183-AH 0.0235 0.0593 0.2500 0.4000 0.5000 0.2504 0.1571 0.3407 0.4765 0.6274 0.1818 0.1115 0.1300 0.0235 0.5000 0.2504 0.1571 184-AH 0.4118 0.7875 1.0000 1.0000 1.0000 0.8697 0.1600 0.2125 0.5882 0.1840 0.8527 0.8316 0.1355 0.6667 1.0000 0.8888 0.1312 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 190-AH 0.3636 0.9643 1.0000 1.0000 1.0000 0.9394 0.1410 0.0357 0.6364 0.1501 0.9237 0.8982 0.0921 1.0000 1.0000 1.0000 0.0000 54 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0385 0.3646 0.6000 0.8750 1.0000 0.6081 0.2941 0.5104 0.9615 0.4836 0.5109 0.3404 0.2442 0.0385 1.0000 0.6081 0.2941 193-AH 0.1905 0.2825 0.5000 1.0000 1.0000 0.6213 0.3379 0.7175 0.8095 0.5439 0.5252 0.4392 0.3133 0.1905 1.0000 0.6213 0.3379 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.3175 0.8090 0.9615 1.0000 1.0000 0.8566 0.2240 0.1910 0.6825 0.2615 0.8179 0.7665 0.1804 0.6000 1.0000 0.9401 0.1172 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4545 0.5385 0.6000 0.7273 0.8333 0.6177 0.1151 0.1888 0.3788 0.1863 0.6077 0.5978 0.0946 0.4545 0.8333 0.6177 0.1151 200-AH 0.0000 0.3138 0.6250 0.8393 1.0000 0.6040 0.3193 0.5255 1.0000 0.5286 0.3452 0.0002 0.2780 0.0000 1.0000 0.6040 0.3193 251-AH 0.0751 0.6628 0.7879 0.8387 0.9032 0.7129 0.2057 0.1759 0.8281 0.2885 0.6533 0.5123 0.1486 0.5000 0.9032 0.7617 0.1204 252-AH 0.2449 0.4192 0.5000 0.6000 0.7500 0.4978 0.1399 0.1808 0.5051 0.2811 0.4768 0.4538 0.1126 0.2449 0.7500 0.4978 0.1399 253-AH 0.0000 0.4411 0.5672 0.6021 0.6387 0.5121 0.1411 0.1610 0.6387 0.2755 0.3392 0.0002 0.0980 0.2664 0.6387 0.5334 0.0943 254-AH 0.0000 0.2592 0.3036 0.3510 0.3932 0.2946 0.0824 0.0918 0.3932 0.2798 0.1996 0.0002 0.0551 0.1953 0.3932 0.3068 0.0562 255-AH 0.0690 0.2222 0.3333 0.4583 0.6667 0.3681 0.1861 0.2361 0.5977 0.5055 0.3185 0.2641 0.1507 0.0690 0.6667 0.3681 0.1861 256-AH 0.1735 0.9365 1.0000 1.0000 1.0000 0.9163 0.1818 0.0635 0.8265 0.1984 0.8801 0.7956 0.1138 0.9333 1.0000 0.9875 0.0257 257-AH 0.1320 0.2741 0.3226 0.3538 0.4333 0.3052 0.0704 0.0797 0.3013 0.2308 0.2959 0.2844 0.0553 0.1688 0.4333 0.3124 0.0618 258-AH 0.0030 0.0222 0.0426 0.1167 0.6667 0.0913 0.1336 0.0945 0.6637 1.4636 0.0489 0.0258 0.0786 0.0030 0.2143 0.0673 0.0602 259-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7817 0.3499 0.5000 1.0000 0.4476 0.4067 0.0002 0.2968 0.0000 1.0000 0.7817 0.3499 260-AH 0.3514 0.6358 0.7027 0.7803 0.8387 0.6941 0.1126 0.1445 0.4874 0.1622 0.6836 0.6707 0.0828 0.5192 0.8387 0.7084 0.0889 261-AH 0.0000 0.0000 0.0353 0.4488 0.5556 0.1737 0.2253 0.4488 0.5556 1.2969 0.0085 0.0000 0.2032 0.0000 0.5556 0.1737 0.2253 262-AH 0.0000 0.1764 0.3736 0.4789 0.5763 0.3350 0.1739 0.3024 0.5763 0.5191 0.1942 0.0002 0.1453 0.0000 0.5763 0.3350 0.1739 263-AH 0.0541 0.2270 0.2778 0.3064 0.3390 0.2615 0.0666 0.0794 0.2849 0.2548 0.2485 0.2249 0.0521 0.1528 0.3390 0.2701 0.0518 264-AH 0.2143 0.4678 0.7500 0.8500 1.0000 0.6641 0.2476 0.3822 0.7857 0.3728 0.6108 0.5498 0.2199 0.2143 1.0000 0.6641 0.2476 265-AH 0.0195 0.2768 0.4444 0.6667 1.0000 0.4940 0.2670 0.3899 0.9805 0.5404 0.4008 0.2242 0.2141 0.0195 1.0000 0.4940 0.2670 266-AH 0.0046 0.0080 0.0323 0.1667 0.2500 0.0861 0.0918 0.1587 0.2454 1.0666 0.0357 0.0145 0.0808 0.0046 0.2500 0.0861 0.0918 267-AH 0.1169 0.1435 0.1724 0.2821 0.6923 0.2352 0.1557 0.1386 0.5754 0.6619 0.2041 0.1850 0.1094 0.1169 0.3846 0.1955 0.0761 268-AH 0.0833 1.0000 1.0000 1.0000 1.0000 0.9233 0.2068 0.0000 0.9167 0.2240 0.8624 0.6667 0.1288 1.0000 1.0000 1.0000 0.0000 269-AH 0.0347 0.2241 0.3077 0.3636 0.5714 0.2959 0.1304 0.1395 0.5368 0.4405 0.2526 0.1823 0.0955 0.0347 0.5714 0.2959 0.1304 270-AH 0.0000 0.8498 0.8929 0.9208 1.0000 0.8320 0.2204 0.0710 1.0000 0.2649 0.5383 0.0002 0.1211 0.8125 1.0000 0.8995 0.0480 271-AH 0.0162 0.5417 0.6250 0.6942 0.8333 0.5443 0.2535 0.1525 0.8172 0.4657 0.3670 0.1040 0.1886 0.5000 0.8333 0.6600 0.0849 272-AH 0.0000 0.1502 0.2400 0.2647 0.3333 0.2009 0.0983 0.1145 0.3333 0.4891 0.1159 0.0002 0.0790 0.0000 0.3333 0.2009 0.0983 273-AH 0.5833 0.7765 0.8696 0.9231 0.9730 0.8493 0.0989 0.1466 0.3896 0.1165 0.8433 0.8366 0.0781 0.5833 0.9730 0.8493 0.0989 274-AH 0.0000 0.2548 0.3226 0.4010 0.7000 0.3314 0.1830 0.1463 0.7000 0.5521 0.1943 0.0002 0.1307 0.0737 0.4667 0.3075 0.0991 275-AH 0.0844 0.3248 0.4286 0.5214 0.7297 0.4151 0.1580 0.1965 0.6454 0.3805 0.3722 0.3085 0.1174 0.0844 0.7297 0.4151 0.1580 276-AH 0.3684 0.5030 0.6047 0.7000 0.7647 0.6020 0.1225 0.1970 0.3963 0.2036 0.5889 0.5747 0.1005 0.3684 0.7647 0.6020 0.1225 277-AH 0.0472 0.2189 0.2683 0.2789 0.3333 0.2474 0.0628 0.0600 0.2861 0.2538 0.2348 0.2104 0.0461 0.1486 0.3333 0.2557 0.0479 278-AH 0.0161 0.1723 0.2041 0.2727 0.4737 0.2235 0.1010 0.1005 0.4576 0.4518 0.1914 0.1304 0.0765 0.0430 0.4231 0.2217 0.0795 279-AH 0.0235 0.0932 0.5000 0.6667 0.7500 0.3980 0.3079 0.5734 0.7265 0.7736 0.2327 0.1119 0.2941 0.0235 0.7500 0.3980 0.3079 280-AH 0.0000 0.0410 0.0696 0.1142 0.1628 0.0798 0.0480 0.0732 0.1628 0.6015 0.0374 0.0001 0.0412 0.0000 0.1628 0.0798 0.0480 281-AH 0.2065 0.3912 0.5588 0.6820 0.8636 0.5400 0.1727 0.2908 0.6571 0.3197 0.5118 0.4816 0.1454 0.2065 0.8636 0.5400 0.1727 282-AH 0.0000 0.0990 0.1367 0.1554 0.3023 0.1287 0.0601 0.0564 0.3023 0.4666 0.0826 0.0002 0.0427 0.0153 0.1884 0.1268 0.0425 283-AH 0.0000 0.2266 0.2857 0.6250 1.0000 0.3899 0.2641 0.3984 1.0000 0.6773 0.2186 0.0002 0.2225 0.0000 1.0000 0.3899 0.2641 284-AH 0.3478 0.4849 0.5312 0.5931 0.6538 0.5278 0.0767 0.1082 0.3060 0.1453 0.5221 0.5160 0.0585 0.3478 0.6538 0.5278 0.0767 285-AH 0.4000 0.7295 0.8333 0.8996 0.9412 0.7737 0.1730 0.1702 0.5412 0.2236 0.7506 0.7227 0.1361 0.4828 0.9412 0.8045 0.1423 286-AH 0.0000 0.0155 0.0397 0.0651 0.1087 0.0425 0.0325 0.0496 0.1087 0.7632 0.0188 0.0001 0.0252 0.0000 0.1087 0.0425 0.0325 287-AH 0.0885 0.3856 0.5128 0.5440 0.6250 0.4669 0.1186 0.1584 0.5365 0.2539 0.4426 0.3959 0.0927 0.2716 0.6250 0.4826 0.0905 288-AH 0.0640 0.1745 0.2238 0.3095 0.4697 0.2389 0.1084 0.1350 0.4056 0.4535 0.2138 0.1869 0.0821 0.0640 0.4697 0.2389 0.1084 289-AH 0.0204 0.6667 0.7273 0.9000 1.0000 0.7267 0.2044 0.2333 0.9796 0.2813 0.6428 0.3049 0.1336 0.4500 1.0000 0.7562 0.1449 290-AH 0.1009 0.2143 0.3049 0.3962 0.5000 0.2920 0.1178 0.1819 0.3991 0.4036 0.2652 0.2355 0.0961 0.1009 0.5000 0.2920 0.1178 55 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.2182 0.7068 0.8125 0.9353 1.0000 0.7813 0.2054 0.2285 0.7818 0.2628 0.7417 0.6792 0.1525 0.6000 1.0000 0.8280 0.1322 292-AH 0.0513 1.0000 1.0000 1.0000 1.0000 0.9001 0.2518 0.0000 0.9487 0.2798 0.8083 0.5263 0.1678 1.0000 1.0000 1.0000 0.0000 293-AH 0.0000 0.6591 0.7000 0.7374 0.7895 0.6570 0.1586 0.0783 0.7895 0.2414 0.4352 0.0002 0.0957 0.5556 0.7895 0.7081 0.0541 294-AH 0.5000 0.6466 0.6923 0.7065 0.7500 0.6632 0.0717 0.0599 0.2500 0.1081 0.6591 0.6545 0.0549 0.6053 0.7500 0.6909 0.0327 295-AH 0.0275 0.1849 0.4038 0.4437 0.4898 0.3282 0.1574 0.2589 0.4623 0.4795 0.2533 0.1384 0.1310 0.0275 0.4898 0.3282 0.1574 296-AH 0.0000 0.4723 0.5556 0.6786 0.7895 0.5419 0.1963 0.2062 0.7895 0.3621 0.3466 0.0002 0.1481 0.1781 0.7895 0.5645 0.1640 297-AH 0.0248 0.5417 0.7500 0.8333 1.0000 0.6414 0.2941 0.2917 0.9752 0.4585 0.5119 0.2670 0.2406 0.1064 1.0000 0.6671 0.2703 298-AH 0.0739 0.1849 0.2027 0.2500 0.3871 0.2142 0.0631 0.0651 0.3132 0.2948 0.2043 0.1924 0.0449 0.1103 0.3077 0.2127 0.0457 299-AH 0.2088 0.3237 0.4125 0.4523 0.5556 0.3988 0.0878 0.1286 0.3468 0.2202 0.3887 0.3778 0.0710 0.2088 0.5556 0.3988 0.0878 300-AH 0.1278 0.2190 0.2447 0.2632 0.2903 0.2395 0.0349 0.0441 0.1625 0.1457 0.2366 0.2330 0.0270 0.1969 0.2903 0.2442 0.0266 301-AH 0.0000 0.0000 0.0000 0.4375 0.7778 0.1928 0.2977 0.4375 0.7778 1.5443 0.0004 0.0000 0.2615 0.0000 0.7778 0.1928 0.2977 302-AH 0.0204 0.2988 0.3684 0.4500 0.7273 0.3745 0.1687 0.1512 0.7069 0.4503 0.3070 0.1650 0.1213 0.2121 0.6364 0.3757 0.1012 303-AH 0.0324 0.2392 0.3529 0.5000 0.7500 0.3675 0.1877 0.2608 0.7176 0.5109 0.3070 0.2181 0.1505 0.0324 0.7500 0.3675 0.1877 304-AH 0.0357 0.1592 0.2000 0.3039 0.6667 0.2494 0.1662 0.1448 0.6310 0.6664 0.2022 0.1587 0.1271 0.0357 0.5000 0.2035 0.1128 305-AH 0.2031 0.2461 0.2963 0.3614 0.4909 0.3151 0.0942 0.1154 0.2878 0.2989 0.3026 0.2915 0.0769 0.2031 0.4909 0.3151 0.0942 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0317 0.3516 0.4324 0.4667 0.5424 0.3783 0.1420 0.1150 0.5106 0.3754 0.3247 0.2234 0.1041 0.3298 0.5424 0.4352 0.0531 308-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 309-AH 0.0100 0.0458 0.0533 0.0640 0.1538 0.0588 0.0266 0.0183 0.1439 0.4515 0.0535 0.0466 0.0171 0.0339 0.0889 0.0549 0.0129 310-AH 0.0000 0.0950 0.1244 0.1398 0.3256 0.1210 0.0583 0.0448 0.3256 0.4821 0.0807 0.0002 0.0355 0.0586 0.2015 0.1174 0.0336 311-AH 0.1078 0.3171 0.4364 0.5238 0.5500 0.4047 0.1267 0.2068 0.4422 0.3130 0.3789 0.3432 0.1040 0.1078 0.5500 0.4047 0.1267 312-AH 0.0798 0.5000 0.5833 0.7537 0.8824 0.5776 0.2072 0.2537 0.8026 0.3586 0.5201 0.4202 0.1568 0.1585 0.8824 0.5984 0.1832 313-AH 0.0000 0.0170 0.0320 0.0742 0.1481 0.0476 0.0428 0.0571 0.1481 0.8991 0.0148 0.0001 0.0349 0.0000 0.1481 0.0476 0.0428 314-AH 0.0165 0.0847 0.0968 0.1209 0.1538 0.1018 0.0319 0.0362 0.1373 0.3136 0.0945 0.0813 0.0240 0.0398 0.1538 0.1054 0.0271 315-AH 0.0428 0.2466 0.4516 0.6486 0.7273 0.4060 0.2299 0.4020 0.6845 0.5663 0.3086 0.1922 0.1928 0.0428 0.7273 0.4060 0.2299 316-AH 0.0000 0.0938 0.1667 0.2400 0.2963 0.1645 0.0909 0.1463 0.2963 0.5526 0.0731 0.0001 0.0782 0.0000 0.2963 0.1645 0.0909 317-AH 0.0000 0.2148 0.2553 0.3023 0.3784 0.2493 0.0777 0.0876 0.3784 0.3118 0.1682 0.0002 0.0543 0.1102 0.3784 0.2597 0.0591 318-AH 0.0251 0.1102 0.1667 0.3143 0.5714 0.2271 0.1574 0.2041 0.5463 0.6929 0.1771 0.1305 0.1254 0.0251 0.5714 0.2271 0.1574 319-AH 0.0503 0.1788 0.4706 0.5000 0.7273 0.3786 0.1917 0.3212 0.6770 0.5063 0.3080 0.2183 0.1648 0.0503 0.7273 0.3786 0.1917 320-AH 0.0000 0.0135 0.0206 0.0286 0.1842 0.0263 0.0343 0.0151 0.1842 1.3046 0.0119 0.0001 0.0156 0.0000 0.0400 0.0197 0.0100 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0238 0.0329 0.0561 0.0661 0.1132 0.0526 0.0209 0.0332 0.0894 0.3963 0.0488 0.0452 0.0168 0.0238 0.1132 0.0526 0.0209 323-AH 0.0151 0.0911 0.1158 0.1573 0.2340 0.1283 0.0490 0.0662 0.2189 0.3821 0.1162 0.0943 0.0400 0.0151 0.2340 0.1283 0.0490 324-AH 0.0000 0.1075 0.6250 0.6786 0.7674 0.4408 0.2906 0.5711 0.7674 0.6592 0.1532 0.0001 0.2639 0.0000 0.7674 0.4408 0.2906 325-AH 0.4386 0.5525 0.6579 0.7186 0.8387 0.6490 0.1132 0.1660 0.4001 0.1744 0.6395 0.6300 0.0929 0.4386 0.8387 0.6490 0.1132 326-AH 0.0000 0.3214 0.6667 1.0000 1.0000 0.5714 0.3577 0.6786 1.0000 0.6260 0.1540 0.0001 0.3124 0.0000 1.0000 0.5714 0.3577 327-AH 0.0000 0.2316 0.3000 0.4000 0.5000 0.3006 0.1508 0.1684 0.5000 0.5015 0.1784 0.0002 0.1181 0.0000 0.5000 0.3006 0.1508 328-AH 0.4783 0.5200 0.5455 0.6250 0.9091 0.5836 0.1053 0.1050 0.4308 0.1804 0.5759 0.5694 0.0768 0.4783 0.6667 0.5579 0.0579 329-AH 0.4444 0.6074 0.7000 0.7500 1.0000 0.6866 0.1321 0.1426 0.5556 0.1924 0.6744 0.6621 0.1001 0.4444 0.8889 0.6736 0.1173 330-AH 0.2376 0.7944 0.8462 0.9130 0.9286 0.8130 0.1482 0.1186 0.6909 0.1823 0.7912 0.7516 0.0900 0.7778 0.9286 0.8588 0.0521 331-AH 0.0642 0.3195 0.3448 0.5333 1.0000 0.4044 0.2109 0.2138 0.9358 0.5216 0.3437 0.2648 0.1571 0.0642 0.7273 0.3796 0.1742 332-AH 0.0000 0.2478 0.2581 0.3141 0.5714 0.2909 0.1201 0.0663 0.5714 0.4127 0.1914 0.0002 0.0821 0.1852 0.3333 0.2601 0.0414 333-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9700 0.1500 0.0000 0.7500 0.1546 0.9461 0.8929 0.0576 1.0000 1.0000 1.0000 0.0000 334-AH 0.0144 0.1823 0.3333 0.4286 1.0000 0.3782 0.2798 0.2463 0.9856 0.7398 0.2850 0.1592 0.2070 0.0144 0.6667 0.2934 0.1634 335-AH 0.0405 0.0994 0.1765 0.2557 0.3750 0.1876 0.0926 0.1563 0.3345 0.4939 0.1624 0.1353 0.0783 0.0405 0.3750 0.1876 0.0926 336-AH 0.0000 0.0289 0.0741 0.1699 0.2432 0.0911 0.0828 0.1409 0.2432 0.9088 0.0184 0.0001 0.0693 0.0000 0.2432 0.0911 0.0828 337-AH 0.6207 0.8000 0.8889 0.9110 1.0000 0.8394 0.0963 0.1110 0.3793 0.1147 0.8337 0.8276 0.0774 0.6667 1.0000 0.8485 0.0867 338-AH 0.0541 0.8571 1.0000 1.0000 1.0000 0.8948 0.2273 0.1429 0.9459 0.2540 0.8133 0.5446 0.1347 0.8333 1.0000 0.9569 0.0672 339-AH 0.1765 0.5476 0.6471 0.7500 0.9000 0.6482 0.1760 0.2024 0.7235 0.2716 0.6183 0.5750 0.1373 0.4444 0.9000 0.6679 0.1492 340-AH 0.2500 0.4821 0.5000 0.6000 0.7500 0.5238 0.1068 0.1179 0.5000 0.2039 0.5120 0.4983 0.0844 0.4000 0.7500 0.5352 0.0922 56 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0385 1.0000 1.0000 1.0000 1.0000 0.9615 0.1923 0.0000 0.9615 0.2000 0.8778 0.5000 0.0738 1.0000 1.0000 1.0000 0.0000 342-AH 0.2848 0.6984 0.7595 0.8197 0.8493 0.7392 0.1151 0.1213 0.5645 0.1557 0.7264 0.7060 0.0753 0.6290 0.8493 0.7582 0.0668 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.1807 0.4000 0.4706 0.6733 0.9333 0.5298 0.2202 0.2733 0.7526 0.4156 0.4843 0.4378 0.1730 0.1807 0.9333 0.5298 0.2202 345-AH 0.0563 0.1142 0.2000 0.2740 0.6667 0.2318 0.1482 0.1598 0.6103 0.6395 0.1929 0.1603 0.1073 0.0563 0.5000 0.2137 0.1199 346-AH 0.0575 0.0800 0.0988 0.1278 0.1818 0.1068 0.0336 0.0478 0.1243 0.3148 0.1019 0.0973 0.0277 0.0575 0.1818 0.1068 0.0336 347-AH 0.0339 0.0591 0.0741 0.0964 0.1905 0.0821 0.0338 0.0374 0.1566 0.4119 0.0766 0.0717 0.0246 0.0339 0.1481 0.0776 0.0257 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.2154 0.3204 0.3871 0.5016 1.0000 0.4862 0.2667 0.1812 0.7846 0.5486 0.4322 0.3941 0.2105 0.2154 0.6316 0.3619 0.0908 350-AH 0.3750 0.8750 1.0000 1.0000 1.0000 0.8954 0.1739 0.1250 0.6250 0.1942 0.8728 0.8409 0.1255 0.7143 1.0000 0.9495 0.0827 57 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9829 0.0857 0.0000 0.4286 0.0872 0.9779 0.9709 0.0329 1.0000 1.0000 1.0000 0.0000 143-AH 0.5128 0.7389 0.8333 1.0000 1.0000 0.8390 0.1701 0.2611 0.4872 0.2027 0.8203 0.7996 0.1435 0.5128 1.0000 0.8390 0.1701 144-AH 0.1818 0.5000 0.6667 1.0000 1.0000 0.6826 0.2449 0.5000 0.8182 0.3588 0.6328 0.5725 0.1939 0.1818 1.0000 0.6826 0.2449 145-AH 0.3455 0.7139 0.7742 0.8000 0.8636 0.7147 0.1446 0.0861 0.5182 0.2023 0.6966 0.6736 0.1120 0.6333 0.8636 0.7807 0.0460 146-AH 0.0833 0.8750 1.0000 1.0000 1.0000 0.8567 0.2717 0.1250 0.9167 0.3171 0.7755 0.5952 0.2179 1.0000 1.0000 1.0000 0.0000 147-AH 0.2131 0.6839 0.8182 0.8828 0.9355 0.7715 0.1631 0.1989 0.7224 0.2114 0.7457 0.7016 0.1211 0.5417 0.9355 0.7948 0.1168 148-AH 0.0122 0.0315 0.0411 0.0498 0.0750 0.0416 0.0145 0.0183 0.0628 0.3484 0.0388 0.0356 0.0115 0.0122 0.0750 0.0416 0.0145 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0449 0.0575 0.1389 0.2500 0.0836 0.0656 0.0940 0.2500 0.7848 0.0360 0.0001 0.0530 0.0000 0.2500 0.0836 0.0656 151-AH 0.0414 0.0806 0.1132 0.1688 0.2609 0.1283 0.0619 0.0882 0.2195 0.4822 0.1141 0.1008 0.0519 0.0414 0.2609 0.1283 0.0619 152-AH 0.0699 0.2091 0.6667 0.8785 1.0000 0.6090 0.3453 0.6694 0.9301 0.5670 0.4621 0.2940 0.3020 0.0699 1.0000 0.6090 0.3453 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.0730 0.1478 0.2667 0.2959 0.3548 0.2356 0.0825 0.1481 0.2819 0.3502 0.2181 0.1969 0.0698 0.0730 0.3548 0.2356 0.0825 155-AH 0.0129 0.1000 0.1538 0.2000 0.4000 0.1709 0.0938 0.1000 0.3871 0.5490 0.1436 0.1020 0.0726 0.0129 0.2857 0.1510 0.0665 156-AH 0.0347 0.0939 0.1486 0.1774 0.3438 0.1527 0.0784 0.0835 0.3091 0.5134 0.1312 0.1076 0.0566 0.0347 0.2683 0.1377 0.0612 157-AH 0.0000 0.5363 0.5600 0.6297 0.7257 0.5529 0.1380 0.0935 0.7257 0.2497 0.3681 0.0002 0.0766 0.4932 0.7257 0.5854 0.0637 158-AH 0.0000 0.2481 0.3864 0.5357 0.7391 0.3941 0.2255 0.2877 0.7391 0.5721 0.1151 0.0001 0.1820 0.0000 0.7391 0.3941 0.2255 159-AH 0.1337 0.2366 0.2917 0.3521 0.8056 0.3268 0.1423 0.1154 0.6719 0.4355 0.3025 0.2811 0.0956 0.1337 0.5091 0.2957 0.0902 160-AH 0.0370 0.0526 0.0769 0.1864 0.5000 0.1327 0.1096 0.1337 0.4630 0.8253 0.1016 0.0817 0.0842 0.0370 0.3333 0.1174 0.0801 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.5980 0.8996 0.9130 0.9472 0.9559 0.9014 0.0752 0.0475 0.3578 0.0835 0.8978 0.8933 0.0420 0.8684 0.9559 0.9207 0.0267 164-AH 0.0348 0.0921 0.1485 0.1910 0.2800 0.1493 0.0628 0.0989 0.2452 0.4210 0.1344 0.1169 0.0492 0.0348 0.2800 0.1493 0.0628 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0260 0.0375 0.1552 0.5000 0.1151 0.1435 0.1292 0.5000 1.2465 0.0470 0.0002 0.1051 0.0000 0.2000 0.0683 0.0626 168-AH 0.0114 0.4615 0.5294 0.5381 0.8333 0.5092 0.1369 0.0766 0.8219 0.2689 0.4491 0.1863 0.0753 0.3750 0.5789 0.5069 0.0471 169-AH 0.0000 0.0067 0.0153 0.0443 0.0857 0.0268 0.0301 0.0376 0.0857 1.1196 0.0048 0.0000 0.0247 0.0000 0.0857 0.0268 0.0301 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0638 0.0840 0.1067 0.1667 0.0809 0.0397 0.0428 0.1667 0.4907 0.0523 0.0002 0.0302 0.0000 0.1667 0.0809 0.0397 172-AH 0.0276 0.0611 0.0851 0.0930 0.2667 0.0960 0.0610 0.0319 0.2391 0.6357 0.0832 0.0738 0.0388 0.0276 0.1290 0.0757 0.0231 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.4444 0.7143 1.0000 1.0000 1.0000 0.8656 0.1700 0.2857 0.5556 0.1965 0.8470 0.8255 0.1505 0.4444 1.0000 0.8656 0.1700 176-AH 0.8462 0.9583 1.0000 1.0000 1.0000 0.9724 0.0483 0.0417 0.1538 0.0496 0.9712 0.9699 0.0353 0.9524 1.0000 0.9886 0.0192 177-AH 0.0338 0.2091 0.3684 0.5833 0.7000 0.3884 0.2106 0.3742 0.6662 0.5422 0.3133 0.2071 0.1748 0.0338 0.7000 0.3884 0.2106 178-AH 0.0061 0.0128 0.0625 0.0894 0.4000 0.0819 0.0965 0.0767 0.3939 1.1785 0.0456 0.0250 0.0617 0.0061 0.1765 0.0571 0.0453 179-AH 0.0537 0.3617 0.7333 0.8595 1.0000 0.6202 0.3136 0.4979 0.9463 0.5056 0.4916 0.3196 0.2684 0.0537 1.0000 0.6202 0.3136 180-AH 0.0206 0.0981 0.6364 0.7181 0.8333 0.4599 0.3230 0.6200 0.8127 0.7022 0.2814 0.1297 0.3030 0.0206 0.8333 0.4599 0.3230 181-AH 0.5765 0.8777 0.8947 0.9157 0.9455 0.8819 0.0704 0.0381 0.3690 0.0799 0.8786 0.8743 0.0379 0.8333 0.9455 0.8983 0.0257 182-AH 0.0300 0.0770 0.1071 0.6667 0.7500 0.2815 0.2858 0.5897 0.7200 1.0152 0.1648 0.1051 0.2518 0.0300 0.7500 0.2815 0.2858 183-AH 0.0235 0.0593 0.2500 0.4000 0.5000 0.2504 0.1571 0.3407 0.4765 0.6274 0.1818 0.1115 0.1300 0.0235 0.5000 0.2504 0.1571 184-AH 0.3529 0.5556 0.7143 0.8750 1.0000 0.7353 0.2055 0.3194 0.6471 0.2795 0.7044 0.6703 0.1675 0.3529 1.0000 0.7353 0.2055 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9933 0.0333 0.0000 0.1667 0.0336 0.9927 0.9921 0.0128 1.0000 1.0000 1.0000 0.0000 190-AH 0.3125 0.8333 0.8571 1.0000 1.0000 0.8607 0.1642 0.1667 0.6875 0.1907 0.8395 0.8079 0.1126 0.7143 1.0000 0.8978 0.1004 58 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0385 0.3646 0.6000 0.8750 1.0000 0.6081 0.2941 0.5104 0.9615 0.4836 0.5109 0.3404 0.2442 0.0385 1.0000 0.6081 0.2941 193-AH 0.0357 0.2100 0.2941 0.5417 1.0000 0.3999 0.2590 0.3317 0.9643 0.6477 0.3246 0.2387 0.2049 0.0357 1.0000 0.3999 0.2590 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.2841 0.6244 0.9615 1.0000 1.0000 0.8087 0.2593 0.3756 0.7159 0.3207 0.7522 0.6781 0.2218 0.2841 1.0000 0.8087 0.2593 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4545 0.5385 0.5714 0.7068 0.8333 0.6055 0.1088 0.1684 0.3788 0.1796 0.5965 0.5879 0.0846 0.4545 0.8333 0.6055 0.1088 200-AH 0.0000 0.2318 0.6250 0.8333 1.0000 0.5415 0.3197 0.6015 1.0000 0.5903 0.2970 0.0002 0.2919 0.0000 1.0000 0.5415 0.3197 251-AH 0.0370 0.4314 0.5893 0.6520 0.7907 0.5313 0.1929 0.2205 0.7537 0.3630 0.4645 0.3123 0.1535 0.3300 0.7907 0.5717 0.1387 252-AH 0.1807 0.3643 0.4211 0.4725 0.6250 0.4145 0.1146 0.1082 0.4443 0.2764 0.3970 0.3770 0.0872 0.2121 0.6250 0.4242 0.1059 253-AH 0.0000 0.3434 0.4752 0.5007 0.5523 0.4223 0.1326 0.1574 0.5523 0.3140 0.2783 0.0002 0.1013 0.2357 0.5523 0.4399 0.1014 254-AH 0.0000 0.2351 0.2532 0.3132 0.3463 0.2518 0.0739 0.0781 0.3463 0.2936 0.1712 0.0002 0.0492 0.1616 0.3463 0.2623 0.0532 255-AH 0.0690 0.2222 0.3333 0.4583 0.6667 0.3681 0.1861 0.2361 0.5977 0.5055 0.3185 0.2641 0.1507 0.0690 0.6667 0.3681 0.1861 256-AH 0.1735 0.8276 0.9474 1.0000 1.0000 0.8705 0.1964 0.1724 0.8265 0.2256 0.8323 0.7540 0.1413 0.6429 1.0000 0.8996 0.1350 257-AH 0.1298 0.2170 0.2667 0.3176 0.3765 0.2613 0.0656 0.1007 0.2467 0.2511 0.2525 0.2425 0.0554 0.1298 0.3765 0.2613 0.0656 258-AH 0.0030 0.0222 0.0426 0.1167 0.6667 0.0913 0.1336 0.0945 0.6637 1.4636 0.0489 0.0258 0.0786 0.0030 0.2143 0.0673 0.0602 259-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7817 0.3499 0.5000 1.0000 0.4476 0.4067 0.0002 0.2968 0.0000 1.0000 0.7817 0.3499 260-AH 0.3200 0.5609 0.6275 0.6600 0.7333 0.6076 0.0860 0.0991 0.4133 0.1415 0.6004 0.5914 0.0618 0.5000 0.7333 0.6196 0.0630 261-AH 0.0000 0.0000 0.0179 0.2256 0.3673 0.0899 0.1269 0.2256 0.3673 1.4107 0.0017 0.0000 0.1074 0.0000 0.3673 0.0899 0.1269 262-AH 0.0000 0.1314 0.3050 0.3488 0.4674 0.2489 0.1481 0.2174 0.4674 0.5951 0.0735 0.0001 0.1288 0.0000 0.4674 0.2489 0.1481 263-AH 0.0514 0.2137 0.2330 0.2595 0.3165 0.2259 0.0577 0.0457 0.2650 0.2554 0.2148 0.1956 0.0390 0.1558 0.3165 0.2388 0.0374 264-AH 0.1803 0.3170 0.5455 0.7375 0.9167 0.5283 0.2421 0.4205 0.7363 0.4583 0.4668 0.4041 0.2167 0.1803 0.9167 0.5283 0.2421 265-AH 0.0195 0.2768 0.4444 0.6667 1.0000 0.4940 0.2670 0.3899 0.9805 0.5404 0.4008 0.2242 0.2141 0.0195 1.0000 0.4940 0.2670 266-AH 0.0046 0.0080 0.0323 0.1667 0.2500 0.0861 0.0918 0.1587 0.2454 1.0666 0.0357 0.0145 0.0808 0.0046 0.2500 0.0861 0.0918 267-AH 0.0778 0.1130 0.1481 0.1805 0.2821 0.1525 0.0488 0.0675 0.2043 0.3201 0.1455 0.1391 0.0377 0.0778 0.2400 0.1471 0.0415 268-AH 0.0833 1.0000 1.0000 1.0000 1.0000 0.9233 0.2068 0.0000 0.9167 0.2240 0.8624 0.6667 0.1288 1.0000 1.0000 1.0000 0.0000 269-AH 0.0347 0.1699 0.2273 0.2651 0.3846 0.2132 0.0953 0.0952 0.3500 0.4473 0.1846 0.1449 0.0743 0.0347 0.3846 0.2132 0.0953 270-AH 0.0000 0.6744 0.7317 0.7533 0.8857 0.6769 0.1942 0.0789 0.8857 0.2870 0.4385 0.0002 0.1163 0.5686 0.8571 0.7227 0.0584 271-AH 0.0151 0.4405 0.5455 0.6362 0.7059 0.4700 0.2293 0.1957 0.6907 0.4879 0.3128 0.0937 0.1739 0.1739 0.7059 0.5560 0.1209 272-AH 0.0000 0.0877 0.2051 0.2571 0.3333 0.1797 0.0947 0.1695 0.3333 0.5273 0.1010 0.0002 0.0772 0.0000 0.3333 0.1797 0.0947 273-AH 0.3802 0.6437 0.7963 0.8607 0.9057 0.7478 0.1410 0.2170 0.5255 0.1885 0.7331 0.7160 0.1241 0.3802 0.9057 0.7478 0.1410 274-AH 0.0000 0.2134 0.2667 0.3700 0.6154 0.2928 0.1638 0.1566 0.6154 0.5593 0.1708 0.0002 0.1194 0.0000 0.4286 0.2488 0.1173 275-AH 0.0590 0.2919 0.3708 0.5013 0.7143 0.3746 0.1669 0.2095 0.6553 0.4455 0.3234 0.2500 0.1317 0.0590 0.7143 0.3746 0.1669 276-AH 0.3261 0.4658 0.5882 0.6341 0.7143 0.5420 0.1154 0.1682 0.3882 0.2128 0.5291 0.5153 0.0984 0.3261 0.7143 0.5420 0.1154 277-AH 0.0189 0.1728 0.2031 0.2343 0.3077 0.1956 0.0666 0.0615 0.2888 0.3403 0.1741 0.1276 0.0463 0.1140 0.3077 0.2103 0.0450 278-AH 0.0157 0.1187 0.1897 0.2232 0.4231 0.1762 0.0920 0.1044 0.4074 0.5219 0.1443 0.0986 0.0686 0.0157 0.3056 0.1659 0.0779 279-AH 0.0235 0.0932 0.5000 0.6667 0.7500 0.3980 0.3079 0.5734 0.7265 0.7736 0.2327 0.1119 0.2941 0.0235 0.7500 0.3980 0.3079 280-AH 0.0000 0.0344 0.0568 0.0791 0.1628 0.0645 0.0443 0.0448 0.1628 0.6873 0.0302 0.0001 0.0328 0.0000 0.1066 0.0514 0.0273 281-AH 0.2000 0.3710 0.4200 0.5875 0.7500 0.4743 0.1465 0.2165 0.5500 0.3089 0.4524 0.4303 0.1256 0.2000 0.7500 0.4743 0.1465 282-AH 0.0000 0.0700 0.0899 0.1340 0.2807 0.0985 0.0560 0.0640 0.2807 0.5684 0.0469 0.0001 0.0410 0.0000 0.1429 0.0909 0.0421 283-AH 0.0000 0.1637 0.2159 0.5107 0.9048 0.3222 0.2459 0.3471 0.9048 0.7632 0.1747 0.0002 0.2065 0.0000 0.9048 0.3222 0.2459 284-AH 0.2532 0.4844 0.5238 0.5556 0.6129 0.5086 0.0815 0.0711 0.3597 0.1603 0.5009 0.4911 0.0583 0.4318 0.6129 0.5267 0.0526 285-AH 0.3097 0.6548 0.8140 0.8678 0.9268 0.7343 0.1929 0.2130 0.6171 0.2627 0.7023 0.6622 0.1556 0.3846 0.9268 0.7520 0.1751 286-AH 0.0000 0.0119 0.0299 0.0421 0.0857 0.0307 0.0219 0.0302 0.0857 0.7141 0.0143 0.0001 0.0177 0.0000 0.0857 0.0307 0.0219 287-AH 0.0602 0.3667 0.4717 0.5208 0.5814 0.4372 0.1210 0.1541 0.5212 0.2769 0.4079 0.3443 0.0931 0.2336 0.5814 0.4529 0.0941 288-AH 0.0423 0.1196 0.1881 0.2425 0.4222 0.1836 0.0881 0.1228 0.3799 0.4798 0.1614 0.1369 0.0664 0.0423 0.4222 0.1836 0.0881 289-AH 0.0204 0.6667 0.7143 0.9000 1.0000 0.7262 0.2044 0.2333 0.9796 0.2815 0.6423 0.3048 0.1340 0.4500 1.0000 0.7556 0.1451 290-AH 0.0877 0.1928 0.3049 0.3244 0.4902 0.2659 0.1025 0.1316 0.4025 0.3854 0.2433 0.2170 0.0832 0.0877 0.4902 0.2659 0.1025 59 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1899 0.5769 0.7500 0.8421 0.9412 0.7002 0.2087 0.2652 0.7513 0.2980 0.6562 0.5891 0.1657 0.1899 0.9412 0.7002 0.2087 292-AH 0.0513 1.0000 1.0000 1.0000 1.0000 0.9001 0.2518 0.0000 0.9487 0.2798 0.8083 0.5263 0.1678 1.0000 1.0000 1.0000 0.0000 293-AH 0.0000 0.6050 0.6800 0.7191 0.7727 0.6245 0.1599 0.1140 0.7727 0.2560 0.4129 0.0002 0.1045 0.4894 0.7727 0.6612 0.0809 294-AH 0.4516 0.6466 0.6923 0.6967 0.7500 0.6575 0.0748 0.0501 0.2984 0.1137 0.6529 0.6476 0.0556 0.6053 0.7500 0.6864 0.0314 295-AH 0.0000 0.1525 0.3434 0.4092 0.4516 0.2788 0.1633 0.2566 0.4516 0.5858 0.0582 0.0001 0.1403 0.0000 0.4516 0.2788 0.1633 296-AH 0.0000 0.4498 0.5217 0.5909 0.7895 0.4989 0.1833 0.1411 0.7895 0.3674 0.3203 0.0002 0.1275 0.2553 0.7895 0.5345 0.1390 297-AH 0.0123 0.0395 0.1017 0.2520 0.8571 0.1931 0.2207 0.2126 0.8448 1.1431 0.1049 0.0554 0.1601 0.0123 0.4118 0.1400 0.1268 298-AH 0.0545 0.1422 0.1852 0.2047 0.2963 0.1795 0.0524 0.0625 0.2418 0.2917 0.1710 0.1600 0.0410 0.0545 0.2963 0.1795 0.0524 299-AH 0.1873 0.2414 0.3145 0.3928 0.5135 0.3233 0.0979 0.1514 0.3262 0.3030 0.3095 0.2966 0.0835 0.1873 0.5135 0.3233 0.0979 300-AH 0.1077 0.2129 0.2340 0.2593 0.2696 0.2314 0.0347 0.0464 0.1618 0.1500 0.2281 0.2237 0.0253 0.1969 0.2696 0.2365 0.0238 301-AH 0.0000 0.0000 0.0000 0.2518 0.7273 0.1569 0.2615 0.2518 0.7273 1.6660 0.0004 0.0000 0.2127 0.0000 0.5333 0.0792 0.1591 302-AH 0.0000 0.2299 0.3125 0.3496 0.5000 0.2983 0.1237 0.1197 0.5000 0.4146 0.1823 0.0002 0.0894 0.1837 0.5000 0.3236 0.0911 303-AH 0.0262 0.1750 0.2692 0.3546 0.5833 0.2764 0.1342 0.1796 0.5571 0.4855 0.2335 0.1648 0.0995 0.0262 0.5833 0.2764 0.1342 304-AH 0.0000 0.0398 0.0640 0.1139 0.1915 0.0822 0.0544 0.0741 0.1915 0.6609 0.0499 0.0002 0.0448 0.0000 0.1915 0.0822 0.0544 305-AH 0.1476 0.1893 0.2619 0.3425 0.4507 0.2670 0.0930 0.1531 0.3031 0.3482 0.2525 0.2394 0.0740 0.1476 0.4507 0.2670 0.0930 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.2516 0.3786 0.4333 0.5065 0.3248 0.1397 0.1817 0.5065 0.4302 0.2008 0.0002 0.1125 0.0000 0.5065 0.3248 0.1397 308-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9800 0.0692 0.0000 0.2500 0.0706 0.9772 0.9740 0.0368 1.0000 1.0000 1.0000 0.0000 309-AH 0.0058 0.0447 0.0495 0.0538 0.0833 0.0486 0.0140 0.0092 0.0775 0.2892 0.0452 0.0374 0.0089 0.0312 0.0667 0.0480 0.0079 310-AH 0.0000 0.0812 0.0966 0.1190 0.2713 0.1008 0.0498 0.0377 0.2713 0.4943 0.0673 0.0002 0.0312 0.0460 0.1720 0.0978 0.0303 311-AH 0.0940 0.2824 0.3506 0.4187 0.4746 0.3358 0.1036 0.1362 0.3805 0.3084 0.3141 0.2831 0.0829 0.0940 0.4746 0.3358 0.1036 312-AH 0.0625 0.4973 0.5455 0.6800 0.8421 0.5458 0.1974 0.1827 0.7796 0.3617 0.4824 0.3626 0.1390 0.4048 0.8421 0.6040 0.1204 313-AH 0.0000 0.0000 0.0293 0.0607 0.1149 0.0359 0.0379 0.0607 0.1149 1.0571 0.0022 0.0000 0.0303 0.0000 0.1149 0.0359 0.0379 314-AH 0.0165 0.0843 0.0968 0.1185 0.1477 0.0995 0.0303 0.0341 0.1312 0.3043 0.0926 0.0799 0.0220 0.0378 0.1477 0.1030 0.0254 315-AH 0.0000 0.1083 0.2336 0.5409 0.7143 0.3289 0.2512 0.4326 0.7143 0.7636 0.1113 0.0001 0.2253 0.0000 0.7143 0.3289 0.2512 316-AH 0.0000 0.0920 0.1511 0.2168 0.2588 0.1461 0.0877 0.1248 0.2588 0.6000 0.0342 0.0001 0.0728 0.0000 0.2588 0.1461 0.0877 317-AH 0.0000 0.1765 0.2113 0.2326 0.3409 0.2067 0.0682 0.0561 0.3409 0.3298 0.1401 0.0002 0.0457 0.1034 0.3061 0.2098 0.0479 318-AH 0.0251 0.1102 0.1628 0.2300 0.5000 0.1889 0.1133 0.1198 0.4749 0.5998 0.1574 0.1238 0.0858 0.0251 0.3571 0.1654 0.0817 319-AH 0.0210 0.1308 0.3448 0.4583 0.6471 0.3128 0.1901 0.3276 0.6261 0.6077 0.2297 0.1322 0.1637 0.0210 0.6471 0.3128 0.1901 320-AH 0.0000 0.0134 0.0156 0.0220 0.0396 0.0170 0.0093 0.0085 0.0396 0.5482 0.0074 0.0001 0.0069 0.0089 0.0286 0.0184 0.0058 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0238 0.0314 0.0387 0.0510 0.1000 0.0424 0.0157 0.0196 0.0762 0.3705 0.0402 0.0384 0.0118 0.0238 0.0556 0.0400 0.0104 323-AH 0.0000 0.0689 0.0804 0.1352 0.1795 0.1016 0.0465 0.0664 0.1795 0.4576 0.0680 0.0002 0.0396 0.0000 0.1795 0.1016 0.0465 324-AH 0.0000 0.0293 0.4625 0.6667 0.7500 0.3833 0.3002 0.6373 0.7500 0.7831 0.0316 0.0000 0.2711 0.0000 0.7500 0.3833 0.3002 325-AH 0.2952 0.5164 0.5849 0.6667 0.8293 0.5905 0.1207 0.1503 0.5340 0.2045 0.5771 0.5617 0.0912 0.2952 0.8293 0.5905 0.1207 326-AH 0.0000 0.3214 0.6667 1.0000 1.0000 0.5714 0.3577 0.6786 1.0000 0.6260 0.1540 0.0001 0.3124 0.0000 1.0000 0.5714 0.3577 327-AH 0.0000 0.2316 0.3000 0.4000 0.5000 0.3006 0.1508 0.1684 0.5000 0.5015 0.1784 0.0002 0.1181 0.0000 0.5000 0.3006 0.1508 328-AH 0.4167 0.5200 0.5455 0.6205 0.8500 0.5673 0.0855 0.1005 0.4333 0.1507 0.5616 0.5564 0.0627 0.4167 0.6667 0.5555 0.0633 329-AH 0.4167 0.5594 0.6250 0.7080 1.0000 0.6330 0.1205 0.1486 0.5833 0.1903 0.6225 0.6121 0.0906 0.4167 0.7500 0.6178 0.0951 330-AH 0.2080 0.7668 0.8125 0.8311 0.9286 0.7717 0.1427 0.0643 0.7206 0.1850 0.7494 0.7067 0.0872 0.6923 0.8824 0.8098 0.0438 331-AH 0.0471 0.3057 0.3448 0.4643 0.6923 0.3618 0.1635 0.1586 0.6452 0.4519 0.3131 0.2392 0.1153 0.0704 0.6923 0.3749 0.1530 332-AH 0.0000 0.2478 0.2581 0.3141 0.5714 0.2909 0.1201 0.0663 0.5714 0.4127 0.1914 0.0002 0.0821 0.1852 0.3333 0.2601 0.0414 333-AH 0.1500 1.0000 1.0000 1.0000 1.0000 0.9593 0.1719 0.0000 0.8500 0.1792 0.9202 0.8099 0.0748 1.0000 1.0000 1.0000 0.0000 334-AH 0.0142 0.1111 0.1538 0.2564 0.4286 0.1908 0.1183 0.1453 0.4144 0.6198 0.1547 0.1085 0.0943 0.0142 0.4286 0.1908 0.1183 335-AH 0.0335 0.0816 0.1053 0.1786 0.2162 0.1259 0.0558 0.0970 0.1828 0.4436 0.1133 0.1002 0.0458 0.0335 0.2162 0.1259 0.0558 336-AH 0.0000 0.0237 0.0452 0.0930 0.2432 0.0689 0.0668 0.0693 0.2432 0.9697 0.0114 0.0000 0.0524 0.0000 0.1875 0.0617 0.0573 337-AH 0.6087 0.7541 0.8500 0.9110 0.9375 0.8251 0.1024 0.1569 0.3288 0.1241 0.8185 0.8113 0.0818 0.6087 0.9375 0.8251 0.1024 338-AH 0.0541 0.7619 0.8571 1.0000 1.0000 0.8268 0.2573 0.2381 0.9459 0.3112 0.7147 0.4220 0.1700 0.6667 1.0000 0.8934 0.1198 339-AH 0.1695 0.4940 0.6250 0.6875 0.7143 0.5875 0.1280 0.1935 0.5448 0.2178 0.5678 0.5359 0.0990 0.4444 0.7143 0.6049 0.0958 340-AH 0.2500 0.3442 0.4286 0.6000 0.7500 0.4636 0.1564 0.2558 0.5000 0.3373 0.4365 0.4092 0.1403 0.2500 0.7500 0.4636 0.1564 60 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0385 1.0000 1.0000 1.0000 1.0000 0.9615 0.1923 0.0000 0.9615 0.2000 0.8778 0.5000 0.0738 1.0000 1.0000 1.0000 0.0000 342-AH 0.0745 0.6449 0.7429 0.8197 0.8493 0.6876 0.1888 0.1748 0.7748 0.2747 0.6335 0.5014 0.1288 0.5444 0.8493 0.7345 0.0984 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.1465 0.3219 0.4595 0.5971 0.8500 0.4749 0.2029 0.2752 0.7035 0.4271 0.4305 0.3841 0.1598 0.1465 0.8500 0.4749 0.2029 345-AH 0.0336 0.0909 0.2000 0.2435 0.4167 0.1900 0.1016 0.1526 0.3831 0.5345 0.1616 0.1316 0.0797 0.0336 0.4167 0.1900 0.1016 346-AH 0.0541 0.0730 0.0938 0.1176 0.1818 0.0991 0.0335 0.0447 0.1278 0.3384 0.0941 0.0897 0.0247 0.0541 0.1818 0.0991 0.0335 347-AH 0.0326 0.0537 0.0617 0.0667 0.1613 0.0651 0.0234 0.0129 0.1287 0.3598 0.0623 0.0601 0.0130 0.0470 0.0769 0.0598 0.0074 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.2039 0.2928 0.3333 0.4000 0.8235 0.3902 0.1734 0.1072 0.6196 0.4444 0.3614 0.3395 0.1273 0.2039 0.4000 0.3121 0.0576 350-AH 0.3750 0.7143 1.0000 1.0000 1.0000 0.8589 0.1941 0.2857 0.6250 0.2260 0.8316 0.7967 0.1532 0.3750 1.0000 0.8589 0.1941 61 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.2083 1.0000 1.0000 1.0000 1.0000 0.9683 0.1583 0.0000 0.7917 0.1635 0.9392 0.8681 0.0608 1.0000 1.0000 1.0000 0.0000 143-AH 0.3750 0.5976 0.7353 1.0000 1.0000 0.7556 0.2272 0.4024 0.6250 0.3008 0.7195 0.6811 0.2034 0.3750 1.0000 0.7556 0.2272 144-AH 0.1818 0.5000 0.6667 1.0000 1.0000 0.6826 0.2449 0.5000 0.8182 0.3588 0.6328 0.5725 0.1939 0.1818 1.0000 0.6826 0.2449 145-AH 0.2771 0.5250 0.7188 0.7542 0.8065 0.6422 0.1601 0.2292 0.5293 0.2492 0.6182 0.5886 0.1328 0.2771 0.8065 0.6422 0.1601 146-AH 0.0000 0.0080 0.0125 0.0157 0.0357 0.0139 0.0100 0.0077 0.0357 0.7165 0.0072 0.0001 0.0072 0.0000 0.0194 0.0102 0.0051 147-AH 0.1384 0.6645 0.7561 0.8443 0.9143 0.7165 0.1768 0.1798 0.7759 0.2467 0.6810 0.6115 0.1261 0.4384 0.9143 0.7406 0.1322 148-AH 0.0000 0.0272 0.0380 0.0454 0.0606 0.0356 0.0139 0.0182 0.0606 0.3906 0.0253 0.0002 0.0112 0.0000 0.0606 0.0356 0.0139 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0355 0.0467 0.1277 0.2500 0.0753 0.0669 0.0922 0.2500 0.8877 0.0313 0.0001 0.0542 0.0000 0.2500 0.0753 0.0669 151-AH 0.0000 0.0446 0.0625 0.1406 0.1778 0.0882 0.0543 0.0960 0.1778 0.6159 0.0540 0.0002 0.0484 0.0000 0.1778 0.0882 0.0543 152-AH 0.0699 0.1919 0.2500 0.8750 1.0000 0.4828 0.3606 0.6831 0.9301 0.7469 0.3389 0.2266 0.3404 0.0699 1.0000 0.4828 0.3606 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.0730 0.1399 0.1781 0.1853 0.2800 0.1661 0.0468 0.0453 0.2070 0.2815 0.1590 0.1511 0.0343 0.0730 0.2281 0.1613 0.0411 155-AH 0.0129 0.1000 0.1538 0.2000 0.4000 0.1709 0.0938 0.1000 0.3871 0.5490 0.1436 0.1020 0.0726 0.0129 0.2857 0.1510 0.0665 156-AH 0.0168 0.0682 0.1007 0.1261 0.1882 0.0983 0.0450 0.0579 0.1715 0.4579 0.0851 0.0685 0.0353 0.0168 0.1882 0.0983 0.0450 157-AH 0.0000 0.4758 0.5000 0.5325 0.7083 0.4938 0.1333 0.0567 0.7083 0.2700 0.3286 0.0002 0.0749 0.4308 0.5629 0.4964 0.0331 158-AH 0.0000 0.1849 0.3387 0.4632 0.6364 0.3231 0.1865 0.2782 0.6364 0.5771 0.0954 0.0001 0.1528 0.0000 0.6364 0.3231 0.1865 159-AH 0.1034 0.1991 0.2764 0.3104 0.7857 0.2811 0.1343 0.1113 0.6823 0.4775 0.2574 0.2363 0.0820 0.1034 0.4521 0.2601 0.0853 160-AH 0.0043 0.0385 0.0645 0.1146 0.2000 0.0769 0.0565 0.0761 0.1957 0.7353 0.0528 0.0273 0.0461 0.0043 0.2000 0.0769 0.0565 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.4327 0.8251 0.8400 0.8836 0.9250 0.8392 0.0963 0.0585 0.4923 0.1147 0.8319 0.8217 0.0537 0.7568 0.9250 0.8561 0.0468 164-AH 0.0348 0.0656 0.1360 0.1796 0.2571 0.1354 0.0659 0.1140 0.2224 0.4863 0.1177 0.0991 0.0528 0.0348 0.2571 0.1354 0.0659 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0260 0.0375 0.1552 0.5000 0.1151 0.1435 0.1292 0.5000 1.2465 0.0470 0.0002 0.1051 0.0000 0.2000 0.0683 0.0626 168-AH 0.0000 0.4615 0.5143 0.5357 0.7333 0.4865 0.1420 0.0742 0.7333 0.2919 0.3198 0.0002 0.0804 0.4583 0.5789 0.5042 0.0383 169-AH 0.0000 0.0048 0.0071 0.0196 0.0816 0.0170 0.0240 0.0148 0.0816 1.4107 0.0030 0.0000 0.0176 0.0000 0.0412 0.0093 0.0109 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0505 0.0711 0.0934 0.1622 0.0719 0.0364 0.0429 0.1622 0.5073 0.0356 0.0001 0.0275 0.0000 0.1188 0.0681 0.0319 172-AH 0.0187 0.0521 0.0658 0.0733 0.0909 0.0626 0.0179 0.0212 0.0722 0.2860 0.0593 0.0547 0.0138 0.0253 0.0909 0.0644 0.0157 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.3571 0.6250 0.6250 0.7500 1.0000 0.6980 0.1525 0.1250 0.6429 0.2185 0.6818 0.6649 0.1137 0.5000 0.8571 0.6711 0.0876 176-AH 0.7500 0.9259 0.9615 0.9722 1.0000 0.9312 0.0791 0.0463 0.2500 0.0849 0.9277 0.9238 0.0554 0.9167 1.0000 0.9630 0.0281 177-AH 0.0338 0.1182 0.2105 0.3727 0.6923 0.2913 0.2188 0.2545 0.6585 0.7510 0.2163 0.1495 0.1759 0.0338 0.6923 0.2913 0.2188 178-AH 0.0036 0.0072 0.0385 0.0683 0.2727 0.0524 0.0651 0.0611 0.2691 1.2421 0.0242 0.0117 0.0463 0.0036 0.1429 0.0375 0.0386 179-AH 0.0300 0.1500 0.6538 0.8235 1.0000 0.5175 0.3366 0.6735 0.9700 0.6504 0.3641 0.2075 0.3113 0.0300 1.0000 0.5175 0.3366 180-AH 0.0000 0.0981 0.6154 0.6846 0.7500 0.4236 0.2953 0.5865 0.7500 0.6971 0.1952 0.0002 0.2771 0.0000 0.7500 0.4236 0.2953 181-AH 0.5700 0.8162 0.8429 0.8772 0.9032 0.8337 0.0662 0.0609 0.3332 0.0794 0.8307 0.8272 0.0403 0.7532 0.9032 0.8446 0.0378 182-AH 0.0212 0.0674 0.1053 0.5000 0.7500 0.2563 0.2692 0.4326 0.7288 1.0505 0.1447 0.0866 0.2280 0.0212 0.7500 0.2563 0.2692 183-AH 0.0159 0.0536 0.2353 0.3000 0.5000 0.2288 0.1480 0.2464 0.4841 0.6469 0.1615 0.0902 0.1154 0.0159 0.5000 0.2288 0.1480 184-AH 0.0811 0.1714 0.3333 0.4286 0.7500 0.3346 0.1889 0.2571 0.6689 0.5645 0.2840 0.2378 0.1479 0.0811 0.7500 0.3346 0.1889 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9876 0.0430 0.0000 0.1667 0.0435 0.9866 0.9855 0.0228 1.0000 1.0000 1.0000 0.0000 190-AH 0.0547 0.6667 0.7500 0.8571 1.0000 0.7206 0.1959 0.1905 0.9453 0.2718 0.6609 0.4821 0.1336 0.4000 1.0000 0.7484 0.1412 62 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0197 0.0871 0.3077 0.8083 1.0000 0.4218 0.3656 0.7213 0.9803 0.8668 0.2461 0.1142 0.3082 0.0197 1.0000 0.4218 0.3656 193-AH 0.0303 0.2043 0.2857 0.3846 1.0000 0.3031 0.1950 0.1803 0.9697 0.6433 0.2434 0.1725 0.1291 0.0303 0.5556 0.2741 0.1330 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.2479 0.5559 0.9375 0.9525 1.0000 0.7680 0.2704 0.3966 0.7521 0.3521 0.7035 0.6202 0.2332 0.2479 1.0000 0.7680 0.2704 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4444 0.5372 0.5714 0.6731 0.7273 0.5898 0.0920 0.1359 0.2828 0.1560 0.5828 0.5758 0.0737 0.4444 0.7273 0.5898 0.0920 200-AH 0.0000 0.1765 0.3750 0.7500 0.8571 0.4450 0.2967 0.5735 0.8571 0.6667 0.2355 0.0002 0.2735 0.0000 0.8571 0.4450 0.2967 251-AH 0.0000 0.2132 0.3362 0.4035 0.5909 0.3271 0.1537 0.1903 0.5909 0.4700 0.2034 0.0002 0.1210 0.0000 0.5909 0.3271 0.1537 252-AH 0.1593 0.3415 0.3830 0.4502 0.5806 0.3824 0.1030 0.1087 0.4214 0.2693 0.3672 0.3497 0.0779 0.2121 0.5806 0.3917 0.0939 253-AH 0.0000 0.2490 0.3619 0.3944 0.4597 0.3205 0.1115 0.1454 0.4597 0.3479 0.2109 0.0002 0.0881 0.1611 0.4597 0.3339 0.0912 254-AH 0.0000 0.2067 0.2276 0.2564 0.2936 0.2198 0.0616 0.0498 0.2936 0.2801 0.1507 0.0002 0.0408 0.1430 0.2936 0.2290 0.0421 255-AH 0.0083 0.1667 0.2500 0.3438 0.5000 0.2485 0.1374 0.1771 0.4917 0.5528 0.1869 0.0854 0.1097 0.0083 0.5000 0.2485 0.1374 256-AH 0.0000 0.7658 0.7857 0.8883 1.0000 0.6860 0.3456 0.1225 1.0000 0.5038 0.1742 0.0001 0.2632 0.7297 1.0000 0.8504 0.0892 257-AH 0.0905 0.1818 0.2317 0.2600 0.3304 0.2184 0.0549 0.0782 0.2399 0.2513 0.2108 0.2017 0.0454 0.0905 0.3304 0.2184 0.0549 258-AH 0.0000 0.0063 0.0178 0.0323 0.2143 0.0376 0.0553 0.0260 0.2143 1.4726 0.0070 0.0001 0.0376 0.0000 0.0385 0.0152 0.0119 259-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7817 0.3499 0.5000 1.0000 0.4476 0.4067 0.0002 0.2968 0.0000 1.0000 0.7817 0.3499 260-AH 0.2901 0.5000 0.5672 0.5946 0.7170 0.5516 0.0826 0.0946 0.4269 0.1498 0.5446 0.5360 0.0598 0.4419 0.7170 0.5625 0.0634 261-AH 0.0000 0.0000 0.0000 0.0521 0.1500 0.0264 0.0442 0.0521 0.1500 1.6744 0.0002 0.0000 0.0338 0.0000 0.0719 0.0157 0.0252 262-AH 0.0000 0.0967 0.2073 0.2785 0.3333 0.1834 0.1136 0.1818 0.3333 0.6195 0.0293 0.0000 0.0955 0.0000 0.3333 0.1834 0.1136 263-AH 0.0470 0.1395 0.1925 0.2031 0.2437 0.1699 0.0503 0.0636 0.1967 0.2959 0.1601 0.1465 0.0411 0.0470 0.2437 0.1699 0.0503 264-AH 0.1376 0.1973 0.2414 0.4338 0.8333 0.3429 0.1937 0.2365 0.6957 0.5650 0.3009 0.2695 0.1541 0.1376 0.6250 0.3022 0.1386 265-AH 0.0147 0.2307 0.4000 0.6667 0.8000 0.4228 0.2205 0.4360 0.7853 0.5216 0.3415 0.1804 0.1856 0.0147 0.8000 0.4228 0.2205 266-AH 0.0000 0.0052 0.0148 0.1176 0.2500 0.0718 0.0906 0.1125 0.2500 1.2611 0.0073 0.0000 0.0759 0.0000 0.2500 0.0718 0.0906 267-AH 0.0778 0.1011 0.1161 0.1327 0.2000 0.1194 0.0277 0.0316 0.1222 0.2320 0.1166 0.1141 0.0202 0.0778 0.1757 0.1161 0.0225 268-AH 0.0833 1.0000 1.0000 1.0000 1.0000 0.9233 0.2068 0.0000 0.9167 0.2240 0.8624 0.6667 0.1288 1.0000 1.0000 1.0000 0.0000 269-AH 0.0347 0.1178 0.1875 0.2527 0.3750 0.1879 0.0908 0.1349 0.3403 0.4835 0.1606 0.1271 0.0745 0.0347 0.3750 0.1879 0.0908 270-AH 0.0000 0.5645 0.6429 0.6746 0.7143 0.5842 0.1646 0.1101 0.7143 0.2817 0.3812 0.0002 0.1028 0.4222 0.7143 0.6271 0.0683 271-AH 0.0000 0.2657 0.4595 0.5203 0.5769 0.3725 0.2064 0.2546 0.5769 0.5540 0.0747 0.0001 0.1719 0.0000 0.5769 0.3725 0.2064 272-AH 0.0000 0.0719 0.1915 0.2571 0.2941 0.1647 0.0968 0.1852 0.2941 0.5876 0.0509 0.0001 0.0810 0.0000 0.2941 0.1647 0.0968 273-AH 0.2959 0.5558 0.6944 0.8101 0.8772 0.6734 0.1527 0.2543 0.5813 0.2268 0.6542 0.6318 0.1317 0.2959 0.8772 0.6734 0.1527 274-AH 0.0000 0.0927 0.2083 0.2878 0.3571 0.1949 0.1040 0.1951 0.3571 0.5336 0.1155 0.0002 0.0855 0.0000 0.3571 0.1949 0.1040 275-AH 0.0417 0.2569 0.3175 0.4747 0.6308 0.3370 0.1671 0.2178 0.5891 0.4958 0.2803 0.2034 0.1344 0.0417 0.6308 0.3370 0.1671 276-AH 0.1989 0.3870 0.4737 0.5390 0.6792 0.4675 0.1160 0.1520 0.4804 0.2481 0.4516 0.4329 0.0920 0.1989 0.6792 0.4675 0.1160 277-AH 0.0000 0.0375 0.1185 0.1518 0.3077 0.1085 0.0721 0.1143 0.3077 0.6640 0.0609 0.0002 0.0571 0.0000 0.3077 0.1085 0.0721 278-AH 0.0000 0.0696 0.1711 0.2016 0.3404 0.1503 0.0890 0.1320 0.3404 0.5918 0.0886 0.0002 0.0744 0.0000 0.3404 0.1503 0.0890 279-AH 0.0087 0.0253 0.0938 0.6000 0.7500 0.2574 0.3016 0.5747 0.7413 1.1716 0.0992 0.0391 0.2655 0.0087 0.7500 0.2574 0.3016 280-AH 0.0000 0.0308 0.0517 0.0746 0.1456 0.0572 0.0402 0.0438 0.1456 0.7021 0.0266 0.0001 0.0305 0.0000 0.0872 0.0454 0.0251 281-AH 0.1765 0.2947 0.3600 0.3962 0.5909 0.3605 0.1054 0.1015 0.4144 0.2922 0.3456 0.3305 0.0747 0.1765 0.5417 0.3417 0.0864 282-AH 0.0000 0.0461 0.0722 0.1242 0.1367 0.0779 0.0418 0.0782 0.1367 0.5373 0.0375 0.0001 0.0364 0.0000 0.1367 0.0779 0.0418 283-AH 0.0000 0.1088 0.1733 0.4053 0.6667 0.2541 0.2136 0.2965 0.6667 0.8409 0.1315 0.0002 0.1760 0.0000 0.6667 0.2541 0.2136 284-AH 0.1933 0.4444 0.4898 0.5463 0.6047 0.4833 0.0854 0.1019 0.4114 0.1766 0.4736 0.4597 0.0576 0.3478 0.6047 0.4954 0.0616 285-AH 0.2716 0.5856 0.7818 0.8170 0.8750 0.6807 0.1974 0.2314 0.6034 0.2900 0.6445 0.5993 0.1643 0.2716 0.8750 0.6807 0.1974 286-AH 0.0000 0.0093 0.0125 0.0210 0.0394 0.0151 0.0110 0.0118 0.0394 0.7319 0.0049 0.0001 0.0083 0.0000 0.0372 0.0141 0.0100 287-AH 0.0467 0.3241 0.4167 0.4481 0.5357 0.3735 0.1088 0.1241 0.4890 0.2913 0.3459 0.2854 0.0823 0.1875 0.5357 0.3871 0.0867 288-AH 0.0000 0.0748 0.1189 0.1659 0.2857 0.1224 0.0672 0.0911 0.2857 0.5489 0.0571 0.0001 0.0538 0.0000 0.2857 0.1224 0.0672 289-AH 0.0204 0.6432 0.6875 0.8462 1.0000 0.7025 0.2050 0.2030 0.9796 0.2918 0.6199 0.2996 0.1389 0.3947 1.0000 0.7309 0.1509 290-AH 0.0845 0.1534 0.2460 0.2677 0.3263 0.2212 0.0772 0.1143 0.2418 0.3488 0.2058 0.1881 0.0641 0.0845 0.3263 0.2212 0.0772 63 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1304 0.4189 0.5000 0.7582 0.9000 0.5495 0.2261 0.3393 0.7696 0.4115 0.4932 0.4218 0.1873 0.1304 0.9000 0.5495 0.2261 292-AH 0.0054 0.2079 0.2857 0.6667 1.0000 0.3945 0.2719 0.4588 0.9946 0.6892 0.2690 0.0852 0.2342 0.0054 1.0000 0.3945 0.2719 293-AH 0.0000 0.4973 0.5854 0.6364 0.7188 0.5461 0.1427 0.1390 0.7188 0.2614 0.3626 0.0002 0.0947 0.3548 0.7188 0.5689 0.0880 294-AH 0.4250 0.6466 0.6786 0.6923 0.7500 0.6519 0.0768 0.0457 0.3250 0.1178 0.6469 0.6411 0.0554 0.6053 0.7500 0.6814 0.0314 295-AH 0.0000 0.0955 0.3056 0.3579 0.4306 0.2292 0.1570 0.2624 0.4306 0.6850 0.0457 0.0001 0.1452 0.0000 0.4306 0.2292 0.1570 296-AH 0.0000 0.4291 0.4694 0.5333 0.7895 0.4660 0.1787 0.1042 0.7895 0.3834 0.2966 0.0002 0.1208 0.2885 0.6000 0.4739 0.0745 297-AH 0.0093 0.0320 0.0530 0.1127 0.5714 0.1010 0.1361 0.0807 0.5621 1.3480 0.0587 0.0386 0.0840 0.0093 0.1818 0.0643 0.0492 298-AH 0.0498 0.1240 0.1504 0.1840 0.2687 0.1571 0.0482 0.0601 0.2189 0.3071 0.1492 0.1398 0.0374 0.0498 0.2687 0.1571 0.0482 299-AH 0.1592 0.2067 0.2365 0.3258 0.4103 0.2626 0.0724 0.1191 0.2511 0.2757 0.2536 0.2453 0.0613 0.1592 0.4103 0.2626 0.0724 300-AH 0.1077 0.1957 0.2095 0.2350 0.2696 0.2130 0.0344 0.0393 0.1618 0.1616 0.2099 0.2061 0.0248 0.1781 0.2696 0.2173 0.0271 301-AH 0.0000 0.0000 0.0000 0.1617 0.6250 0.0911 0.1660 0.1617 0.6250 1.8226 0.0003 0.0000 0.1239 0.0000 0.3226 0.0511 0.0933 302-AH 0.0000 0.2000 0.2750 0.2914 0.5000 0.2570 0.1133 0.0914 0.5000 0.4410 0.1558 0.0002 0.0783 0.1038 0.4138 0.2687 0.0756 303-AH 0.0262 0.0994 0.1852 0.2368 0.3103 0.1697 0.0870 0.1374 0.2841 0.5125 0.1404 0.1051 0.0742 0.0262 0.3103 0.1697 0.0870 304-AH 0.0000 0.0299 0.0455 0.1006 0.1915 0.0678 0.0545 0.0707 0.1915 0.8039 0.0281 0.0001 0.0456 0.0000 0.1915 0.0678 0.0545 305-AH 0.1225 0.1563 0.2121 0.2772 0.4149 0.2300 0.0876 0.1209 0.2924 0.3810 0.2155 0.2029 0.0691 0.1225 0.4149 0.2300 0.0876 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.1584 0.2994 0.3723 0.4800 0.2719 0.1305 0.2139 0.4800 0.4800 0.1677 0.0002 0.1118 0.0000 0.4800 0.2719 0.1305 308-AH 0.1489 1.0000 1.0000 1.0000 1.0000 0.9245 0.1989 0.0000 0.8511 0.2152 0.8797 0.7713 0.1208 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0368 0.0473 0.0508 0.0822 0.0441 0.0153 0.0140 0.0822 0.3476 0.0315 0.0002 0.0102 0.0172 0.0567 0.0444 0.0101 310-AH 0.0000 0.0652 0.0776 0.0927 0.2405 0.0813 0.0455 0.0275 0.2405 0.5601 0.0399 0.0001 0.0279 0.0393 0.1310 0.0814 0.0231 311-AH 0.0840 0.2122 0.2727 0.3287 0.3667 0.2576 0.0824 0.1164 0.2827 0.3198 0.2417 0.2215 0.0704 0.0840 0.3667 0.2576 0.0824 312-AH 0.0302 0.3889 0.5135 0.6235 0.7308 0.4771 0.2042 0.2346 0.7006 0.4281 0.3918 0.2378 0.1527 0.0671 0.7308 0.4957 0.1857 313-AH 0.0000 0.0000 0.0125 0.0349 0.0992 0.0228 0.0288 0.0349 0.0992 1.2627 0.0009 0.0000 0.0231 0.0000 0.0839 0.0196 0.0245 314-AH 0.0165 0.0738 0.0938 0.1106 0.1477 0.0906 0.0326 0.0368 0.1312 0.3604 0.0827 0.0709 0.0252 0.0290 0.1477 0.0937 0.0294 315-AH 0.0000 0.0466 0.1545 0.4582 0.7037 0.2680 0.2561 0.4116 0.7037 0.9556 0.0305 0.0000 0.2266 0.0000 0.7037 0.2680 0.2561 316-AH 0.0000 0.0918 0.1423 0.2034 0.2152 0.1300 0.0787 0.1116 0.2152 0.6058 0.0225 0.0000 0.0645 0.0000 0.2152 0.1300 0.0787 317-AH 0.0000 0.1136 0.1800 0.2050 0.2571 0.1560 0.0653 0.0914 0.2571 0.4183 0.1019 0.0002 0.0532 0.0000 0.2571 0.1560 0.0653 318-AH 0.0236 0.0793 0.1429 0.2154 0.5000 0.1647 0.1024 0.1361 0.4764 0.6215 0.1372 0.1093 0.0735 0.0236 0.3182 0.1508 0.0765 319-AH 0.0000 0.0694 0.1140 0.3100 0.3529 0.1854 0.1287 0.2407 0.3529 0.6942 0.0961 0.0002 0.1217 0.0000 0.3529 0.1854 0.1287 320-AH 0.0000 0.0000 0.0131 0.0155 0.0348 0.0115 0.0096 0.0155 0.0348 0.8347 0.0015 0.0000 0.0073 0.0000 0.0348 0.0115 0.0096 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0213 0.0290 0.0322 0.0411 0.0276 0.0086 0.0110 0.0411 0.3125 0.0204 0.0002 0.0064 0.0180 0.0411 0.0287 0.0066 323-AH 0.0000 0.0563 0.0711 0.0883 0.1168 0.0719 0.0245 0.0320 0.1168 0.3407 0.0507 0.0002 0.0184 0.0460 0.1168 0.0749 0.0198 324-AH 0.0000 0.0000 0.3262 0.6571 0.7143 0.3366 0.2911 0.6571 0.7143 0.8648 0.0143 0.0000 0.2643 0.0000 0.7143 0.3366 0.2911 325-AH 0.2450 0.4951 0.5606 0.6453 0.7872 0.5500 0.1259 0.1502 0.5422 0.2288 0.5342 0.5156 0.0935 0.3277 0.7872 0.5627 0.1110 326-AH 0.0000 0.0212 0.0345 0.0892 0.2500 0.0633 0.0641 0.0681 0.2500 1.0115 0.0176 0.0001 0.0504 0.0000 0.1579 0.0556 0.0520 327-AH 0.0000 0.1143 0.2857 0.3750 0.5000 0.2494 0.1542 0.2607 0.5000 0.6183 0.1309 0.0002 0.1340 0.0000 0.5000 0.2494 0.1542 328-AH 0.4167 0.4846 0.5312 0.6154 0.8500 0.5494 0.0871 0.1308 0.4333 0.1585 0.5435 0.5382 0.0633 0.4167 0.6364 0.5369 0.0618 329-AH 0.3333 0.5500 0.5909 0.6354 0.7333 0.5846 0.0873 0.0854 0.4000 0.1493 0.5774 0.5689 0.0616 0.4643 0.7333 0.6028 0.0618 330-AH 0.1694 0.6869 0.7609 0.8049 0.8649 0.7232 0.1354 0.1180 0.6955 0.1872 0.7001 0.6512 0.0819 0.5714 0.8649 0.7463 0.0724 331-AH 0.0245 0.2910 0.3333 0.4643 0.6471 0.3447 0.1501 0.1733 0.6226 0.4355 0.2940 0.1976 0.1047 0.0704 0.6471 0.3580 0.1374 332-AH 0.0000 0.2176 0.2222 0.2403 0.2778 0.2178 0.0509 0.0227 0.2778 0.2336 0.1511 0.0002 0.0263 0.1852 0.2581 0.2268 0.0192 333-AH 0.1500 1.0000 1.0000 1.0000 1.0000 0.9593 0.1719 0.0000 0.8500 0.1792 0.9202 0.8099 0.0748 1.0000 1.0000 1.0000 0.0000 334-AH 0.0142 0.1111 0.1538 0.2564 0.4286 0.1908 0.1183 0.1453 0.4144 0.6198 0.1547 0.1085 0.0943 0.0142 0.4286 0.1908 0.1183 335-AH 0.0335 0.0769 0.1023 0.1385 0.1875 0.1097 0.0431 0.0616 0.1540 0.3926 0.1009 0.0914 0.0343 0.0335 0.1875 0.1097 0.0431 336-AH 0.0000 0.0128 0.0315 0.0482 0.1122 0.0341 0.0307 0.0355 0.1122 0.9000 0.0053 0.0000 0.0226 0.0000 0.0632 0.0273 0.0206 337-AH 0.6087 0.7541 0.8500 0.8889 0.9375 0.8221 0.1002 0.1348 0.3288 0.1219 0.8157 0.8089 0.0794 0.6087 0.9375 0.8221 0.1002 338-AH 0.0541 0.6667 0.8571 1.0000 1.0000 0.7417 0.2697 0.3333 0.9459 0.3636 0.6347 0.3932 0.2061 0.4615 1.0000 0.8009 0.1834 339-AH 0.1364 0.4540 0.5417 0.6364 0.7059 0.5254 0.1350 0.1824 0.5695 0.2570 0.5022 0.4662 0.1077 0.3333 0.7059 0.5416 0.1103 340-AH 0.2500 0.3442 0.4286 0.6000 0.7500 0.4636 0.1564 0.2558 0.5000 0.3373 0.4365 0.4092 0.1403 0.2500 0.7500 0.4636 0.1564 64 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0377 1.0000 1.0000 1.0000 1.0000 0.9615 0.1925 0.0000 0.9623 0.2002 0.8771 0.4950 0.0739 1.0000 1.0000 1.0000 0.0000 342-AH 0.0000 0.5766 0.7172 0.8197 0.8493 0.6561 0.2076 0.2431 0.8493 0.3165 0.4226 0.0002 0.1534 0.4793 0.8493 0.7040 0.1266 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.1465 0.2791 0.4255 0.5096 0.7333 0.4250 0.1738 0.2305 0.5868 0.4090 0.3887 0.3513 0.1373 0.1465 0.7333 0.4250 0.1738 345-AH 0.0286 0.0769 0.1795 0.2334 0.3158 0.1650 0.0910 0.1565 0.2872 0.5517 0.1362 0.1068 0.0787 0.0286 0.3158 0.1650 0.0910 346-AH 0.0302 0.0582 0.0805 0.0953 0.1633 0.0788 0.0264 0.0371 0.1330 0.3349 0.0748 0.0706 0.0201 0.0302 0.1013 0.0753 0.0201 347-AH 0.0326 0.0480 0.0519 0.0593 0.0870 0.0544 0.0112 0.0114 0.0543 0.2056 0.0534 0.0524 0.0083 0.0326 0.0645 0.0520 0.0077 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.1765 0.2613 0.3036 0.3418 0.6250 0.3409 0.1335 0.0806 0.4485 0.3917 0.3200 0.3028 0.0995 0.1765 0.3673 0.2800 0.0497 350-AH 0.3529 0.5341 0.7000 0.8750 1.0000 0.7139 0.2059 0.3409 0.6471 0.2885 0.6828 0.6498 0.1747 0.3529 1.0000 0.7139 0.2059 65 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.1538 1.0000 1.0000 1.0000 1.0000 0.9662 0.1692 0.0000 0.8462 0.1752 0.9279 0.8197 0.0650 1.0000 1.0000 1.0000 0.0000 143-AH 0.3625 0.4682 0.7000 0.9369 0.9655 0.6883 0.2293 0.4687 0.6030 0.3331 0.6492 0.6098 0.2085 0.3625 0.9655 0.6883 0.2293 144-AH 0.0682 0.1875 0.2500 0.5000 0.7500 0.3355 0.2180 0.3125 0.6818 0.6496 0.2720 0.2187 0.1844 0.0682 0.7500 0.3355 0.2180 145-AH 0.1280 0.3589 0.4375 0.6062 0.7297 0.4644 0.1717 0.2474 0.6018 0.3698 0.4267 0.3802 0.1425 0.1280 0.7297 0.4644 0.1717 146-AH 0.0000 0.0080 0.0125 0.0157 0.0357 0.0139 0.0100 0.0077 0.0357 0.7165 0.0072 0.0001 0.0072 0.0000 0.0194 0.0102 0.0051 147-AH 0.1169 0.5923 0.6727 0.7131 0.8636 0.6423 0.1694 0.1208 0.7468 0.2637 0.6066 0.5377 0.1187 0.5294 0.8636 0.6914 0.0987 148-AH 0.0000 0.0209 0.0314 0.0399 0.0556 0.0303 0.0151 0.0191 0.0556 0.4979 0.0124 0.0001 0.0114 0.0000 0.0556 0.0303 0.0151 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0291 0.0440 0.1094 0.2500 0.0702 0.0662 0.0803 0.2500 0.9435 0.0282 0.0001 0.0522 0.0000 0.1944 0.0627 0.0558 151-AH 0.0000 0.0241 0.0396 0.0800 0.1667 0.0550 0.0444 0.0560 0.1667 0.8063 0.0314 0.0002 0.0352 0.0000 0.1406 0.0504 0.0386 152-AH 0.0390 0.0955 0.1333 0.4538 1.0000 0.2767 0.2931 0.3583 0.9610 1.0595 0.1752 0.1269 0.2422 0.0390 0.8889 0.2466 0.2569 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.0694 0.0886 0.1111 0.1339 0.2105 0.1165 0.0371 0.0453 0.1411 0.3188 0.1115 0.1071 0.0263 0.0694 0.1744 0.1084 0.0255 155-AH 0.0062 0.0151 0.0370 0.0719 0.1667 0.0504 0.0433 0.0568 0.1605 0.8581 0.0353 0.0246 0.0334 0.0062 0.1429 0.0456 0.0367 156-AH 0.0000 0.0468 0.0817 0.0935 0.1882 0.0744 0.0426 0.0467 0.1882 0.5733 0.0346 0.0001 0.0315 0.0000 0.1240 0.0696 0.0362 157-AH 0.0000 0.3854 0.4188 0.4702 0.6806 0.4209 0.1233 0.0847 0.6806 0.2931 0.2803 0.0002 0.0711 0.3698 0.5917 0.4379 0.0574 158-AH 0.0000 0.1164 0.2376 0.3804 0.6154 0.2497 0.1687 0.2640 0.6154 0.6755 0.0713 0.0001 0.1394 0.0000 0.6154 0.2497 0.1687 159-AH 0.0754 0.1743 0.2249 0.2745 0.6667 0.2389 0.1149 0.1002 0.5912 0.4807 0.2180 0.1988 0.0749 0.0754 0.3645 0.2211 0.0740 160-AH 0.0043 0.0385 0.0645 0.1146 0.2000 0.0769 0.0565 0.0761 0.1957 0.7353 0.0528 0.0273 0.0461 0.0043 0.2000 0.0769 0.0565 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.3723 0.7558 0.8091 0.8409 0.8958 0.7813 0.1052 0.0851 0.5235 0.1346 0.7721 0.7590 0.0676 0.6744 0.8958 0.7984 0.0629 164-AH 0.0210 0.0617 0.1325 0.1733 0.2533 0.1295 0.0676 0.1117 0.2323 0.5218 0.1098 0.0876 0.0544 0.0210 0.2533 0.1295 0.0676 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0223 0.0288 0.0830 0.2222 0.0606 0.0628 0.0607 0.2222 1.0363 0.0293 0.0002 0.0502 0.0000 0.1481 0.0479 0.0467 168-AH 0.0000 0.4118 0.4857 0.5357 0.5909 0.4499 0.1323 0.1239 0.5909 0.2940 0.2964 0.0002 0.0879 0.3023 0.5909 0.4823 0.0695 169-AH 0.0000 0.0000 0.0000 0.0022 0.0485 0.0065 0.0138 0.0022 0.0485 2.1399 0.0001 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0383 0.0607 0.0812 0.1301 0.0591 0.0301 0.0429 0.1301 0.5093 0.0296 0.0001 0.0234 0.0000 0.1301 0.0591 0.0301 172-AH 0.0187 0.0521 0.0658 0.0733 0.0909 0.0626 0.0179 0.0212 0.0722 0.2860 0.0593 0.0547 0.0138 0.0253 0.0909 0.0644 0.0157 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.3571 0.6250 0.6250 0.7500 1.0000 0.6980 0.1525 0.1250 0.6429 0.2185 0.6818 0.6649 0.1137 0.5000 0.8571 0.6711 0.0876 176-AH 0.6364 0.8750 0.9032 0.9333 0.9355 0.8666 0.0997 0.0583 0.2991 0.1151 0.8602 0.8529 0.0701 0.8750 0.9355 0.9083 0.0222 177-AH 0.0202 0.0789 0.0887 0.2040 0.3226 0.1381 0.0949 0.1251 0.3023 0.6871 0.1099 0.0854 0.0782 0.0202 0.3226 0.1381 0.0949 178-AH 0.0036 0.0072 0.0385 0.0683 0.2727 0.0524 0.0651 0.0611 0.2691 1.2421 0.0242 0.0117 0.0463 0.0036 0.1429 0.0375 0.0386 179-AH 0.0277 0.1151 0.2759 0.6604 0.7273 0.3860 0.2728 0.5453 0.6995 0.7069 0.2697 0.1656 0.2555 0.0277 0.7273 0.3860 0.2728 180-AH 0.0000 0.0896 0.4688 0.6448 0.6739 0.3803 0.2667 0.5552 0.6739 0.7013 0.1777 0.0002 0.2463 0.0000 0.6739 0.3803 0.2667 181-AH 0.5603 0.7659 0.8072 0.8354 0.8553 0.7917 0.0599 0.0695 0.2949 0.0757 0.7892 0.7863 0.0401 0.7333 0.8553 0.8014 0.0363 182-AH 0.0212 0.0674 0.1053 0.5000 0.7500 0.2563 0.2692 0.4326 0.7288 1.0505 0.1447 0.0866 0.2280 0.0212 0.7500 0.2563 0.2692 183-AH 0.0159 0.0536 0.2353 0.3000 0.5000 0.2288 0.1480 0.2464 0.4841 0.6469 0.1615 0.0902 0.1154 0.0159 0.5000 0.2288 0.1480 184-AH 0.0304 0.1237 0.2000 0.3333 0.5385 0.2230 0.1312 0.2096 0.5080 0.5885 0.1825 0.1406 0.1112 0.0304 0.5385 0.2230 0.1312 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9876 0.0430 0.0000 0.1667 0.0435 0.9866 0.9855 0.0228 1.0000 1.0000 1.0000 0.0000 190-AH 0.0547 0.4311 0.5385 0.7194 0.8750 0.5464 0.2114 0.2884 0.8203 0.3870 0.4854 0.3708 0.1635 0.0547 0.8750 0.5464 0.2114 66 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0260 0.1923 0.7083 1.0000 0.3375 0.3902 0.6823 1.0000 1.1562 0.1044 0.0002 0.3310 0.0000 1.0000 0.3375 0.3902 193-AH 0.0303 0.2043 0.2857 0.3846 1.0000 0.3031 0.1950 0.1803 0.9697 0.6433 0.2434 0.1725 0.1291 0.0303 0.5556 0.2741 0.1330 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.1207 0.4565 0.7447 0.9198 0.9500 0.6625 0.2782 0.4633 0.8293 0.4200 0.5837 0.4793 0.2444 0.1207 0.9500 0.6625 0.2782 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.4375 0.5176 0.5714 0.6731 0.7273 0.5834 0.0989 0.1554 0.2898 0.1696 0.5752 0.5670 0.0798 0.4375 0.7273 0.5834 0.0989 200-AH 0.0000 0.0739 0.2500 0.3946 0.7000 0.2944 0.2410 0.3207 0.7000 0.8185 0.1420 0.0002 0.1986 0.0000 0.7000 0.2944 0.2410 251-AH 0.0000 0.1098 0.1909 0.2681 0.4466 0.1923 0.1108 0.1583 0.4466 0.5762 0.0852 0.0001 0.0884 0.0000 0.4466 0.1923 0.1108 252-AH 0.1228 0.2791 0.3443 0.4000 0.4694 0.3240 0.0943 0.1209 0.3466 0.2910 0.3082 0.2892 0.0752 0.1228 0.4694 0.3240 0.0943 253-AH 0.0000 0.1620 0.2558 0.2785 0.3367 0.2090 0.1053 0.1165 0.3367 0.5038 0.0482 0.0001 0.0821 0.0000 0.3367 0.2090 0.1053 254-AH 0.0000 0.1678 0.2025 0.2264 0.2523 0.1750 0.0812 0.0585 0.2523 0.4642 0.0422 0.0001 0.0581 0.1632 0.2523 0.2083 0.0250 255-AH 0.0083 0.1667 0.2500 0.3438 0.5000 0.2485 0.1374 0.1771 0.4917 0.5528 0.1869 0.0854 0.1097 0.0083 0.5000 0.2485 0.1374 256-AH 0.0000 0.7312 0.7436 0.7744 1.0000 0.6290 0.3136 0.0432 1.0000 0.4986 0.1620 0.0001 0.2408 0.7297 0.8276 0.7563 0.0274 257-AH 0.0000 0.1321 0.1585 0.1880 0.2228 0.1563 0.0471 0.0559 0.2228 0.3014 0.1081 0.0002 0.0330 0.1023 0.2228 0.1628 0.0348 258-AH 0.0000 0.0063 0.0178 0.0323 0.2143 0.0376 0.0553 0.0260 0.2143 1.4726 0.0070 0.0001 0.0376 0.0000 0.0385 0.0152 0.0119 259-AH 0.0000 0.0088 0.0185 0.0279 0.0508 0.0209 0.0155 0.0191 0.0508 0.7394 0.0099 0.0001 0.0118 0.0000 0.0508 0.0209 0.0155 260-AH 0.2599 0.4279 0.5000 0.5481 0.6522 0.4888 0.0861 0.1202 0.3923 0.1760 0.4807 0.4714 0.0665 0.2599 0.6522 0.4888 0.0861 261-AH 0.0000 0.0000 0.0000 0.0000 0.0647 0.0101 0.0209 0.0000 0.0647 2.0714 0.0001 0.0000 0.0162 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0624 0.1667 0.2140 0.2563 0.1334 0.0876 0.1517 0.2563 0.6565 0.0223 0.0000 0.0766 0.0000 0.2563 0.1334 0.0876 263-AH 0.0000 0.0824 0.1298 0.1553 0.1946 0.1183 0.0515 0.0729 0.1946 0.4358 0.0577 0.0001 0.0412 0.0000 0.1946 0.1183 0.0515 264-AH 0.1127 0.1393 0.1720 0.3309 0.4595 0.2308 0.1108 0.1916 0.3468 0.4802 0.2081 0.1897 0.0957 0.1127 0.4595 0.2308 0.1108 265-AH 0.0079 0.1923 0.2609 0.3202 0.5000 0.2508 0.1057 0.1279 0.4921 0.4217 0.2095 0.1045 0.0757 0.0079 0.5000 0.2508 0.1057 266-AH 0.0000 0.0052 0.0148 0.1176 0.2500 0.0718 0.0906 0.1125 0.2500 1.2611 0.0073 0.0000 0.0759 0.0000 0.2500 0.0718 0.0906 267-AH 0.0437 0.0909 0.1006 0.1120 0.1744 0.1028 0.0245 0.0211 0.1307 0.2387 0.0998 0.0965 0.0167 0.0769 0.1339 0.1022 0.0163 268-AH 0.0000 0.0067 0.0411 0.0769 0.1765 0.0499 0.0484 0.0703 0.1765 0.9694 0.0132 0.0001 0.0387 0.0000 0.1765 0.0499 0.0484 269-AH 0.0340 0.0750 0.1077 0.1556 0.2917 0.1172 0.0649 0.0805 0.2577 0.5536 0.1005 0.0846 0.0490 0.0340 0.2333 0.1099 0.0549 270-AH 0.0000 0.4925 0.5714 0.6349 0.6897 0.5303 0.1554 0.1425 0.6897 0.2930 0.3467 0.0002 0.1039 0.4141 0.6897 0.5691 0.0776 271-AH 0.0000 0.2466 0.4048 0.4729 0.5312 0.3387 0.1893 0.2264 0.5312 0.5589 0.0685 0.0001 0.1552 0.0000 0.5312 0.3387 0.1893 272-AH 0.0000 0.0664 0.1695 0.2245 0.2941 0.1488 0.0913 0.1581 0.2941 0.6136 0.0461 0.0001 0.0776 0.0000 0.2941 0.1488 0.0913 273-AH 0.1405 0.3848 0.5514 0.7067 0.7973 0.5516 0.1871 0.3219 0.6568 0.3392 0.5136 0.4649 0.1609 0.1405 0.7973 0.5516 0.1871 274-AH 0.0000 0.0785 0.1630 0.1902 0.3077 0.1440 0.0827 0.1117 0.3077 0.5745 0.0832 0.0002 0.0671 0.0000 0.3077 0.1440 0.0827 275-AH 0.0000 0.1902 0.2686 0.4021 0.4747 0.2696 0.1444 0.2119 0.4747 0.5357 0.1149 0.0001 0.1180 0.0000 0.4747 0.2696 0.1444 276-AH 0.1356 0.3401 0.4078 0.4842 0.5600 0.3939 0.1120 0.1441 0.4244 0.2844 0.3746 0.3500 0.0874 0.1356 0.5600 0.3939 0.1120 277-AH 0.0000 0.0000 0.0209 0.0424 0.0844 0.0258 0.0284 0.0424 0.0844 1.0996 0.0011 0.0000 0.0240 0.0000 0.0844 0.0258 0.0284 278-AH 0.0000 0.0382 0.1119 0.1701 0.3404 0.1157 0.0870 0.1319 0.3404 0.7520 0.0468 0.0001 0.0706 0.0000 0.3404 0.1157 0.0870 279-AH 0.0087 0.0253 0.0938 0.6000 0.7500 0.2574 0.3016 0.5747 0.7413 1.1716 0.0992 0.0391 0.2655 0.0087 0.7500 0.2574 0.3016 280-AH 0.0000 0.0237 0.0312 0.0527 0.1078 0.0396 0.0297 0.0291 0.1078 0.7502 0.0110 0.0001 0.0222 0.0000 0.0918 0.0336 0.0224 281-AH 0.1333 0.2467 0.2830 0.3270 0.3750 0.2770 0.0616 0.0803 0.2417 0.2223 0.2694 0.2604 0.0495 0.1333 0.3750 0.2770 0.0616 282-AH 0.0000 0.0306 0.0582 0.0943 0.1111 0.0584 0.0367 0.0638 0.1111 0.6289 0.0207 0.0001 0.0328 0.0000 0.1111 0.0584 0.0367 283-AH 0.0000 0.0770 0.1023 0.2576 0.6279 0.2013 0.1980 0.1806 0.6279 0.9836 0.0983 0.0002 0.1597 0.0000 0.3553 0.1104 0.0752 284-AH 0.1720 0.4227 0.4576 0.4848 0.5957 0.4486 0.0847 0.0621 0.4238 0.1889 0.4384 0.4239 0.0552 0.3571 0.5741 0.4604 0.0506 285-AH 0.2500 0.5473 0.7143 0.7656 0.8361 0.6291 0.1923 0.2183 0.5861 0.3057 0.5915 0.5446 0.1577 0.2500 0.8361 0.6291 0.1923 286-AH 0.0000 0.0000 0.0000 0.0145 0.0231 0.0076 0.0085 0.0145 0.0231 1.1292 0.0003 0.0000 0.0079 0.0000 0.0231 0.0076 0.0085 287-AH 0.0433 0.2731 0.3302 0.3658 0.4118 0.3031 0.0904 0.0927 0.3684 0.2984 0.2797 0.2332 0.0661 0.1636 0.4118 0.3232 0.0599 288-AH 0.0000 0.0419 0.0753 0.1057 0.2422 0.0810 0.0640 0.0638 0.2422 0.7906 0.0107 0.0000 0.0482 0.0000 0.1818 0.0743 0.0557 289-AH 0.0155 0.6000 0.6667 0.7647 1.0000 0.6689 0.1967 0.1647 0.9845 0.2941 0.5854 0.2483 0.1338 0.3947 1.0000 0.6961 0.1450 290-AH 0.0811 0.1345 0.1959 0.2402 0.2991 0.1871 0.0661 0.1056 0.2180 0.3532 0.1747 0.1616 0.0577 0.0811 0.2991 0.1871 0.0661 67 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0698 0.1818 0.2683 0.5449 0.7778 0.3489 0.2226 0.3631 0.7079 0.6378 0.2834 0.2275 0.1890 0.0698 0.7778 0.3489 0.2226 292-AH 0.0054 0.2079 0.2857 0.6667 1.0000 0.3945 0.2719 0.4588 0.9946 0.6892 0.2690 0.0852 0.2342 0.0054 1.0000 0.3945 0.2719 293-AH 0.0000 0.4249 0.5333 0.5581 0.6500 0.4908 0.1328 0.1333 0.6500 0.2706 0.3266 0.0002 0.0938 0.3380 0.6500 0.5113 0.0866 294-AH 0.3585 0.5921 0.6667 0.6897 0.7143 0.6289 0.0880 0.0975 0.3558 0.1399 0.6219 0.6135 0.0679 0.5000 0.7143 0.6402 0.0690 295-AH 0.0000 0.0000 0.2126 0.3092 0.3830 0.1754 0.1491 0.3092 0.3830 0.8503 0.0125 0.0000 0.1372 0.0000 0.3830 0.1754 0.1491 296-AH 0.0000 0.3893 0.4474 0.5062 0.6296 0.4236 0.1500 0.1170 0.6296 0.3541 0.2711 0.0002 0.1055 0.2405 0.6296 0.4678 0.0872 297-AH 0.0000 0.0234 0.0479 0.0757 0.4737 0.0782 0.1016 0.0523 0.4737 1.2987 0.0362 0.0002 0.0619 0.0000 0.0865 0.0421 0.0257 298-AH 0.0447 0.0993 0.1050 0.1434 0.1913 0.1158 0.0372 0.0441 0.1466 0.3214 0.1093 0.1017 0.0284 0.0447 0.1913 0.1158 0.0372 299-AH 0.1226 0.1789 0.2037 0.2623 0.3851 0.2260 0.0681 0.0834 0.2625 0.3014 0.2171 0.2091 0.0534 0.1226 0.3851 0.2260 0.0681 300-AH 0.1077 0.1797 0.2013 0.2316 0.2696 0.2019 0.0409 0.0519 0.1618 0.2026 0.1976 0.1928 0.0309 0.1077 0.2696 0.2019 0.0409 301-AH 0.0000 0.0000 0.0000 0.0326 0.1364 0.0206 0.0374 0.0326 0.1364 1.8186 0.0002 0.0000 0.0280 0.0000 0.0663 0.0116 0.0213 302-AH 0.0000 0.1482 0.2449 0.2670 0.5000 0.2346 0.1215 0.1188 0.5000 0.5179 0.1034 0.0001 0.0867 0.0000 0.4138 0.2235 0.1105 303-AH 0.0121 0.0632 0.1220 0.1756 0.2703 0.1226 0.0697 0.1124 0.2582 0.5685 0.0990 0.0710 0.0598 0.0121 0.2703 0.1226 0.0697 304-AH 0.0000 0.0231 0.0364 0.0672 0.1549 0.0470 0.0397 0.0441 0.1549 0.8458 0.0155 0.0001 0.0296 0.0000 0.0924 0.0383 0.0270 305-AH 0.0472 0.1492 0.1928 0.2423 0.3833 0.1973 0.0739 0.0931 0.3362 0.3745 0.1821 0.1632 0.0582 0.0472 0.2867 0.1896 0.0643 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.1226 0.2109 0.3176 0.3901 0.2132 0.1145 0.1950 0.3901 0.5370 0.0937 0.0001 0.0978 0.0000 0.3901 0.2132 0.1145 308-AH 0.1356 0.7273 0.8000 0.9167 1.0000 0.7783 0.2000 0.1894 0.8644 0.2570 0.7357 0.6494 0.1363 0.5714 1.0000 0.8226 0.1277 309-AH 0.0000 0.0286 0.0449 0.0486 0.0567 0.0404 0.0143 0.0200 0.0567 0.3545 0.0288 0.0002 0.0113 0.0000 0.0567 0.0404 0.0143 310-AH 0.0000 0.0000 0.0623 0.0765 0.1456 0.0534 0.0397 0.0765 0.1456 0.7434 0.0059 0.0000 0.0311 0.0000 0.1456 0.0534 0.0397 311-AH 0.0570 0.1628 0.2159 0.2700 0.3250 0.2118 0.0774 0.1072 0.2680 0.3656 0.1947 0.1734 0.0671 0.0570 0.3250 0.2118 0.0774 312-AH 0.0267 0.3534 0.4894 0.5420 0.6571 0.4156 0.2044 0.1885 0.6305 0.4917 0.3163 0.1711 0.1584 0.0743 0.6571 0.4663 0.1590 313-AH 0.0000 0.0000 0.0000 0.0290 0.0667 0.0148 0.0210 0.0290 0.0667 1.4135 0.0003 0.0000 0.0178 0.0000 0.0667 0.0148 0.0210 314-AH 0.0155 0.0653 0.0726 0.0833 0.1477 0.0739 0.0303 0.0180 0.1322 0.4099 0.0672 0.0586 0.0195 0.0405 0.0985 0.0719 0.0162 315-AH 0.0000 0.0000 0.1186 0.3412 0.6562 0.2012 0.2262 0.3412 0.6562 1.1239 0.0045 0.0000 0.1935 0.0000 0.6562 0.2012 0.2262 316-AH 0.0000 0.0735 0.1257 0.1654 0.1940 0.1091 0.0685 0.0919 0.1940 0.6281 0.0142 0.0000 0.0550 0.0000 0.1940 0.1091 0.0685 317-AH 0.0000 0.0623 0.0901 0.1461 0.1603 0.0950 0.0484 0.0838 0.1603 0.5090 0.0606 0.0002 0.0416 0.0000 0.1603 0.0950 0.0484 318-AH 0.0130 0.0791 0.1356 0.2091 0.4375 0.1516 0.0987 0.1300 0.4245 0.6510 0.1213 0.0868 0.0747 0.0130 0.3182 0.1397 0.0804 319-AH 0.0000 0.0208 0.0843 0.2146 0.2979 0.1181 0.1058 0.1938 0.2979 0.8959 0.0163 0.0000 0.0972 0.0000 0.2979 0.1181 0.1058 320-AH 0.0000 0.0000 0.0000 0.0124 0.0169 0.0041 0.0068 0.0124 0.0169 1.6513 0.0001 0.0000 0.0059 0.0000 0.0169 0.0041 0.0068 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0176 0.0189 0.0283 0.0353 0.0215 0.0091 0.0107 0.0353 0.4215 0.0121 0.0001 0.0069 0.0157 0.0353 0.0234 0.0066 323-AH 0.0000 0.0443 0.0578 0.0703 0.0943 0.0548 0.0226 0.0260 0.0943 0.4120 0.0287 0.0001 0.0172 0.0327 0.0943 0.0596 0.0161 324-AH 0.0000 0.0000 0.2140 0.5989 0.7105 0.2942 0.2803 0.5989 0.7105 0.9528 0.0121 0.0000 0.2586 0.0000 0.7105 0.2942 0.2803 325-AH 0.1982 0.4257 0.4574 0.5155 0.7586 0.4707 0.1229 0.0897 0.5605 0.2610 0.4539 0.4349 0.0854 0.3839 0.6286 0.4777 0.0660 326-AH 0.0000 0.0212 0.0345 0.0892 0.2500 0.0633 0.0641 0.0681 0.2500 1.0115 0.0176 0.0001 0.0504 0.0000 0.1579 0.0556 0.0520 327-AH 0.0000 0.1143 0.2857 0.3750 0.5000 0.2494 0.1542 0.2607 0.5000 0.6183 0.1309 0.0002 0.1340 0.0000 0.5000 0.2494 0.1542 328-AH 0.3208 0.4474 0.4857 0.5667 0.8500 0.5066 0.1058 0.1193 0.5292 0.2089 0.4968 0.4873 0.0792 0.3208 0.6071 0.4923 0.0797 329-AH 0.3333 0.5455 0.5714 0.6316 0.7059 0.5666 0.0837 0.0861 0.3725 0.1477 0.5598 0.5520 0.0591 0.4167 0.7059 0.5763 0.0696 330-AH 0.1395 0.6696 0.7200 0.7500 0.8000 0.6833 0.1335 0.0804 0.6605 0.1953 0.6582 0.6016 0.0807 0.5735 0.8000 0.7146 0.0596 331-AH 0.0208 0.2628 0.2927 0.4643 0.6316 0.3297 0.1499 0.2015 0.6108 0.4547 0.2791 0.1819 0.1099 0.0208 0.6316 0.3297 0.1499 332-AH 0.0000 0.2176 0.2222 0.2403 0.2667 0.2149 0.0535 0.0227 0.2667 0.2490 0.1484 0.0002 0.0299 0.1860 0.2667 0.2305 0.0186 333-AH 0.1000 1.0000 1.0000 1.0000 1.0000 0.9507 0.1831 0.0000 0.9000 0.1926 0.8988 0.7267 0.0868 1.0000 1.0000 1.0000 0.0000 334-AH 0.0129 0.0821 0.0930 0.1124 0.1739 0.0951 0.0438 0.0303 0.1611 0.4605 0.0823 0.0646 0.0327 0.0377 0.1538 0.0949 0.0294 335-AH 0.0129 0.0541 0.0632 0.0987 0.1447 0.0725 0.0347 0.0446 0.1318 0.4785 0.0636 0.0527 0.0265 0.0129 0.1447 0.0725 0.0347 336-AH 0.0000 0.0103 0.0262 0.0433 0.1121 0.0304 0.0296 0.0330 0.1121 0.9733 0.0048 0.0000 0.0211 0.0000 0.0524 0.0235 0.0180 337-AH 0.2414 0.7000 0.8500 0.8824 0.9375 0.7893 0.1495 0.1824 0.6961 0.1895 0.7680 0.7316 0.1099 0.6087 0.9375 0.8121 0.0987 338-AH 0.0473 0.2548 0.5385 0.7778 1.0000 0.5145 0.2977 0.5230 0.9527 0.5786 0.4012 0.2570 0.2653 0.0473 1.0000 0.5145 0.2977 339-AH 0.1311 0.4118 0.4667 0.5600 0.6364 0.4621 0.1198 0.1482 0.5052 0.2592 0.4419 0.4124 0.0885 0.2759 0.6364 0.4759 0.1000 340-AH 0.2500 0.2750 0.3077 0.3636 0.6667 0.3288 0.0920 0.0886 0.4167 0.2798 0.3194 0.3121 0.0628 0.2500 0.4000 0.3067 0.0469 68 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0287 0.0830 1.0000 1.0000 1.0000 0.6866 0.4347 0.9170 0.9713 0.6332 0.4123 0.1625 0.4012 0.0287 1.0000 0.6866 0.4347 342-AH 0.0000 0.4912 0.6991 0.7966 0.8333 0.6144 0.2171 0.3054 0.8333 0.3533 0.3922 0.0002 0.1782 0.2061 0.8333 0.6400 0.1791 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.1304 0.2091 0.3200 0.4454 0.6316 0.3409 0.1512 0.2362 0.5011 0.4434 0.3090 0.2790 0.1239 0.1304 0.6316 0.3409 0.1512 345-AH 0.0224 0.0467 0.1373 0.2028 0.2692 0.1354 0.0848 0.1561 0.2469 0.6260 0.1033 0.0727 0.0715 0.0224 0.2692 0.1354 0.0848 346-AH 0.0302 0.0509 0.0593 0.0930 0.1633 0.0689 0.0285 0.0421 0.1330 0.4143 0.0642 0.0603 0.0216 0.0302 0.1013 0.0650 0.0211 347-AH 0.0231 0.0288 0.0429 0.0547 0.0833 0.0438 0.0150 0.0259 0.0602 0.3427 0.0414 0.0390 0.0121 0.0231 0.0833 0.0438 0.0150 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.1652 0.2570 0.2676 0.3390 0.6250 0.3237 0.1308 0.0820 0.4598 0.4041 0.3032 0.2870 0.0991 0.1652 0.3559 0.2638 0.0448 350-AH 0.2414 0.5000 0.7000 0.8021 0.8750 0.6276 0.1986 0.3021 0.6336 0.3164 0.5927 0.5531 0.1713 0.2414 0.8750 0.6276 0.1986 69 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.1489 1.0000 1.0000 1.0000 1.0000 0.9515 0.1719 0.0000 0.8511 0.1807 0.9125 0.8032 0.0815 1.0000 1.0000 1.0000 0.0000 143-AH 0.1768 0.3990 0.5714 0.8772 0.9429 0.5889 0.2577 0.4782 0.7661 0.4376 0.5280 0.4633 0.2190 0.1768 0.9429 0.5889 0.2577 144-AH 0.0682 0.1875 0.2500 0.5000 0.7500 0.3355 0.2180 0.3125 0.6818 0.6496 0.2720 0.2187 0.1844 0.0682 0.7500 0.3355 0.2180 145-AH 0.1000 0.2877 0.3523 0.4627 0.6200 0.3692 0.1403 0.1750 0.5200 0.3799 0.3391 0.3026 0.1102 0.1000 0.6200 0.3692 0.1403 146-AH 0.0000 0.0080 0.0125 0.0157 0.0357 0.0139 0.0100 0.0077 0.0357 0.7165 0.0072 0.0001 0.0072 0.0000 0.0194 0.0102 0.0051 147-AH 0.1097 0.5516 0.6029 0.6772 0.8367 0.5871 0.1582 0.1256 0.7271 0.2694 0.5538 0.4916 0.1083 0.4362 0.8367 0.6325 0.0947 148-AH 0.0000 0.0209 0.0314 0.0399 0.0556 0.0303 0.0151 0.0191 0.0556 0.4979 0.0124 0.0001 0.0114 0.0000 0.0556 0.0303 0.0151 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0127 0.0285 0.0426 0.2195 0.0389 0.0510 0.0299 0.2195 1.3121 0.0090 0.0001 0.0285 0.0000 0.0552 0.0250 0.0165 151-AH 0.0000 0.0000 0.0000 0.0000 0.0820 0.0088 0.0227 0.0000 0.0820 2.5853 0.0001 0.0000 0.0140 0.0000 0.0000 0.0000 0.0000 152-AH 0.0372 0.0757 0.0968 0.1102 0.3214 0.1140 0.0677 0.0345 0.2842 0.5939 0.1010 0.0916 0.0446 0.0372 0.1500 0.0922 0.0263 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.0320 0.0724 0.0812 0.0984 0.1360 0.0836 0.0225 0.0260 0.1040 0.2697 0.0803 0.0765 0.0171 0.0528 0.1360 0.0857 0.0202 155-AH 0.0062 0.0151 0.0370 0.0719 0.1667 0.0504 0.0433 0.0568 0.1605 0.8581 0.0353 0.0246 0.0334 0.0062 0.1429 0.0456 0.0367 156-AH 0.0000 0.0349 0.0557 0.0639 0.1125 0.0488 0.0308 0.0290 0.1125 0.6312 0.0102 0.0000 0.0234 0.0000 0.1000 0.0462 0.0284 157-AH 0.0000 0.2823 0.3168 0.3922 0.6384 0.3287 0.1260 0.1099 0.6384 0.3834 0.2154 0.0002 0.0842 0.1485 0.4392 0.3184 0.0739 158-AH 0.0000 0.0965 0.1697 0.3141 0.4179 0.1929 0.1375 0.2176 0.4179 0.7129 0.0559 0.0001 0.1143 0.0000 0.4179 0.1929 0.1375 159-AH 0.0561 0.1187 0.1372 0.1484 0.5867 0.1598 0.1010 0.0297 0.5306 0.6321 0.1429 0.1318 0.0583 0.0822 0.1872 0.1303 0.0226 160-AH 0.0043 0.0385 0.0645 0.1146 0.2000 0.0769 0.0565 0.0761 0.1957 0.7353 0.0528 0.0273 0.0461 0.0043 0.2000 0.0769 0.0565 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.3368 0.6752 0.7424 0.7717 0.8376 0.7090 0.1000 0.0964 0.5008 0.1410 0.7000 0.6875 0.0694 0.6012 0.8376 0.7245 0.0645 164-AH 0.0000 0.0587 0.1189 0.1598 0.2233 0.1128 0.0584 0.1011 0.2233 0.5181 0.0722 0.0002 0.0492 0.0000 0.2233 0.1128 0.0584 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0223 0.0288 0.0830 0.2222 0.0606 0.0628 0.0607 0.2222 1.0363 0.0293 0.0002 0.0502 0.0000 0.1481 0.0479 0.0467 168-AH 0.0000 0.3947 0.4857 0.5357 0.5862 0.4388 0.1400 0.1410 0.5862 0.3190 0.2841 0.0002 0.0977 0.2727 0.5862 0.4730 0.0767 169-AH 0.0000 0.0000 0.0000 0.0022 0.0485 0.0065 0.0138 0.0022 0.0485 2.1399 0.0001 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0279 0.0526 0.0613 0.1301 0.0487 0.0291 0.0334 0.1301 0.5980 0.0238 0.0001 0.0220 0.0000 0.0870 0.0453 0.0242 172-AH 0.0100 0.0308 0.0522 0.0625 0.0843 0.0467 0.0223 0.0317 0.0744 0.4788 0.0403 0.0329 0.0195 0.0100 0.0843 0.0467 0.0223 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0723 0.4615 0.5455 0.6167 0.8571 0.5111 0.2045 0.1551 0.7849 0.4002 0.4362 0.3061 0.1434 0.2857 0.7500 0.5572 0.1150 176-AH 0.5500 0.7263 0.8182 0.8431 0.9167 0.7786 0.1051 0.1168 0.3667 0.1350 0.7710 0.7625 0.0837 0.5574 0.9167 0.7881 0.0958 177-AH 0.0140 0.0387 0.0619 0.1295 0.2619 0.0891 0.0723 0.0908 0.2479 0.8121 0.0642 0.0449 0.0574 0.0140 0.2619 0.0891 0.0723 178-AH 0.0000 0.0000 0.0000 0.0094 0.0396 0.0075 0.0124 0.0094 0.0396 1.6547 0.0002 0.0000 0.0089 0.0000 0.0144 0.0034 0.0052 179-AH 0.0225 0.0913 0.1782 0.5334 0.7037 0.3138 0.2469 0.4422 0.6812 0.7870 0.2071 0.1248 0.2309 0.0225 0.7037 0.3138 0.2469 180-AH 0.0000 0.0637 0.3596 0.5000 0.6346 0.3095 0.2349 0.4363 0.6346 0.7588 0.1404 0.0002 0.2113 0.0000 0.6346 0.3095 0.2349 181-AH 0.5068 0.7294 0.7789 0.7872 0.8132 0.7472 0.0679 0.0578 0.3063 0.0909 0.7438 0.7398 0.0477 0.6441 0.8132 0.7627 0.0395 182-AH 0.0000 0.0303 0.0784 0.1067 0.1538 0.0735 0.0471 0.0764 0.1538 0.6399 0.0316 0.0001 0.0406 0.0000 0.1538 0.0735 0.0471 183-AH 0.0159 0.0440 0.2000 0.2500 0.5000 0.1867 0.1209 0.2060 0.4841 0.6477 0.1331 0.0773 0.0912 0.0159 0.5000 0.1867 0.1209 184-AH 0.0303 0.0664 0.0784 0.1173 0.1667 0.0870 0.0381 0.0509 0.1364 0.4379 0.0790 0.0711 0.0299 0.0303 0.1667 0.0870 0.0381 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.6000 0.6917 0.8571 1.0000 1.0000 0.8429 0.1633 0.3083 0.4000 0.1938 0.8266 0.8096 0.1428 0.6000 1.0000 0.8429 0.1633 190-AH 0.0000 0.0000 0.0000 0.0149 0.7273 0.0508 0.1585 0.0149 0.7273 3.1224 0.0002 0.0000 0.0792 0.0000 0.0359 0.0059 0.0119 70 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0260 0.1923 0.7083 1.0000 0.3375 0.3902 0.6823 1.0000 1.1562 0.1044 0.0002 0.3310 0.0000 1.0000 0.3375 0.3902 193-AH 0.0000 0.0801 0.1667 0.2932 0.4286 0.1936 0.1335 0.2131 0.4286 0.6898 0.1002 0.0002 0.1142 0.0000 0.4286 0.1936 0.1335 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.0675 0.2859 0.5634 0.7514 0.9302 0.5267 0.2677 0.4655 0.8628 0.5081 0.4407 0.3336 0.2288 0.0675 0.9302 0.5267 0.2677 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.1538 0.4545 0.5714 0.6282 0.7273 0.5602 0.1292 0.1737 0.5734 0.2306 0.5399 0.5069 0.0954 0.4444 0.7273 0.5772 0.0997 200-AH 0.0000 0.0311 0.0909 0.3810 0.5333 0.1954 0.1842 0.3498 0.5333 0.9425 0.0740 0.0002 0.1649 0.0000 0.5333 0.1954 0.1842 251-AH 0.0000 0.0421 0.1002 0.1447 0.2281 0.0938 0.0698 0.1027 0.2281 0.7439 0.0120 0.0000 0.0575 0.0000 0.2281 0.0938 0.0698 252-AH 0.0581 0.2296 0.3117 0.3750 0.4444 0.2896 0.1002 0.1454 0.3863 0.3462 0.2670 0.2344 0.0798 0.0581 0.4444 0.2896 0.1002 253-AH 0.0000 0.0000 0.0000 0.1744 0.2013 0.0709 0.0894 0.1744 0.2013 1.2600 0.0005 0.0000 0.0851 0.0000 0.2013 0.0709 0.0894 254-AH 0.0000 0.0000 0.0000 0.0000 0.2220 0.0246 0.0681 0.0000 0.2220 2.7693 0.0000 0.0000 0.0433 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0591 0.1481 0.2500 0.4444 0.1553 0.1296 0.1909 0.4444 0.8343 0.0401 0.0001 0.1017 0.0000 0.4444 0.1553 0.1296 256-AH 0.0000 0.6718 0.7368 0.7632 0.8529 0.6023 0.3043 0.0914 0.8529 0.5052 0.1124 0.0001 0.2360 0.6383 0.8529 0.7499 0.0479 257-AH 0.0000 0.1023 0.1136 0.1292 0.1640 0.1095 0.0414 0.0268 0.1640 0.3781 0.0550 0.0001 0.0276 0.0651 0.1640 0.1190 0.0262 258-AH 0.0000 0.0000 0.0082 0.0160 0.0430 0.0095 0.0104 0.0160 0.0430 1.0954 0.0010 0.0000 0.0078 0.0000 0.0230 0.0081 0.0079 259-AH 0.0000 0.0088 0.0185 0.0279 0.0508 0.0209 0.0155 0.0191 0.0508 0.7394 0.0099 0.0001 0.0118 0.0000 0.0508 0.0209 0.0155 260-AH 0.1793 0.3532 0.4146 0.4781 0.5730 0.4072 0.0899 0.1248 0.3937 0.2208 0.3964 0.3837 0.0694 0.1793 0.5730 0.4072 0.0899 261-AH 0.0000 0.0000 0.0000 0.0000 0.0329 0.0013 0.0066 0.0000 0.0329 5.0000 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.1097 0.1505 0.2048 0.0914 0.0758 0.1505 0.2048 0.8293 0.0045 0.0000 0.0673 0.0000 0.2048 0.0914 0.0758 263-AH 0.0000 0.0572 0.0884 0.1389 0.1639 0.0946 0.0498 0.0817 0.1639 0.5265 0.0333 0.0001 0.0411 0.0000 0.1639 0.0946 0.0498 264-AH 0.0451 0.0783 0.0978 0.2527 0.3462 0.1573 0.1045 0.1745 0.3010 0.6643 0.1262 0.1026 0.0923 0.0451 0.3462 0.1573 0.1045 265-AH 0.0079 0.1923 0.2609 0.3202 0.5000 0.2508 0.1057 0.1279 0.4921 0.4217 0.2095 0.1045 0.0757 0.0079 0.5000 0.2508 0.1057 266-AH 0.0000 0.0038 0.0063 0.0794 0.1739 0.0401 0.0520 0.0755 0.1739 1.2980 0.0038 0.0000 0.0436 0.0000 0.1739 0.0401 0.0520 267-AH 0.0405 0.0687 0.0773 0.0938 0.1125 0.0799 0.0184 0.0252 0.0720 0.2303 0.0777 0.0753 0.0151 0.0405 0.1125 0.0799 0.0184 268-AH 0.0000 0.0067 0.0411 0.0769 0.1765 0.0499 0.0484 0.0703 0.1765 0.9694 0.0132 0.0001 0.0387 0.0000 0.1765 0.0499 0.0484 269-AH 0.0090 0.0261 0.0640 0.0931 0.1778 0.0704 0.0464 0.0669 0.1688 0.6597 0.0537 0.0377 0.0374 0.0090 0.1778 0.0704 0.0464 270-AH 0.0000 0.4494 0.4894 0.5171 0.5854 0.4471 0.1328 0.0677 0.5854 0.2972 0.2929 0.0002 0.0859 0.3485 0.5854 0.4870 0.0578 271-AH 0.0000 0.0940 0.2532 0.3418 0.4255 0.2254 0.1410 0.2478 0.4255 0.6254 0.0471 0.0001 0.1161 0.0000 0.4255 0.2254 0.1410 272-AH 0.0000 0.0238 0.0870 0.1600 0.2791 0.1012 0.0843 0.1362 0.2791 0.8329 0.0282 0.0001 0.0718 0.0000 0.2791 0.1012 0.0843 273-AH 0.0000 0.2732 0.4241 0.5982 0.7234 0.4283 0.1902 0.3250 0.7234 0.4441 0.2675 0.0002 0.1498 0.0000 0.7234 0.4283 0.1902 274-AH 0.0000 0.0546 0.1287 0.1568 0.2364 0.1128 0.0700 0.1023 0.2364 0.6205 0.0491 0.0001 0.0585 0.0000 0.2364 0.1128 0.0700 275-AH 0.0000 0.1048 0.2054 0.2910 0.3869 0.2039 0.1196 0.1862 0.3869 0.5867 0.0631 0.0001 0.0971 0.0000 0.3869 0.2039 0.1196 276-AH 0.1011 0.2660 0.3500 0.3947 0.4800 0.3277 0.1034 0.1287 0.3789 0.3156 0.3067 0.2791 0.0805 0.1011 0.4800 0.3277 0.1034 277-AH 0.0000 0.0000 0.0000 0.0000 0.0597 0.0043 0.0133 0.0000 0.0597 3.0861 0.0000 0.0000 0.0076 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0969 0.1205 0.3036 0.0811 0.0723 0.1205 0.3036 0.8913 0.0074 0.0000 0.0566 0.0000 0.1635 0.0719 0.0567 279-AH 0.0000 0.0162 0.0231 0.0359 0.4444 0.0532 0.0943 0.0198 0.4444 1.7731 0.0208 0.0002 0.0533 0.0000 0.0571 0.0233 0.0149 280-AH 0.0000 0.0000 0.0284 0.0427 0.0660 0.0271 0.0217 0.0427 0.0660 0.7989 0.0027 0.0000 0.0180 0.0000 0.0660 0.0271 0.0217 281-AH 0.0885 0.1989 0.2138 0.2442 0.3063 0.2200 0.0452 0.0453 0.2178 0.2054 0.2147 0.2077 0.0329 0.1584 0.3063 0.2255 0.0367 282-AH 0.0000 0.0000 0.0311 0.0732 0.1025 0.0371 0.0377 0.0732 0.1025 1.0156 0.0013 0.0000 0.0343 0.0000 0.1025 0.0371 0.0377 283-AH 0.0000 0.0550 0.0747 0.1724 0.4559 0.1368 0.1349 0.1174 0.4559 0.9860 0.0507 0.0001 0.1075 0.0000 0.3368 0.0998 0.0930 284-AH 0.1592 0.3974 0.4156 0.4457 0.5926 0.4225 0.0837 0.0482 0.4334 0.1982 0.4123 0.3982 0.0535 0.3511 0.5077 0.4203 0.0342 285-AH 0.1734 0.4558 0.6087 0.6810 0.7368 0.5356 0.1822 0.2252 0.5635 0.3401 0.4948 0.4426 0.1495 0.1734 0.7368 0.5356 0.1822 286-AH 0.0000 0.0000 0.0000 0.0107 0.0186 0.0039 0.0066 0.0107 0.0186 1.6954 0.0001 0.0000 0.0056 0.0000 0.0186 0.0039 0.0066 287-AH 0.0413 0.1682 0.2454 0.2717 0.3125 0.2174 0.0757 0.1035 0.2712 0.3481 0.1985 0.1690 0.0622 0.0413 0.3125 0.2174 0.0757 288-AH 0.0000 0.0000 0.0000 0.0866 0.1918 0.0437 0.0598 0.0866 0.1918 1.3674 0.0004 0.0000 0.0525 0.0000 0.1918 0.0437 0.0598 289-AH 0.0000 0.5926 0.6250 0.7175 0.8889 0.6252 0.1688 0.1249 0.8889 0.2701 0.4122 0.0002 0.1046 0.4412 0.8889 0.6624 0.0973 290-AH 0.0638 0.0899 0.1480 0.1866 0.2778 0.1476 0.0570 0.0966 0.2140 0.3859 0.1369 0.1265 0.0469 0.0638 0.2778 0.1476 0.0570 71 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0334 0.0961 0.1200 0.2835 0.5455 0.2058 0.1705 0.1874 0.5121 0.8287 0.1516 0.1155 0.1380 0.0334 0.5455 0.2058 0.1705 292-AH 0.0054 0.2079 0.2857 0.5952 0.8000 0.3774 0.2442 0.3873 0.7946 0.6472 0.2630 0.0850 0.2150 0.0054 0.8000 0.3774 0.2442 293-AH 0.0000 0.3803 0.4242 0.4912 0.5600 0.4150 0.1157 0.1110 0.5600 0.2788 0.2774 0.0002 0.0813 0.2772 0.5600 0.4323 0.0786 294-AH 0.2651 0.5235 0.6053 0.6667 0.6875 0.5823 0.1100 0.1431 0.4224 0.1889 0.5691 0.5513 0.0795 0.5102 0.6875 0.6083 0.0658 295-AH 0.0000 0.0000 0.0608 0.1373 0.2092 0.0750 0.0763 0.1373 0.2092 1.0174 0.0027 0.0000 0.0663 0.0000 0.2092 0.0750 0.0763 296-AH 0.0000 0.3168 0.4255 0.4740 0.5250 0.3697 0.1469 0.1572 0.5250 0.3975 0.1656 0.0001 0.1113 0.1567 0.5250 0.4018 0.1002 297-AH 0.0000 0.0181 0.0277 0.0400 0.0775 0.0329 0.0220 0.0219 0.0775 0.6702 0.0162 0.0001 0.0170 0.0000 0.0709 0.0290 0.0182 298-AH 0.0320 0.0704 0.0811 0.0884 0.1037 0.0750 0.0200 0.0180 0.0717 0.2662 0.0717 0.0676 0.0155 0.0484 0.1037 0.0804 0.0141 299-AH 0.1037 0.1618 0.1778 0.2206 0.3408 0.1956 0.0594 0.0588 0.2370 0.3040 0.1878 0.1808 0.0453 0.1037 0.2490 0.1781 0.0369 300-AH 0.0950 0.1553 0.1889 0.2230 0.2518 0.1853 0.0435 0.0677 0.1568 0.2345 0.1797 0.1734 0.0335 0.0950 0.2518 0.1853 0.0435 301-AH 0.0000 0.0000 0.0000 0.0280 0.0814 0.0154 0.0256 0.0280 0.0814 1.6669 0.0001 0.0000 0.0209 0.0000 0.0686 0.0126 0.0221 302-AH 0.0000 0.1458 0.2154 0.2383 0.3415 0.1888 0.0838 0.0925 0.3415 0.4437 0.0864 0.0001 0.0646 0.0317 0.3415 0.2052 0.0643 303-AH 0.0000 0.0234 0.0404 0.0460 0.0645 0.0370 0.0174 0.0226 0.0645 0.4699 0.0193 0.0001 0.0131 0.0000 0.0645 0.0370 0.0174 304-AH 0.0000 0.0127 0.0287 0.0672 0.1500 0.0419 0.0405 0.0545 0.1500 0.9667 0.0078 0.0000 0.0309 0.0000 0.1379 0.0374 0.0344 305-AH 0.0000 0.1299 0.1812 0.2152 0.3712 0.1670 0.0791 0.0853 0.3712 0.4739 0.1066 0.0002 0.0596 0.0502 0.2475 0.1653 0.0605 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0967 0.1476 0.1838 0.2952 0.1432 0.0739 0.0871 0.2952 0.5158 0.0667 0.0001 0.0560 0.0000 0.2952 0.1432 0.0739 308-AH 0.0380 0.2571 0.5625 0.6429 0.9000 0.4615 0.2289 0.3857 0.8620 0.4959 0.3789 0.2530 0.2014 0.0380 0.9000 0.4615 0.2289 309-AH 0.0000 0.0277 0.0377 0.0482 0.0567 0.0361 0.0146 0.0205 0.0567 0.4051 0.0253 0.0002 0.0118 0.0000 0.0567 0.0361 0.0146 310-AH 0.0000 0.0000 0.0000 0.0528 0.1054 0.0178 0.0307 0.0528 0.1054 1.7215 0.0001 0.0000 0.0256 0.0000 0.1054 0.0178 0.0307 311-AH 0.0000 0.1235 0.1500 0.2010 0.2404 0.1511 0.0600 0.0776 0.2404 0.3970 0.1002 0.0002 0.0465 0.0486 0.2404 0.1574 0.0522 312-AH 0.0000 0.2185 0.3731 0.5052 0.6250 0.3488 0.1947 0.2867 0.6250 0.5581 0.1896 0.0002 0.1661 0.0000 0.6250 0.3488 0.1947 313-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0061 0.0150 0.0000 0.0667 2.4490 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0457 0.0568 0.0645 0.1429 0.0596 0.0302 0.0188 0.1429 0.5073 0.0405 0.0002 0.0187 0.0192 0.0798 0.0548 0.0139 315-AH 0.0000 0.0000 0.0000 0.2068 0.5161 0.1105 0.1421 0.2068 0.5161 1.2858 0.0012 0.0000 0.1191 0.0000 0.5161 0.1105 0.1421 316-AH 0.0000 0.0000 0.0990 0.1258 0.1829 0.0784 0.0699 0.1258 0.1829 0.8925 0.0029 0.0000 0.0627 0.0000 0.1829 0.0784 0.0699 317-AH 0.0000 0.0426 0.0575 0.0760 0.1086 0.0584 0.0314 0.0334 0.1086 0.5382 0.0217 0.0001 0.0239 0.0000 0.1086 0.0584 0.0314 318-AH 0.0130 0.0679 0.1286 0.1523 0.2857 0.1181 0.0652 0.0844 0.2727 0.5522 0.0984 0.0742 0.0521 0.0130 0.2222 0.1111 0.0562 319-AH 0.0000 0.0000 0.0177 0.0784 0.1584 0.0427 0.0545 0.0784 0.1584 1.2765 0.0010 0.0000 0.0447 0.0000 0.1584 0.0427 0.0545 320-AH 0.0000 0.0000 0.0000 0.0000 0.0144 0.0006 0.0029 0.0000 0.0144 5.0000 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0131 0.0229 0.0334 0.0119 0.0128 0.0229 0.0334 1.0740 0.0005 0.0000 0.0115 0.0000 0.0334 0.0119 0.0128 323-AH 0.0000 0.0303 0.0444 0.0601 0.0840 0.0437 0.0233 0.0298 0.0840 0.5343 0.0169 0.0001 0.0188 0.0000 0.0840 0.0437 0.0233 324-AH 0.0000 0.0000 0.0720 0.5397 0.6316 0.2313 0.2641 0.5397 0.6316 1.1420 0.0024 0.0000 0.2364 0.0000 0.6316 0.2313 0.2641 325-AH 0.1354 0.3290 0.3889 0.4902 0.6944 0.4036 0.1244 0.1612 0.5591 0.3082 0.3828 0.3578 0.0928 0.1354 0.6944 0.4036 0.1244 326-AH 0.0000 0.0000 0.0042 0.0103 0.0348 0.0066 0.0092 0.0103 0.0348 1.3896 0.0004 0.0000 0.0071 0.0000 0.0191 0.0055 0.0073 327-AH 0.0000 0.0427 0.1429 0.2857 0.4444 0.1707 0.1389 0.2430 0.4444 0.8139 0.0757 0.0002 0.1235 0.0000 0.4444 0.1707 0.1389 328-AH 0.1727 0.3458 0.4130 0.4753 0.7600 0.4201 0.1240 0.1295 0.5873 0.2952 0.4019 0.3820 0.0902 0.1727 0.5882 0.4059 0.1040 329-AH 0.3061 0.4000 0.4516 0.5046 0.6667 0.4540 0.0855 0.1046 0.3605 0.1882 0.4463 0.4386 0.0629 0.3061 0.5833 0.4451 0.0746 330-AH 0.0827 0.5244 0.7000 0.7185 0.7885 0.6178 0.1755 0.1942 0.7058 0.2840 0.5734 0.4787 0.1368 0.3361 0.7885 0.6401 0.1384 331-AH 0.0000 0.2324 0.2745 0.3202 0.5000 0.2797 0.1220 0.0878 0.5000 0.4361 0.1785 0.0002 0.0860 0.1034 0.3261 0.2624 0.0580 332-AH 0.0000 0.1884 0.2059 0.2188 0.2667 0.1989 0.0514 0.0303 0.2667 0.2586 0.1376 0.0002 0.0311 0.1778 0.2581 0.2083 0.0235 333-AH 0.1000 1.0000 1.0000 1.0000 1.0000 0.9507 0.1831 0.0000 0.9000 0.1926 0.8988 0.7267 0.0868 1.0000 1.0000 1.0000 0.0000 334-AH 0.0129 0.0821 0.0930 0.1124 0.1739 0.0951 0.0438 0.0303 0.1611 0.4605 0.0823 0.0646 0.0327 0.0377 0.1538 0.0949 0.0294 335-AH 0.0000 0.0380 0.0558 0.0652 0.1176 0.0581 0.0311 0.0272 0.1176 0.5353 0.0384 0.0002 0.0229 0.0000 0.0779 0.0470 0.0190 336-AH 0.0000 0.0000 0.0000 0.0300 0.1053 0.0187 0.0274 0.0300 0.1053 1.4663 0.0005 0.0000 0.0195 0.0000 0.0353 0.0119 0.0143 337-AH 0.1074 0.6352 0.8182 0.8441 0.8889 0.7319 0.1795 0.2089 0.7815 0.2453 0.6912 0.5959 0.1388 0.5278 0.8889 0.7579 0.1263 338-AH 0.0468 0.1689 0.2222 0.7500 0.9000 0.4282 0.3002 0.5811 0.8532 0.7010 0.3107 0.2056 0.2803 0.0468 0.9000 0.4282 0.3002 339-AH 0.1060 0.2970 0.3462 0.4792 0.6000 0.3757 0.1309 0.1821 0.4940 0.3484 0.3486 0.3141 0.1070 0.1060 0.6000 0.3757 0.1309 340-AH 0.2500 0.2750 0.3077 0.3636 0.6667 0.3288 0.0920 0.0886 0.4167 0.2798 0.3194 0.3121 0.0628 0.2500 0.4000 0.3067 0.0469 72 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0287 0.0830 1.0000 1.0000 1.0000 0.6866 0.4347 0.9170 0.9713 0.6332 0.4123 0.1625 0.4012 0.0287 1.0000 0.6866 0.4347 342-AH 0.0000 0.4102 0.6875 0.7624 0.8105 0.5657 0.2282 0.3522 0.8105 0.4035 0.3545 0.0002 0.1950 0.0000 0.8105 0.5657 0.2282 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.0968 0.1142 0.1971 0.3567 0.4821 0.2348 0.1322 0.2425 0.3854 0.5631 0.2016 0.1750 0.1140 0.0968 0.4821 0.2348 0.1322 345-AH 0.0123 0.0336 0.1111 0.1764 0.2353 0.1110 0.0763 0.1428 0.2230 0.6873 0.0788 0.0492 0.0645 0.0123 0.2353 0.1110 0.0763 346-AH 0.0294 0.0387 0.0508 0.0894 0.1364 0.0614 0.0276 0.0507 0.1070 0.4503 0.0562 0.0518 0.0222 0.0294 0.1364 0.0614 0.0276 347-AH 0.0000 0.0097 0.0116 0.0188 0.0396 0.0146 0.0110 0.0091 0.0396 0.7531 0.0047 0.0001 0.0082 0.0000 0.0317 0.0125 0.0085 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.1237 0.2028 0.2222 0.3385 0.6154 0.2825 0.1387 0.1357 0.4917 0.4909 0.2567 0.2371 0.1081 0.1237 0.4898 0.2535 0.1001 350-AH 0.1538 0.1731 0.1951 0.2783 0.5333 0.2412 0.1027 0.1052 0.3795 0.4257 0.2252 0.2133 0.0776 0.1538 0.4000 0.2185 0.0685 73 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.0000 0.4926 0.8000 0.8000 1.0000 0.6822 0.2398 0.3074 1.0000 0.3516 0.4352 0.0002 0.1885 0.3077 1.0000 0.7106 0.1973 143-AH 0.0921 0.2072 0.4444 0.5885 0.7660 0.4220 0.2252 0.3813 0.6739 0.5335 0.3567 0.2899 0.1936 0.0921 0.7660 0.4220 0.2252 144-AH 0.0682 0.1875 0.2500 0.5000 0.7500 0.3355 0.2180 0.3125 0.6818 0.6496 0.2720 0.2187 0.1844 0.0682 0.7500 0.3355 0.2180 145-AH 0.0365 0.1435 0.2059 0.2369 0.4930 0.2082 0.1008 0.0935 0.4564 0.4844 0.1842 0.1555 0.0718 0.0365 0.3097 0.1863 0.0688 146-AH 0.0000 0.0080 0.0125 0.0157 0.0357 0.0139 0.0100 0.0077 0.0357 0.7165 0.0072 0.0001 0.0072 0.0000 0.0194 0.0102 0.0051 147-AH 0.0491 0.4659 0.5109 0.5826 0.7302 0.4974 0.1462 0.1167 0.6810 0.2939 0.4575 0.3584 0.1020 0.3067 0.7302 0.5374 0.0934 148-AH 0.0000 0.0142 0.0262 0.0380 0.0496 0.0239 0.0156 0.0239 0.0496 0.6531 0.0057 0.0000 0.0130 0.0000 0.0496 0.0239 0.0156 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0137 0.0291 0.2195 0.0252 0.0451 0.0291 0.2195 1.7905 0.0020 0.0000 0.0252 0.0000 0.0433 0.0141 0.0144 151-AH 0.0000 0.0000 0.0000 0.0000 0.0213 0.0015 0.0052 0.0000 0.0213 3.4943 0.0000 0.0000 0.0028 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0398 0.0575 0.0789 0.1613 0.0651 0.0353 0.0391 0.1613 0.5419 0.0433 0.0002 0.0255 0.0000 0.1064 0.0576 0.0246 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.0000 0.0523 0.0565 0.0657 0.1044 0.0581 0.0209 0.0134 0.1044 0.3592 0.0409 0.0002 0.0143 0.0334 0.0856 0.0602 0.0131 155-AH 0.0062 0.0151 0.0370 0.0719 0.1667 0.0504 0.0433 0.0568 0.1605 0.8581 0.0353 0.0246 0.0334 0.0062 0.1429 0.0456 0.0367 156-AH 0.0000 0.0159 0.0323 0.0373 0.0913 0.0290 0.0238 0.0214 0.0913 0.8232 0.0049 0.0000 0.0165 0.0000 0.0474 0.0236 0.0157 157-AH 0.0000 0.1740 0.2100 0.3512 0.5020 0.2349 0.1303 0.1772 0.5020 0.5548 0.0742 0.0001 0.1019 0.0000 0.5020 0.2349 0.1303 158-AH 0.0000 0.0477 0.1152 0.2009 0.3780 0.1257 0.1003 0.1533 0.3780 0.7979 0.0370 0.0001 0.0796 0.0000 0.3780 0.1257 0.1003 159-AH 0.0000 0.0399 0.0648 0.0885 0.4083 0.0782 0.0845 0.0486 0.4083 1.0805 0.0099 0.0000 0.0492 0.0000 0.1596 0.0587 0.0423 160-AH 0.0043 0.0385 0.0645 0.1146 0.2000 0.0769 0.0565 0.0761 0.1957 0.7353 0.0528 0.0273 0.0461 0.0043 0.2000 0.0769 0.0565 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.1592 0.5381 0.6358 0.6759 0.7368 0.5954 0.1261 0.1378 0.5777 0.2119 0.5752 0.5399 0.0927 0.3986 0.7368 0.6136 0.0894 164-AH 0.0000 0.0403 0.0531 0.0944 0.2049 0.0667 0.0470 0.0542 0.2049 0.7048 0.0233 0.0001 0.0353 0.0000 0.1323 0.0609 0.0379 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0110 0.0225 0.0303 0.0376 0.0196 0.0125 0.0193 0.0376 0.6374 0.0061 0.0001 0.0104 0.0000 0.0376 0.0196 0.0125 168-AH 0.0000 0.1110 0.4474 0.4893 0.5862 0.3380 0.1941 0.3783 0.5862 0.5743 0.1890 0.0002 0.1800 0.0000 0.5862 0.3380 0.1941 169-AH 0.0000 0.0000 0.0000 0.0000 0.0400 0.0029 0.0087 0.0000 0.0400 2.9616 0.0000 0.0000 0.0049 0.0000 0.0000 0.0000 0.0000 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0000 0.0249 0.0470 0.0735 0.0268 0.0208 0.0470 0.0735 0.7763 0.0036 0.0000 0.0167 0.0000 0.0735 0.0268 0.0208 172-AH 0.0000 0.0148 0.0400 0.0542 0.0843 0.0360 0.0248 0.0394 0.0843 0.6880 0.0125 0.0001 0.0213 0.0000 0.0843 0.0360 0.0248 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.1080 0.2593 0.2975 0.5000 0.2220 0.1455 0.1895 0.5000 0.6553 0.0647 0.0001 0.1188 0.0000 0.5000 0.2220 0.1455 176-AH 0.4235 0.6636 0.8000 0.8078 0.8409 0.7241 0.1320 0.1442 0.4174 0.1823 0.7100 0.6930 0.1045 0.4691 0.8409 0.7502 0.1004 177-AH 0.0000 0.0372 0.0619 0.0732 0.1667 0.0646 0.0420 0.0361 0.1667 0.6494 0.0394 0.0002 0.0304 0.0000 0.1250 0.0568 0.0332 178-AH 0.0000 0.0000 0.0000 0.0094 0.0396 0.0075 0.0124 0.0094 0.0396 1.6547 0.0002 0.0000 0.0089 0.0000 0.0144 0.0034 0.0052 179-AH 0.0000 0.0486 0.1550 0.4087 0.6667 0.2236 0.2171 0.3601 0.6667 0.9712 0.0519 0.0001 0.1802 0.0000 0.6667 0.2236 0.2171 180-AH 0.0000 0.0443 0.2517 0.4562 0.5714 0.2528 0.2168 0.4120 0.5714 0.8575 0.0305 0.0000 0.1914 0.0000 0.5714 0.2528 0.2168 181-AH 0.4536 0.6234 0.6917 0.7189 0.7477 0.6632 0.0767 0.0955 0.2942 0.1156 0.6585 0.6531 0.0608 0.5061 0.7477 0.6719 0.0644 182-AH 0.0000 0.0303 0.0784 0.1067 0.1538 0.0735 0.0471 0.0764 0.1538 0.6399 0.0316 0.0001 0.0406 0.0000 0.1538 0.0735 0.0471 183-AH 0.0159 0.0440 0.2000 0.2500 0.5000 0.1867 0.1209 0.2060 0.4841 0.6477 0.1331 0.0773 0.0912 0.0159 0.5000 0.1867 0.1209 184-AH 0.0104 0.0344 0.0517 0.0625 0.1304 0.0504 0.0266 0.0281 0.1201 0.5277 0.0429 0.0345 0.0192 0.0104 0.0849 0.0471 0.0212 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.5000 0.5625 0.7778 0.9062 1.0000 0.7473 0.1881 0.3438 0.5000 0.2516 0.7238 0.7000 0.1563 0.5000 1.0000 0.7473 0.1881 190-AH 0.0000 0.0000 0.0000 0.0000 0.1731 0.0098 0.0353 0.0000 0.1731 3.6017 0.0000 0.0000 0.0165 0.0000 0.0000 0.0000 0.0000 74 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0198 0.0504 0.6667 0.8571 0.2248 0.3165 0.6469 0.8571 1.4080 0.0497 0.0002 0.2760 0.0000 0.8571 0.2248 0.3165 193-AH 0.0000 0.0137 0.0449 0.0594 0.0814 0.0367 0.0267 0.0458 0.0814 0.7284 0.0059 0.0000 0.0235 0.0000 0.0814 0.0367 0.0267 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.0568 0.1791 0.4091 0.6361 0.8679 0.4164 0.2601 0.4569 0.8111 0.6248 0.3294 0.2433 0.2152 0.0568 0.8679 0.4164 0.2601 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.1500 0.4534 0.5294 0.6000 0.6923 0.5144 0.1146 0.1466 0.5423 0.2228 0.4975 0.4707 0.0834 0.4348 0.6923 0.5296 0.0877 200-AH 0.0000 0.0000 0.0136 0.0775 0.3103 0.0726 0.1100 0.0775 0.3103 1.5139 0.0043 0.0000 0.0847 0.0000 0.0811 0.0205 0.0267 251-AH 0.0000 0.0000 0.0000 0.0000 0.1277 0.0161 0.0347 0.0000 0.1277 2.1586 0.0001 0.0000 0.0257 0.0000 0.0000 0.0000 0.0000 252-AH 0.0000 0.1688 0.2213 0.2641 0.3418 0.2070 0.0745 0.0954 0.3418 0.3599 0.1387 0.0002 0.0580 0.1015 0.3418 0.2156 0.0620 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0591 0.1481 0.2500 0.4444 0.1553 0.1296 0.1909 0.4444 0.8343 0.0401 0.0001 0.1017 0.0000 0.4444 0.1553 0.1296 256-AH 0.0000 0.3452 0.6327 0.6973 0.7750 0.4961 0.2916 0.3521 0.7750 0.5877 0.0625 0.0000 0.2392 0.0000 0.7750 0.4961 0.2916 257-AH 0.0000 0.0000 0.0813 0.0940 0.1179 0.0534 0.0492 0.0940 0.1179 0.9211 0.0017 0.0000 0.0470 0.0000 0.1179 0.0534 0.0492 258-AH 0.0000 0.0000 0.0082 0.0160 0.0430 0.0095 0.0104 0.0160 0.0430 1.0954 0.0010 0.0000 0.0078 0.0000 0.0230 0.0081 0.0079 259-AH 0.0000 0.0088 0.0185 0.0279 0.0508 0.0209 0.0155 0.0191 0.0508 0.7394 0.0099 0.0001 0.0118 0.0000 0.0508 0.0209 0.0155 260-AH 0.0000 0.2233 0.3497 0.3750 0.4385 0.3032 0.1053 0.1517 0.4385 0.3474 0.2004 0.0002 0.0867 0.0000 0.4385 0.3032 0.1053 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.1132 0.0173 0.0359 0.0000 0.1132 2.0727 0.0001 0.0000 0.0277 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0333 0.0748 0.1113 0.1375 0.0714 0.0464 0.0780 0.1375 0.6500 0.0102 0.0000 0.0375 0.0000 0.1375 0.0714 0.0464 264-AH 0.0000 0.0498 0.0676 0.1179 0.3390 0.0865 0.0650 0.0681 0.3390 0.7521 0.0530 0.0002 0.0443 0.0000 0.1370 0.0760 0.0391 265-AH 0.0000 0.0499 0.2609 0.2893 0.5000 0.2068 0.1386 0.2394 0.5000 0.6702 0.0396 0.0001 0.1125 0.0000 0.5000 0.2068 0.1386 266-AH 0.0000 0.0038 0.0063 0.0794 0.1739 0.0401 0.0520 0.0755 0.1739 1.2980 0.0038 0.0000 0.0436 0.0000 0.1739 0.0401 0.0520 267-AH 0.0243 0.0391 0.0651 0.0750 0.1105 0.0581 0.0245 0.0359 0.0861 0.4229 0.0528 0.0475 0.0213 0.0243 0.1105 0.0581 0.0245 268-AH 0.0000 0.0067 0.0411 0.0769 0.1765 0.0499 0.0484 0.0703 0.1765 0.9694 0.0132 0.0001 0.0387 0.0000 0.1765 0.0499 0.0484 269-AH 0.0000 0.0000 0.0000 0.0000 0.0102 0.0008 0.0028 0.0000 0.0102 3.4615 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.2730 0.3421 0.3808 0.4483 0.3073 0.1120 0.1078 0.4483 0.3644 0.1425 0.0001 0.0803 0.2072 0.4483 0.3340 0.0659 271-AH 0.0000 0.0639 0.1818 0.2667 0.3385 0.1669 0.1124 0.2028 0.3385 0.6732 0.0359 0.0001 0.0936 0.0000 0.3385 0.1669 0.1124 272-AH 0.0000 0.0164 0.0502 0.0680 0.2600 0.0655 0.0716 0.0516 0.2600 1.0943 0.0138 0.0001 0.0488 0.0000 0.0722 0.0371 0.0269 273-AH 0.0000 0.1625 0.2459 0.3419 0.5102 0.2488 0.1447 0.1794 0.5102 0.5817 0.0761 0.0001 0.1059 0.0000 0.5102 0.2488 0.1447 274-AH 0.0000 0.0293 0.0628 0.0888 0.2027 0.0727 0.0603 0.0595 0.2027 0.8292 0.0226 0.0001 0.0467 0.0000 0.1667 0.0614 0.0480 275-AH 0.0000 0.0000 0.0913 0.1682 0.2913 0.1002 0.0932 0.1682 0.2913 0.9299 0.0046 0.0000 0.0801 0.0000 0.2913 0.1002 0.0932 276-AH 0.0000 0.1552 0.2557 0.3013 0.3830 0.2275 0.0978 0.1461 0.3830 0.4298 0.1463 0.0002 0.0821 0.0000 0.3830 0.2275 0.0978 277-AH 0.0000 0.0000 0.0000 0.0000 0.0316 0.0013 0.0063 0.0000 0.0316 5.0000 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0669 0.0973 0.1709 0.0619 0.0511 0.0973 0.1709 0.8251 0.0047 0.0000 0.0437 0.0000 0.1709 0.0619 0.0511 279-AH 0.0000 0.0162 0.0231 0.0359 0.4444 0.0532 0.0943 0.0198 0.4444 1.7731 0.0208 0.0002 0.0533 0.0000 0.0571 0.0233 0.0149 280-AH 0.0000 0.0000 0.0000 0.0000 0.0424 0.0069 0.0143 0.0000 0.0424 2.0781 0.0001 0.0000 0.0110 0.0000 0.0000 0.0000 0.0000 281-AH 0.0511 0.1615 0.1712 0.1786 0.1949 0.1658 0.0268 0.0171 0.1438 0.1619 0.1622 0.1553 0.0153 0.1413 0.1949 0.1706 0.0125 282-AH 0.0000 0.0000 0.0000 0.0557 0.0870 0.0259 0.0306 0.0557 0.0870 1.1819 0.0005 0.0000 0.0290 0.0000 0.0870 0.0259 0.0306 283-AH 0.0000 0.0000 0.0368 0.0460 0.2229 0.0504 0.0694 0.0460 0.2229 1.3777 0.0014 0.0000 0.0514 0.0000 0.0507 0.0183 0.0209 284-AH 0.1515 0.3423 0.3571 0.3706 0.4605 0.3519 0.0631 0.0283 0.3090 0.1794 0.3451 0.3360 0.0399 0.3153 0.3933 0.3562 0.0166 285-AH 0.0000 0.1514 0.3750 0.4046 0.5943 0.3173 0.1610 0.2532 0.5943 0.5075 0.1914 0.0002 0.1326 0.0000 0.5943 0.3173 0.1610 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0789 0.1429 0.1660 0.2368 0.1274 0.0629 0.0871 0.2368 0.4935 0.0602 0.0001 0.0511 0.0000 0.2368 0.1274 0.0629 288-AH 0.0000 0.0000 0.0000 0.0000 0.0880 0.0064 0.0224 0.0000 0.0880 3.4775 0.0000 0.0000 0.0118 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.4604 0.5667 0.5667 0.6296 0.4724 0.1792 0.1063 0.6296 0.3794 0.2801 0.0002 0.1274 0.3333 0.6296 0.5320 0.0745 290-AH 0.0000 0.0726 0.1169 0.1364 0.1737 0.1034 0.0471 0.0638 0.1737 0.4557 0.0507 0.0001 0.0388 0.0000 0.1737 0.1034 0.0471 75 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0572 0.0662 0.1413 0.5000 0.1286 0.1316 0.0841 0.5000 1.0228 0.0658 0.0002 0.1017 0.0000 0.2673 0.0805 0.0632 292-AH 0.0054 0.2079 0.2857 0.5952 0.8000 0.3774 0.2442 0.3873 0.7946 0.6472 0.2630 0.0850 0.2150 0.0054 0.8000 0.3774 0.2442 293-AH 0.0000 0.2378 0.3298 0.3758 0.4306 0.3050 0.0970 0.1380 0.4306 0.3181 0.2040 0.0002 0.0757 0.1713 0.4306 0.3177 0.0749 294-AH 0.0923 0.4373 0.5102 0.5849 0.6757 0.4992 0.1372 0.1476 0.5834 0.2747 0.4695 0.4145 0.0982 0.2212 0.6757 0.5162 0.1101 295-AH 0.0000 0.0000 0.0000 0.0000 0.1949 0.0190 0.0452 0.0000 0.1949 2.3825 0.0001 0.0000 0.0304 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.2514 0.3729 0.4259 0.5238 0.3261 0.1436 0.1745 0.5238 0.4405 0.1447 0.0001 0.1128 0.0000 0.5238 0.3261 0.1436 297-AH 0.0000 0.0000 0.0168 0.0344 0.0775 0.0220 0.0217 0.0344 0.0775 0.9891 0.0029 0.0000 0.0162 0.0000 0.0775 0.0220 0.0217 298-AH 0.0000 0.0463 0.0565 0.0638 0.0839 0.0509 0.0221 0.0176 0.0839 0.4337 0.0201 0.0001 0.0155 0.0372 0.0839 0.0578 0.0117 299-AH 0.0000 0.1195 0.1408 0.1688 0.1983 0.1328 0.0487 0.0493 0.1983 0.3671 0.0658 0.0001 0.0337 0.0819 0.1983 0.1443 0.0291 300-AH 0.0599 0.1267 0.1743 0.1841 0.2054 0.1587 0.0397 0.0574 0.1455 0.2499 0.1526 0.1449 0.0325 0.0599 0.2054 0.1587 0.0397 301-AH 0.0000 0.0000 0.0000 0.0000 0.0302 0.0042 0.0088 0.0000 0.0302 2.1152 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000 302-AH 0.0000 0.0852 0.1172 0.1730 0.2353 0.1184 0.0659 0.0878 0.2353 0.5560 0.0397 0.0001 0.0508 0.0000 0.2353 0.1184 0.0659 303-AH 0.0000 0.0000 0.0196 0.0280 0.0363 0.0179 0.0129 0.0280 0.0363 0.7218 0.0027 0.0000 0.0109 0.0000 0.0363 0.0179 0.0129 304-AH 0.0000 0.0000 0.0209 0.0330 0.0606 0.0196 0.0205 0.0330 0.0606 1.0459 0.0009 0.0000 0.0175 0.0000 0.0606 0.0196 0.0205 305-AH 0.0000 0.0949 0.1518 0.1932 0.3274 0.1323 0.0827 0.0982 0.3274 0.6248 0.0228 0.0000 0.0639 0.0000 0.3274 0.1323 0.0827 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0000 0.0850 0.1093 0.1750 0.0661 0.0590 0.1093 0.1750 0.8928 0.0026 0.0000 0.0529 0.0000 0.1750 0.0661 0.0590 308-AH 0.0159 0.0903 0.1818 0.4545 0.5882 0.2472 0.1858 0.3643 0.5724 0.7516 0.1733 0.1043 0.1574 0.0159 0.5882 0.2472 0.1858 309-AH 0.0000 0.0226 0.0286 0.0347 0.0402 0.0265 0.0111 0.0120 0.0402 0.4179 0.0146 0.0001 0.0084 0.0102 0.0402 0.0288 0.0080 310-AH 0.0000 0.0000 0.0000 0.0000 0.0692 0.0028 0.0138 0.0000 0.0692 5.0000 0.0000 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0771 0.0982 0.1207 0.1517 0.0904 0.0421 0.0436 0.1517 0.4652 0.0329 0.0001 0.0316 0.0522 0.1517 0.1028 0.0264 312-AH 0.0000 0.1675 0.2703 0.3575 0.5185 0.2671 0.1568 0.1900 0.5185 0.5870 0.1098 0.0001 0.1239 0.0000 0.5185 0.2671 0.1568 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0163 0.0262 0.0466 0.0627 0.0275 0.0199 0.0303 0.0627 0.7227 0.0048 0.0000 0.0151 0.0000 0.0627 0.0275 0.0199 315-AH 0.0000 0.0000 0.0000 0.0145 0.2609 0.0314 0.0659 0.0145 0.2609 2.0961 0.0001 0.0000 0.0478 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.0000 0.1336 0.0159 0.0440 0.0000 0.1336 2.7639 0.0000 0.0000 0.0280 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0252 0.0435 0.0582 0.0804 0.0399 0.0264 0.0330 0.0804 0.6619 0.0065 0.0000 0.0212 0.0000 0.0804 0.0399 0.0264 318-AH 0.0130 0.0630 0.0874 0.1327 0.2727 0.0999 0.0575 0.0697 0.2598 0.5754 0.0835 0.0650 0.0451 0.0130 0.1731 0.0927 0.0458 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.0173 0.0304 0.0076 0.0117 0.0173 0.0304 1.5427 0.0001 0.0000 0.0103 0.0000 0.0304 0.0076 0.0117 323-AH 0.0000 0.0000 0.0269 0.0484 0.0696 0.0265 0.0251 0.0484 0.0696 0.9464 0.0015 0.0000 0.0215 0.0000 0.0696 0.0265 0.0251 324-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0259 0.1009 0.0000 0.5000 3.8954 0.0000 0.0000 0.0456 0.0000 0.0000 0.0000 0.0000 325-AH 0.0694 0.2626 0.3128 0.4251 0.5500 0.3271 0.1195 0.1626 0.4806 0.3652 0.2981 0.2547 0.0951 0.0694 0.5500 0.3271 0.1195 326-AH 0.0000 0.0000 0.0042 0.0103 0.0348 0.0066 0.0092 0.0103 0.0348 1.3896 0.0004 0.0000 0.0071 0.0000 0.0191 0.0055 0.0073 327-AH 0.0000 0.0427 0.1429 0.2857 0.4444 0.1707 0.1389 0.2430 0.4444 0.8139 0.0757 0.0002 0.1235 0.0000 0.4444 0.1707 0.1389 328-AH 0.1160 0.2663 0.3281 0.4129 0.6875 0.3291 0.1321 0.1466 0.5715 0.4014 0.3020 0.2726 0.0985 0.1160 0.5122 0.3142 0.1114 329-AH 0.1717 0.1976 0.2388 0.2923 0.3810 0.2481 0.0578 0.0946 0.2092 0.2328 0.2419 0.2359 0.0488 0.1717 0.3810 0.2481 0.0578 330-AH 0.0000 0.3871 0.6301 0.6776 0.7273 0.5104 0.2396 0.2905 0.7273 0.4694 0.2901 0.0002 0.1946 0.0000 0.7273 0.5104 0.2396 331-AH 0.0000 0.1333 0.1455 0.2032 0.4324 0.1730 0.0959 0.0698 0.4324 0.5544 0.1110 0.0002 0.0677 0.0677 0.3019 0.1515 0.0474 332-AH 0.0000 0.1778 0.1778 0.1872 0.2667 0.1826 0.0514 0.0094 0.2667 0.2813 0.1262 0.0002 0.0274 0.1739 0.1905 0.1805 0.0048 333-AH 0.0325 1.0000 1.0000 1.0000 1.0000 0.9480 0.1962 0.0000 0.9675 0.2070 0.8593 0.4529 0.0916 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0193 0.0301 0.0526 0.1163 0.0410 0.0337 0.0333 0.1163 0.8222 0.0228 0.0002 0.0271 0.0000 0.1000 0.0318 0.0237 335-AH 0.0000 0.0167 0.0250 0.0413 0.0667 0.0281 0.0204 0.0246 0.0667 0.7270 0.0063 0.0000 0.0161 0.0000 0.0667 0.0281 0.0204 336-AH 0.0000 0.0000 0.0000 0.0000 0.0503 0.0040 0.0139 0.0000 0.0503 3.4611 0.0000 0.0000 0.0074 0.0000 0.0000 0.0000 0.0000 337-AH 0.0682 0.5290 0.6667 0.7582 0.8182 0.6128 0.2234 0.2291 0.7500 0.3646 0.5282 0.3686 0.1649 0.4500 0.8182 0.6841 0.1119 338-AH 0.0192 0.0843 0.1957 0.7232 0.9000 0.3574 0.2944 0.6389 0.8808 0.8236 0.2266 0.1204 0.2596 0.0192 0.9000 0.3574 0.2944 339-AH 0.0547 0.2091 0.3016 0.3913 0.6000 0.2993 0.1263 0.1822 0.5453 0.4219 0.2689 0.2294 0.1008 0.0547 0.6000 0.2993 0.1263 340-AH 0.1923 0.2174 0.2500 0.2778 0.3571 0.2570 0.0417 0.0604 0.1648 0.1623 0.2540 0.2510 0.0312 0.1923 0.3571 0.2570 0.0417 76 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0328 0.2500 0.4286 0.8571 0.2949 0.2913 0.3958 0.8571 0.9878 0.1061 0.0002 0.2360 0.0000 0.8571 0.2949 0.2913 342-AH 0.0000 0.3440 0.6304 0.6864 0.7190 0.5055 0.2107 0.3424 0.7190 0.4169 0.3150 0.0002 0.1815 0.0000 0.7190 0.5055 0.2107 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.0396 0.0838 0.1261 0.2100 0.3488 0.1487 0.0871 0.1262 0.3092 0.5859 0.1246 0.1028 0.0695 0.0396 0.3488 0.1487 0.0871 345-AH 0.0000 0.0186 0.0588 0.0768 0.1304 0.0569 0.0407 0.0582 0.1304 0.7157 0.0245 0.0001 0.0333 0.0000 0.1304 0.0569 0.0407 346-AH 0.0220 0.0292 0.0347 0.0611 0.1042 0.0442 0.0208 0.0319 0.0822 0.4710 0.0402 0.0370 0.0175 0.0220 0.1042 0.0442 0.0208 347-AH 0.0000 0.0000 0.0000 0.0000 0.0317 0.0017 0.0066 0.0000 0.0317 3.8762 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.0916 0.1421 0.1812 0.2214 0.4717 0.2219 0.1211 0.0793 0.3801 0.5456 0.1973 0.1794 0.0923 0.0916 0.2500 0.1657 0.0396 350-AH 0.1385 0.1596 0.1765 0.1889 0.2571 0.1796 0.0321 0.0293 0.1187 0.1788 0.1770 0.1746 0.0231 0.1385 0.2250 0.1732 0.0242 77 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9627 0.1867 0.0000 0.9333 0.1939 0.8973 0.6410 0.0717 1.0000 1.0000 1.0000 0.0000 142-AH 0.0000 0.4926 0.8000 0.8000 1.0000 0.6822 0.2398 0.3074 1.0000 0.3516 0.4352 0.0002 0.1885 0.3077 1.0000 0.7106 0.1973 143-AH 0.0000 0.0943 0.1781 0.2353 0.5735 0.1884 0.1262 0.1411 0.5735 0.6697 0.1105 0.0002 0.0941 0.0000 0.3514 0.1724 0.0995 144-AH 0.0682 0.1875 0.2500 0.5000 0.7500 0.3355 0.2180 0.3125 0.6818 0.6496 0.2720 0.2187 0.1844 0.0682 0.7500 0.3355 0.2180 145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 146-AH 0.0000 0.0080 0.0125 0.0157 0.0357 0.0139 0.0100 0.0077 0.0357 0.7165 0.0072 0.0001 0.0072 0.0000 0.0194 0.0102 0.0051 147-AH 0.0000 0.0000 0.1154 0.2688 0.3542 0.1366 0.1250 0.2688 0.3542 0.9151 0.0077 0.0000 0.1056 0.0000 0.3542 0.1366 0.1250 148-AH 0.0000 0.0142 0.0262 0.0380 0.0496 0.0239 0.0156 0.0239 0.0496 0.6531 0.0057 0.0000 0.0130 0.0000 0.0496 0.0239 0.0156 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0133 0.0575 0.0106 0.0165 0.0133 0.0575 1.5667 0.0002 0.0000 0.0127 0.0000 0.0135 0.0030 0.0055 151-AH 0.0000 0.0000 0.0000 0.0000 0.0140 0.0010 0.0036 0.0000 0.0140 3.4722 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0133 0.0196 0.0266 0.1429 0.0235 0.0283 0.0133 0.1429 1.2054 0.0050 0.0000 0.0150 0.0000 0.0336 0.0166 0.0105 153-AH 0.0000 0.0000 0.0010 0.0013 0.0028 0.0009 0.0010 0.0013 0.0028 1.1135 0.0001 0.0000 0.0008 0.0000 0.0028 0.0009 0.0010 154-AH 0.0000 0.0000 0.0000 0.0250 0.0351 0.0132 0.0144 0.0250 0.0351 1.0955 0.0004 0.0000 0.0137 0.0000 0.0351 0.0132 0.0144 155-AH 0.0062 0.0151 0.0370 0.0719 0.1667 0.0504 0.0433 0.0568 0.1605 0.8581 0.0353 0.0246 0.0334 0.0062 0.1429 0.0456 0.0367 156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 157-AH 0.0000 0.0000 0.0000 0.0000 0.1391 0.0056 0.0278 0.0000 0.1391 5.0000 0.0000 0.0000 0.0107 0.0000 0.0000 0.0000 0.0000 158-AH 0.0000 0.0000 0.0367 0.0857 0.1596 0.0424 0.0499 0.0857 0.1596 1.1776 0.0010 0.0000 0.0420 0.0000 0.1596 0.0424 0.0499 159-AH 0.0000 0.0000 0.0000 0.0000 0.0840 0.0063 0.0217 0.0000 0.0840 3.4714 0.0000 0.0000 0.0115 0.0000 0.0000 0.0000 0.0000 160-AH 0.0043 0.0385 0.0645 0.1146 0.2000 0.0769 0.0565 0.0761 0.1957 0.7353 0.0528 0.0273 0.0461 0.0043 0.2000 0.0769 0.0565 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1667 0.2500 0.5000 1.0000 1.0000 0.5780 0.3394 0.7500 0.8333 0.5872 0.4797 0.3968 0.3038 0.1667 1.0000 0.5780 0.3394 163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.0477 0.1256 0.0268 0.0450 0.0477 0.1256 1.6829 0.0002 0.0000 0.0364 0.0000 0.1189 0.0226 0.0409 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0110 0.0225 0.0303 0.0376 0.0196 0.0125 0.0193 0.0376 0.6374 0.0061 0.0001 0.0104 0.0000 0.0376 0.0196 0.0125 168-AH 0.0000 0.1011 0.2308 0.4312 0.5143 0.2764 0.1737 0.3301 0.5143 0.6284 0.1531 0.0002 0.1596 0.0000 0.5143 0.2764 0.1737 169-AH 0.0000 0.0000 0.0000 0.0000 0.0400 0.0029 0.0087 0.0000 0.0400 2.9616 0.0000 0.0000 0.0049 0.0000 0.0000 0.0000 0.0000 170-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9733 0.1333 0.0000 0.6667 0.1370 0.9570 0.9259 0.0512 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0000 0.0000 0.0000 0.0386 0.0049 0.0107 0.0000 0.0386 2.1580 0.0000 0.0000 0.0079 0.0000 0.0000 0.0000 0.0000 172-AH 0.0000 0.0148 0.0400 0.0542 0.0843 0.0360 0.0248 0.0394 0.0843 0.6880 0.0125 0.0001 0.0213 0.0000 0.0843 0.0360 0.0248 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.1080 0.2593 0.2975 0.5000 0.2220 0.1455 0.1895 0.5000 0.6553 0.0647 0.0001 0.1188 0.0000 0.5000 0.2220 0.1455 176-AH 0.2167 0.3229 0.4875 0.6290 0.7500 0.4870 0.1659 0.3062 0.5333 0.3406 0.4551 0.4197 0.1396 0.2167 0.7500 0.4870 0.1659 177-AH 0.0000 0.0230 0.0383 0.0549 0.0778 0.0381 0.0213 0.0319 0.0778 0.5583 0.0191 0.0001 0.0175 0.0000 0.0778 0.0381 0.0213 178-AH 0.0000 0.0000 0.0000 0.0094 0.0396 0.0075 0.0124 0.0094 0.0396 1.6547 0.0002 0.0000 0.0089 0.0000 0.0144 0.0034 0.0052 179-AH 0.0000 0.0000 0.0346 0.2596 0.6111 0.1403 0.1990 0.2596 0.6111 1.4181 0.0030 0.0000 0.1669 0.0000 0.6111 0.1403 0.1990 180-AH 0.0000 0.0000 0.1227 0.2154 0.3670 0.1278 0.1303 0.2154 0.3670 1.0196 0.0037 0.0000 0.1111 0.0000 0.3670 0.1278 0.1303 181-AH 0.0000 0.0000 0.1169 0.1503 0.1974 0.0994 0.0685 0.1503 0.1974 0.6887 0.0094 0.0000 0.0568 0.0000 0.1974 0.0994 0.0685 182-AH 0.0000 0.0303 0.0784 0.1067 0.1538 0.0735 0.0471 0.0764 0.1538 0.6399 0.0316 0.0001 0.0406 0.0000 0.1538 0.0735 0.0471 183-AH 0.0159 0.0440 0.2000 0.2500 0.5000 0.1867 0.1209 0.2060 0.4841 0.6477 0.1331 0.0773 0.0912 0.0159 0.5000 0.1867 0.1209 184-AH 0.0104 0.0344 0.0517 0.0625 0.1304 0.0504 0.0266 0.0281 0.1201 0.5277 0.0429 0.0345 0.0192 0.0104 0.0849 0.0471 0.0212 185-AH 0.0046 0.2375 0.3333 1.0000 1.0000 0.5382 0.3732 0.7625 0.9954 0.6935 0.3617 0.0859 0.3325 0.0046 1.0000 0.5382 0.3732 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0109 0.1250 0.2000 0.5000 1.0000 0.3732 0.3469 0.3750 0.9891 0.9294 0.2340 0.1142 0.2811 0.0109 1.0000 0.3732 0.3469 188-AH 0.0000 0.0017 0.0088 0.0563 0.2000 0.0434 0.0689 0.0546 0.2000 1.5874 0.0067 0.0001 0.0553 0.0000 0.1000 0.0117 0.0228 189-AH 0.5000 0.5625 0.7778 0.9062 1.0000 0.7473 0.1881 0.3438 0.5000 0.2516 0.7238 0.7000 0.1563 0.5000 1.0000 0.7473 0.1881 190-AH 0.0000 0.0000 0.0000 0.0000 0.1731 0.0098 0.0353 0.0000 0.1731 3.6017 0.0000 0.0000 0.0165 0.0000 0.0000 0.0000 0.0000 78 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0198 0.0504 0.6667 0.8571 0.2248 0.3165 0.6469 0.8571 1.4080 0.0497 0.0002 0.2760 0.0000 0.8571 0.2248 0.3165 193-AH 0.0000 0.0137 0.0449 0.0594 0.0814 0.0367 0.0267 0.0458 0.0814 0.7284 0.0059 0.0000 0.0235 0.0000 0.0814 0.0367 0.0267 194-AH 0.0625 0.2000 0.3333 1.0000 1.0000 0.5456 0.3870 0.8000 0.9375 0.7094 0.4028 0.2841 0.3635 0.0625 1.0000 0.5456 0.3870 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 1.0000 1.0000 0.7400 0.2550 0.5000 0.5000 0.3445 0.6974 0.6579 0.2496 0.5000 1.0000 0.7400 0.2550 197-AH 0.0000 0.1110 0.1894 0.3782 0.6410 0.2562 0.1896 0.2672 0.6410 0.7398 0.1416 0.0002 0.1579 0.0000 0.6410 0.2562 0.1896 198-AH 0.1250 0.3333 1.0000 1.0000 1.0000 0.7683 0.3470 0.6667 0.8750 0.4516 0.6536 0.5102 0.3151 0.1250 1.0000 0.7683 0.3470 199-AH 0.0452 0.3512 0.4167 0.4348 0.4545 0.3673 0.1146 0.0836 0.4093 0.3121 0.3313 0.2588 0.0789 0.3226 0.4545 0.4060 0.0422 200-AH 0.0000 0.0000 0.0136 0.0775 0.3103 0.0726 0.1100 0.0775 0.3103 1.5139 0.0043 0.0000 0.0847 0.0000 0.0811 0.0205 0.0267 251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 252-AH 0.0000 0.0755 0.0884 0.0985 0.1408 0.0834 0.0308 0.0230 0.1408 0.3697 0.0429 0.0001 0.0206 0.0568 0.1218 0.0883 0.0155 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0591 0.1481 0.2500 0.4444 0.1553 0.1296 0.1909 0.4444 0.8343 0.0401 0.0001 0.1017 0.0000 0.4444 0.1553 0.1296 256-AH 0.0000 0.0000 0.0610 0.1426 0.5574 0.1145 0.1455 0.1426 0.5574 1.2704 0.0059 0.0000 0.1077 0.0000 0.3238 0.0845 0.1022 257-AH 0.0000 0.0000 0.0000 0.0000 0.0724 0.0029 0.0145 0.0000 0.0724 5.0000 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000 258-AH 0.0000 0.0000 0.0082 0.0160 0.0430 0.0095 0.0104 0.0160 0.0430 1.0954 0.0010 0.0000 0.0078 0.0000 0.0230 0.0081 0.0079 259-AH 0.0000 0.0088 0.0185 0.0279 0.0508 0.0209 0.0155 0.0191 0.0508 0.7394 0.0099 0.0001 0.0118 0.0000 0.0508 0.0209 0.0155 260-AH 0.0000 0.0000 0.0000 0.0000 0.0696 0.0107 0.0251 0.0000 0.0696 2.3406 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0588 0.0085 0.0200 0.0000 0.0588 2.3446 0.0000 0.0000 0.0144 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0000 0.0000 0.0080 0.0604 0.0106 0.0197 0.0080 0.0604 1.8689 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000 265-AH 0.0000 0.0499 0.2609 0.2893 0.5000 0.2068 0.1386 0.2394 0.5000 0.6702 0.0396 0.0001 0.1125 0.0000 0.5000 0.2068 0.1386 266-AH 0.0000 0.0038 0.0063 0.0794 0.1739 0.0401 0.0520 0.0755 0.1739 1.2980 0.0038 0.0000 0.0436 0.0000 0.1739 0.0401 0.0520 267-AH 0.0000 0.0000 0.0000 0.0273 0.0871 0.0174 0.0275 0.0273 0.0871 1.5856 0.0002 0.0000 0.0222 0.0000 0.0650 0.0118 0.0206 268-AH 0.0000 0.0067 0.0411 0.0769 0.1765 0.0499 0.0484 0.0703 0.1765 0.9694 0.0132 0.0001 0.0387 0.0000 0.1765 0.0499 0.0484 269-AH 0.0000 0.0000 0.0000 0.0000 0.0102 0.0008 0.0028 0.0000 0.0102 3.4615 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.0000 0.0765 0.1453 0.2701 0.0803 0.0747 0.1453 0.2701 0.9306 0.0040 0.0000 0.0612 0.0000 0.2701 0.0803 0.0747 271-AH 0.0000 0.0000 0.0000 0.0641 0.2667 0.0412 0.0625 0.0641 0.2667 1.5161 0.0007 0.0000 0.0451 0.0000 0.1263 0.0318 0.0421 272-AH 0.0000 0.0000 0.0000 0.0190 0.0327 0.0093 0.0123 0.0190 0.0327 1.3223 0.0002 0.0000 0.0112 0.0000 0.0327 0.0093 0.0123 273-AH 0.0000 0.0000 0.0000 0.0977 0.2643 0.0548 0.0953 0.0977 0.2643 1.7384 0.0002 0.0000 0.0790 0.0000 0.2231 0.0372 0.0765 274-AH 0.0000 0.0000 0.0542 0.0833 0.2025 0.0598 0.0618 0.0833 0.2025 1.0345 0.0042 0.0000 0.0481 0.0000 0.2025 0.0598 0.0618 275-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 276-AH 0.0000 0.0449 0.1014 0.1674 0.2731 0.1077 0.0795 0.1225 0.2731 0.7382 0.0134 0.0000 0.0656 0.0000 0.2731 0.1077 0.0795 277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0221 0.0502 0.0946 0.0276 0.0323 0.0502 0.0946 1.1673 0.0008 0.0000 0.0272 0.0000 0.0946 0.0276 0.0323 279-AH 0.0000 0.0162 0.0231 0.0359 0.4444 0.0532 0.0943 0.0198 0.4444 1.7731 0.0208 0.0002 0.0533 0.0000 0.0571 0.0233 0.0149 280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 281-AH 0.0000 0.0545 0.1217 0.1611 0.1667 0.1087 0.0542 0.1066 0.1667 0.4986 0.0514 0.0001 0.0464 0.0000 0.1667 0.1087 0.0542 282-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 284-AH 0.1284 0.2331 0.2550 0.3148 0.3800 0.2662 0.0573 0.0817 0.2516 0.2151 0.2599 0.2529 0.0444 0.1284 0.3800 0.2662 0.0573 285-AH 0.0000 0.0000 0.0000 0.1166 0.2184 0.0574 0.0772 0.1166 0.2184 1.3440 0.0005 0.0000 0.0689 0.0000 0.2184 0.0574 0.0772 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.0000 0.0000 0.0574 0.0044 0.0151 0.0000 0.0574 3.4664 0.0000 0.0000 0.0080 0.0000 0.0000 0.0000 0.0000 288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.0000 0.1651 0.2583 0.4615 0.1557 0.1412 0.2583 0.4615 0.9070 0.0117 0.0000 0.1200 0.0000 0.4615 0.1557 0.1412 290-AH 0.0000 0.0411 0.0655 0.0839 0.1109 0.0575 0.0359 0.0428 0.1109 0.6239 0.0087 0.0000 0.0278 0.0000 0.1109 0.0575 0.0359 79 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.0000 0.0000 0.0548 0.0051 0.0144 0.0000 0.0548 2.8306 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 292-AH 0.0054 0.2079 0.2857 0.5952 0.8000 0.3774 0.2442 0.3873 0.7946 0.6472 0.2630 0.0850 0.2150 0.0054 0.8000 0.3774 0.2442 293-AH 0.0000 0.1352 0.1932 0.2329 0.3178 0.1875 0.0861 0.0977 0.3178 0.4590 0.0871 0.0001 0.0655 0.0000 0.3178 0.1875 0.0861 294-AH 0.0897 0.1709 0.2328 0.3725 0.4500 0.2716 0.1068 0.2016 0.3603 0.3934 0.2501 0.2281 0.0953 0.0897 0.4500 0.2716 0.1068 295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.1348 0.3200 0.3841 0.4615 0.2718 0.1484 0.2493 0.4615 0.5460 0.1137 0.0001 0.1264 0.0000 0.4615 0.2718 0.1484 297-AH 0.0000 0.0000 0.0000 0.0177 0.0242 0.0088 0.0098 0.0177 0.0242 1.1153 0.0004 0.0000 0.0092 0.0000 0.0242 0.0088 0.0098 298-AH 0.0000 0.0000 0.0000 0.0000 0.0302 0.0012 0.0060 0.0000 0.0302 5.0000 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 299-AH 0.0000 0.0000 0.0000 0.0000 0.0941 0.0100 0.0278 0.0000 0.0941 2.7769 0.0000 0.0000 0.0176 0.0000 0.0000 0.0000 0.0000 300-AH 0.0000 0.0357 0.0725 0.1065 0.1573 0.0713 0.0505 0.0709 0.1573 0.7086 0.0099 0.0000 0.0406 0.0000 0.1573 0.0713 0.0505 301-AH 0.0000 0.0000 0.0000 0.0000 0.0223 0.0009 0.0045 0.0000 0.0223 5.0000 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000 302-AH 0.0000 0.0152 0.0846 0.1011 0.1619 0.0727 0.0512 0.0859 0.1619 0.7044 0.0100 0.0000 0.0411 0.0000 0.1619 0.0727 0.0512 303-AH 0.0000 0.0000 0.0000 0.0198 0.0270 0.0079 0.0111 0.0198 0.0270 1.3997 0.0002 0.0000 0.0102 0.0000 0.0270 0.0079 0.0111 304-AH 0.0000 0.0000 0.0172 0.0236 0.0439 0.0135 0.0145 0.0236 0.0439 1.0743 0.0006 0.0000 0.0129 0.0000 0.0439 0.0135 0.0145 305-AH 0.0000 0.0000 0.0941 0.1268 0.1748 0.0755 0.0668 0.1268 0.1748 0.8838 0.0028 0.0000 0.0604 0.0000 0.1748 0.0755 0.0668 306-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.9429 0.2072 0.0000 0.9286 0.2198 0.8752 0.6410 0.1051 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 308-AH 0.0000 0.0000 0.0111 0.0175 0.0412 0.0105 0.0120 0.0175 0.0412 1.1420 0.0005 0.0000 0.0101 0.0000 0.0412 0.0105 0.0120 309-AH 0.0000 0.0129 0.0220 0.0259 0.0287 0.0180 0.0095 0.0129 0.0287 0.5296 0.0061 0.0001 0.0079 0.0000 0.0287 0.0180 0.0095 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 312-AH 0.0000 0.0266 0.0487 0.1286 0.1542 0.0645 0.0553 0.1020 0.1542 0.8578 0.0086 0.0000 0.0471 0.0000 0.1542 0.0645 0.0553 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.0000 0.0000 0.1418 0.0057 0.0284 0.0000 0.1418 5.0000 0.0000 0.0000 0.0109 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0000 0.0000 0.0000 0.0342 0.0014 0.0068 0.0000 0.0342 5.0000 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000 318-AH 0.0130 0.0630 0.0874 0.1327 0.2727 0.0999 0.0575 0.0697 0.2598 0.5754 0.0835 0.0650 0.0451 0.0130 0.1731 0.0927 0.0458 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.0000 0.0237 0.0044 0.0091 0.0000 0.0237 2.0519 0.0000 0.0000 0.0071 0.0000 0.0000 0.0000 0.0000 323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0000 0.0724 0.1083 0.0379 0.0416 0.0724 0.1083 1.0976 0.0007 0.0000 0.0394 0.0000 0.1083 0.0379 0.0416 326-AH 0.0000 0.0000 0.0042 0.0103 0.0348 0.0066 0.0092 0.0103 0.0348 1.3896 0.0004 0.0000 0.0071 0.0000 0.0191 0.0055 0.0073 327-AH 0.0000 0.0427 0.1429 0.2857 0.4444 0.1707 0.1389 0.2430 0.4444 0.8139 0.0757 0.0002 0.1235 0.0000 0.4444 0.1707 0.1389 328-AH 0.0565 0.1159 0.2190 0.3194 0.5349 0.2331 0.1241 0.2036 0.4784 0.5326 0.1990 0.1650 0.0997 0.0565 0.5349 0.2331 0.1241 329-AH 0.1118 0.1730 0.1977 0.2244 0.3333 0.2020 0.0444 0.0514 0.2215 0.2201 0.1973 0.1924 0.0325 0.1118 0.2537 0.1965 0.0358 330-AH 0.0000 0.0802 0.3091 0.5000 0.5795 0.2790 0.2177 0.4198 0.5795 0.7805 0.0364 0.0000 0.1942 0.0000 0.5795 0.2790 0.2177 331-AH 0.0000 0.1090 0.1232 0.1545 0.3091 0.1297 0.0657 0.0456 0.3091 0.5068 0.0852 0.0002 0.0420 0.0429 0.1753 0.1195 0.0325 332-AH 0.0000 0.1778 0.1778 0.1872 0.2667 0.1826 0.0514 0.0094 0.2667 0.2813 0.1262 0.0002 0.0274 0.1739 0.1905 0.1805 0.0048 333-AH 0.0325 1.0000 1.0000 1.0000 1.0000 0.9480 0.1962 0.0000 0.9675 0.2070 0.8593 0.4529 0.0916 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0193 0.0301 0.0526 0.1163 0.0410 0.0337 0.0333 0.1163 0.8222 0.0228 0.0002 0.0271 0.0000 0.1000 0.0318 0.0237 335-AH 0.0000 0.0000 0.0000 0.0168 0.0324 0.0073 0.0113 0.0168 0.0324 1.5516 0.0001 0.0000 0.0099 0.0000 0.0324 0.0073 0.0113 336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 337-AH 0.0000 0.0879 0.5263 0.6158 0.7407 0.3675 0.2799 0.5279 0.7407 0.7616 0.0453 0.0000 0.2623 0.0000 0.7407 0.3675 0.2799 338-AH 0.0127 0.0756 0.1316 0.1724 0.7143 0.1700 0.1704 0.0968 0.7016 1.0024 0.1157 0.0696 0.1037 0.0127 0.2703 0.1247 0.0697 339-AH 0.0000 0.1399 0.1979 0.2339 0.3167 0.1874 0.0796 0.0940 0.3167 0.4250 0.0886 0.0001 0.0607 0.0000 0.3167 0.1874 0.0796 340-AH 0.1923 0.2174 0.2500 0.2778 0.3571 0.2570 0.0417 0.0604 0.1648 0.1623 0.2540 0.2510 0.0312 0.1923 0.3571 0.2570 0.0417 80 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0328 0.2500 0.4286 0.8571 0.2949 0.2913 0.3958 0.8571 0.9878 0.1061 0.0002 0.2360 0.0000 0.8571 0.2949 0.2913 342-AH 0.0000 0.0000 0.2849 0.3289 0.4120 0.2129 0.1516 0.3289 0.4120 0.7119 0.0160 0.0000 0.1354 0.0000 0.4120 0.2129 0.1516 343-AH 0.0035 0.0214 0.0345 0.0534 0.1250 0.0405 0.0296 0.0320 0.1215 0.7318 0.0296 0.0179 0.0218 0.0035 0.0667 0.0338 0.0190 344-AH 0.0000 0.0000 0.0430 0.0513 0.0821 0.0336 0.0283 0.0513 0.0821 0.8439 0.0023 0.0000 0.0242 0.0000 0.0821 0.0336 0.0283 345-AH 0.0000 0.0186 0.0588 0.0768 0.1304 0.0569 0.0407 0.0582 0.1304 0.7157 0.0245 0.0001 0.0333 0.0000 0.1304 0.0569 0.0407 346-AH 0.0000 0.0241 0.0263 0.0309 0.0667 0.0291 0.0132 0.0068 0.0667 0.4547 0.0209 0.0002 0.0082 0.0173 0.0347 0.0264 0.0045 347-AH 0.0000 0.0000 0.0000 0.0000 0.0317 0.0017 0.0066 0.0000 0.0317 3.8762 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9227 0.2347 0.0000 1.0000 0.2543 0.5985 0.0002 0.1361 1.0000 1.0000 1.0000 0.0000 349-AH 0.0663 0.1056 0.1239 0.1600 0.4091 0.1626 0.0986 0.0544 0.3428 0.6062 0.1421 0.1281 0.0724 0.0663 0.1636 0.1174 0.0269 350-AH 0.0000 0.1404 0.1493 0.1569 0.1667 0.1229 0.0619 0.0165 0.1667 0.5038 0.0295 0.0001 0.0482 0.1389 0.1667 0.1530 0.0073 81 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1920 0.0400 0.0000 0.2000 0.2083 0.1346 0.0002 0.0154 0.2000 0.2000 0.2000 0.0000 142-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9760 0.1200 0.0000 0.6000 0.1230 0.9640 0.9434 0.0461 1.0000 1.0000 1.0000 0.0000 143-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9840 0.0554 0.0000 0.2000 0.0563 0.9823 0.9804 0.0294 1.0000 1.0000 1.0000 0.0000 144-AH 0.2000 0.4000 0.4000 0.4000 0.6000 0.4240 0.1052 0.0000 0.4000 0.2481 0.4104 0.3947 0.0704 0.4000 0.4000 0.4000 0.0000 145-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9760 0.0663 0.0000 0.2000 0.0680 0.9736 0.9709 0.0422 1.0000 1.0000 1.0000 0.0000 146-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1920 0.0400 0.0000 0.2000 0.2083 0.1346 0.0002 0.0154 0.2000 0.2000 0.2000 0.0000 147-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9520 0.1046 0.0000 0.4000 0.1098 0.9454 0.9375 0.0768 1.0000 1.0000 1.0000 0.0000 148-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1840 0.0554 0.0000 0.2000 0.3010 0.0906 0.0001 0.0294 0.2000 0.2000 0.2000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0960 0.1541 0.2000 0.4000 1.6048 0.0003 0.0000 0.1306 0.0000 0.4000 0.0960 0.1541 151-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4160 0.2703 0.4000 0.8000 0.6498 0.0556 0.0000 0.2246 0.0000 0.8000 0.4160 0.2703 152-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7600 0.2380 0.4000 0.8000 0.3132 0.7125 0.6479 0.1952 0.2000 1.0000 0.7600 0.2380 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7040 0.1925 0.2000 0.8000 0.2735 0.6708 0.6237 0.1555 0.4000 1.0000 0.7250 0.1648 155-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1120 0.1301 0.2000 0.4000 1.1619 0.0012 0.0000 0.1165 0.0000 0.4000 0.1120 0.1301 156-AH 0.0000 0.1500 0.2000 0.4000 0.8000 0.2560 0.2043 0.2500 0.8000 0.7980 0.0256 0.0000 0.1632 0.0000 0.6000 0.2333 0.1736 157-AH 0.0000 0.6000 0.6000 0.8500 1.0000 0.6640 0.2498 0.2500 1.0000 0.3762 0.4237 0.0002 0.1939 0.4000 1.0000 0.6917 0.2125 158-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7760 0.3333 0.4000 1.0000 0.4295 0.2208 0.0001 0.2566 0.6000 1.0000 0.8818 0.1708 159-AH 0.2000 0.2000 0.6000 0.6500 1.0000 0.4960 0.2776 0.4500 0.8000 0.5597 0.4150 0.3432 0.2445 0.2000 1.0000 0.4960 0.2776 160-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0480 0.0872 0.0500 0.2000 1.8162 0.0001 0.0000 0.0730 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1920 0.0400 0.0000 0.2000 0.2083 0.1346 0.0002 0.0154 0.2000 0.2000 0.2000 0.0000 163-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1040 0.1837 0.2000 0.6000 1.7660 0.0003 0.0000 0.1414 0.0000 0.4000 0.0609 0.1118 165-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.2000 0.2000 0.2500 0.4000 0.2160 0.1281 0.0500 0.4000 0.5929 0.0484 0.0001 0.0883 0.2000 0.2000 0.2000 0.0000 168-AH 0.0000 0.1500 0.2000 0.6000 1.0000 0.3440 0.2917 0.4500 1.0000 0.8479 0.0308 0.0000 0.2458 0.0000 1.0000 0.3440 0.2917 169-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0816 0.0000 0.2000 2.0412 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000 170-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 171-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.1760 0.0879 0.0000 0.4000 0.4997 0.0422 0.0001 0.0563 0.2000 0.2000 0.2000 0.0000 172-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0960 0.1020 0.2000 0.2000 1.0623 0.0012 0.0000 0.0998 0.0000 0.2000 0.0960 0.1020 173-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000 174-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000 175-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7520 0.1447 0.2000 0.6000 0.1924 0.7374 0.7212 0.1133 0.4000 1.0000 0.7520 0.1447 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.4960 0.2458 0.2000 0.8000 0.4955 0.1440 0.0001 0.1971 0.2000 0.8000 0.5636 0.1706 178-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1440 0.1083 0.2000 0.4000 0.7522 0.0086 0.0000 0.0922 0.0000 0.4000 0.1440 0.1083 179-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9200 0.1826 0.0000 0.6000 0.1985 0.8944 0.8571 0.1280 1.0000 1.0000 1.0000 0.0000 180-AH 0.0000 0.0000 0.6000 1.0000 1.0000 0.5440 0.4417 1.0000 1.0000 0.8119 0.0141 0.0000 0.3917 0.0000 1.0000 0.5440 0.4417 181-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8880 0.1536 0.2000 0.6000 0.1730 0.8716 0.8499 0.1254 0.6000 1.0000 0.9083 0.1176 182-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2240 0.2332 0.4000 0.6000 1.0412 0.0052 0.0000 0.1926 0.0000 0.6000 0.2240 0.2332 183-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1280 0.1815 0.4000 0.4000 1.4178 0.0004 0.0000 0.1638 0.0000 0.4000 0.1280 0.1815 184-AH 0.6000 0.7500 0.8000 0.8500 1.0000 0.8000 0.1414 0.1000 0.4000 0.1768 0.7877 0.7752 0.0960 0.6000 1.0000 0.8000 0.1414 185-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1600 0.0816 0.0000 0.2000 0.5103 0.0276 0.0000 0.0640 0.2000 0.2000 0.2000 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1120 0.1013 0.2000 0.2000 0.9047 0.0026 0.0000 0.0986 0.0000 0.2000 0.1120 0.1013 188-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0160 0.0554 0.0000 0.2000 3.4611 0.0000 0.0000 0.0294 0.0000 0.0000 0.0000 0.0000 189-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9840 0.0554 0.0000 0.2000 0.0563 0.9823 0.9804 0.0294 1.0000 1.0000 1.0000 0.0000 190-AH 0.4000 0.8000 0.8000 1.0000 1.0000 0.8560 0.1474 0.2000 0.6000 0.1722 0.8410 0.8219 0.1152 0.6000 1.0000 0.8750 0.1152 82 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.2000 0.4000 0.6000 0.8000 1.0000 0.5760 0.2728 0.4000 0.8000 0.4735 0.5092 0.4412 0.2189 0.2000 1.0000 0.5760 0.2728 193-AH 0.2000 0.4000 0.4000 0.6000 1.0000 0.5200 0.1732 0.2000 0.8000 0.3331 0.4936 0.4673 0.1408 0.2000 0.8000 0.5000 0.1445 194-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1760 0.0663 0.0000 0.2000 0.3769 0.0609 0.0001 0.0422 0.2000 0.2000 0.2000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 197-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9680 0.1249 0.0000 0.6000 0.1290 0.9554 0.9346 0.0589 1.0000 1.0000 1.0000 0.0000 198-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1920 0.0400 0.0000 0.2000 0.2083 0.1346 0.0002 0.0154 0.2000 0.2000 0.2000 0.0000 199-AH 0.2000 0.3500 0.4000 0.6000 0.8000 0.4640 0.1977 0.2500 0.6000 0.4260 0.4191 0.3727 0.1677 0.2000 0.8000 0.4640 0.1977 200-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5920 0.2857 0.4000 1.0000 0.4825 0.1692 0.0001 0.2195 0.0000 1.0000 0.5920 0.2857 251-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9920 0.0400 0.0000 0.2000 0.0403 0.9911 0.9901 0.0154 1.0000 1.0000 1.0000 0.0000 252-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6640 0.1977 0.2000 0.8000 0.2977 0.6289 0.5837 0.1626 0.4000 1.0000 0.6833 0.1761 253-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7280 0.1720 0.2000 0.6000 0.2363 0.7057 0.6803 0.1402 0.4000 1.0000 0.7280 0.1720 254-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3760 0.2107 0.4000 0.8000 0.5604 0.1581 0.0001 0.1728 0.0000 0.8000 0.3760 0.2107 255-AH 0.2000 0.2000 0.2000 0.4000 0.4000 0.2640 0.0952 0.2000 0.2000 0.3607 0.2497 0.2381 0.0870 0.2000 0.4000 0.2640 0.0952 256-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9920 0.0400 0.0000 0.2000 0.0403 0.9911 0.9901 0.0154 1.0000 1.0000 1.0000 0.0000 257-AH 0.2000 0.2000 0.4000 0.4000 0.6000 0.3520 0.1327 0.2000 0.4000 0.3769 0.3272 0.3030 0.1094 0.2000 0.6000 0.3520 0.1327 258-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0480 0.1046 0.0000 0.4000 2.1784 0.0001 0.0000 0.0768 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.4000 0.4000 0.4000 0.4000 0.3520 0.1194 0.0000 0.4000 0.3393 0.1621 0.0001 0.0806 0.4000 0.4000 0.4000 0.0000 260-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8800 0.1826 0.2000 0.6000 0.2075 0.8572 0.8287 0.1536 0.6000 1.0000 0.9000 0.1560 261-AH 0.0000 0.4000 0.6000 0.8000 0.8000 0.5600 0.2449 0.4000 0.8000 0.4374 0.3424 0.0002 0.1984 0.0000 0.8000 0.5600 0.2449 262-AH 0.4000 0.8000 0.8000 0.8500 1.0000 0.8000 0.1633 0.0500 0.6000 0.2041 0.7803 0.7557 0.0960 0.8000 0.8000 0.8000 0.0000 263-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3280 0.1815 0.2000 0.6000 0.5533 0.1408 0.0001 0.1549 0.0000 0.6000 0.3280 0.1815 264-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.8960 0.1645 0.2000 0.4000 0.1836 0.8790 0.8596 0.1414 0.6000 1.0000 0.8960 0.1645 265-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3840 0.2375 0.4000 0.8000 0.6185 0.1094 0.0001 0.1952 0.0000 0.8000 0.3840 0.2375 266-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0080 0.0400 0.0000 0.2000 5.0000 0.0000 0.0000 0.0154 0.0000 0.0000 0.0000 0.0000 267-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.6800 0.1291 0.2000 0.6000 0.1899 0.6683 0.6565 0.1120 0.4000 1.0000 0.6800 0.1291 268-AH 0.0000 0.4000 0.4000 0.4000 0.4000 0.3840 0.0800 0.0000 0.4000 0.2083 0.2618 0.0002 0.0307 0.4000 0.4000 0.4000 0.0000 269-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.3040 0.1428 0.2000 0.6000 0.4698 0.1939 0.0002 0.1242 0.0000 0.6000 0.3040 0.1428 270-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9520 0.2023 0.0000 1.0000 0.2125 0.6254 0.0002 0.0883 1.0000 1.0000 1.0000 0.0000 271-AH 0.2000 0.8000 0.8000 0.8000 1.0000 0.7360 0.2498 0.0000 0.8000 0.3394 0.6641 0.5525 0.1715 0.8000 0.8000 0.8000 0.0000 272-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1680 0.1249 0.2000 0.4000 0.7435 0.0136 0.0000 0.0941 0.0000 0.4000 0.1680 0.1249 273-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 274-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.5200 0.1915 0.2000 0.8000 0.3682 0.3323 0.0002 0.1504 0.2000 0.8000 0.5417 0.1613 275-AH 0.0000 0.4000 0.4000 0.6000 0.8000 0.4880 0.2166 0.2000 0.8000 0.4439 0.3050 0.0002 0.1786 0.2000 0.8000 0.5083 0.1954 276-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7600 0.1633 0.2000 0.6000 0.2149 0.7421 0.7229 0.1312 0.4000 1.0000 0.7600 0.1633 277-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1040 0.1541 0.2000 0.4000 1.4813 0.0004 0.0000 0.1331 0.0000 0.4000 0.1040 0.1541 278-AH 0.2000 0.4000 0.6000 0.6000 0.6000 0.5280 0.1275 0.2000 0.4000 0.2416 0.5067 0.4762 0.1037 0.2000 0.6000 0.5280 0.1275 279-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3520 0.1851 0.4000 0.6000 0.5259 0.2162 0.0002 0.1619 0.0000 0.6000 0.3520 0.1851 280-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1120 0.1013 0.2000 0.2000 0.9047 0.0026 0.0000 0.0986 0.0000 0.2000 0.1120 0.1013 281-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7760 0.2603 0.4000 1.0000 0.3354 0.4917 0.0002 0.1926 0.2000 1.0000 0.8083 0.2083 282-AH 0.0000 0.1500 0.2000 0.4000 0.6000 0.2560 0.1873 0.2500 0.6000 0.7315 0.0260 0.0000 0.1587 0.0000 0.6000 0.2560 0.1873 283-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7280 0.1514 0.2000 0.6000 0.2080 0.7124 0.6961 0.1286 0.4000 1.0000 0.7280 0.1514 284-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7280 0.1904 0.2000 0.8000 0.2616 0.6943 0.6438 0.1459 0.4000 1.0000 0.7500 0.1588 285-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8800 0.1826 0.2000 0.6000 0.2075 0.8572 0.8287 0.1536 0.6000 1.0000 0.9000 0.1560 286-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1040 0.1020 0.2000 0.2000 0.9806 0.0017 0.0000 0.0998 0.0000 0.2000 0.1040 0.1020 287-AH 0.2000 0.4000 0.6000 0.6000 0.8000 0.5440 0.1474 0.2000 0.6000 0.2710 0.5185 0.4839 0.1126 0.2000 0.8000 0.5440 0.1474 288-AH 0.0000 0.2000 0.4000 0.4000 1.0000 0.3840 0.2444 0.2000 1.0000 0.6365 0.2273 0.0002 0.1779 0.0000 0.6000 0.2952 0.1359 289-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.7520 0.2023 0.2000 1.0000 0.2690 0.4926 0.0002 0.1331 0.6000 1.0000 0.7833 0.1308 290-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2240 0.2332 0.4000 0.6000 1.0412 0.0025 0.0000 0.2170 0.0000 0.6000 0.2240 0.2332 83 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.4000 0.9500 1.0000 1.0000 1.0000 0.9200 0.1633 0.0500 0.6000 0.1775 0.9010 0.8746 0.1216 1.0000 1.0000 1.0000 0.0000 292-AH 0.2000 0.4000 0.4000 0.6000 0.8000 0.4560 0.1474 0.2000 0.6000 0.3233 0.4338 0.4110 0.1126 0.2000 0.8000 0.4560 0.1474 293-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7840 0.2304 0.4000 1.0000 0.2938 0.5092 0.0002 0.1658 0.6000 1.0000 0.8167 0.1659 294-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7120 0.1833 0.2000 0.6000 0.2574 0.6879 0.6623 0.1555 0.4000 1.0000 0.7120 0.1833 295-AH 0.4000 0.4000 0.6000 0.6500 0.8000 0.5760 0.1562 0.2500 0.4000 0.2712 0.5556 0.5357 0.1267 0.4000 0.8000 0.5760 0.1562 296-AH 0.0000 0.6000 0.6000 0.6000 0.8000 0.6000 0.1528 0.0000 0.8000 0.2546 0.3981 0.0002 0.0640 0.6000 0.6000 0.6000 0.0000 297-AH 0.4000 0.7500 0.8000 0.8000 1.0000 0.7680 0.1376 0.0500 0.6000 0.1792 0.7546 0.7389 0.0966 0.8000 0.8000 0.8000 0.0000 298-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3520 0.1939 0.4000 0.6000 0.5509 0.1496 0.0001 0.1658 0.0000 0.6000 0.3520 0.1939 299-AH 0.4000 0.7500 0.8000 1.0000 1.0000 0.7920 0.1778 0.2500 0.6000 0.2244 0.7694 0.7426 0.1242 0.4000 1.0000 0.7920 0.1778 300-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2400 0.1291 0.2000 0.4000 0.5379 0.0761 0.0001 0.1024 0.0000 0.4000 0.2400 0.1291 301-AH 0.0000 0.0000 0.0000 0.8000 0.8000 0.2480 0.3709 0.8000 0.8000 1.4957 0.0004 0.0000 0.3373 0.0000 0.8000 0.2480 0.3709 302-AH 0.2000 0.6000 0.6000 0.6000 0.8000 0.5600 0.1155 0.0000 0.6000 0.2062 0.5444 0.5217 0.0800 0.6000 0.6000 0.6000 0.0000 303-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4480 0.2182 0.4000 0.8000 0.4870 0.2743 0.0002 0.1818 0.0000 0.8000 0.4480 0.2182 304-AH 0.6000 0.6000 0.8000 0.8000 0.8000 0.7280 0.0980 0.2000 0.2000 0.1346 0.7213 0.7143 0.0922 0.6000 0.8000 0.7280 0.0980 305-AH 0.0000 0.4000 0.6000 0.8000 0.8000 0.5360 0.2289 0.4000 0.8000 0.4271 0.3330 0.0002 0.1888 0.0000 0.8000 0.5360 0.2289 306-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1920 0.0400 0.0000 0.2000 0.2083 0.1346 0.0002 0.0154 0.2000 0.2000 0.2000 0.0000 307-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4480 0.2182 0.4000 0.8000 0.4870 0.2743 0.0002 0.1818 0.0000 0.8000 0.4480 0.2182 308-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9920 0.0400 0.0000 0.2000 0.0403 0.9911 0.9901 0.0154 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 310-AH 0.0000 0.1500 0.2000 0.4000 0.6000 0.2480 0.1851 0.2500 0.6000 0.7464 0.0253 0.0000 0.1536 0.0000 0.6000 0.2480 0.1851 311-AH 0.2000 0.3500 0.4000 0.6000 0.8000 0.4160 0.1625 0.2500 0.6000 0.3906 0.3838 0.3509 0.1190 0.2000 0.8000 0.4160 0.1625 312-AH 0.2000 0.4000 0.6000 0.8000 1.0000 0.5920 0.2482 0.4000 0.8000 0.4192 0.5348 0.4717 0.2016 0.2000 1.0000 0.5920 0.2482 313-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0560 0.1474 0.0000 0.6000 2.6325 0.0001 0.0000 0.0941 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 315-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7120 0.1301 0.2000 0.6000 0.1828 0.6998 0.6865 0.1146 0.4000 1.0000 0.7120 0.1301 316-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2720 0.2638 0.4000 0.8000 0.9699 0.0175 0.0000 0.2099 0.0000 0.8000 0.2720 0.2638 317-AH 0.4000 0.4000 0.4000 0.4000 0.6000 0.4160 0.0554 0.0000 0.2000 0.1331 0.4132 0.4110 0.0294 0.4000 0.4000 0.4000 0.0000 318-AH 0.0000 0.0000 0.0000 0.2500 0.6000 0.1360 0.2059 0.2500 0.6000 1.5141 0.0004 0.0000 0.1741 0.0000 0.6000 0.1360 0.2059 319-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7440 0.1960 0.2000 0.8000 0.2634 0.7102 0.6593 0.1517 0.4000 1.0000 0.7667 0.1633 320-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0560 0.0917 0.2000 0.2000 1.6366 0.0002 0.0000 0.0806 0.0000 0.2000 0.0560 0.0917 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0640 0.1114 0.2000 0.4000 1.7399 0.0002 0.0000 0.0922 0.0000 0.4000 0.0640 0.1114 323-AH 0.4000 0.8000 0.8000 0.8000 1.0000 0.7600 0.1528 0.0000 0.6000 0.2010 0.7408 0.7160 0.0992 0.8000 0.8000 0.8000 0.0000 324-AH 0.2000 0.7500 0.8000 1.0000 1.0000 0.8160 0.1993 0.2500 0.8000 0.2443 0.7812 0.7229 0.1472 0.6000 1.0000 0.8417 0.1558 325-AH 0.6000 0.8000 0.8000 1.0000 1.0000 0.8560 0.1227 0.2000 0.4000 0.1434 0.8472 0.8380 0.1037 0.6000 1.0000 0.8560 0.1227 326-AH 0.2000 0.2000 0.4000 0.4000 0.4000 0.3120 0.1013 0.2000 0.2000 0.3248 0.2949 0.2778 0.0986 0.2000 0.4000 0.3120 0.1013 327-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.2080 0.1579 0.4000 0.4000 0.7591 0.0156 0.0000 0.1229 0.0000 0.4000 0.2080 0.1579 328-AH 0.2000 0.4000 0.4000 0.6000 1.0000 0.5200 0.1915 0.2000 0.8000 0.3682 0.4890 0.4601 0.1600 0.2000 0.8000 0.5000 0.1668 329-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.8160 0.1818 0.4000 0.6000 0.2228 0.7940 0.7692 0.1472 0.4000 1.0000 0.8160 0.1818 330-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9520 0.1327 0.0000 0.6000 0.1394 0.9385 0.9174 0.0806 1.0000 1.0000 1.0000 0.0000 331-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.2560 0.2973 0.6000 1.0000 1.1614 0.0053 0.0000 0.2406 0.0000 1.0000 0.2560 0.2973 332-AH 0.2000 0.4000 0.4000 0.4000 0.6000 0.4160 0.0800 0.0000 0.4000 0.1923 0.4085 0.4000 0.0442 0.4000 0.4000 0.4000 0.0000 333-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9520 0.1661 0.0000 0.8000 0.1745 0.9211 0.8475 0.0845 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2320 0.1249 0.2000 0.4000 0.5384 0.0740 0.0001 0.0941 0.0000 0.4000 0.2320 0.1249 335-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2720 0.1720 0.2000 0.6000 0.6325 0.1173 0.0001 0.1357 0.0000 0.6000 0.2720 0.1720 336-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2480 0.1939 0.4000 0.6000 0.7819 0.0175 0.0000 0.1658 0.0000 0.6000 0.2480 0.1939 337-AH 0.8000 0.8000 0.8000 1.0000 1.0000 0.8960 0.1020 0.2000 0.2000 0.1138 0.8904 0.8850 0.0998 0.8000 1.0000 0.8960 0.1020 338-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.8400 0.2236 0.2000 1.0000 0.2662 0.5465 0.0002 0.1408 0.8000 1.0000 0.8957 0.1022 339-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7360 0.1800 0.2000 0.6000 0.2446 0.7135 0.6897 0.1517 0.4000 1.0000 0.7360 0.1800 340-AH 0.2000 0.4000 0.4000 0.6000 0.6000 0.4800 0.1155 0.2000 0.4000 0.2406 0.4650 0.4478 0.1056 0.2000 0.6000 0.4800 0.1155 84 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.9040 0.1744 0.2000 0.8000 0.1929 0.8730 0.8065 0.1229 0.8000 1.0000 0.9333 0.0963 342-AH 0.6000 0.9500 1.0000 1.0000 1.0000 0.9440 0.1083 0.0500 0.4000 0.1147 0.9370 0.9288 0.0851 1.0000 1.0000 1.0000 0.0000 343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7280 0.2638 0.4000 1.0000 0.3624 0.4622 0.0002 0.2144 0.4000 1.0000 0.7583 0.2205 345-AH 0.0000 0.1500 0.4000 0.4000 0.6000 0.2720 0.1815 0.2500 0.6000 0.6672 0.0278 0.0000 0.1594 0.0000 0.6000 0.2720 0.1815 346-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0560 0.0917 0.2000 0.2000 1.6366 0.0002 0.0000 0.0806 0.0000 0.2000 0.0560 0.0917 347-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1155 0.2000 0.4000 1.4434 0.0004 0.0000 0.1024 0.0000 0.4000 0.0800 0.1155 348-AH 0.0000 0.4000 0.4000 0.4000 0.4000 0.3840 0.0800 0.0000 0.4000 0.2083 0.2618 0.0002 0.0307 0.4000 0.4000 0.4000 0.0000 349-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.6880 0.1833 0.2000 0.6000 0.2664 0.6659 0.6452 0.1517 0.4000 1.0000 0.6880 0.1833 350-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8640 0.1705 0.2000 0.6000 0.1973 0.8442 0.8197 0.1414 0.6000 1.0000 0.8833 0.1435 85 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000 142-AH 0.4000 0.7000 0.8000 0.8000 0.8000 0.7400 0.0866 0.1000 0.4000 0.1170 0.7337 0.7254 0.0624 0.7000 0.8000 0.7542 0.0509 143-AH 0.7000 1.0000 1.0000 1.0000 1.0000 0.9640 0.0860 0.0000 0.3000 0.0892 0.9597 0.9545 0.0576 1.0000 1.0000 1.0000 0.0000 144-AH 0.1000 0.2000 0.2000 0.3000 0.3000 0.2360 0.0569 0.1000 0.2000 0.2409 0.2288 0.2206 0.0512 0.1000 0.3000 0.2360 0.0569 145-AH 0.6000 0.9000 0.9000 1.0000 1.0000 0.9120 0.1201 0.1000 0.4000 0.1317 0.9030 0.8925 0.0845 0.8000 1.0000 0.9500 0.0598 146-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000 147-AH 0.7000 0.8000 1.0000 1.0000 1.0000 0.9120 0.1166 0.2000 0.3000 0.1279 0.9042 0.8958 0.0986 0.7000 1.0000 0.9120 0.1166 148-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.1000 0.2250 0.3000 0.1240 0.1300 0.2250 0.3000 1.0484 0.0018 0.0000 0.1210 0.0000 0.3000 0.1240 0.1300 151-AH 0.0000 0.1750 0.4000 0.4000 0.5000 0.3160 0.1841 0.2250 0.5000 0.5827 0.0457 0.0000 0.1542 0.0000 0.5000 0.3160 0.1841 152-AH 0.2000 0.3000 0.6000 0.7000 0.8000 0.5520 0.1896 0.4000 0.6000 0.3434 0.5137 0.4700 0.1654 0.2000 0.8000 0.5520 0.1896 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1000 0.4000 0.5000 0.6000 0.7000 0.4920 0.1470 0.2000 0.6000 0.2987 0.4625 0.4147 0.1210 0.1000 0.7000 0.4920 0.1470 155-AH 0.0000 0.1000 0.1000 0.2000 0.2000 0.1360 0.0700 0.1000 0.2000 0.5147 0.0462 0.0001 0.0614 0.0000 0.2000 0.1360 0.0700 156-AH 0.0000 0.2000 0.2000 0.3000 0.5000 0.2400 0.0957 0.1000 0.5000 0.3989 0.1589 0.0002 0.0720 0.1000 0.4000 0.2391 0.0656 157-AH 0.0000 0.6000 0.6000 0.7250 1.0000 0.6440 0.2002 0.1250 1.0000 0.3108 0.4204 0.0002 0.1373 0.5000 0.9000 0.6524 0.1078 158-AH 0.0000 0.6750 0.7000 0.8000 1.0000 0.6600 0.2723 0.1250 1.0000 0.4126 0.1928 0.0001 0.1888 0.5000 0.9000 0.7381 0.1071 159-AH 0.1000 0.2000 0.4000 0.7000 0.9000 0.4720 0.2670 0.5000 0.8000 0.5656 0.3895 0.3078 0.2326 0.1000 0.9000 0.4720 0.2670 160-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0480 0.0586 0.1000 0.2000 1.2207 0.0006 0.0000 0.0538 0.0000 0.2000 0.0480 0.0586 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 163-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9880 0.0440 0.0000 0.2000 0.0445 0.9869 0.9858 0.0221 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1200 0.1155 0.2000 0.4000 0.9623 0.0099 0.0000 0.0848 0.0000 0.4000 0.1200 0.1155 165-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1440 0.0870 0.1000 0.3000 0.6041 0.0472 0.0001 0.0733 0.0000 0.3000 0.1440 0.0870 168-AH 0.0000 0.2000 0.4000 0.5000 0.8000 0.3720 0.2031 0.3000 0.8000 0.5461 0.2228 0.0002 0.1651 0.0000 0.8000 0.3720 0.2031 169-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0280 0.0458 0.1000 0.1000 1.6366 0.0001 0.0000 0.0403 0.0000 0.1000 0.0280 0.0458 170-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 171-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.1080 0.0572 0.0000 0.2000 0.5292 0.0380 0.0001 0.0368 0.1000 0.1000 0.1000 0.0000 172-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0960 0.0790 0.1000 0.3000 0.8224 0.0089 0.0000 0.0538 0.0000 0.2000 0.0875 0.0680 173-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 174-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 175-AH 0.4000 0.5000 0.5000 0.6000 0.6000 0.5280 0.0542 0.1000 0.2000 0.1026 0.5253 0.5226 0.0461 0.4000 0.6000 0.5280 0.0542 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.1000 0.3750 0.4000 0.5250 0.7000 0.4320 0.1651 0.1500 0.6000 0.3822 0.3914 0.3343 0.1264 0.2000 0.7000 0.4609 0.1373 178-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0760 0.0597 0.1000 0.2000 0.7858 0.0055 0.0000 0.0486 0.0000 0.2000 0.0760 0.0597 179-AH 0.2000 0.7000 0.8000 0.9000 1.0000 0.7720 0.2072 0.2000 0.8000 0.2684 0.7263 0.6465 0.1421 0.5000 1.0000 0.8217 0.1204 180-AH 0.0000 0.0000 0.7000 0.9250 1.0000 0.5400 0.4349 0.9250 1.0000 0.8054 0.0140 0.0000 0.4000 0.0000 1.0000 0.5400 0.4349 181-AH 0.5000 0.9000 0.9000 1.0000 1.0000 0.9000 0.1225 0.1000 0.5000 0.1361 0.8902 0.8782 0.0800 0.8000 1.0000 0.9364 0.0658 182-AH 0.0000 0.1000 0.1000 0.3000 0.3000 0.1480 0.1159 0.2000 0.3000 0.7831 0.0232 0.0000 0.1014 0.0000 0.3000 0.1480 0.1159 183-AH 0.0000 0.0000 0.1000 0.3000 0.4000 0.1520 0.1358 0.3000 0.4000 0.8932 0.0084 0.0000 0.1181 0.0000 0.4000 0.1520 0.1358 184-AH 0.3000 0.5000 0.5000 0.5000 0.6000 0.5000 0.0645 0.0000 0.3000 0.1291 0.4955 0.4902 0.0320 0.5000 0.5000 0.5000 0.0000 185-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0880 0.0332 0.0000 0.1000 0.3769 0.0331 0.0001 0.0211 0.1000 0.1000 0.1000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0250 0.1000 0.0240 0.0436 0.0250 0.1000 1.8162 0.0001 0.0000 0.0365 0.0000 0.0000 0.0000 0.0000 189-AH 0.6000 0.6000 0.7000 0.7000 0.7000 0.6680 0.0476 0.1000 0.1000 0.0713 0.6663 0.6646 0.0435 0.6000 0.7000 0.6680 0.0476 190-AH 0.3000 0.6000 0.6000 0.7000 0.7000 0.6120 0.0927 0.1000 0.4000 0.1515 0.6035 0.5926 0.0634 0.5000 0.7000 0.6250 0.0676 86 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1000 0.3000 0.3000 0.6000 0.6000 0.3760 0.1562 0.3000 0.5000 0.4154 0.3437 0.3093 0.1312 0.1000 0.6000 0.3760 0.1562 193-AH 0.1000 0.2000 0.3000 0.4000 0.5000 0.3080 0.1038 0.2000 0.4000 0.3369 0.2894 0.2683 0.0822 0.1000 0.5000 0.3080 0.1038 194-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 197-AH 0.4000 0.9750 1.0000 1.0000 1.0000 0.9400 0.1384 0.0250 0.6000 0.1473 0.9257 0.9041 0.0912 1.0000 1.0000 1.0000 0.0000 198-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 199-AH 0.4000 0.4000 0.4000 0.6000 0.7000 0.5000 0.1225 0.2000 0.3000 0.2449 0.4867 0.4749 0.1040 0.4000 0.7000 0.5000 0.1225 200-AH 0.0000 0.3000 0.5000 0.6000 0.7000 0.4520 0.2182 0.3000 0.7000 0.4827 0.1907 0.0001 0.1818 0.0000 0.7000 0.4520 0.2182 251-AH 0.4000 0.9000 1.0000 1.0000 1.0000 0.9280 0.1242 0.1000 0.6000 0.1339 0.9160 0.8973 0.0749 0.8000 1.0000 0.9500 0.0590 252-AH 0.3000 0.4750 0.6000 0.7000 0.8000 0.5720 0.1487 0.2250 0.5000 0.2599 0.5516 0.5294 0.1216 0.3000 0.8000 0.5720 0.1487 253-AH 0.5000 0.7000 0.7000 0.8000 0.9000 0.7400 0.1118 0.1000 0.4000 0.1511 0.7316 0.7230 0.0928 0.6000 0.9000 0.7500 0.1022 254-AH 0.1000 0.3000 0.4000 0.5000 0.7000 0.4040 0.1620 0.2000 0.6000 0.4009 0.3672 0.3243 0.1402 0.1000 0.7000 0.4040 0.1620 255-AH 0.1000 0.2000 0.2000 0.3000 0.4000 0.2320 0.0852 0.1000 0.3000 0.3674 0.2154 0.1974 0.0704 0.1000 0.4000 0.2320 0.0852 256-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000 257-AH 0.2000 0.4000 0.4000 0.5000 0.6000 0.4080 0.0862 0.1000 0.4000 0.2113 0.3984 0.3876 0.0595 0.3000 0.6000 0.4167 0.0761 258-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0440 0.0583 0.1000 0.2000 1.3252 0.0004 0.0000 0.0528 0.0000 0.2000 0.0440 0.0583 259-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1840 0.0554 0.0000 0.2000 0.3010 0.0906 0.0001 0.0294 0.2000 0.2000 0.2000 0.0000 260-AH 0.3000 0.7000 0.9000 1.0000 1.0000 0.8320 0.1773 0.3000 0.7000 0.2131 0.8084 0.7756 0.1482 0.3000 1.0000 0.8320 0.1773 261-AH 0.1000 0.3000 0.5000 0.7000 0.8000 0.4840 0.2267 0.4000 0.7000 0.4684 0.4118 0.3196 0.1805 0.1000 0.8000 0.4840 0.2267 262-AH 0.2000 0.6000 0.8000 0.9000 0.9000 0.7480 0.2044 0.3000 0.7000 0.2732 0.7093 0.6520 0.1667 0.2000 0.9000 0.7480 0.2044 263-AH 0.1000 0.2000 0.3000 0.4000 0.5000 0.3040 0.1060 0.2000 0.4000 0.3486 0.2828 0.2568 0.0774 0.1000 0.5000 0.3040 0.1060 264-AH 0.4000 0.6000 0.8000 0.8250 1.0000 0.7080 0.1824 0.2250 0.6000 0.2576 0.6822 0.6535 0.1517 0.4000 1.0000 0.7080 0.1824 265-AH 0.0000 0.2000 0.4000 0.4000 0.5000 0.3120 0.1201 0.2000 0.5000 0.3851 0.2021 0.0002 0.0995 0.0000 0.5000 0.3120 0.1201 266-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0400 0.0500 0.1000 0.1000 1.2500 0.0004 0.0000 0.0480 0.0000 0.1000 0.0400 0.0500 267-AH 0.3000 0.4000 0.5000 0.6000 0.8000 0.4840 0.1313 0.2000 0.5000 0.2712 0.4670 0.4504 0.1059 0.3000 0.8000 0.4840 0.1313 268-AH 0.1000 0.2000 0.2000 0.2000 0.2000 0.1960 0.0200 0.0000 0.1000 0.1020 0.1945 0.1923 0.0077 0.2000 0.2000 0.2000 0.0000 269-AH 0.1000 0.2000 0.3000 0.3000 0.4000 0.2680 0.0852 0.1000 0.3000 0.3181 0.2544 0.2400 0.0733 0.1000 0.4000 0.2680 0.0852 270-AH 0.1000 1.0000 1.0000 1.0000 1.0000 0.9560 0.1805 0.0000 0.9000 0.1888 0.9044 0.7305 0.0774 1.0000 1.0000 1.0000 0.0000 271-AH 0.2000 0.7000 0.7000 0.8000 0.8000 0.6560 0.2083 0.1000 0.6000 0.3176 0.6011 0.5166 0.1459 0.7000 0.8000 0.7429 0.0507 272-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.1840 0.0800 0.0000 0.4000 0.4348 0.0871 0.0001 0.0496 0.2000 0.2000 0.2000 0.0000 273-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9880 0.0332 0.0000 0.1000 0.0336 0.9874 0.9868 0.0211 1.0000 1.0000 1.0000 0.0000 274-AH 0.0000 0.3000 0.4000 0.4250 0.7000 0.3880 0.1616 0.1250 0.7000 0.4164 0.2481 0.0002 0.1104 0.3000 0.5000 0.3750 0.0716 275-AH 0.2000 0.3750 0.5000 0.7000 0.9000 0.5000 0.1979 0.3250 0.7000 0.3958 0.4590 0.4160 0.1600 0.2000 0.9000 0.5000 0.1979 276-AH 0.5000 0.7000 0.7000 0.8000 0.8000 0.7240 0.0879 0.1000 0.3000 0.1215 0.7184 0.7123 0.0730 0.6000 0.8000 0.7333 0.0761 277-AH 0.1000 0.1000 0.2000 0.3000 0.5000 0.2400 0.1258 0.2000 0.4000 0.5243 0.2075 0.1777 0.1056 0.1000 0.5000 0.2400 0.1258 278-AH 0.2000 0.4000 0.4000 0.5000 0.6000 0.4040 0.1060 0.1000 0.4000 0.2623 0.3885 0.3704 0.0698 0.3000 0.6000 0.4318 0.0780 279-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1880 0.1013 0.2000 0.4000 0.5390 0.1175 0.0002 0.0854 0.0000 0.4000 0.1880 0.1013 280-AH 0.0000 0.1000 0.1000 0.1250 0.3000 0.1160 0.0688 0.0250 0.3000 0.5931 0.0397 0.0001 0.0483 0.1000 0.1000 0.1000 0.0000 281-AH 0.1000 0.6000 0.8000 0.8000 0.9000 0.6920 0.1778 0.2000 0.8000 0.2569 0.6508 0.5574 0.1309 0.4000 0.9000 0.7167 0.1308 282-AH 0.0000 0.1750 0.2000 0.3000 0.5000 0.2120 0.1394 0.1250 0.5000 0.6576 0.0328 0.0000 0.1034 0.0000 0.4000 0.2000 0.1285 283-AH 0.3000 0.5000 0.7000 0.8000 1.0000 0.6400 0.1871 0.3000 0.7000 0.2923 0.6106 0.5781 0.1584 0.3000 1.0000 0.6400 0.1871 284-AH 0.2000 0.5000 0.6000 0.7000 0.8000 0.5920 0.1706 0.2000 0.6000 0.2882 0.5601 0.5162 0.1376 0.4000 0.8000 0.6261 0.1287 285-AH 0.5000 0.8500 0.9000 1.0000 1.0000 0.8760 0.1665 0.1500 0.5000 0.1901 0.8579 0.8369 0.1325 0.7000 1.0000 0.9500 0.0761 286-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.0840 0.0473 0.0000 0.2000 0.5626 0.0163 0.0000 0.0336 0.1000 0.1000 0.1000 0.0000 287-AH 0.4000 0.4750 0.6000 0.6000 0.7000 0.5400 0.1000 0.1250 0.3000 0.1852 0.5308 0.5214 0.0864 0.4000 0.7000 0.5400 0.1000 288-AH 0.1000 0.3000 0.4000 0.5000 0.7000 0.3840 0.1519 0.2000 0.6000 0.3955 0.3472 0.3003 0.1232 0.1000 0.7000 0.3840 0.1519 289-AH 0.0000 0.6000 0.6000 0.9000 1.0000 0.6800 0.2000 0.3000 1.0000 0.2941 0.4450 0.0002 0.1392 0.5000 1.0000 0.7083 0.1442 290-AH 0.0000 0.1000 0.2000 0.5000 0.6000 0.2760 0.2107 0.4000 0.6000 0.7635 0.0741 0.0001 0.1830 0.0000 0.6000 0.2760 0.2107 87 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.4000 0.6750 0.9000 0.9250 1.0000 0.8120 0.1787 0.2500 0.6000 0.2201 0.7900 0.7645 0.1536 0.4000 1.0000 0.8120 0.1787 292-AH 0.1000 0.2000 0.2000 0.4000 0.4000 0.2840 0.1068 0.2000 0.3000 0.3760 0.2639 0.2439 0.1021 0.1000 0.4000 0.2840 0.1068 293-AH 0.0000 0.7000 0.7000 0.8000 0.9000 0.7080 0.1681 0.1000 0.9000 0.2375 0.4682 0.0002 0.0963 0.6000 0.9000 0.7375 0.0824 294-AH 0.4000 0.5000 0.5000 0.7000 0.8000 0.5720 0.1021 0.2000 0.4000 0.1786 0.5636 0.5557 0.0886 0.4000 0.8000 0.5720 0.1021 295-AH 0.2000 0.5000 0.6000 0.6250 0.8000 0.5680 0.1215 0.1250 0.6000 0.2139 0.5520 0.5294 0.0918 0.4000 0.8000 0.5833 0.0963 296-AH 0.0000 0.6000 0.7000 0.7000 0.8000 0.6320 0.1725 0.1000 0.8000 0.2730 0.4150 0.0002 0.1136 0.5000 0.8000 0.6739 0.0864 297-AH 0.2000 0.5000 0.5000 0.5000 0.7000 0.4800 0.0913 0.0000 0.5000 0.1902 0.4694 0.4551 0.0560 0.5000 0.5000 0.5000 0.0000 298-AH 0.0000 0.3750 0.4000 0.5000 0.7000 0.4000 0.1633 0.1250 0.7000 0.4082 0.1784 0.0001 0.1120 0.2000 0.6000 0.4227 0.1020 299-AH 0.5000 0.6750 0.8000 0.9000 1.0000 0.7480 0.1475 0.2250 0.5000 0.1972 0.7328 0.7165 0.1222 0.5000 1.0000 0.7480 0.1475 300-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.2240 0.1451 0.2000 0.5000 0.6480 0.0943 0.0001 0.1168 0.0000 0.5000 0.2240 0.1451 301-AH 0.0000 0.0000 0.0000 0.5000 0.7000 0.1960 0.2965 0.5000 0.7000 1.5126 0.0003 0.0000 0.2666 0.0000 0.7000 0.1960 0.2965 302-AH 0.1000 0.4000 0.5000 0.6000 0.7000 0.4640 0.1469 0.2000 0.6000 0.3165 0.4335 0.3875 0.1174 0.1000 0.7000 0.4640 0.1469 303-AH 0.0000 0.3000 0.4000 0.5000 0.6000 0.4080 0.1352 0.2000 0.6000 0.3313 0.2687 0.0002 0.0976 0.2000 0.6000 0.4250 0.1073 304-AH 0.4000 0.4000 0.4000 0.5000 0.6000 0.4400 0.0577 0.1000 0.2000 0.1312 0.4366 0.4335 0.0512 0.4000 0.6000 0.4400 0.0577 305-AH 0.2000 0.4000 0.6000 0.7000 0.8000 0.5440 0.1960 0.3000 0.6000 0.3602 0.5024 0.4529 0.1622 0.2000 0.8000 0.5440 0.1960 306-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000 307-AH 0.1000 0.3000 0.4000 0.5000 0.8000 0.4040 0.1541 0.2000 0.7000 0.3813 0.3745 0.3393 0.1098 0.1000 0.7000 0.3875 0.1329 308-AH 0.6000 0.7000 0.8000 0.8000 0.9000 0.7560 0.0712 0.1000 0.3000 0.0942 0.7526 0.7491 0.0608 0.6000 0.9000 0.7560 0.0712 309-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0040 0.0200 0.0000 0.1000 5.0000 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000 310-AH 0.1000 0.1000 0.1000 0.3000 0.4000 0.1880 0.1054 0.2000 0.3000 0.5604 0.1625 0.1429 0.0915 0.1000 0.4000 0.1880 0.1054 311-AH 0.1000 0.4000 0.4000 0.5000 0.6000 0.4280 0.1242 0.1000 0.5000 0.2903 0.4030 0.3641 0.0896 0.4000 0.6000 0.4636 0.0790 312-AH 0.2000 0.4000 0.6000 0.8000 0.9000 0.5920 0.2040 0.4000 0.7000 0.3445 0.5537 0.5107 0.1690 0.2000 0.9000 0.5920 0.2040 313-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0760 0.1128 0.1000 0.4000 1.4848 0.0007 0.0000 0.0851 0.0000 0.2000 0.0409 0.0590 314-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0080 0.0277 0.0000 0.1000 3.4611 0.0000 0.0000 0.0147 0.0000 0.0000 0.0000 0.0000 315-AH 0.4000 0.6000 0.7000 0.8000 0.8000 0.6800 0.1080 0.2000 0.4000 0.1588 0.6711 0.6614 0.0928 0.4000 0.8000 0.6800 0.1080 316-AH 0.0000 0.1000 0.3000 0.3250 0.6000 0.2480 0.2002 0.2250 0.6000 0.8075 0.0340 0.0000 0.1661 0.0000 0.6000 0.2480 0.2002 317-AH 0.2000 0.2000 0.4000 0.4250 0.6000 0.3680 0.1282 0.2250 0.4000 0.3483 0.3446 0.3205 0.1050 0.2000 0.6000 0.3680 0.1282 318-AH 0.0000 0.0000 0.1000 0.3250 0.4000 0.1440 0.1685 0.3250 0.4000 1.1703 0.0019 0.0000 0.1488 0.0000 0.4000 0.1440 0.1685 319-AH 0.1000 0.4750 0.5000 0.6000 0.7000 0.4960 0.1241 0.1250 0.6000 0.2502 0.4722 0.4272 0.0781 0.3000 0.7000 0.5125 0.0947 320-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0400 0.0500 0.1000 0.1000 1.2500 0.0004 0.0000 0.0480 0.0000 0.1000 0.0400 0.0500 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0680 0.0900 0.2000 0.2000 1.3235 0.0005 0.0000 0.0816 0.0000 0.2000 0.0680 0.0900 323-AH 0.2000 0.5000 0.6000 0.6000 0.6000 0.5440 0.0961 0.1000 0.4000 0.1766 0.5321 0.5137 0.0717 0.4000 0.6000 0.5583 0.0654 324-AH 0.2000 0.7000 0.9000 0.9000 1.0000 0.8040 0.1947 0.2000 0.8000 0.2421 0.7695 0.7116 0.1475 0.5000 1.0000 0.8292 0.1517 325-AH 0.7000 0.7000 0.8000 0.9000 1.0000 0.8200 0.1190 0.2000 0.3000 0.1452 0.8119 0.8041 0.1040 0.7000 1.0000 0.8200 0.1190 326-AH 0.1000 0.2000 0.2000 0.2000 0.2000 0.1880 0.0332 0.0000 0.1000 0.1764 0.1840 0.1786 0.0211 0.2000 0.2000 0.2000 0.0000 327-AH 0.0000 0.1750 0.2000 0.3000 0.4000 0.2200 0.1155 0.1250 0.4000 0.5249 0.0697 0.0001 0.0928 0.0000 0.4000 0.2200 0.1155 328-AH 0.4000 0.5000 0.6000 0.6000 0.9000 0.5800 0.1080 0.1000 0.5000 0.1862 0.5713 0.5633 0.0784 0.4000 0.7000 0.5565 0.0728 329-AH 0.4000 0.6000 0.7000 0.7000 0.9000 0.6480 0.1046 0.1000 0.5000 0.1614 0.6391 0.6291 0.0781 0.6000 0.8000 0.6591 0.0590 330-AH 0.4000 0.9000 1.0000 1.0000 1.0000 0.9200 0.1354 0.1000 0.6000 0.1472 0.9064 0.8863 0.0896 0.8000 1.0000 0.9522 0.0665 331-AH 0.0000 0.2000 0.2000 0.5000 0.8000 0.3040 0.2263 0.3000 0.8000 0.7446 0.0848 0.0001 0.1814 0.0000 0.8000 0.3040 0.2263 332-AH 0.1000 0.2000 0.3000 0.3000 0.4000 0.2760 0.0779 0.1000 0.3000 0.2822 0.2640 0.2500 0.0627 0.1000 0.4000 0.2760 0.0779 333-AH 0.2000 0.5000 0.5000 0.5000 0.5000 0.4880 0.0600 0.0000 0.3000 0.1230 0.4820 0.4717 0.0230 0.5000 0.5000 0.5000 0.0000 334-AH 0.0000 0.1000 0.2000 0.2250 0.3000 0.1880 0.0881 0.1250 0.3000 0.4688 0.0869 0.0001 0.0653 0.0000 0.3000 0.1880 0.0881 335-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2040 0.1098 0.2000 0.4000 0.5385 0.0914 0.0001 0.0778 0.0000 0.4000 0.2040 0.1098 336-AH 0.0000 0.0000 0.1000 0.3250 0.4000 0.1800 0.1581 0.3250 0.4000 0.8784 0.0131 0.0000 0.1392 0.0000 0.4000 0.1800 0.1581 337-AH 0.6000 0.7750 0.8000 0.9000 0.9000 0.8040 0.0935 0.1250 0.3000 0.1162 0.7984 0.7925 0.0691 0.6000 0.9000 0.8040 0.0935 338-AH 0.0000 0.6000 0.6000 0.7000 0.9000 0.6040 0.1791 0.1000 0.9000 0.2965 0.3932 0.0002 0.1085 0.5000 0.8000 0.6364 0.0790 339-AH 0.3000 0.5000 0.7000 0.7000 0.9000 0.6320 0.1574 0.2000 0.6000 0.2490 0.6109 0.5873 0.1267 0.3000 0.9000 0.6320 0.1574 340-AH 0.2000 0.2750 0.3000 0.3000 0.4000 0.2920 0.0640 0.0250 0.2000 0.2193 0.2850 0.2778 0.0442 0.3000 0.3000 0.3000 0.0000 88 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.2000 0.4000 0.5000 0.5000 0.6000 0.4760 0.0926 0.1000 0.4000 0.1944 0.4655 0.4518 0.0707 0.4000 0.6000 0.4875 0.0741 342-AH 0.8000 0.8000 0.9000 0.9000 1.0000 0.8840 0.0624 0.1000 0.2000 0.0706 0.8819 0.8798 0.0470 0.8000 1.0000 0.8840 0.0624 343-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0080 0.0277 0.0000 0.1000 3.4611 0.0000 0.0000 0.0147 0.0000 0.0000 0.0000 0.0000 344-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6760 0.1877 0.2000 0.8000 0.2777 0.6445 0.6017 0.1510 0.4000 1.0000 0.6958 0.1628 345-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2200 0.1155 0.2000 0.4000 0.5249 0.1365 0.0002 0.0960 0.0000 0.4000 0.2200 0.1155 346-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0800 0.0645 0.1000 0.2000 0.8069 0.0057 0.0000 0.0512 0.0000 0.2000 0.0800 0.0645 347-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0560 0.0712 0.1000 0.2000 1.2711 0.0006 0.0000 0.0627 0.0000 0.2000 0.0560 0.0712 348-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1920 0.0400 0.0000 0.2000 0.2083 0.1346 0.0002 0.0154 0.2000 0.2000 0.2000 0.0000 349-AH 0.3000 0.4000 0.5000 0.6000 1.0000 0.5720 0.2337 0.2000 0.7000 0.4085 0.5328 0.5000 0.1779 0.3000 0.6000 0.4650 0.0933 350-AH 0.3000 0.5000 0.7000 0.7000 0.7000 0.6160 0.1143 0.2000 0.4000 0.1856 0.6036 0.5882 0.0941 0.3000 0.7000 0.6160 0.1143 89 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 142-AH 0.2667 0.4667 0.5333 0.5333 0.5333 0.5067 0.0577 0.0667 0.2667 0.1140 0.5024 0.4965 0.0384 0.4667 0.5333 0.5167 0.0295 143-AH 0.7333 0.8667 0.9333 1.0000 1.0000 0.9253 0.0846 0.1333 0.2667 0.0914 0.9214 0.9172 0.0689 0.7333 1.0000 0.9253 0.0846 144-AH 0.1333 0.1333 0.2000 0.2000 0.2000 0.1787 0.0317 0.0667 0.0667 0.1776 0.1757 0.1724 0.0290 0.1333 0.2000 0.1787 0.0317 145-AH 0.6667 0.8000 0.8000 0.8667 0.9333 0.8133 0.0667 0.0667 0.2667 0.0820 0.8106 0.8078 0.0491 0.7333 0.9333 0.8261 0.0522 146-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 147-AH 0.6000 0.7833 0.8667 0.9333 1.0000 0.8640 0.1146 0.1500 0.4000 0.1327 0.8560 0.8474 0.0892 0.6000 1.0000 0.8640 0.1146 148-AH 0.0667 0.0667 0.0667 0.0667 0.1333 0.0693 0.0133 0.0000 0.0667 0.1923 0.0685 0.0680 0.0051 0.0667 0.0667 0.0667 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.1333 0.2000 0.2667 0.0987 0.0905 0.2000 0.2667 0.9174 0.0033 0.0000 0.0815 0.0000 0.2667 0.0987 0.0905 151-AH 0.0000 0.2000 0.2667 0.3333 0.3333 0.2400 0.1291 0.1333 0.3333 0.5379 0.0378 0.0000 0.1024 0.0000 0.3333 0.2400 0.1291 152-AH 0.1333 0.3167 0.4000 0.4833 0.5333 0.3920 0.1237 0.1667 0.4000 0.3156 0.3687 0.3403 0.1009 0.1333 0.5333 0.3920 0.1237 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0667 0.3167 0.4667 0.5333 0.6000 0.4133 0.1347 0.2167 0.5333 0.3259 0.3808 0.3251 0.1077 0.0667 0.6000 0.4133 0.1347 155-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.0987 0.0435 0.0667 0.1333 0.4413 0.0486 0.0001 0.0388 0.0000 0.1333 0.0987 0.0435 156-AH 0.0667 0.1333 0.2000 0.2167 0.4667 0.2080 0.1024 0.0833 0.4000 0.4924 0.1865 0.1663 0.0708 0.0667 0.3333 0.1855 0.0695 157-AH 0.0667 0.5833 0.6667 0.6833 1.0000 0.6507 0.1849 0.1000 0.9333 0.2841 0.6039 0.4816 0.1193 0.4667 0.8000 0.6317 0.0859 158-AH 0.0000 0.5167 0.6667 0.7333 0.8667 0.5813 0.2498 0.2167 0.8667 0.4298 0.1714 0.0001 0.1801 0.4000 0.8667 0.6606 0.1283 159-AH 0.0667 0.4000 0.4000 0.5667 0.9333 0.4693 0.2265 0.1667 0.8667 0.4825 0.4066 0.3229 0.1690 0.2667 0.8000 0.4767 0.1471 160-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0533 0.0471 0.0667 0.1333 0.8839 0.0031 0.0000 0.0384 0.0000 0.1333 0.0533 0.0471 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 163-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9787 0.0600 0.0000 0.2000 0.0613 0.9767 0.9745 0.0375 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0500 0.1333 0.1333 0.3333 0.1067 0.0903 0.0833 0.3333 0.8463 0.0129 0.0000 0.0704 0.0000 0.2000 0.0818 0.0615 165-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.1013 0.0612 0.0667 0.2000 0.6042 0.0345 0.0001 0.0521 0.0000 0.2000 0.1013 0.0612 168-AH 0.0000 0.4000 0.4667 0.5333 0.7333 0.4400 0.1374 0.1333 0.7333 0.3124 0.2915 0.0002 0.0939 0.2667 0.7333 0.4583 0.1046 169-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0240 0.0327 0.0667 0.0667 1.3608 0.0002 0.0000 0.0307 0.0000 0.0667 0.0240 0.0327 170-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 171-AH 0.0000 0.0667 0.0667 0.1333 0.1333 0.0907 0.0467 0.0667 0.1333 0.5147 0.0323 0.0001 0.0410 0.0000 0.1333 0.0907 0.0467 172-AH 0.0000 0.0667 0.0667 0.1333 0.2667 0.1013 0.0796 0.0667 0.2667 0.7858 0.0173 0.0000 0.0655 0.0000 0.2000 0.0870 0.0649 173-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 174-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 175-AH 0.3333 0.4000 0.4000 0.4000 0.4667 0.3947 0.0329 0.0000 0.1333 0.0833 0.3933 0.3919 0.0196 0.4000 0.4000 0.4000 0.0000 176-AH 0.9333 1.0000 1.0000 1.0000 1.0000 0.9920 0.0221 0.0000 0.0667 0.0223 0.9918 0.9915 0.0141 1.0000 1.0000 1.0000 0.0000 177-AH 0.0667 0.3167 0.4000 0.4667 0.6000 0.3840 0.1567 0.1500 0.5333 0.4080 0.3388 0.2698 0.1205 0.2000 0.6000 0.4116 0.1297 178-AH 0.0000 0.0667 0.0667 0.0667 0.2000 0.0640 0.0451 0.0000 0.2000 0.7039 0.0127 0.0000 0.0256 0.0667 0.0667 0.0667 0.0000 179-AH 0.1333 0.5667 0.7333 0.8167 0.9333 0.6720 0.2045 0.2500 0.8000 0.3043 0.6283 0.5577 0.1651 0.3333 0.9333 0.6944 0.1746 180-AH 0.0000 0.0000 0.7333 0.8000 0.9333 0.4987 0.3916 0.8000 0.9333 0.7854 0.0189 0.0000 0.3616 0.0000 0.9333 0.4987 0.3916 181-AH 0.5333 0.8667 0.9333 0.9333 1.0000 0.8933 0.1000 0.0667 0.4667 0.1119 0.8868 0.8788 0.0693 0.8000 1.0000 0.9159 0.0576 182-AH 0.0000 0.0667 0.0667 0.2000 0.2000 0.1067 0.0745 0.1333 0.2000 0.6988 0.0344 0.0001 0.0672 0.0000 0.2000 0.1067 0.0745 183-AH 0.0000 0.0000 0.2000 0.2000 0.2667 0.1440 0.0994 0.2000 0.2667 0.6903 0.0123 0.0000 0.0841 0.0000 0.2667 0.1440 0.0994 184-AH 0.3333 0.3333 0.3333 0.4000 0.4667 0.3573 0.0379 0.0667 0.1333 0.1061 0.3555 0.3539 0.0326 0.3333 0.4667 0.3573 0.0379 185-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0640 0.0133 0.0000 0.0667 0.2083 0.0469 0.0002 0.0051 0.0667 0.0667 0.0667 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0613 0.0185 0.0000 0.0667 0.3010 0.0330 0.0001 0.0098 0.0667 0.0667 0.0667 0.0000 188-AH 0.0000 0.0000 0.0000 0.0167 0.0667 0.0160 0.0291 0.0167 0.0667 1.8162 0.0001 0.0000 0.0243 0.0000 0.0000 0.0000 0.0000 189-AH 0.4667 0.4667 0.4667 0.4667 0.4667 0.4667 0.0000 0.0000 0.0000 0.0000 0.4667 0.4667 0.0000 0.4667 0.4667 0.4667 0.0000 190-AH 0.2667 0.4000 0.4667 0.4667 0.5333 0.4427 0.0505 0.0667 0.2667 0.1140 0.4394 0.4355 0.0380 0.4000 0.5333 0.4500 0.0354 90 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1333 0.2000 0.2667 0.4000 0.4000 0.2747 0.0868 0.2000 0.2667 0.3158 0.2620 0.2500 0.0702 0.1333 0.4000 0.2747 0.0868 193-AH 0.1333 0.2000 0.2667 0.3333 0.4000 0.2640 0.0757 0.1333 0.2667 0.2868 0.2535 0.2433 0.0668 0.1333 0.4000 0.2640 0.0757 194-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0640 0.0133 0.0000 0.0667 0.2083 0.0469 0.0002 0.0051 0.0667 0.0667 0.0667 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 197-AH 0.3333 0.9667 1.0000 1.0000 1.0000 0.9227 0.1674 0.0333 0.6667 0.1815 0.9008 0.8669 0.1175 1.0000 1.0000 1.0000 0.0000 198-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 199-AH 0.4000 0.4667 0.5333 0.6000 0.6000 0.5173 0.0727 0.1333 0.2000 0.1406 0.5121 0.5066 0.0591 0.4000 0.6000 0.5173 0.0727 200-AH 0.0000 0.2667 0.3333 0.4000 0.5333 0.3253 0.1352 0.1333 0.5333 0.4154 0.2060 0.0002 0.1056 0.1333 0.5333 0.3507 0.1068 251-AH 0.4000 0.9333 0.9333 0.9333 1.0000 0.9040 0.1140 0.0000 0.6000 0.1261 0.8934 0.8767 0.0570 0.9333 0.9333 0.9333 0.0000 252-AH 0.2667 0.4000 0.5333 0.6000 0.7333 0.5093 0.1289 0.2000 0.4667 0.2531 0.4929 0.4759 0.1015 0.2667 0.7333 0.5093 0.1289 253-AH 0.4667 0.7333 0.8000 0.8000 0.9333 0.7467 0.1122 0.0667 0.4667 0.1503 0.7375 0.7270 0.0821 0.6667 0.8667 0.7800 0.0534 254-AH 0.1333 0.3167 0.3333 0.6000 0.6000 0.4000 0.1453 0.2833 0.4667 0.3632 0.3733 0.3451 0.1227 0.1333 0.6000 0.4000 0.1453 255-AH 0.0667 0.1333 0.2000 0.2000 0.2667 0.1813 0.0594 0.0667 0.2000 0.3275 0.1704 0.1575 0.0491 0.0667 0.2667 0.1813 0.0594 256-AH 0.4667 0.9333 1.0000 1.0000 1.0000 0.9387 0.1137 0.0667 0.5333 0.1212 0.9295 0.9163 0.0687 0.8667 1.0000 0.9652 0.0487 257-AH 0.1333 0.3333 0.4000 0.4667 0.5333 0.3867 0.1000 0.1333 0.4000 0.2586 0.3717 0.3525 0.0757 0.2667 0.5333 0.3972 0.0868 258-AH 0.0000 0.0000 0.0667 0.0833 0.2000 0.0533 0.0609 0.0833 0.2000 1.1411 0.0012 0.0000 0.0512 0.0000 0.2000 0.0533 0.0609 259-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1227 0.0369 0.0000 0.1333 0.3010 0.0624 0.0001 0.0196 0.1333 0.1333 0.1333 0.0000 260-AH 0.4000 0.6667 0.8000 0.8833 0.9333 0.7840 0.1365 0.2167 0.5333 0.1741 0.7708 0.7551 0.1139 0.4000 0.9333 0.7840 0.1365 261-AH 0.0667 0.3167 0.3333 0.6000 0.8000 0.4107 0.1978 0.2833 0.7333 0.4818 0.3532 0.2754 0.1585 0.0667 0.8000 0.4107 0.1978 262-AH 0.1333 0.5167 0.6667 0.8000 0.8667 0.6587 0.1879 0.2833 0.7333 0.2853 0.6204 0.5560 0.1442 0.1333 0.8667 0.6587 0.1879 263-AH 0.0667 0.2667 0.2667 0.3500 0.5333 0.3093 0.1034 0.0833 0.4667 0.3343 0.2894 0.2610 0.0798 0.2000 0.4667 0.3101 0.0819 264-AH 0.2667 0.4500 0.6000 0.7333 0.8000 0.5813 0.1522 0.2833 0.5333 0.2618 0.5601 0.5367 0.1329 0.2667 0.8000 0.5813 0.1522 265-AH 0.0667 0.2000 0.2667 0.2667 0.4000 0.2507 0.0777 0.0667 0.3333 0.3098 0.2335 0.2070 0.0550 0.1333 0.3333 0.2606 0.0500 266-AH 0.0000 0.0000 0.0000 0.1333 0.2000 0.0640 0.0827 0.1333 0.2000 1.2927 0.0007 0.0000 0.0717 0.0000 0.2000 0.0640 0.0827 267-AH 0.2667 0.3333 0.4000 0.4667 0.6000 0.4027 0.0871 0.1333 0.3333 0.2163 0.3938 0.3850 0.0623 0.2667 0.6000 0.4027 0.0871 268-AH 0.0667 0.1333 0.1333 0.1333 0.1333 0.1307 0.0133 0.0000 0.0667 0.1020 0.1297 0.1282 0.0051 0.1333 0.1333 0.1333 0.0000 269-AH 0.0667 0.2000 0.2667 0.2667 0.3333 0.2507 0.0554 0.0667 0.2667 0.2209 0.2418 0.2268 0.0390 0.2000 0.3333 0.2583 0.0408 270-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.9493 0.1869 0.0000 0.9333 0.1968 0.8849 0.6350 0.0811 1.0000 1.0000 1.0000 0.0000 271-AH 0.2000 0.5333 0.6000 0.6667 0.6667 0.5520 0.1661 0.1333 0.4667 0.3010 0.5146 0.4607 0.1239 0.4667 0.6667 0.6190 0.0602 272-AH 0.0000 0.2000 0.2667 0.2667 0.3333 0.2160 0.0867 0.0667 0.3333 0.4012 0.1008 0.0001 0.0634 0.1333 0.3333 0.2424 0.0484 273-AH 0.8667 0.9333 1.0000 1.0000 1.0000 0.9627 0.0434 0.0667 0.1333 0.0451 0.9617 0.9607 0.0388 0.8667 1.0000 0.9627 0.0434 274-AH 0.0000 0.2667 0.3333 0.4000 0.5333 0.3307 0.1194 0.1333 0.5333 0.3610 0.2176 0.0002 0.0783 0.1333 0.5333 0.3444 0.0996 275-AH 0.2000 0.2667 0.5333 0.7333 0.8667 0.4933 0.2169 0.4667 0.6667 0.4396 0.4422 0.3907 0.1888 0.2000 0.8667 0.4933 0.2169 276-AH 0.4667 0.7167 0.7333 0.8000 0.8667 0.7280 0.0880 0.0833 0.4000 0.1209 0.7222 0.7157 0.0614 0.6000 0.8667 0.7389 0.0707 277-AH 0.1333 0.2667 0.3333 0.3333 0.4000 0.2933 0.0694 0.0667 0.2667 0.2366 0.2843 0.2740 0.0576 0.2000 0.4000 0.3000 0.0622 278-AH 0.2000 0.2667 0.3333 0.3500 0.5333 0.3280 0.0837 0.0833 0.3333 0.2552 0.3185 0.3096 0.0597 0.2000 0.4000 0.3101 0.0590 279-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1307 0.0680 0.1333 0.2667 0.5203 0.0832 0.0002 0.0565 0.0000 0.2667 0.1307 0.0680 280-AH 0.0000 0.0667 0.1333 0.1333 0.2667 0.1093 0.0635 0.0667 0.2667 0.5806 0.0373 0.0001 0.0501 0.0000 0.2000 0.1028 0.0555 281-AH 0.1333 0.6000 0.6667 0.8000 0.8667 0.6640 0.1716 0.2000 0.7333 0.2584 0.6299 0.5672 0.1310 0.4000 0.8667 0.6861 0.1340 282-AH 0.0000 0.1333 0.2000 0.2667 0.4000 0.2133 0.1106 0.1333 0.4000 0.5182 0.0947 0.0001 0.0885 0.0000 0.4000 0.2133 0.1106 283-AH 0.2000 0.4500 0.5333 0.7500 1.0000 0.5760 0.2045 0.3000 0.8000 0.3550 0.5362 0.4900 0.1651 0.2000 1.0000 0.5760 0.2045 284-AH 0.2667 0.4500 0.5333 0.6000 0.7333 0.5333 0.1247 0.1500 0.4667 0.2339 0.5170 0.4983 0.0960 0.2667 0.7333 0.5333 0.1247 285-AH 0.6000 0.8167 0.9333 0.9333 1.0000 0.8640 0.1254 0.1167 0.4000 0.1452 0.8542 0.8435 0.1001 0.6667 1.0000 0.8750 0.1152 286-AH 0.0000 0.0667 0.0667 0.0667 0.1333 0.0640 0.0359 0.0000 0.1333 0.5610 0.0177 0.0001 0.0205 0.0667 0.0667 0.0667 0.0000 287-AH 0.3333 0.4667 0.4667 0.5500 0.6667 0.5067 0.0903 0.0833 0.3333 0.1782 0.4989 0.4912 0.0736 0.4000 0.6667 0.5139 0.0845 288-AH 0.1333 0.3167 0.4000 0.4667 0.6667 0.3893 0.1301 0.1500 0.5333 0.3341 0.3661 0.3398 0.1026 0.1333 0.6667 0.3893 0.1301 289-AH 0.0000 0.6667 0.6667 0.8000 0.8667 0.6720 0.1815 0.1333 0.8667 0.2701 0.4417 0.0002 0.1126 0.5333 0.8667 0.7212 0.0979 290-AH 0.0667 0.1333 0.3333 0.4667 0.6000 0.3147 0.1759 0.3333 0.5333 0.5589 0.2581 0.2022 0.1581 0.0667 0.6000 0.3147 0.1759 91 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.4000 0.7000 0.8000 0.9333 0.9333 0.7680 0.1529 0.2333 0.5333 0.1991 0.7510 0.7313 0.1212 0.4000 0.9333 0.7680 0.1529 292-AH 0.0667 0.1333 0.2667 0.2667 0.2667 0.2053 0.0692 0.1333 0.2000 0.3369 0.1921 0.1770 0.0638 0.0667 0.2667 0.2053 0.0692 293-AH 0.0667 0.6667 0.7333 0.7333 0.8000 0.6827 0.1405 0.0667 0.7333 0.2058 0.6424 0.5090 0.0768 0.6000 0.8000 0.7083 0.0584 294-AH 0.4000 0.5333 0.6000 0.6667 0.7333 0.5787 0.0855 0.1333 0.3333 0.1477 0.5722 0.5652 0.0683 0.4000 0.7333 0.5787 0.0855 295-AH 0.2000 0.4000 0.4667 0.5333 0.6000 0.4720 0.0859 0.1333 0.4000 0.1820 0.4625 0.4499 0.0646 0.2000 0.6000 0.4720 0.0859 296-AH 0.0000 0.5333 0.6000 0.6667 0.7333 0.5627 0.1564 0.1333 0.7333 0.2780 0.3709 0.0002 0.1035 0.4667 0.7333 0.6000 0.0829 297-AH 0.1333 0.3333 0.3333 0.3333 0.5333 0.3280 0.0692 0.0000 0.4000 0.2109 0.3202 0.3105 0.0352 0.3333 0.3333 0.3333 0.0000 298-AH 0.0000 0.2667 0.3333 0.4000 0.6000 0.3360 0.1433 0.1333 0.6000 0.4266 0.1515 0.0001 0.1041 0.2000 0.5333 0.3545 0.0951 299-AH 0.4000 0.6000 0.7333 0.8000 0.9333 0.7013 0.1278 0.2000 0.5333 0.1823 0.6889 0.6751 0.1052 0.4000 0.9333 0.7013 0.1278 300-AH 0.0000 0.1333 0.2667 0.3500 0.5333 0.2533 0.1491 0.2167 0.5333 0.5884 0.1070 0.0001 0.1205 0.0000 0.5333 0.2533 0.1491 301-AH 0.0000 0.0000 0.0000 0.4000 0.6000 0.1600 0.2373 0.4000 0.6000 1.4829 0.0004 0.0000 0.2123 0.0000 0.6000 0.1600 0.2373 302-AH 0.0667 0.3333 0.4000 0.4167 0.5333 0.3840 0.0888 0.0833 0.4667 0.2312 0.3658 0.3254 0.0591 0.2667 0.5333 0.3972 0.0605 303-AH 0.1333 0.2667 0.3333 0.4000 0.5333 0.3360 0.0912 0.1333 0.4000 0.2716 0.3229 0.3080 0.0725 0.1333 0.5333 0.3360 0.0912 304-AH 0.2667 0.2667 0.3333 0.3333 0.4000 0.3147 0.0528 0.0667 0.1333 0.1677 0.3106 0.3067 0.0461 0.2667 0.4000 0.3147 0.0528 305-AH 0.2000 0.3833 0.5333 0.6000 0.7333 0.5013 0.1529 0.2167 0.5333 0.3050 0.4745 0.4426 0.1265 0.2000 0.7333 0.5013 0.1529 306-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 307-AH 0.0667 0.2667 0.4000 0.5333 0.7333 0.4053 0.1527 0.2667 0.6667 0.3766 0.3710 0.3193 0.1188 0.0667 0.7333 0.4053 0.1527 308-AH 0.4000 0.5333 0.5333 0.6000 0.6000 0.5520 0.0491 0.0667 0.2000 0.0890 0.5497 0.5472 0.0384 0.4667 0.6000 0.5583 0.0384 309-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0507 0.0349 0.0667 0.1333 0.6879 0.0058 0.0000 0.0284 0.0000 0.1333 0.0507 0.0349 310-AH 0.0667 0.1333 0.2000 0.2000 0.3333 0.1760 0.0635 0.0667 0.2667 0.3607 0.1645 0.1522 0.0516 0.0667 0.2667 0.1694 0.0555 311-AH 0.2000 0.4000 0.5333 0.5333 0.6667 0.4587 0.1352 0.1333 0.4667 0.2947 0.4341 0.4036 0.1069 0.2000 0.6667 0.4587 0.1352 312-AH 0.2000 0.4000 0.6000 0.6833 0.8667 0.5627 0.1877 0.2833 0.6667 0.3335 0.5293 0.4925 0.1562 0.2000 0.8667 0.5627 0.1877 313-AH 0.0000 0.0000 0.0667 0.0667 0.2667 0.0667 0.0903 0.0667 0.2667 1.3540 0.0012 0.0000 0.0640 0.0000 0.1333 0.0317 0.0401 314-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0293 0.0389 0.0667 0.1333 1.3252 0.0003 0.0000 0.0352 0.0000 0.1333 0.0293 0.0389 315-AH 0.4000 0.5333 0.6667 0.6833 0.8000 0.6160 0.1236 0.1500 0.4000 0.2007 0.6031 0.5894 0.1007 0.4000 0.8000 0.6160 0.1236 316-AH 0.0000 0.0667 0.2667 0.3333 0.4000 0.2133 0.1414 0.2667 0.4000 0.6629 0.0446 0.0001 0.1195 0.0000 0.4000 0.2133 0.1414 317-AH 0.1333 0.3167 0.4000 0.4667 0.5333 0.3787 0.1150 0.1500 0.4000 0.3038 0.3579 0.3325 0.0986 0.1333 0.5333 0.3787 0.1150 318-AH 0.0000 0.0000 0.1333 0.2167 0.4000 0.1280 0.1246 0.2167 0.4000 0.9735 0.0072 0.0000 0.1015 0.0000 0.4000 0.1280 0.1246 319-AH 0.2000 0.3333 0.4667 0.4667 0.6000 0.4240 0.0960 0.1333 0.4000 0.2264 0.4119 0.3979 0.0759 0.2000 0.6000 0.4240 0.0960 320-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0507 0.0442 0.0667 0.1333 0.8728 0.0030 0.0000 0.0365 0.0000 0.1333 0.0507 0.0442 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0560 0.0599 0.1333 0.1333 1.0692 0.0012 0.0000 0.0538 0.0000 0.1333 0.0560 0.0599 323-AH 0.2667 0.3333 0.4000 0.4000 0.4667 0.3840 0.0586 0.0667 0.2000 0.1527 0.3793 0.3741 0.0444 0.2667 0.4667 0.3840 0.0586 324-AH 0.2667 0.7167 0.8000 0.8000 0.9333 0.7467 0.1563 0.0833 0.6667 0.2094 0.7248 0.6932 0.1109 0.6000 0.8667 0.7719 0.0678 325-AH 0.6667 0.6667 0.8000 0.8167 0.9333 0.7787 0.0976 0.1500 0.2667 0.1253 0.7729 0.7674 0.0809 0.6667 0.9333 0.7787 0.0976 326-AH 0.0667 0.1333 0.1333 0.1333 0.2000 0.1280 0.0267 0.0000 0.1333 0.2083 0.1247 0.1205 0.0147 0.1333 0.1333 0.1333 0.0000 327-AH 0.0000 0.1333 0.2000 0.2667 0.2667 0.1813 0.0782 0.1333 0.2667 0.4314 0.1173 0.0002 0.0651 0.0000 0.2667 0.1813 0.0782 328-AH 0.3333 0.4000 0.4667 0.6000 0.8000 0.5067 0.1155 0.2000 0.4667 0.2279 0.4948 0.4839 0.0960 0.3333 0.8000 0.5067 0.1155 329-AH 0.4000 0.4667 0.6000 0.6667 0.7333 0.5707 0.0925 0.2000 0.3333 0.1620 0.5631 0.5551 0.0779 0.4000 0.7333 0.5707 0.0925 330-AH 0.2667 0.8667 0.8667 0.9333 1.0000 0.8640 0.1446 0.0667 0.7333 0.1674 0.8441 0.8077 0.0738 0.8000 1.0000 0.8986 0.0599 331-AH 0.0000 0.2000 0.2667 0.4833 0.6667 0.3200 0.1866 0.2833 0.6667 0.5831 0.1352 0.0001 0.1515 0.0000 0.6667 0.3200 0.1866 332-AH 0.0667 0.2000 0.2000 0.2667 0.2667 0.2187 0.0528 0.0667 0.2000 0.2413 0.2103 0.1980 0.0422 0.1333 0.2667 0.2250 0.0431 333-AH 0.1333 0.3333 0.3333 0.3333 0.3333 0.3253 0.0400 0.0000 0.2000 0.1230 0.3213 0.3145 0.0154 0.3333 0.3333 0.3333 0.0000 334-AH 0.0000 0.1333 0.1333 0.2000 0.2000 0.1467 0.0471 0.0667 0.2000 0.3214 0.1010 0.0002 0.0341 0.0667 0.2000 0.1528 0.0367 335-AH 0.0000 0.1333 0.2000 0.2667 0.3333 0.1973 0.0952 0.1333 0.3333 0.4825 0.0902 0.0001 0.0779 0.0000 0.3333 0.1973 0.0952 336-AH 0.0000 0.0000 0.0667 0.2833 0.3333 0.1547 0.1397 0.2833 0.3333 0.9035 0.0113 0.0000 0.1306 0.0000 0.3333 0.1547 0.1397 337-AH 0.5333 0.7167 0.8000 0.8667 0.9333 0.7813 0.1210 0.1500 0.4000 0.1548 0.7711 0.7594 0.0962 0.5333 0.9333 0.7813 0.1210 338-AH 0.0000 0.4000 0.4667 0.6000 0.6667 0.4693 0.1446 0.2000 0.6667 0.3082 0.3100 0.0002 0.1097 0.2667 0.6667 0.4889 0.1089 339-AH 0.3333 0.5167 0.6000 0.6667 0.6667 0.5680 0.1021 0.1500 0.3333 0.1797 0.5579 0.5465 0.0836 0.3333 0.6667 0.5680 0.1021 340-AH 0.1333 0.2500 0.2667 0.2667 0.3333 0.2480 0.0528 0.0167 0.2000 0.2128 0.2413 0.2331 0.0390 0.2667 0.2667 0.2667 0.0000 92 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1333 0.2667 0.3333 0.4000 0.4000 0.3253 0.0648 0.1333 0.2667 0.1990 0.3177 0.3077 0.0482 0.1333 0.4000 0.3253 0.0648 342-AH 0.6667 0.8500 0.8667 0.8833 0.9333 0.8533 0.0720 0.0333 0.2667 0.0844 0.8502 0.8469 0.0523 0.8000 0.9333 0.8794 0.0401 343-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0080 0.0221 0.0000 0.0667 2.7639 0.0000 0.0000 0.0141 0.0000 0.0000 0.0000 0.0000 344-AH 0.2000 0.4500 0.5333 0.7333 0.9333 0.5920 0.1937 0.2833 0.7333 0.3272 0.5597 0.5241 0.1564 0.2000 0.9333 0.5920 0.1937 345-AH 0.0000 0.0667 0.2000 0.2167 0.3333 0.1760 0.0900 0.1500 0.3333 0.5115 0.1092 0.0002 0.0734 0.0000 0.3333 0.1760 0.0900 346-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0880 0.0499 0.0667 0.2000 0.5669 0.0311 0.0001 0.0416 0.0000 0.2000 0.0880 0.0499 347-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0533 0.0638 0.0667 0.2000 1.1968 0.0012 0.0000 0.0512 0.0000 0.1333 0.0406 0.0482 348-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1280 0.0267 0.0000 0.1333 0.2083 0.0912 0.0002 0.0102 0.1333 0.1333 0.1333 0.0000 349-AH 0.2000 0.3833 0.4000 0.6000 0.8667 0.4880 0.1997 0.2167 0.6667 0.4093 0.4507 0.4154 0.1606 0.2000 0.8667 0.4880 0.1997 350-AH 0.3333 0.4667 0.4667 0.4667 0.5333 0.4507 0.0442 0.0000 0.2000 0.0981 0.4483 0.4457 0.0309 0.4667 0.4667 0.4667 0.0000 93 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 142-AH 0.2000 0.4000 0.4000 0.4000 0.4000 0.3880 0.0415 0.0000 0.2000 0.1070 0.3849 0.3804 0.0211 0.4000 0.4000 0.4000 0.0000 143-AH 0.7000 0.7500 0.8500 1.0000 1.0000 0.8780 0.1164 0.2500 0.3000 0.1326 0.8704 0.8628 0.1051 0.7000 1.0000 0.8780 0.1164 144-AH 0.1000 0.1500 0.1500 0.1500 0.1500 0.1420 0.0187 0.0000 0.0500 0.1317 0.1406 0.1389 0.0134 0.1500 0.1500 0.1500 0.0000 145-AH 0.5500 0.7375 0.7500 0.8000 0.8500 0.7600 0.0736 0.0625 0.3000 0.0968 0.7563 0.7523 0.0552 0.6500 0.8500 0.7688 0.0605 146-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 147-AH 0.5000 0.7875 0.9000 0.9000 1.0000 0.8440 0.1236 0.1125 0.5000 0.1464 0.8339 0.8220 0.0966 0.6500 1.0000 0.8583 0.1029 148-AH 0.0500 0.0500 0.0500 0.0500 0.1000 0.0520 0.0100 0.0000 0.0500 0.1923 0.0514 0.0510 0.0038 0.0500 0.0500 0.0500 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.1000 0.1500 0.2000 0.0840 0.0657 0.1500 0.2000 0.7822 0.0059 0.0000 0.0565 0.0000 0.2000 0.0840 0.0657 151-AH 0.0000 0.1875 0.2500 0.2500 0.2500 0.1860 0.0984 0.0625 0.2500 0.5293 0.0309 0.0000 0.0773 0.1500 0.2500 0.2325 0.0294 152-AH 0.1000 0.2500 0.3000 0.4000 0.4000 0.3040 0.0900 0.1500 0.3000 0.2962 0.2871 0.2652 0.0685 0.1000 0.4000 0.3040 0.0900 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0500 0.3250 0.4000 0.4000 0.5000 0.3480 0.1085 0.0750 0.4500 0.3117 0.3203 0.2678 0.0790 0.2500 0.5000 0.3795 0.0667 155-AH 0.0000 0.1000 0.1000 0.1000 0.1500 0.0880 0.0332 0.0000 0.1500 0.3769 0.0448 0.0001 0.0232 0.1000 0.1000 0.1000 0.0000 156-AH 0.0500 0.1500 0.2000 0.2500 0.4000 0.2160 0.0826 0.1000 0.3500 0.3822 0.1994 0.1788 0.0619 0.0500 0.3500 0.2000 0.0640 157-AH 0.1000 0.5500 0.6500 0.7000 1.0000 0.6500 0.1744 0.1500 0.9000 0.2683 0.6134 0.5339 0.1120 0.5500 0.8000 0.6310 0.0766 158-AH 0.0000 0.4375 0.6000 0.7000 0.7500 0.5140 0.2312 0.2625 0.7500 0.4498 0.1525 0.0001 0.1752 0.3000 0.7500 0.5841 0.1349 159-AH 0.0500 0.3000 0.3500 0.5375 0.9500 0.4240 0.2112 0.2375 0.9000 0.4981 0.3681 0.2911 0.1648 0.0500 0.7500 0.4021 0.1844 160-AH 0.0000 0.0500 0.0500 0.1000 0.1000 0.0540 0.0351 0.0500 0.1000 0.6503 0.0111 0.0000 0.0258 0.0000 0.1000 0.0540 0.0351 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 163-AH 0.7500 0.9500 1.0000 1.0000 1.0000 0.9720 0.0597 0.0500 0.2500 0.0614 0.9700 0.9678 0.0403 0.9000 1.0000 0.9870 0.0270 164-AH 0.0000 0.0500 0.1000 0.1125 0.3000 0.0980 0.0714 0.0625 0.3000 0.7287 0.0320 0.0001 0.0504 0.0000 0.2000 0.0896 0.0589 165-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0500 0.0500 0.1125 0.2000 0.0820 0.0538 0.0625 0.2000 0.6558 0.0280 0.0001 0.0453 0.0000 0.2000 0.0820 0.0538 168-AH 0.0000 0.3875 0.4500 0.5000 0.6000 0.4360 0.1203 0.1125 0.6000 0.2760 0.2913 0.0002 0.0819 0.3000 0.6000 0.4542 0.0806 169-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0260 0.0293 0.0500 0.1000 1.1268 0.0006 0.0000 0.0270 0.0000 0.1000 0.0260 0.0293 170-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 171-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0840 0.0450 0.0500 0.1500 0.5357 0.0404 0.0001 0.0379 0.0000 0.1500 0.0840 0.0450 172-AH 0.0000 0.0500 0.1000 0.1125 0.2000 0.0920 0.0572 0.0625 0.2000 0.6212 0.0425 0.0001 0.0450 0.0000 0.2000 0.0920 0.0572 173-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 174-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 175-AH 0.2500 0.3000 0.3000 0.3125 0.3500 0.3040 0.0320 0.0125 0.1000 0.1053 0.3024 0.3007 0.0221 0.3000 0.3000 0.3000 0.0000 176-AH 0.9000 0.9500 1.0000 1.0000 1.0000 0.9760 0.0357 0.0500 0.1000 0.0366 0.9754 0.9747 0.0307 0.9000 1.0000 0.9760 0.0357 177-AH 0.0500 0.3000 0.3500 0.3625 0.4500 0.3280 0.1021 0.0625 0.4000 0.3114 0.2974 0.2334 0.0686 0.2500 0.4500 0.3522 0.0612 178-AH 0.0000 0.0500 0.0500 0.0625 0.1500 0.0560 0.0416 0.0125 0.1500 0.7435 0.0111 0.0000 0.0291 0.0500 0.0500 0.0500 0.0000 179-AH 0.1500 0.4750 0.6000 0.7125 0.7500 0.5780 0.1733 0.2375 0.6000 0.2997 0.5440 0.4961 0.1424 0.1500 0.7500 0.5780 0.1733 180-AH 0.0000 0.0375 0.6500 0.7500 0.8000 0.4560 0.3453 0.7125 0.8000 0.7572 0.0360 0.0000 0.3208 0.0000 0.8000 0.4560 0.3453 181-AH 0.5500 0.8500 0.9000 0.9500 1.0000 0.8840 0.0976 0.1000 0.4500 0.1104 0.8779 0.8707 0.0698 0.7500 1.0000 0.8979 0.0699 182-AH 0.0000 0.0500 0.0500 0.1500 0.1500 0.0860 0.0550 0.1000 0.1500 0.6395 0.0290 0.0001 0.0494 0.0000 0.1500 0.0860 0.0550 183-AH 0.0000 0.0500 0.2000 0.2000 0.2000 0.1380 0.0833 0.1500 0.2000 0.6034 0.0232 0.0000 0.0723 0.0000 0.2000 0.1380 0.0833 184-AH 0.2500 0.2500 0.3000 0.3000 0.3500 0.2900 0.0382 0.0500 0.1000 0.1317 0.2876 0.2853 0.0320 0.2500 0.3500 0.2900 0.0382 185-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0480 0.0100 0.0000 0.0500 0.2083 0.0356 0.0002 0.0038 0.0500 0.0500 0.0500 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0480 0.0100 0.0000 0.0500 0.2083 0.0356 0.0002 0.0038 0.0500 0.0500 0.0500 0.0000 188-AH 0.0000 0.0000 0.0000 0.0125 0.0500 0.0120 0.0218 0.0125 0.0500 1.8162 0.0001 0.0000 0.0182 0.0000 0.0000 0.0000 0.0000 189-AH 0.3500 0.3500 0.3500 0.3500 0.3500 0.3500 0.0000 0.0000 0.0000 0.0000 0.3500 0.3500 0.0000 0.3500 0.3500 0.3500 0.0000 190-AH 0.2500 0.3500 0.3500 0.3500 0.4000 0.3440 0.0263 0.0000 0.1500 0.0765 0.3429 0.3417 0.0146 0.3500 0.3500 0.3500 0.0000 94 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1000 0.1500 0.2000 0.3000 0.3000 0.2100 0.0645 0.1500 0.2000 0.3074 0.2005 0.1913 0.0536 0.1000 0.3000 0.2100 0.0645 193-AH 0.1500 0.1875 0.2500 0.2625 0.3000 0.2320 0.0557 0.0750 0.1500 0.2400 0.2249 0.2174 0.0470 0.1500 0.3000 0.2320 0.0557 194-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 197-AH 0.4000 0.8625 0.9500 1.0000 1.0000 0.8960 0.1645 0.1375 0.6000 0.1836 0.8769 0.8516 0.1261 0.7000 1.0000 0.9455 0.0912 198-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 199-AH 0.3500 0.4000 0.4500 0.4500 0.4500 0.4320 0.0284 0.0500 0.1000 0.0658 0.4310 0.4300 0.0245 0.3500 0.4500 0.4320 0.0284 200-AH 0.0000 0.2000 0.3000 0.3500 0.4000 0.2760 0.1032 0.1500 0.4000 0.3739 0.1808 0.0002 0.0829 0.0000 0.4000 0.2760 0.1032 251-AH 0.4500 0.8500 0.9000 0.9000 0.9500 0.8580 0.1106 0.0500 0.5000 0.1289 0.8489 0.8367 0.0664 0.8000 0.9500 0.8870 0.0432 252-AH 0.2500 0.4375 0.5000 0.6000 0.6500 0.4960 0.1040 0.1625 0.4000 0.2097 0.4843 0.4712 0.0882 0.2500 0.6500 0.4960 0.1040 253-AH 0.4000 0.7000 0.8000 0.8500 0.8500 0.7460 0.1181 0.1500 0.4500 0.1583 0.7350 0.7214 0.0858 0.5000 0.8500 0.7604 0.0955 254-AH 0.1500 0.3500 0.4000 0.5500 0.6500 0.4220 0.1377 0.2000 0.5000 0.3264 0.3971 0.3671 0.1082 0.1500 0.6500 0.4220 0.1377 255-AH 0.0500 0.1500 0.1500 0.2000 0.2000 0.1540 0.0406 0.0500 0.1500 0.2638 0.1475 0.1389 0.0294 0.1000 0.2000 0.1583 0.0351 256-AH 0.3500 0.8375 0.8500 0.9500 1.0000 0.8480 0.1447 0.1125 0.6500 0.1706 0.8320 0.8093 0.0950 0.7000 1.0000 0.8783 0.0939 257-AH 0.1500 0.3000 0.4000 0.4500 0.5000 0.3880 0.0893 0.1500 0.3500 0.2302 0.3758 0.3603 0.0714 0.1500 0.5000 0.3880 0.0893 258-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0520 0.0444 0.1000 0.1500 0.8546 0.0042 0.0000 0.0347 0.0000 0.1500 0.0520 0.0444 259-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0920 0.0277 0.0000 0.1000 0.3010 0.0479 0.0001 0.0147 0.1000 0.1000 0.1000 0.0000 260-AH 0.5000 0.7000 0.8000 0.8500 0.9000 0.7600 0.0946 0.1500 0.4000 0.1245 0.7538 0.7471 0.0776 0.5000 0.9000 0.7600 0.0946 261-AH 0.0500 0.2500 0.3000 0.5625 0.6500 0.3560 0.1850 0.3125 0.6000 0.5197 0.3003 0.2257 0.1562 0.0500 0.6500 0.3560 0.1850 262-AH 0.1000 0.5000 0.6500 0.7500 0.8500 0.6120 0.1722 0.2500 0.7500 0.2813 0.5745 0.5010 0.1355 0.3500 0.8500 0.6333 0.1381 263-AH 0.0500 0.2500 0.3000 0.4000 0.5000 0.3020 0.1036 0.1500 0.4500 0.3429 0.2785 0.2400 0.0786 0.0500 0.5000 0.3020 0.1036 264-AH 0.2500 0.4500 0.5000 0.6000 0.7500 0.5200 0.1225 0.1500 0.5000 0.2355 0.5046 0.4872 0.0968 0.2500 0.7500 0.5200 0.1225 265-AH 0.0500 0.2000 0.2500 0.2625 0.3000 0.2200 0.0707 0.0625 0.2500 0.3214 0.2029 0.1748 0.0552 0.1500 0.3000 0.2348 0.0510 266-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0540 0.0611 0.1000 0.1500 1.1315 0.0012 0.0000 0.0531 0.0000 0.1500 0.0540 0.0611 267-AH 0.2000 0.3000 0.3000 0.4000 0.4500 0.3240 0.0694 0.1000 0.2500 0.2142 0.3167 0.3092 0.0568 0.2000 0.4500 0.3240 0.0694 268-AH 0.0500 0.1000 0.1000 0.1000 0.1500 0.1000 0.0144 0.0000 0.1000 0.1443 0.0989 0.0974 0.0040 0.1000 0.1000 0.1000 0.0000 269-AH 0.0500 0.1875 0.2000 0.2500 0.3000 0.2060 0.0565 0.0625 0.2500 0.2742 0.1961 0.1807 0.0402 0.1500 0.3000 0.2125 0.0472 270-AH 0.0500 0.9500 0.9500 0.9500 1.0000 0.9040 0.1876 0.0000 0.9500 0.2075 0.8338 0.5475 0.0936 0.9500 0.9500 0.9500 0.0000 271-AH 0.1500 0.5000 0.5500 0.6000 0.6500 0.4940 0.1641 0.1000 0.5000 0.3323 0.4507 0.3863 0.1176 0.4000 0.6500 0.5595 0.0645 272-AH 0.0000 0.2000 0.2500 0.2500 0.3000 0.2020 0.0823 0.0500 0.3000 0.4072 0.0939 0.0001 0.0579 0.1500 0.3000 0.2333 0.0365 273-AH 0.9000 0.9000 0.9500 0.9500 1.0000 0.9420 0.0312 0.0500 0.1000 0.0331 0.9415 0.9410 0.0235 0.9000 1.0000 0.9420 0.0312 274-AH 0.0000 0.2500 0.3000 0.3625 0.4000 0.2900 0.0990 0.1125 0.4000 0.3412 0.1920 0.0002 0.0752 0.1000 0.4000 0.3021 0.0801 275-AH 0.1500 0.2875 0.4500 0.6500 0.8000 0.4560 0.1927 0.3625 0.6500 0.4227 0.4107 0.3618 0.1627 0.1500 0.8000 0.4560 0.1927 276-AH 0.5000 0.6500 0.7500 0.7500 0.8500 0.7060 0.0858 0.1000 0.3500 0.1215 0.7006 0.6947 0.0653 0.5000 0.8500 0.7060 0.0858 277-AH 0.1500 0.3000 0.3500 0.3500 0.4500 0.3200 0.0722 0.0500 0.3000 0.2255 0.3108 0.2999 0.0536 0.3000 0.4000 0.3342 0.0291 278-AH 0.2000 0.2500 0.3000 0.3500 0.4500 0.2920 0.0687 0.1000 0.2500 0.2354 0.2843 0.2768 0.0536 0.2000 0.4500 0.2920 0.0687 279-AH 0.0000 0.0875 0.1000 0.1500 0.2000 0.1080 0.0493 0.0625 0.2000 0.4567 0.0713 0.0002 0.0382 0.0000 0.2000 0.1080 0.0493 280-AH 0.0000 0.0875 0.1000 0.1125 0.3000 0.1040 0.0660 0.0250 0.3000 0.6348 0.0353 0.0001 0.0421 0.0500 0.1000 0.0906 0.0202 281-AH 0.1500 0.5500 0.6000 0.7000 0.8500 0.6140 0.1504 0.1500 0.7000 0.2449 0.5883 0.5449 0.1066 0.4000 0.8500 0.6333 0.1176 282-AH 0.0000 0.2000 0.2500 0.3000 0.4000 0.2340 0.0987 0.1000 0.4000 0.4216 0.1085 0.0001 0.0725 0.1000 0.4000 0.2543 0.0722 283-AH 0.2000 0.3500 0.4500 0.6250 0.9000 0.5100 0.1843 0.2750 0.7000 0.3613 0.4766 0.4413 0.1480 0.2000 0.9000 0.5100 0.1843 284-AH 0.2000 0.4500 0.5000 0.6000 0.6500 0.5020 0.1065 0.1500 0.4500 0.2122 0.4887 0.4714 0.0824 0.3500 0.6500 0.5146 0.0878 285-AH 0.5000 0.8125 0.9000 0.9000 0.9500 0.8260 0.1363 0.0875 0.4500 0.1650 0.8134 0.7987 0.1085 0.7000 0.9500 0.8875 0.0559 286-AH 0.0000 0.0500 0.0500 0.1000 0.1000 0.0580 0.0344 0.0500 0.1000 0.5931 0.0160 0.0001 0.0269 0.0000 0.1000 0.0580 0.0344 287-AH 0.3000 0.5000 0.5500 0.5500 0.6500 0.5080 0.0886 0.0500 0.3500 0.1744 0.4995 0.4897 0.0637 0.4500 0.6000 0.5289 0.0346 288-AH 0.1000 0.2500 0.3500 0.4500 0.5500 0.3540 0.1249 0.2000 0.4500 0.3529 0.3293 0.3000 0.1005 0.1000 0.5500 0.3540 0.1249 289-AH 0.0000 0.6000 0.6500 0.7000 0.8000 0.6260 0.1589 0.1000 0.8000 0.2538 0.4145 0.0002 0.1010 0.5000 0.8000 0.6609 0.0839 290-AH 0.0500 0.1500 0.3500 0.4500 0.5500 0.3060 0.1698 0.3000 0.5000 0.5548 0.2464 0.1814 0.1498 0.0500 0.5500 0.3060 0.1698 95 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.3500 0.6375 0.7500 0.8000 0.9000 0.7000 0.1315 0.1625 0.5500 0.1879 0.6857 0.6680 0.1000 0.4000 0.9000 0.7146 0.1118 292-AH 0.0500 0.2000 0.2000 0.2000 0.2000 0.1780 0.0458 0.0000 0.1500 0.2574 0.1693 0.1563 0.0352 0.2000 0.2000 0.2000 0.0000 293-AH 0.0500 0.6375 0.7000 0.7000 0.7500 0.6420 0.1397 0.0625 0.7000 0.2176 0.5981 0.4433 0.0802 0.5500 0.7500 0.6739 0.0581 294-AH 0.4500 0.5875 0.6500 0.6500 0.7000 0.6040 0.0735 0.0625 0.2500 0.1217 0.5993 0.5941 0.0558 0.5000 0.7000 0.6250 0.0482 295-AH 0.2000 0.4000 0.4500 0.5000 0.6500 0.4580 0.0862 0.1000 0.4500 0.1882 0.4488 0.4371 0.0650 0.4000 0.6500 0.4688 0.0689 296-AH 0.0000 0.4500 0.5000 0.5500 0.7500 0.4960 0.1547 0.1000 0.7500 0.3120 0.3263 0.0002 0.1045 0.3500 0.7000 0.5071 0.0826 297-AH 0.1000 0.2500 0.2500 0.2625 0.4500 0.2620 0.0696 0.0125 0.3500 0.2658 0.2529 0.2425 0.0462 0.2500 0.2500 0.2500 0.0000 298-AH 0.0000 0.2750 0.3000 0.3500 0.5000 0.2980 0.1186 0.0750 0.5000 0.3979 0.1931 0.0002 0.0790 0.2000 0.4000 0.3083 0.0493 299-AH 0.4000 0.5500 0.6500 0.7000 0.8000 0.6280 0.1042 0.1500 0.4000 0.1659 0.6190 0.6093 0.0886 0.4000 0.8000 0.6280 0.1042 300-AH 0.0000 0.1500 0.2000 0.3125 0.4500 0.2280 0.1242 0.1625 0.4500 0.5449 0.1403 0.0002 0.0994 0.0000 0.4500 0.2280 0.1242 301-AH 0.0000 0.0000 0.0500 0.3500 0.5000 0.1380 0.1867 0.3500 0.5000 1.3528 0.0016 0.0000 0.1677 0.0000 0.5000 0.1380 0.1867 302-AH 0.1000 0.3000 0.3500 0.3500 0.4500 0.3300 0.0736 0.0500 0.3500 0.2230 0.3191 0.3022 0.0504 0.3000 0.4000 0.3300 0.0299 303-AH 0.1500 0.2000 0.3000 0.3500 0.4000 0.2840 0.0718 0.1500 0.2500 0.2527 0.2748 0.2652 0.0592 0.1500 0.4000 0.2840 0.0718 304-AH 0.2000 0.2000 0.2500 0.3000 0.3500 0.2520 0.0549 0.1000 0.1500 0.2180 0.2466 0.2417 0.0429 0.2000 0.3500 0.2520 0.0549 305-AH 0.2000 0.4000 0.5000 0.5500 0.6000 0.4620 0.1034 0.1500 0.4000 0.2237 0.4482 0.4308 0.0835 0.2000 0.6000 0.4620 0.1034 306-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 307-AH 0.1000 0.3000 0.4000 0.4625 0.7000 0.3960 0.1314 0.1625 0.6000 0.3319 0.3726 0.3421 0.0965 0.1000 0.7000 0.3960 0.1314 308-AH 0.3000 0.4000 0.4500 0.4500 0.5000 0.4320 0.0454 0.0500 0.2000 0.1050 0.4296 0.4269 0.0362 0.4000 0.5000 0.4375 0.0369 309-AH 0.0000 0.0500 0.0500 0.0500 0.1000 0.0560 0.0263 0.0000 0.1000 0.4696 0.0291 0.0001 0.0176 0.0500 0.0500 0.0500 0.0000 310-AH 0.1000 0.1500 0.1500 0.2500 0.3000 0.1780 0.0597 0.1000 0.2000 0.3351 0.1683 0.1589 0.0514 0.1000 0.3000 0.1780 0.0597 311-AH 0.2000 0.4000 0.5000 0.5500 0.6000 0.4640 0.1114 0.1500 0.4000 0.2400 0.4485 0.4296 0.0894 0.2000 0.6000 0.4640 0.1114 312-AH 0.2000 0.4375 0.5500 0.7125 0.8000 0.5480 0.1741 0.2750 0.6000 0.3177 0.5169 0.4807 0.1461 0.2000 0.8000 0.5480 0.1741 313-AH 0.0000 0.0000 0.0500 0.0625 0.3000 0.0640 0.0872 0.0625 0.3000 1.3629 0.0016 0.0000 0.0653 0.0000 0.1500 0.0310 0.0402 314-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0340 0.0314 0.0500 0.1000 0.9223 0.0018 0.0000 0.0272 0.0000 0.1000 0.0340 0.0314 315-AH 0.4000 0.5000 0.6000 0.6625 0.7500 0.5960 0.1050 0.1625 0.3500 0.1762 0.5868 0.5774 0.0848 0.4000 0.7500 0.5960 0.1050 316-AH 0.0000 0.1000 0.2500 0.4000 0.5000 0.2320 0.1560 0.3000 0.5000 0.6726 0.0657 0.0001 0.1347 0.0000 0.5000 0.2320 0.1560 317-AH 0.1500 0.3000 0.3500 0.4000 0.4500 0.3480 0.0669 0.1000 0.3000 0.1922 0.3403 0.3303 0.0507 0.2500 0.4500 0.3563 0.0538 318-AH 0.0000 0.0000 0.1500 0.2000 0.3500 0.1340 0.1048 0.2000 0.3500 0.7821 0.0112 0.0000 0.0872 0.0000 0.3500 0.1340 0.1048 319-AH 0.1500 0.3000 0.4000 0.4500 0.5500 0.3820 0.1089 0.1500 0.4000 0.2850 0.3644 0.3437 0.0936 0.1500 0.5500 0.3820 0.1089 320-AH 0.0000 0.0000 0.0500 0.0500 0.2000 0.0520 0.0510 0.0500 0.2000 0.9806 0.0055 0.0000 0.0314 0.0000 0.1000 0.0364 0.0275 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0560 0.0507 0.1000 0.1500 0.9047 0.0032 0.0000 0.0432 0.0000 0.1500 0.0560 0.0507 323-AH 0.2000 0.3000 0.3000 0.3125 0.4000 0.3020 0.0444 0.0125 0.2000 0.1472 0.2986 0.2949 0.0270 0.3000 0.3000 0.3000 0.0000 324-AH 0.2500 0.6500 0.7000 0.8125 0.8500 0.7000 0.1507 0.1625 0.6000 0.2153 0.6791 0.6496 0.1120 0.4500 0.8500 0.7188 0.1205 325-AH 0.6000 0.7000 0.7000 0.7500 0.9500 0.7260 0.0792 0.0500 0.3500 0.1091 0.7221 0.7183 0.0571 0.6500 0.8000 0.7190 0.0432 326-AH 0.0500 0.1000 0.1000 0.1000 0.1500 0.1020 0.0269 0.0000 0.1000 0.2640 0.0982 0.0938 0.0154 0.1000 0.1000 0.1000 0.0000 327-AH 0.0000 0.1000 0.1500 0.2000 0.2000 0.1480 0.0620 0.1000 0.2000 0.4192 0.0963 0.0002 0.0507 0.0000 0.2000 0.1480 0.0620 328-AH 0.4500 0.4500 0.5000 0.5500 0.8500 0.5220 0.0936 0.1000 0.4000 0.1794 0.5152 0.5094 0.0682 0.4500 0.6500 0.5083 0.0654 329-AH 0.4000 0.5500 0.5500 0.6000 0.6500 0.5480 0.0620 0.0500 0.2500 0.1132 0.5443 0.5403 0.0392 0.5000 0.6500 0.5659 0.0390 330-AH 0.3000 0.8375 0.9000 0.9000 0.9500 0.8420 0.1367 0.0625 0.6500 0.1623 0.8252 0.7971 0.0842 0.7500 0.9500 0.8761 0.0561 331-AH 0.0000 0.2000 0.2500 0.4000 0.6000 0.2920 0.1592 0.2000 0.6000 0.5453 0.1269 0.0001 0.1237 0.0000 0.6000 0.2920 0.1592 332-AH 0.0500 0.2000 0.2000 0.2000 0.2500 0.1880 0.0362 0.0000 0.2000 0.1924 0.1823 0.1716 0.0232 0.2000 0.2000 0.2000 0.0000 333-AH 0.1500 0.2500 0.2500 0.2500 0.2500 0.2460 0.0200 0.0000 0.1000 0.0813 0.2449 0.2435 0.0077 0.2500 0.2500 0.2500 0.0000 334-AH 0.0000 0.1000 0.1000 0.1500 0.1500 0.1180 0.0350 0.0500 0.1500 0.2966 0.0827 0.0002 0.0282 0.1000 0.1500 0.1229 0.0254 335-AH 0.0500 0.1000 0.2000 0.2500 0.3000 0.1860 0.0771 0.1500 0.2500 0.4144 0.1667 0.1437 0.0648 0.0500 0.3000 0.1860 0.0771 336-AH 0.0000 0.0000 0.0500 0.2500 0.3000 0.1240 0.1147 0.2500 0.3000 0.9248 0.0095 0.0000 0.1069 0.0000 0.3000 0.1240 0.1147 337-AH 0.5500 0.7000 0.8000 0.8000 0.8500 0.7480 0.0930 0.1000 0.3000 0.1243 0.7419 0.7353 0.0747 0.5500 0.8500 0.7480 0.0930 338-AH 0.0000 0.3000 0.3500 0.4500 0.5000 0.3600 0.1070 0.1500 0.5000 0.2973 0.2408 0.0002 0.0784 0.2000 0.5000 0.3750 0.0780 339-AH 0.3000 0.4875 0.5500 0.6000 0.6000 0.5200 0.0854 0.1125 0.3000 0.1642 0.5122 0.5031 0.0680 0.3500 0.6000 0.5292 0.0736 340-AH 0.2000 0.2000 0.2500 0.2500 0.2500 0.2340 0.0238 0.0500 0.0500 0.1017 0.2328 0.2315 0.0218 0.2000 0.2500 0.2340 0.0238 96 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1000 0.2000 0.2500 0.3000 0.3000 0.2540 0.0519 0.1000 0.2000 0.2043 0.2475 0.2389 0.0405 0.1000 0.3000 0.2540 0.0519 342-AH 0.7500 0.8000 0.8500 0.9000 0.9500 0.8500 0.0661 0.1000 0.2000 0.0778 0.8475 0.8450 0.0560 0.7500 0.9500 0.8500 0.0661 343-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0200 0.0250 0.0500 0.0500 1.2500 0.0003 0.0000 0.0240 0.0000 0.0500 0.0200 0.0250 344-AH 0.1500 0.4500 0.5500 0.6250 0.8500 0.5460 0.1600 0.1750 0.7000 0.2931 0.5187 0.4815 0.1165 0.3500 0.8500 0.5625 0.1401 345-AH 0.0500 0.1000 0.2000 0.2125 0.3000 0.1760 0.0709 0.1125 0.2500 0.4028 0.1593 0.1394 0.0589 0.0500 0.3000 0.1760 0.0709 346-AH 0.0000 0.0500 0.1000 0.1125 0.1500 0.0840 0.0473 0.0625 0.1500 0.5626 0.0400 0.0001 0.0406 0.0000 0.1500 0.0840 0.0473 347-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0540 0.0539 0.1000 0.1500 0.9973 0.0022 0.0000 0.0451 0.0000 0.1500 0.0540 0.0539 348-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000 349-AH 0.2500 0.3500 0.3500 0.5250 0.7000 0.4300 0.1458 0.1750 0.4500 0.3390 0.4081 0.3886 0.1200 0.2500 0.7000 0.4300 0.1458 350-AH 0.3000 0.3500 0.3500 0.3500 0.4000 0.3500 0.0250 0.0000 0.1000 0.0714 0.3491 0.3483 0.0120 0.3500 0.3500 0.3500 0.0000 97 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 142-AH 0.1667 0.2667 0.2667 0.2667 0.2667 0.2627 0.0200 0.0000 0.1000 0.0761 0.2617 0.2604 0.0077 0.2667 0.2667 0.2667 0.0000 143-AH 0.5667 0.6917 0.7333 0.9333 0.9333 0.7787 0.1387 0.2417 0.3667 0.1782 0.7664 0.7540 0.1254 0.5667 0.9333 0.7787 0.1387 144-AH 0.0667 0.1000 0.1000 0.1000 0.1000 0.0973 0.0092 0.0000 0.0333 0.0948 0.0968 0.0962 0.0049 0.1000 0.1000 0.1000 0.0000 145-AH 0.5000 0.6583 0.7333 0.7417 0.8000 0.6920 0.0889 0.0833 0.3000 0.1284 0.6860 0.6796 0.0709 0.5667 0.8000 0.7087 0.0705 146-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 147-AH 0.4667 0.6833 0.8333 0.8667 0.9333 0.7760 0.1257 0.1833 0.4667 0.1619 0.7649 0.7524 0.1008 0.4667 0.9333 0.7760 0.1257 148-AH 0.0333 0.0333 0.0333 0.0333 0.0667 0.0387 0.0125 0.0000 0.0333 0.3226 0.0372 0.0362 0.0090 0.0333 0.0333 0.0333 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0250 0.0667 0.1333 0.2333 0.0840 0.0674 0.1083 0.2333 0.8029 0.0106 0.0000 0.0580 0.0000 0.2333 0.0840 0.0674 151-AH 0.0333 0.1250 0.1667 0.1667 0.2000 0.1453 0.0508 0.0417 0.1667 0.3496 0.1320 0.1119 0.0406 0.0667 0.2000 0.1551 0.0397 152-AH 0.1000 0.1917 0.2333 0.2667 0.3000 0.2160 0.0570 0.0750 0.2000 0.2640 0.2070 0.1958 0.0448 0.1000 0.3000 0.2160 0.0570 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1333 0.2333 0.3000 0.3083 0.3333 0.2733 0.0631 0.0750 0.2000 0.2308 0.2644 0.2533 0.0501 0.1333 0.3333 0.2733 0.0631 155-AH 0.0000 0.0667 0.0667 0.0667 0.1000 0.0667 0.0192 0.0000 0.1000 0.2887 0.0479 0.0002 0.0080 0.0667 0.0667 0.0667 0.0000 156-AH 0.0667 0.1583 0.2000 0.2333 0.3333 0.1987 0.0663 0.0750 0.2667 0.3337 0.1878 0.1759 0.0469 0.0667 0.3333 0.1987 0.0663 157-AH 0.1000 0.6000 0.7000 0.7417 0.9333 0.6720 0.1592 0.1417 0.8333 0.2369 0.6370 0.5523 0.1011 0.5000 0.9333 0.6958 0.1078 158-AH 0.0000 0.3667 0.4667 0.5167 0.6667 0.4200 0.1873 0.1500 0.6667 0.4460 0.1280 0.0001 0.1360 0.2333 0.6667 0.4773 0.1071 159-AH 0.0333 0.2333 0.3000 0.4917 0.8333 0.3693 0.1965 0.2583 0.8000 0.5320 0.3134 0.2329 0.1579 0.0333 0.8333 0.3693 0.1965 160-AH 0.0333 0.0333 0.0333 0.0667 0.0667 0.0480 0.0169 0.0333 0.0333 0.3518 0.0452 0.0427 0.0164 0.0333 0.0667 0.0480 0.0169 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 163-AH 0.8000 0.9333 1.0000 1.0000 1.0000 0.9707 0.0494 0.0667 0.2000 0.0509 0.9694 0.9680 0.0375 0.9000 1.0000 0.9778 0.0350 164-AH 0.0000 0.0667 0.1000 0.1333 0.2667 0.1080 0.0595 0.0667 0.2667 0.5513 0.0689 0.0002 0.0457 0.0000 0.2333 0.1014 0.0506 165-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0667 0.0441 0.0667 0.1333 0.6614 0.0306 0.0001 0.0373 0.0000 0.1333 0.0667 0.0441 168-AH 0.0000 0.4000 0.4333 0.5000 0.5667 0.4373 0.1107 0.1000 0.5667 0.2531 0.2938 0.0002 0.0685 0.3000 0.5667 0.4556 0.0642 169-AH 0.0000 0.0000 0.0333 0.0333 0.0667 0.0253 0.0221 0.0333 0.0667 0.8728 0.0020 0.0000 0.0182 0.0000 0.0667 0.0253 0.0221 170-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 171-AH 0.0000 0.0667 0.1000 0.1333 0.1667 0.0987 0.0522 0.0667 0.1667 0.5295 0.0461 0.0001 0.0417 0.0000 0.1667 0.0987 0.0522 172-AH 0.0000 0.0667 0.1000 0.1000 0.1333 0.0840 0.0306 0.0333 0.1333 0.3644 0.0583 0.0002 0.0246 0.0333 0.1333 0.0875 0.0257 173-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 174-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 175-AH 0.1667 0.2000 0.2333 0.2333 0.2333 0.2147 0.0237 0.0333 0.0667 0.1105 0.2133 0.2119 0.0209 0.1667 0.2333 0.2147 0.0237 176-AH 0.7667 0.9000 0.9000 0.9333 0.9333 0.8880 0.0535 0.0333 0.1667 0.0602 0.8864 0.8846 0.0379 0.8667 0.9333 0.9095 0.0187 177-AH 0.0333 0.2000 0.2333 0.2750 0.3000 0.2320 0.0704 0.0750 0.2667 0.3033 0.2099 0.1618 0.0471 0.2000 0.3000 0.2493 0.0388 178-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0480 0.0274 0.0333 0.1000 0.5698 0.0321 0.0002 0.0226 0.0000 0.1000 0.0480 0.0274 179-AH 0.1667 0.3500 0.4667 0.5667 0.6667 0.4587 0.1409 0.2167 0.5000 0.3071 0.4335 0.4034 0.1183 0.1667 0.6667 0.4587 0.1409 180-AH 0.0000 0.1417 0.6333 0.7000 0.7667 0.4400 0.3066 0.5583 0.7667 0.6967 0.0746 0.0001 0.2853 0.0000 0.7667 0.4400 0.3066 181-AH 0.6000 0.8333 0.9000 0.9333 1.0000 0.8840 0.0856 0.1000 0.4000 0.0968 0.8795 0.8744 0.0618 0.7667 1.0000 0.8958 0.0632 182-AH 0.0000 0.0333 0.1000 0.1000 0.1333 0.0773 0.0369 0.0667 0.1333 0.4774 0.0507 0.0002 0.0316 0.0000 0.1333 0.0773 0.0369 183-AH 0.0000 0.0333 0.1333 0.1333 0.1333 0.1040 0.0484 0.1000 0.1333 0.4656 0.0654 0.0002 0.0422 0.0000 0.1333 0.1040 0.0484 184-AH 0.1667 0.1667 0.2000 0.2333 0.2333 0.2000 0.0304 0.0667 0.0667 0.1521 0.1978 0.1955 0.0267 0.1667 0.2333 0.2000 0.0304 185-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0320 0.0067 0.0000 0.0333 0.2083 0.0241 0.0002 0.0026 0.0333 0.0333 0.0333 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0320 0.0067 0.0000 0.0333 0.2083 0.0241 0.0002 0.0026 0.0333 0.0333 0.0333 0.0000 188-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0093 0.0153 0.0333 0.0333 1.6366 0.0001 0.0000 0.0134 0.0000 0.0333 0.0093 0.0153 189-AH 0.2333 0.2333 0.2333 0.2333 0.2333 0.2333 0.0000 0.0000 0.0000 0.0000 0.2333 0.2333 0.0000 0.2333 0.2333 0.2333 0.0000 190-AH 0.1667 0.2333 0.2333 0.2333 0.2667 0.2320 0.0180 0.0000 0.1000 0.0774 0.2313 0.2304 0.0078 0.2333 0.2333 0.2333 0.0000 98 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0667 0.1000 0.1667 0.2000 0.2000 0.1493 0.0432 0.1000 0.1333 0.2890 0.1427 0.1355 0.0381 0.0667 0.2000 0.1493 0.0432 193-AH 0.1000 0.1667 0.1667 0.2000 0.2000 0.1733 0.0289 0.0333 0.1000 0.1665 0.1707 0.1678 0.0235 0.1333 0.2000 0.1764 0.0250 194-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 197-AH 0.4000 0.7083 0.9333 0.9667 1.0000 0.8293 0.1947 0.2583 0.6000 0.2347 0.8018 0.7683 0.1628 0.4000 1.0000 0.8293 0.1947 198-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 199-AH 0.2333 0.3333 0.3333 0.3333 0.3333 0.3240 0.0226 0.0000 0.1000 0.0698 0.3231 0.3221 0.0149 0.3333 0.3333 0.3333 0.0000 200-AH 0.0000 0.1667 0.2333 0.2667 0.3000 0.2120 0.0719 0.1000 0.3000 0.3393 0.1423 0.0002 0.0559 0.1000 0.3000 0.2208 0.0580 251-AH 0.3667 0.7250 0.8000 0.8333 0.9000 0.7627 0.1237 0.1083 0.5333 0.1622 0.7502 0.7338 0.0908 0.6333 0.9000 0.7913 0.0747 252-AH 0.2333 0.3917 0.4333 0.4667 0.5667 0.4307 0.0781 0.0750 0.3333 0.1814 0.4233 0.4152 0.0590 0.3333 0.5667 0.4389 0.0679 253-AH 0.3000 0.6667 0.7667 0.8000 0.8333 0.7187 0.1135 0.1333 0.5333 0.1579 0.7066 0.6888 0.0786 0.5333 0.8333 0.7361 0.0742 254-AH 0.2000 0.3333 0.4000 0.4750 0.6333 0.4187 0.1214 0.1417 0.4333 0.2899 0.4009 0.3821 0.0929 0.2000 0.6333 0.4187 0.1214 255-AH 0.0667 0.1000 0.1333 0.1333 0.1333 0.1107 0.0267 0.0333 0.0667 0.2416 0.1071 0.1031 0.0236 0.0667 0.1333 0.1107 0.0267 256-AH 0.2667 0.7167 0.7333 0.7667 0.9000 0.7133 0.1194 0.0500 0.6333 0.1674 0.6994 0.6775 0.0757 0.6667 0.8333 0.7509 0.0406 257-AH 0.2333 0.3583 0.4000 0.4000 0.4667 0.3787 0.0526 0.0417 0.2333 0.1389 0.3747 0.3701 0.0399 0.3333 0.4333 0.3864 0.0336 258-AH 0.0000 0.0250 0.0333 0.0667 0.1000 0.0453 0.0345 0.0417 0.1000 0.7618 0.0069 0.0000 0.0294 0.0000 0.1000 0.0453 0.0345 259-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0613 0.0185 0.0000 0.0667 0.3010 0.0330 0.0001 0.0098 0.0667 0.0667 0.0667 0.0000 260-AH 0.5333 0.6667 0.7000 0.7667 0.8333 0.7133 0.0739 0.1000 0.3000 0.1036 0.7095 0.7056 0.0592 0.5333 0.8333 0.7133 0.0739 261-AH 0.0333 0.2000 0.2333 0.4417 0.5000 0.2787 0.1481 0.2417 0.4667 0.5315 0.2313 0.1652 0.1257 0.0333 0.5000 0.2787 0.1481 262-AH 0.1000 0.4250 0.5333 0.6417 0.7333 0.5347 0.1617 0.2167 0.6333 0.3025 0.4993 0.4393 0.1267 0.2333 0.7333 0.5528 0.1369 263-AH 0.1000 0.2667 0.3000 0.3667 0.4000 0.3067 0.0752 0.1000 0.3000 0.2451 0.2954 0.2800 0.0603 0.2000 0.4000 0.3153 0.0629 264-AH 0.2000 0.3333 0.4000 0.4417 0.5000 0.3853 0.0817 0.1083 0.3000 0.2120 0.3761 0.3658 0.0659 0.2000 0.5000 0.3853 0.0817 265-AH 0.0333 0.1667 0.2000 0.2000 0.2000 0.1773 0.0393 0.0333 0.1667 0.2219 0.1695 0.1524 0.0290 0.1333 0.2000 0.1833 0.0260 266-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0413 0.0423 0.0667 0.1333 1.0222 0.0019 0.0000 0.0363 0.0000 0.1333 0.0413 0.0423 267-AH 0.2000 0.2000 0.2333 0.2750 0.3333 0.2440 0.0448 0.0750 0.1333 0.1838 0.2403 0.2368 0.0377 0.2000 0.3333 0.2440 0.0448 268-AH 0.0667 0.0667 0.0667 0.0667 0.1000 0.0720 0.0125 0.0000 0.0333 0.1732 0.0711 0.0704 0.0090 0.0667 0.0667 0.0667 0.0000 269-AH 0.0333 0.1583 0.1667 0.2000 0.2333 0.1707 0.0455 0.0417 0.2000 0.2664 0.1614 0.1444 0.0335 0.1000 0.2333 0.1764 0.0361 270-AH 0.0667 0.8000 0.8333 0.8667 0.9000 0.7960 0.1611 0.0667 0.8333 0.2024 0.7456 0.5658 0.0764 0.7333 0.9000 0.8348 0.0369 271-AH 0.1000 0.4000 0.4667 0.5000 0.5333 0.4027 0.1433 0.1000 0.4333 0.3560 0.3583 0.2895 0.1057 0.3000 0.5333 0.4603 0.0534 272-AH 0.0000 0.1333 0.2000 0.2333 0.2667 0.1787 0.0700 0.1000 0.2667 0.3916 0.1145 0.0002 0.0530 0.0000 0.2667 0.1787 0.0700 273-AH 0.8000 0.8333 0.9000 0.9333 0.9667 0.8933 0.0527 0.1000 0.1667 0.0590 0.8918 0.8903 0.0469 0.8000 0.9667 0.8933 0.0527 274-AH 0.0000 0.2333 0.2667 0.3000 0.3333 0.2413 0.0783 0.0667 0.3333 0.3246 0.1607 0.0002 0.0550 0.1333 0.3333 0.2594 0.0482 275-AH 0.1333 0.3667 0.4667 0.6083 0.7000 0.4707 0.1617 0.2417 0.5667 0.3435 0.4379 0.3974 0.1325 0.1333 0.7000 0.4707 0.1617 276-AH 0.4000 0.5917 0.6667 0.7333 0.7667 0.6387 0.1044 0.1417 0.3667 0.1634 0.6292 0.6184 0.0820 0.4000 0.7667 0.6387 0.1044 277-AH 0.2000 0.2667 0.3000 0.3000 0.3333 0.2760 0.0425 0.0333 0.1333 0.1540 0.2725 0.2686 0.0341 0.2667 0.3333 0.2950 0.0196 278-AH 0.1333 0.2000 0.2667 0.2667 0.3667 0.2440 0.0542 0.0667 0.2333 0.2221 0.2380 0.2318 0.0422 0.1333 0.3667 0.2440 0.0542 279-AH 0.0000 0.0583 0.0667 0.1000 0.1333 0.0773 0.0356 0.0417 0.1333 0.4609 0.0513 0.0002 0.0298 0.0000 0.1333 0.0773 0.0356 280-AH 0.0000 0.0667 0.1000 0.1333 0.2333 0.0920 0.0563 0.0667 0.2333 0.6124 0.0426 0.0001 0.0430 0.0000 0.2333 0.0920 0.0563 281-AH 0.1000 0.4333 0.5333 0.6333 0.7333 0.5200 0.1414 0.2000 0.6333 0.2720 0.4916 0.4398 0.1109 0.3000 0.7333 0.5375 0.1135 282-AH 0.0000 0.1667 0.2333 0.2667 0.3667 0.2107 0.0880 0.1000 0.3667 0.4179 0.0991 0.0001 0.0636 0.1333 0.3667 0.2290 0.0638 283-AH 0.1333 0.3333 0.4000 0.5500 0.6667 0.4267 0.1537 0.2167 0.5333 0.3601 0.3957 0.3580 0.1211 0.1333 0.6667 0.4267 0.1537 284-AH 0.3333 0.4333 0.4667 0.5333 0.6000 0.4853 0.0758 0.1000 0.2667 0.1562 0.4795 0.4735 0.0621 0.3333 0.6000 0.4853 0.0758 285-AH 0.5000 0.7667 0.8667 0.8750 0.9333 0.7973 0.1291 0.1083 0.4333 0.1619 0.7858 0.7725 0.0996 0.6333 0.9333 0.8444 0.0725 286-AH 0.0000 0.0333 0.0667 0.0667 0.1000 0.0560 0.0284 0.0333 0.1000 0.5074 0.0375 0.0002 0.0244 0.0000 0.1000 0.0560 0.0284 287-AH 0.2667 0.4333 0.4667 0.5000 0.6000 0.4693 0.0757 0.0667 0.3333 0.1613 0.4629 0.4556 0.0514 0.3333 0.5333 0.4603 0.0467 288-AH 0.0667 0.2583 0.3333 0.4083 0.5000 0.3280 0.1108 0.1500 0.4333 0.3379 0.3042 0.2692 0.0886 0.0667 0.5000 0.3280 0.1108 289-AH 0.0000 0.5333 0.5667 0.5667 0.5667 0.5187 0.1175 0.0333 0.5667 0.2265 0.3479 0.0002 0.0605 0.5333 0.5667 0.5530 0.0168 290-AH 0.0333 0.1667 0.3000 0.3833 0.5667 0.3013 0.1505 0.2167 0.5333 0.4993 0.2537 0.1891 0.1214 0.0333 0.5667 0.3013 0.1505 99 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.3000 0.5333 0.5667 0.6417 0.7333 0.5680 0.1069 0.1083 0.4333 0.1883 0.5563 0.5417 0.0736 0.4333 0.7333 0.5913 0.0733 292-AH 0.0333 0.1333 0.1333 0.1333 0.1333 0.1213 0.0287 0.0000 0.1000 0.2363 0.1161 0.1075 0.0202 0.1333 0.1333 0.1333 0.0000 293-AH 0.0333 0.5583 0.6000 0.6333 0.7000 0.5747 0.1270 0.0750 0.6667 0.2211 0.5295 0.3540 0.0738 0.5000 0.7000 0.6043 0.0495 294-AH 0.4333 0.6000 0.6333 0.6667 0.7000 0.6107 0.0768 0.0667 0.2667 0.1258 0.6053 0.5992 0.0565 0.5333 0.7000 0.6348 0.0405 295-AH 0.2000 0.3917 0.4000 0.5000 0.5667 0.4253 0.0894 0.1083 0.3667 0.2101 0.4153 0.4039 0.0684 0.3000 0.5667 0.4347 0.0777 296-AH 0.0000 0.4333 0.4333 0.5000 0.6000 0.4320 0.1271 0.0667 0.6000 0.2942 0.2866 0.0002 0.0821 0.3333 0.5333 0.4632 0.0483 297-AH 0.1000 0.1667 0.1667 0.2000 0.3000 0.1840 0.0421 0.0333 0.2000 0.2287 0.1796 0.1752 0.0315 0.1333 0.2333 0.1788 0.0263 298-AH 0.0000 0.2000 0.2333 0.2667 0.3667 0.2427 0.0761 0.0667 0.3667 0.3135 0.1645 0.0002 0.0524 0.1667 0.3667 0.2528 0.0581 299-AH 0.3333 0.5333 0.6000 0.6333 0.7000 0.5667 0.0913 0.1000 0.3667 0.1611 0.5585 0.5490 0.0667 0.4000 0.7000 0.5764 0.0789 300-AH 0.0333 0.1917 0.2000 0.2667 0.4667 0.2280 0.1048 0.0750 0.4333 0.4598 0.1977 0.1512 0.0745 0.1333 0.3667 0.2254 0.0666 301-AH 0.0000 0.0000 0.0333 0.2500 0.3333 0.1107 0.1304 0.2500 0.3333 1.1786 0.0055 0.0000 0.1158 0.0000 0.3333 0.1107 0.1304 302-AH 0.0667 0.2333 0.3000 0.3333 0.4000 0.2800 0.0811 0.1000 0.3333 0.2896 0.2646 0.2412 0.0608 0.1333 0.4000 0.2889 0.0693 303-AH 0.1000 0.2000 0.2333 0.2667 0.3000 0.2267 0.0461 0.0667 0.2000 0.2036 0.2213 0.2146 0.0373 0.1000 0.3000 0.2267 0.0461 304-AH 0.1333 0.1667 0.2000 0.2083 0.2333 0.1907 0.0312 0.0417 0.1000 0.1637 0.1882 0.1856 0.0265 0.1333 0.2333 0.1907 0.0312 305-AH 0.1667 0.3667 0.4333 0.4667 0.5333 0.4133 0.0839 0.1000 0.3667 0.2030 0.4026 0.3879 0.0603 0.2333 0.5333 0.4236 0.0677 306-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 307-AH 0.2333 0.3667 0.4333 0.4667 0.7000 0.4187 0.1059 0.1000 0.4667 0.2529 0.4059 0.3929 0.0739 0.2333 0.5000 0.3971 0.0778 308-AH 0.2000 0.2667 0.3000 0.3333 0.3333 0.2960 0.0338 0.0667 0.1333 0.1141 0.2940 0.2918 0.0265 0.2000 0.3333 0.2960 0.0338 309-AH 0.0000 0.0333 0.0667 0.0667 0.1333 0.0520 0.0274 0.0333 0.1333 0.5260 0.0264 0.0001 0.0218 0.0000 0.0667 0.0486 0.0219 310-AH 0.0667 0.1333 0.1667 0.2000 0.3000 0.1627 0.0572 0.0667 0.2333 0.3516 0.1530 0.1427 0.0418 0.0667 0.2000 0.1507 0.0413 311-AH 0.2667 0.3917 0.4667 0.5667 0.6333 0.4547 0.1049 0.1750 0.3667 0.2308 0.4422 0.4290 0.0898 0.2667 0.6333 0.4547 0.1049 312-AH 0.1667 0.4917 0.5333 0.6083 0.6667 0.5173 0.1291 0.1167 0.5000 0.2496 0.4957 0.4646 0.0939 0.3333 0.6667 0.5449 0.0902 313-AH 0.0000 0.0000 0.0667 0.0750 0.2333 0.0613 0.0621 0.0750 0.2333 1.0129 0.0059 0.0000 0.0455 0.0000 0.1333 0.0478 0.0424 314-AH 0.0000 0.0583 0.0667 0.0667 0.1333 0.0640 0.0303 0.0083 0.1333 0.4735 0.0324 0.0001 0.0201 0.0667 0.0667 0.0667 0.0000 315-AH 0.3333 0.4333 0.4667 0.6083 0.7333 0.5133 0.1202 0.1750 0.4000 0.2341 0.4996 0.4859 0.1029 0.3333 0.7333 0.5133 0.1202 316-AH 0.0000 0.0667 0.2000 0.4083 0.5000 0.2280 0.1624 0.3417 0.5000 0.7121 0.0629 0.0001 0.1385 0.0000 0.5000 0.2280 0.1624 317-AH 0.2000 0.2667 0.3000 0.3000 0.3667 0.2947 0.0369 0.0333 0.1667 0.1251 0.2923 0.2899 0.0259 0.2333 0.3333 0.2924 0.0251 318-AH 0.0000 0.0667 0.1333 0.1750 0.2667 0.1333 0.0799 0.1083 0.2667 0.5995 0.0313 0.0001 0.0613 0.0000 0.2667 0.1333 0.0799 319-AH 0.1333 0.2333 0.3333 0.3417 0.3667 0.2907 0.0749 0.1083 0.2333 0.2575 0.2792 0.2652 0.0626 0.1333 0.3667 0.2907 0.0749 320-AH 0.0000 0.0333 0.0333 0.0667 0.2000 0.0507 0.0453 0.0333 0.2000 0.8932 0.0097 0.0000 0.0341 0.0000 0.1000 0.0444 0.0336 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0333 0.0333 0.0667 0.1333 0.0493 0.0362 0.0333 0.1333 0.7329 0.0099 0.0000 0.0300 0.0000 0.1000 0.0458 0.0323 323-AH 0.1333 0.2000 0.2000 0.2417 0.3333 0.2213 0.0499 0.0417 0.2000 0.2254 0.2160 0.2107 0.0389 0.1667 0.3000 0.2242 0.0387 324-AH 0.2000 0.4917 0.6667 0.7000 0.8000 0.5987 0.1511 0.2083 0.6000 0.2523 0.5745 0.5415 0.1243 0.2000 0.8000 0.5987 0.1511 325-AH 0.5667 0.6000 0.6667 0.7417 0.8333 0.6693 0.0860 0.1417 0.2667 0.1285 0.6642 0.6593 0.0701 0.5667 0.8333 0.6693 0.0860 326-AH 0.0333 0.0667 0.0667 0.0750 0.1000 0.0707 0.0200 0.0083 0.0667 0.2830 0.0676 0.0641 0.0141 0.0667 0.0667 0.0667 0.0000 327-AH 0.0000 0.1000 0.1333 0.1333 0.1333 0.1053 0.0381 0.0333 0.1333 0.3617 0.0712 0.0002 0.0291 0.0667 0.1333 0.1167 0.0224 328-AH 0.3667 0.4667 0.5000 0.5667 0.6667 0.5120 0.0630 0.1000 0.3000 0.1231 0.5082 0.5044 0.0491 0.3667 0.6667 0.5120 0.0630 329-AH 0.3333 0.4333 0.4333 0.4667 0.5000 0.4413 0.0364 0.0333 0.1667 0.0824 0.4398 0.4381 0.0256 0.4000 0.5000 0.4493 0.0243 330-AH 0.3333 0.7667 0.8000 0.8333 0.9000 0.7747 0.1160 0.0667 0.5667 0.1497 0.7626 0.7447 0.0685 0.6667 0.9000 0.8043 0.0475 331-AH 0.0000 0.2667 0.3333 0.4333 0.4667 0.3093 0.1219 0.1667 0.4667 0.3941 0.1975 0.0002 0.0890 0.0667 0.4667 0.3222 0.1057 332-AH 0.0333 0.2000 0.2000 0.2000 0.2667 0.1933 0.0430 0.0000 0.2333 0.2226 0.1844 0.1638 0.0245 0.2000 0.2000 0.2000 0.0000 333-AH 0.1000 0.1667 0.1667 0.1667 0.1667 0.1640 0.0133 0.0000 0.0667 0.0813 0.1633 0.1623 0.0051 0.1667 0.1667 0.1667 0.0000 334-AH 0.0000 0.1000 0.1000 0.1000 0.1333 0.0973 0.0287 0.0000 0.1333 0.2953 0.0687 0.0002 0.0176 0.1000 0.1000 0.1000 0.0000 335-AH 0.0333 0.1333 0.1667 0.2000 0.2333 0.1587 0.0547 0.0667 0.2000 0.3446 0.1460 0.1278 0.0463 0.0667 0.2333 0.1639 0.0491 336-AH 0.0000 0.0333 0.0667 0.1667 0.2000 0.0960 0.0790 0.1333 0.2000 0.8224 0.0204 0.0001 0.0732 0.0000 0.2000 0.0960 0.0790 337-AH 0.4333 0.5667 0.6333 0.6333 0.6667 0.6013 0.0573 0.0667 0.2333 0.0953 0.5985 0.5953 0.0438 0.5000 0.6667 0.6083 0.0464 338-AH 0.0333 0.2333 0.2333 0.3000 0.3333 0.2520 0.0660 0.0667 0.3000 0.2620 0.2361 0.1987 0.0487 0.1333 0.3333 0.2611 0.0488 339-AH 0.2000 0.4000 0.4333 0.5000 0.6000 0.4480 0.0788 0.1000 0.4000 0.1759 0.4398 0.4292 0.0579 0.3667 0.6000 0.4583 0.0608 340-AH 0.1667 0.1667 0.1667 0.1667 0.1667 0.1667 0.0000 0.0000 0.0000 0.0000 0.1667 0.1667 0.0000 0.1667 0.1667 0.1667 0.0000 100 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0667 0.1333 0.2000 0.2000 0.2000 0.1733 0.0360 0.0667 0.1333 0.2077 0.1687 0.1623 0.0299 0.0667 0.2000 0.1733 0.0360 342-AH 0.6667 0.7667 0.8333 0.8667 0.9000 0.8280 0.0606 0.1000 0.2333 0.0732 0.8258 0.8234 0.0495 0.6667 0.9000 0.8280 0.0606 343-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0187 0.0169 0.0333 0.0333 0.9047 0.0009 0.0000 0.0164 0.0000 0.0333 0.0187 0.0169 344-AH 0.3000 0.4250 0.4667 0.5667 0.7333 0.4827 0.1284 0.1417 0.4333 0.2661 0.4661 0.4496 0.1033 0.3000 0.7333 0.4827 0.1284 345-AH 0.0333 0.1000 0.1667 0.2000 0.2333 0.1547 0.0623 0.1000 0.2000 0.4026 0.1387 0.1187 0.0527 0.0333 0.2333 0.1547 0.0623 346-AH 0.0000 0.0333 0.0667 0.1333 0.1333 0.0787 0.0440 0.1000 0.1333 0.5589 0.0494 0.0002 0.0391 0.0000 0.1333 0.0787 0.0440 347-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0613 0.0393 0.0667 0.1333 0.6408 0.0216 0.0001 0.0326 0.0000 0.1333 0.0613 0.0393 348-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0640 0.0133 0.0000 0.0667 0.2083 0.0469 0.0002 0.0051 0.0667 0.0667 0.0667 0.0000 349-AH 0.2333 0.3000 0.3667 0.4000 0.6000 0.3800 0.1093 0.1000 0.3667 0.2876 0.3664 0.3544 0.0837 0.2333 0.5333 0.3413 0.0666 350-AH 0.2333 0.2333 0.2333 0.2667 0.2667 0.2427 0.0153 0.0333 0.0333 0.0629 0.2422 0.2418 0.0134 0.2333 0.2667 0.2427 0.0153 101 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 142-AH 0.0700 0.0800 0.0800 0.0800 0.0800 0.0796 0.0020 0.0000 0.0100 0.0251 0.0796 0.0795 0.0008 0.0800 0.0800 0.0800 0.0000 143-AH 0.2800 0.3275 0.3700 0.3800 0.3900 0.3512 0.0319 0.0525 0.1100 0.0909 0.3497 0.3482 0.0276 0.2800 0.3900 0.3512 0.0319 144-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000 145-AH 0.2300 0.2950 0.3100 0.3225 0.3500 0.3044 0.0297 0.0275 0.1200 0.0977 0.3029 0.3013 0.0220 0.2600 0.3500 0.3100 0.0234 146-AH 0.0100 0.0100 0.0100 0.0100 0.0200 0.0116 0.0037 0.0000 0.0100 0.3226 0.0112 0.0109 0.0027 0.0100 0.0100 0.0100 0.0000 147-AH 0.2200 0.4575 0.4600 0.4800 0.4900 0.4496 0.0591 0.0225 0.2700 0.1315 0.4445 0.4373 0.0359 0.4500 0.4900 0.4710 0.0137 148-AH 0.0100 0.0300 0.0300 0.0400 0.0500 0.0328 0.0094 0.0100 0.0400 0.2855 0.0312 0.0292 0.0074 0.0200 0.0500 0.0337 0.0082 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0300 0.0500 0.0700 0.0900 0.0452 0.0258 0.0400 0.0900 0.5717 0.0130 0.0001 0.0202 0.0000 0.0900 0.0452 0.0258 151-AH 0.0500 0.0600 0.0700 0.0800 0.0900 0.0708 0.0135 0.0200 0.0400 0.1909 0.0695 0.0682 0.0113 0.0500 0.0900 0.0708 0.0135 152-AH 0.0600 0.0800 0.0900 0.0900 0.1100 0.0868 0.0114 0.0100 0.0500 0.1319 0.0860 0.0851 0.0084 0.0700 0.1000 0.0882 0.0073 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1000 0.1300 0.1400 0.1400 0.1600 0.1340 0.0144 0.0100 0.0600 0.1077 0.1332 0.1323 0.0109 0.1200 0.1500 0.1371 0.0078 155-AH 0.0000 0.0200 0.0300 0.0300 0.0300 0.0248 0.0071 0.0100 0.0300 0.2880 0.0185 0.0002 0.0058 0.0200 0.0300 0.0258 0.0050 156-AH 0.0700 0.1000 0.1200 0.1300 0.1600 0.1152 0.0229 0.0300 0.0900 0.1991 0.1128 0.1102 0.0186 0.0700 0.1600 0.1152 0.0229 157-AH 0.1100 0.5675 0.5800 0.6325 0.7100 0.5808 0.1134 0.0650 0.6000 0.1953 0.5585 0.5057 0.0593 0.5500 0.7100 0.6070 0.0497 158-AH 0.0000 0.1800 0.2300 0.2800 0.3200 0.2160 0.0912 0.1000 0.3200 0.4220 0.0720 0.0001 0.0646 0.1800 0.3200 0.2455 0.0438 159-AH 0.1300 0.2425 0.2800 0.3150 0.4700 0.2776 0.0682 0.0725 0.3400 0.2457 0.2694 0.2606 0.0505 0.2000 0.3600 0.2757 0.0490 160-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0184 0.0037 0.0000 0.0100 0.2034 0.0179 0.0172 0.0027 0.0200 0.0200 0.0200 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 163-AH 0.5900 0.7800 0.8200 0.8400 0.8700 0.8068 0.0590 0.0600 0.2800 0.0731 0.8045 0.8019 0.0414 0.7400 0.8700 0.8158 0.0388 164-AH 0.0500 0.0875 0.1400 0.1700 0.2200 0.1372 0.0540 0.0825 0.1700 0.3934 0.1256 0.1132 0.0439 0.0500 0.2200 0.1372 0.0540 165-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0200 0.0300 0.0400 0.0400 0.0288 0.0105 0.0200 0.0400 0.3658 0.0209 0.0002 0.0086 0.0000 0.0400 0.0288 0.0105 168-AH 0.0100 0.1600 0.1800 0.1800 0.1800 0.1660 0.0345 0.0200 0.1700 0.2080 0.1536 0.1042 0.0182 0.1400 0.1800 0.1725 0.0119 169-AH 0.0000 0.0100 0.0100 0.0300 0.0400 0.0160 0.0132 0.0200 0.0400 0.8268 0.0062 0.0001 0.0110 0.0000 0.0400 0.0160 0.0132 170-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 171-AH 0.0000 0.0600 0.0700 0.1000 0.1200 0.0712 0.0305 0.0400 0.1200 0.4278 0.0474 0.0002 0.0238 0.0000 0.1200 0.0712 0.0305 172-AH 0.0200 0.0400 0.0500 0.0600 0.0700 0.0492 0.0115 0.0200 0.0500 0.2341 0.0476 0.0457 0.0084 0.0200 0.0700 0.0492 0.0115 173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 174-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 175-AH 0.0600 0.0700 0.0700 0.0700 0.0700 0.0680 0.0041 0.0000 0.0100 0.0600 0.0679 0.0677 0.0032 0.0700 0.0700 0.0700 0.0000 176-AH 0.3600 0.3800 0.3900 0.3900 0.3900 0.3848 0.0096 0.0100 0.0300 0.0250 0.3847 0.3846 0.0075 0.3700 0.3900 0.3870 0.0063 177-AH 0.0500 0.0875 0.0900 0.1100 0.1200 0.0940 0.0187 0.0225 0.0700 0.1990 0.0919 0.0894 0.0141 0.0800 0.1200 0.0978 0.0138 178-AH 0.0100 0.0100 0.0300 0.0300 0.0300 0.0220 0.0091 0.0200 0.0200 0.4149 0.0198 0.0174 0.0083 0.0100 0.0300 0.0220 0.0091 179-AH 0.0700 0.1500 0.1700 0.2200 0.2200 0.1748 0.0444 0.0700 0.1500 0.2538 0.1683 0.1605 0.0378 0.0700 0.2200 0.1748 0.0444 180-AH 0.0000 0.0975 0.3200 0.3800 0.3900 0.2448 0.1498 0.2825 0.3900 0.6121 0.0906 0.0001 0.1374 0.0000 0.3900 0.2448 0.1498 181-AH 0.5700 0.7200 0.7500 0.7600 0.7800 0.7368 0.0433 0.0400 0.2100 0.0587 0.7354 0.7339 0.0292 0.6800 0.7800 0.7437 0.0263 182-AH 0.0200 0.0300 0.0400 0.0400 0.0400 0.0360 0.0065 0.0100 0.0200 0.1793 0.0353 0.0345 0.0054 0.0200 0.0400 0.0360 0.0065 183-AH 0.0100 0.0375 0.0400 0.0400 0.0400 0.0364 0.0076 0.0025 0.0300 0.2080 0.0352 0.0330 0.0055 0.0400 0.0400 0.0400 0.0000 184-AH 0.0600 0.0700 0.0700 0.0800 0.0900 0.0744 0.0065 0.0100 0.0300 0.0875 0.0741 0.0739 0.0057 0.0600 0.0900 0.0744 0.0065 185-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0096 0.0020 0.0000 0.0100 0.2083 0.0076 0.0002 0.0008 0.0100 0.0100 0.0100 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 188-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0032 0.0048 0.0100 0.0100 1.4878 0.0001 0.0000 0.0044 0.0000 0.0100 0.0032 0.0048 189-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000 190-AH 0.0500 0.0700 0.0700 0.0700 0.0900 0.0704 0.0061 0.0000 0.0400 0.0868 0.0701 0.0699 0.0023 0.0700 0.0700 0.0700 0.0000 102 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0300 0.0400 0.0500 0.0600 0.0600 0.0496 0.0106 0.0200 0.0300 0.2137 0.0484 0.0470 0.0085 0.0300 0.0600 0.0496 0.0106 193-AH 0.0300 0.0575 0.0600 0.0600 0.0700 0.0576 0.0078 0.0025 0.0400 0.1352 0.0570 0.0561 0.0052 0.0600 0.0600 0.0600 0.0000 194-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 197-AH 0.2600 0.3675 0.4300 0.4750 0.5000 0.4136 0.0745 0.1075 0.2400 0.1801 0.4064 0.3985 0.0603 0.2600 0.5000 0.4136 0.0745 198-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 199-AH 0.0900 0.1000 0.1000 0.1000 0.1000 0.0992 0.0028 0.0000 0.0100 0.0279 0.0992 0.0991 0.0015 0.1000 0.1000 0.1000 0.0000 200-AH 0.0000 0.0675 0.0800 0.0800 0.0900 0.0728 0.0184 0.0125 0.0900 0.2524 0.0526 0.0002 0.0121 0.0600 0.0900 0.0758 0.0106 251-AH 0.1600 0.3400 0.3700 0.3950 0.4500 0.3608 0.0624 0.0550 0.2900 0.1731 0.3538 0.3442 0.0400 0.3300 0.4500 0.3761 0.0338 252-AH 0.1600 0.2300 0.2600 0.2625 0.2700 0.2424 0.0302 0.0325 0.1100 0.1245 0.2404 0.2381 0.0237 0.2000 0.2700 0.2487 0.0216 253-AH 0.2600 0.5575 0.6300 0.6525 0.6900 0.5920 0.0927 0.0950 0.4300 0.1566 0.5825 0.5689 0.0640 0.4200 0.6900 0.6058 0.0630 254-AH 0.1700 0.3275 0.3800 0.4150 0.5100 0.3680 0.0887 0.0875 0.3400 0.2411 0.3559 0.3414 0.0694 0.2300 0.5100 0.3843 0.0713 255-AH 0.0200 0.0400 0.0400 0.0400 0.0400 0.0372 0.0061 0.0000 0.0200 0.1650 0.0366 0.0357 0.0045 0.0400 0.0400 0.0400 0.0000 256-AH 0.1700 0.3075 0.3200 0.3300 0.3400 0.2948 0.0565 0.0225 0.1700 0.1917 0.2883 0.2805 0.0435 0.3000 0.3400 0.3220 0.0111 257-AH 0.1500 0.2600 0.2700 0.3125 0.3600 0.2796 0.0441 0.0525 0.2100 0.1578 0.2757 0.2712 0.0332 0.2100 0.3600 0.2850 0.0356 258-AH 0.0100 0.0200 0.0200 0.0300 0.0400 0.0212 0.0078 0.0100 0.0300 0.3684 0.0197 0.0182 0.0057 0.0100 0.0400 0.0212 0.0078 259-AH 0.0000 0.0200 0.0200 0.0225 0.0300 0.0208 0.0076 0.0025 0.0300 0.3651 0.0120 0.0001 0.0044 0.0200 0.0200 0.0200 0.0000 260-AH 0.3200 0.4300 0.4600 0.5000 0.5200 0.4588 0.0447 0.0700 0.2000 0.0973 0.4565 0.4540 0.0332 0.4000 0.5200 0.4646 0.0348 261-AH 0.0100 0.0675 0.0800 0.1800 0.1900 0.1052 0.0577 0.1125 0.1800 0.5482 0.0876 0.0645 0.0494 0.0100 0.1900 0.1052 0.0577 262-AH 0.1100 0.2350 0.3600 0.3925 0.4400 0.3204 0.0959 0.1575 0.3300 0.2993 0.3025 0.2798 0.0788 0.1100 0.4400 0.3204 0.0959 263-AH 0.0400 0.2200 0.2300 0.2425 0.2600 0.2208 0.0455 0.0225 0.2200 0.2063 0.2115 0.1898 0.0270 0.1900 0.2600 0.2317 0.0206 264-AH 0.1300 0.1500 0.1700 0.1800 0.2000 0.1656 0.0185 0.0300 0.0700 0.1117 0.1646 0.1636 0.0158 0.1300 0.2000 0.1656 0.0185 265-AH 0.0100 0.0500 0.0600 0.0600 0.0600 0.0556 0.0104 0.0100 0.0500 0.1878 0.0535 0.0481 0.0063 0.0500 0.0600 0.0575 0.0044 266-AH 0.0000 0.0100 0.0200 0.0400 0.0400 0.0236 0.0155 0.0300 0.0400 0.6573 0.0090 0.0001 0.0141 0.0000 0.0400 0.0236 0.0155 267-AH 0.0900 0.1100 0.1200 0.1300 0.1500 0.1168 0.0146 0.0200 0.0600 0.1253 0.1159 0.1149 0.0113 0.0900 0.1500 0.1168 0.0146 268-AH 0.0200 0.0200 0.0300 0.0300 0.0300 0.0260 0.0050 0.0100 0.0100 0.1923 0.0255 0.0250 0.0048 0.0200 0.0300 0.0260 0.0050 269-AH 0.0200 0.0675 0.0700 0.0800 0.0800 0.0688 0.0151 0.0125 0.0600 0.2193 0.0662 0.0619 0.0098 0.0600 0.0800 0.0726 0.0075 270-AH 0.0500 0.4450 0.4600 0.4700 0.5100 0.4356 0.0938 0.0250 0.4600 0.2153 0.4106 0.3374 0.0515 0.4100 0.5000 0.4582 0.0230 271-AH 0.0300 0.1700 0.2100 0.2200 0.2400 0.1780 0.0679 0.0500 0.2100 0.3814 0.1529 0.1115 0.0518 0.1400 0.2400 0.2052 0.0254 272-AH 0.0100 0.0775 0.1100 0.1200 0.1300 0.0956 0.0363 0.0425 0.1200 0.3797 0.0833 0.0614 0.0287 0.0200 0.1300 0.0992 0.0323 273-AH 0.4000 0.5100 0.5600 0.6325 0.6900 0.5732 0.0708 0.1225 0.2900 0.1234 0.5688 0.5642 0.0601 0.4000 0.6900 0.5732 0.0708 274-AH 0.0300 0.0900 0.1200 0.1325 0.1600 0.1148 0.0327 0.0425 0.1300 0.2846 0.1085 0.0993 0.0251 0.0300 0.1600 0.1148 0.0327 275-AH 0.1500 0.3075 0.3500 0.4400 0.4700 0.3452 0.0964 0.1325 0.3200 0.2793 0.3290 0.3090 0.0762 0.1500 0.4700 0.3452 0.0964 276-AH 0.3000 0.3675 0.4100 0.4325 0.4800 0.4000 0.0487 0.0650 0.1800 0.1218 0.3970 0.3939 0.0368 0.3000 0.4800 0.4000 0.0487 277-AH 0.0700 0.1300 0.1400 0.1500 0.1700 0.1412 0.0201 0.0200 0.1000 0.1421 0.1395 0.1372 0.0133 0.1200 0.1700 0.1442 0.0138 278-AH 0.0600 0.1100 0.1400 0.1500 0.1800 0.1280 0.0290 0.0400 0.1200 0.2267 0.1243 0.1199 0.0238 0.0600 0.1800 0.1280 0.0290 279-AH 0.0100 0.0200 0.0300 0.0325 0.0400 0.0292 0.0081 0.0125 0.0300 0.2782 0.0279 0.0263 0.0060 0.0100 0.0400 0.0292 0.0081 280-AH 0.0000 0.0500 0.0700 0.1000 0.1400 0.0772 0.0367 0.0500 0.1400 0.4752 0.0501 0.0002 0.0289 0.0000 0.1400 0.0772 0.0367 281-AH 0.1900 0.2700 0.2800 0.3000 0.3200 0.2804 0.0288 0.0300 0.1300 0.1027 0.2788 0.2770 0.0204 0.2300 0.3200 0.2842 0.0222 282-AH 0.0000 0.1075 0.1300 0.1400 0.1800 0.1160 0.0406 0.0325 0.1800 0.3502 0.0585 0.0001 0.0267 0.0800 0.1800 0.1261 0.0217 283-AH 0.0700 0.1775 0.1900 0.2700 0.3300 0.2136 0.0708 0.0925 0.2600 0.3316 0.2013 0.1872 0.0550 0.0700 0.3300 0.2136 0.0708 284-AH 0.2000 0.3400 0.3500 0.3500 0.3800 0.3424 0.0342 0.0100 0.1800 0.0999 0.3403 0.3375 0.0183 0.3300 0.3600 0.3463 0.0076 285-AH 0.3200 0.5075 0.5700 0.5900 0.6200 0.5292 0.0881 0.0825 0.3000 0.1665 0.5209 0.5114 0.0684 0.5000 0.6200 0.5695 0.0333 286-AH 0.0000 0.0200 0.0300 0.0500 0.0600 0.0336 0.0160 0.0300 0.0600 0.4774 0.0228 0.0002 0.0133 0.0000 0.0600 0.0336 0.0160 287-AH 0.1200 0.3150 0.3300 0.3525 0.3600 0.3188 0.0533 0.0375 0.2400 0.1670 0.3125 0.3026 0.0354 0.2800 0.3600 0.3345 0.0240 288-AH 0.0300 0.2175 0.2600 0.3000 0.3900 0.2484 0.0778 0.0825 0.3600 0.3133 0.2289 0.1875 0.0570 0.1400 0.3900 0.2575 0.0645 289-AH 0.0200 0.1700 0.1700 0.1800 0.1800 0.1676 0.0314 0.0100 0.1600 0.1873 0.1593 0.1328 0.0130 0.1600 0.1800 0.1738 0.0065 290-AH 0.0800 0.1975 0.2700 0.2900 0.3100 0.2340 0.0751 0.0925 0.2300 0.3210 0.2179 0.1965 0.0624 0.0800 0.3100 0.2340 0.0751 103 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1500 0.1900 0.2200 0.2425 0.2700 0.2188 0.0344 0.0525 0.1200 0.1574 0.2161 0.2132 0.0255 0.1500 0.2700 0.2188 0.0344 292-AH 0.0200 0.0400 0.0400 0.0400 0.0400 0.0392 0.0040 0.0000 0.0200 0.1020 0.0389 0.0385 0.0015 0.0400 0.0400 0.0400 0.0000 293-AH 0.0200 0.2900 0.3100 0.3225 0.3300 0.2960 0.0600 0.0325 0.3100 0.2027 0.2752 0.1949 0.0278 0.2700 0.3300 0.3075 0.0175 294-AH 0.2200 0.2600 0.2600 0.2700 0.2700 0.2620 0.0122 0.0100 0.0500 0.0467 0.2617 0.2614 0.0077 0.2600 0.2700 0.2652 0.0051 295-AH 0.1300 0.1975 0.3000 0.3300 0.3700 0.2732 0.0705 0.1325 0.2400 0.2579 0.2633 0.2524 0.0620 0.1300 0.3700 0.2732 0.0705 296-AH 0.0200 0.2200 0.2400 0.2400 0.2400 0.2188 0.0485 0.0200 0.2200 0.2217 0.2045 0.1586 0.0283 0.2100 0.2400 0.2352 0.0093 297-AH 0.0400 0.0500 0.0700 0.0800 0.0900 0.0672 0.0154 0.0300 0.0500 0.2294 0.0654 0.0636 0.0130 0.0400 0.0900 0.0672 0.0154 298-AH 0.0700 0.1400 0.1600 0.1725 0.2000 0.1544 0.0290 0.0325 0.1300 0.1880 0.1512 0.1471 0.0219 0.1000 0.2000 0.1579 0.0236 299-AH 0.2100 0.3175 0.3400 0.3800 0.4300 0.3468 0.0493 0.0625 0.2200 0.1422 0.3431 0.3390 0.0375 0.2800 0.4300 0.3525 0.0411 300-AH 0.1500 0.2000 0.2200 0.2325 0.2600 0.2152 0.0284 0.0325 0.1100 0.1322 0.2133 0.2112 0.0218 0.1600 0.2600 0.2179 0.0255 301-AH 0.0000 0.0275 0.0400 0.1000 0.1200 0.0524 0.0393 0.0725 0.1200 0.7499 0.0176 0.0001 0.0337 0.0000 0.1200 0.0524 0.0393 302-AH 0.0400 0.1400 0.1400 0.1600 0.1600 0.1380 0.0314 0.0200 0.1200 0.2272 0.1322 0.1224 0.0194 0.1200 0.1600 0.1482 0.0110 303-AH 0.0400 0.0875 0.1000 0.1000 0.1100 0.0920 0.0166 0.0125 0.0700 0.1803 0.0901 0.0876 0.0122 0.0700 0.1100 0.0957 0.0108 304-AH 0.0500 0.0600 0.0700 0.0900 0.1200 0.0764 0.0198 0.0300 0.0700 0.2587 0.0742 0.0722 0.0165 0.0500 0.1200 0.0764 0.0198 305-AH 0.2000 0.2400 0.2600 0.3150 0.3900 0.2780 0.0521 0.0750 0.1900 0.1875 0.2736 0.2695 0.0424 0.2000 0.3900 0.2780 0.0521 306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 307-AH 0.1200 0.3275 0.3800 0.4125 0.4800 0.3508 0.0920 0.0850 0.3600 0.2623 0.3348 0.3129 0.0679 0.3100 0.4800 0.3857 0.0447 308-AH 0.0800 0.0900 0.1000 0.1000 0.1000 0.0964 0.0064 0.0100 0.0200 0.0662 0.0962 0.0959 0.0052 0.0800 0.1000 0.0964 0.0064 309-AH 0.0200 0.0400 0.0400 0.0500 0.0600 0.0408 0.0086 0.0100 0.0400 0.2113 0.0398 0.0388 0.0060 0.0300 0.0600 0.0417 0.0076 310-AH 0.0500 0.1175 0.1300 0.1700 0.2800 0.1372 0.0492 0.0525 0.2300 0.3586 0.1281 0.1178 0.0353 0.0500 0.2000 0.1312 0.0400 311-AH 0.1200 0.2700 0.3000 0.3225 0.3400 0.2852 0.0519 0.0525 0.2200 0.1819 0.2791 0.2708 0.0370 0.2000 0.3400 0.2965 0.0339 312-AH 0.0900 0.2300 0.2700 0.2900 0.3000 0.2472 0.0562 0.0600 0.2100 0.2275 0.2388 0.2271 0.0430 0.1600 0.3000 0.2591 0.0394 313-AH 0.0000 0.0200 0.0300 0.0725 0.1000 0.0448 0.0334 0.0525 0.1000 0.7462 0.0117 0.0001 0.0294 0.0000 0.1000 0.0448 0.0334 314-AH 0.0200 0.0700 0.0900 0.1025 0.1400 0.0876 0.0267 0.0325 0.1200 0.3043 0.0824 0.0746 0.0195 0.0400 0.1400 0.0904 0.0231 315-AH 0.1500 0.2350 0.2800 0.3925 0.4800 0.3064 0.1093 0.1575 0.3300 0.3569 0.2861 0.2651 0.0955 0.1500 0.4800 0.3064 0.1093 316-AH 0.0100 0.0800 0.1900 0.3125 0.3700 0.1976 0.1226 0.2325 0.3600 0.6204 0.1349 0.0569 0.1055 0.0100 0.3700 0.1976 0.1226 317-AH 0.0800 0.1500 0.1800 0.1825 0.1900 0.1644 0.0279 0.0325 0.1100 0.1694 0.1616 0.1580 0.0219 0.1100 0.1900 0.1679 0.0221 318-AH 0.0000 0.0700 0.0800 0.0900 0.0900 0.0760 0.0202 0.0200 0.0900 0.2659 0.0545 0.0002 0.0144 0.0500 0.0900 0.0792 0.0128 319-AH 0.0600 0.1000 0.1100 0.1500 0.1500 0.1196 0.0298 0.0500 0.0900 0.2491 0.1155 0.1108 0.0260 0.0600 0.1500 0.1196 0.0298 320-AH 0.0000 0.0200 0.0300 0.0500 0.0700 0.0324 0.0179 0.0300 0.0700 0.5513 0.0218 0.0002 0.0145 0.0000 0.0700 0.0324 0.0179 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0200 0.0400 0.0500 0.0600 0.0700 0.0484 0.0131 0.0200 0.0500 0.2712 0.0463 0.0438 0.0113 0.0200 0.0700 0.0484 0.0131 323-AH 0.0700 0.1000 0.1100 0.1225 0.1500 0.1124 0.0188 0.0225 0.0800 0.1670 0.1109 0.1093 0.0149 0.0700 0.1500 0.1124 0.0188 324-AH 0.0900 0.2400 0.4100 0.5700 0.6000 0.3996 0.1640 0.3300 0.5100 0.4104 0.3608 0.3150 0.1436 0.0900 0.6000 0.3996 0.1640 325-AH 0.3000 0.4200 0.4400 0.4800 0.5500 0.4420 0.0560 0.0600 0.2500 0.1266 0.4384 0.4344 0.0392 0.3300 0.5500 0.4479 0.0485 326-AH 0.0100 0.0200 0.0300 0.0300 0.0300 0.0244 0.0071 0.0100 0.0200 0.2917 0.0231 0.0214 0.0063 0.0100 0.0300 0.0244 0.0071 327-AH 0.0000 0.0375 0.0400 0.0400 0.0400 0.0352 0.0100 0.0025 0.0400 0.2855 0.0258 0.0002 0.0073 0.0400 0.0400 0.0400 0.0000 328-AH 0.1800 0.2100 0.2200 0.2300 0.2300 0.2172 0.0146 0.0200 0.0500 0.0671 0.2167 0.2162 0.0116 0.1800 0.2300 0.2172 0.0146 329-AH 0.1600 0.1700 0.1700 0.1700 0.1700 0.1684 0.0037 0.0000 0.0100 0.0222 0.1684 0.1683 0.0027 0.1700 0.1700 0.1700 0.0000 330-AH 0.2300 0.4375 0.4800 0.5000 0.5100 0.4624 0.0620 0.0625 0.2800 0.1341 0.4571 0.4499 0.0431 0.3900 0.5100 0.4721 0.0396 331-AH 0.0400 0.1500 0.1500 0.1600 0.1700 0.1424 0.0348 0.0100 0.1300 0.2443 0.1355 0.1243 0.0218 0.1400 0.1700 0.1545 0.0091 332-AH 0.0100 0.0800 0.0800 0.0800 0.0800 0.0772 0.0140 0.0000 0.0700 0.1813 0.0736 0.0625 0.0054 0.0800 0.0800 0.0800 0.0000 333-AH 0.0400 0.0500 0.0500 0.0500 0.0500 0.0496 0.0020 0.0000 0.0100 0.0403 0.0496 0.0495 0.0008 0.0500 0.0500 0.0500 0.0000 334-AH 0.0000 0.0400 0.0400 0.0500 0.0500 0.0404 0.0110 0.0100 0.0500 0.2719 0.0297 0.0002 0.0069 0.0300 0.0500 0.0421 0.0072 335-AH 0.0300 0.0800 0.0900 0.1000 0.1100 0.0880 0.0191 0.0200 0.0800 0.2176 0.0852 0.0812 0.0139 0.0500 0.1100 0.0904 0.0152 336-AH 0.0000 0.0200 0.0700 0.0825 0.1100 0.0544 0.0352 0.0625 0.1100 0.6479 0.0240 0.0001 0.0319 0.0000 0.1100 0.0544 0.0352 337-AH 0.1400 0.1900 0.2000 0.2000 0.2000 0.1924 0.0139 0.0100 0.0600 0.0724 0.1918 0.1912 0.0091 0.1900 0.2000 0.1968 0.0048 338-AH 0.0500 0.0800 0.1000 0.1000 0.1000 0.0924 0.0139 0.0200 0.0500 0.1507 0.0911 0.0896 0.0109 0.0500 0.1000 0.0924 0.0139 339-AH 0.1200 0.1800 0.1900 0.1900 0.1900 0.1804 0.0162 0.0100 0.0700 0.0898 0.1796 0.1786 0.0100 0.1700 0.1900 0.1855 0.0060 340-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 104 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0300 0.0500 0.0600 0.0600 0.0600 0.0556 0.0077 0.0100 0.0300 0.1382 0.0550 0.0542 0.0060 0.0400 0.0600 0.0567 0.0056 342-AH 0.3600 0.5675 0.6800 0.7600 0.7900 0.6488 0.1256 0.1925 0.4300 0.1936 0.6355 0.6205 0.1069 0.3600 0.7900 0.6488 0.1256 343-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0084 0.0037 0.0000 0.0100 0.4454 0.0033 0.0001 0.0027 0.0100 0.0100 0.0100 0.0000 344-AH 0.1500 0.2200 0.2500 0.2800 0.3000 0.2440 0.0410 0.0600 0.1500 0.1681 0.2403 0.2362 0.0315 0.1500 0.3000 0.2440 0.0410 345-AH 0.0400 0.0600 0.0800 0.0800 0.0900 0.0724 0.0151 0.0200 0.0500 0.2083 0.0707 0.0688 0.0131 0.0400 0.0900 0.0724 0.0151 346-AH 0.0500 0.0600 0.0700 0.0825 0.1000 0.0700 0.0144 0.0225 0.0500 0.2062 0.0686 0.0673 0.0112 0.0500 0.1000 0.0700 0.0144 347-AH 0.0200 0.0400 0.0500 0.0500 0.0700 0.0468 0.0118 0.0100 0.0500 0.2522 0.0450 0.0427 0.0086 0.0300 0.0600 0.0482 0.0080 348-AH 0.0000 0.0200 0.0200 0.0200 0.0200 0.0192 0.0040 0.0000 0.0200 0.2083 0.0148 0.0002 0.0015 0.0200 0.0200 0.0200 0.0000 349-AH 0.1600 0.2100 0.2200 0.2425 0.2700 0.2252 0.0283 0.0325 0.1100 0.1257 0.2235 0.2218 0.0219 0.1900 0.2700 0.2279 0.0254 350-AH 0.0900 0.1000 0.1000 0.1000 0.1000 0.0980 0.0041 0.0000 0.0100 0.0417 0.0979 0.0978 0.0032 0.1000 0.1000 0.1000 0.0000 105 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 142-AH 0.0350 0.0400 0.0400 0.0400 0.0400 0.0398 0.0010 0.0000 0.0050 0.0251 0.0398 0.0398 0.0004 0.0400 0.0400 0.0400 0.0000 143-AH 0.1600 0.1800 0.1900 0.1950 0.1950 0.1874 0.0093 0.0150 0.0350 0.0494 0.1872 0.1869 0.0075 0.1600 0.1950 0.1874 0.0093 144-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000 145-AH 0.1300 0.1650 0.1750 0.1800 0.1850 0.1712 0.0133 0.0150 0.0550 0.0774 0.1706 0.1700 0.0090 0.1650 0.1850 0.1746 0.0066 146-AH 0.0050 0.0050 0.0100 0.0100 0.0100 0.0080 0.0025 0.0050 0.0050 0.3125 0.0076 0.0071 0.0024 0.0050 0.0100 0.0080 0.0025 147-AH 0.1450 0.2400 0.2450 0.2550 0.2550 0.2430 0.0214 0.0150 0.1100 0.0881 0.2418 0.2402 0.0102 0.2350 0.2550 0.2471 0.0066 148-AH 0.0050 0.0200 0.0250 0.0300 0.0300 0.0246 0.0061 0.0100 0.0250 0.2484 0.0234 0.0212 0.0045 0.0050 0.0300 0.0246 0.0061 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0300 0.0350 0.0400 0.0500 0.0318 0.0120 0.0100 0.0500 0.3767 0.0176 0.0001 0.0084 0.0150 0.0500 0.0346 0.0075 151-AH 0.0300 0.0387 0.0400 0.0450 0.0500 0.0408 0.0049 0.0063 0.0200 0.1209 0.0405 0.0402 0.0038 0.0300 0.0500 0.0408 0.0049 152-AH 0.0350 0.0450 0.0500 0.0500 0.0550 0.0482 0.0041 0.0050 0.0200 0.0841 0.0480 0.0478 0.0031 0.0450 0.0550 0.0488 0.0030 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0600 0.0750 0.0800 0.0850 0.0950 0.0800 0.0074 0.0100 0.0350 0.0920 0.0797 0.0793 0.0056 0.0700 0.0950 0.0808 0.0062 155-AH 0.0100 0.0137 0.0150 0.0150 0.0150 0.0138 0.0022 0.0012 0.0050 0.1579 0.0136 0.0134 0.0018 0.0150 0.0150 0.0150 0.0000 156-AH 0.0450 0.0675 0.0750 0.0800 0.0900 0.0722 0.0135 0.0125 0.0450 0.1866 0.0708 0.0692 0.0106 0.0500 0.0900 0.0746 0.0112 157-AH 0.1350 0.4437 0.4600 0.4762 0.5950 0.4528 0.0803 0.0325 0.4600 0.1773 0.4415 0.4210 0.0409 0.4250 0.5200 0.4605 0.0224 158-AH 0.0000 0.1175 0.1450 0.1600 0.1650 0.1260 0.0509 0.0425 0.1650 0.4044 0.0450 0.0001 0.0354 0.1000 0.1650 0.1432 0.0197 159-AH 0.1250 0.1800 0.1900 0.2062 0.2550 0.1926 0.0280 0.0262 0.1300 0.1455 0.1905 0.1882 0.0203 0.1600 0.2350 0.1955 0.0181 160-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0094 0.0017 0.0000 0.0050 0.1764 0.0092 0.0089 0.0011 0.0100 0.0100 0.0100 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 163-AH 0.3900 0.5438 0.5650 0.5850 0.5900 0.5556 0.0410 0.0412 0.2000 0.0738 0.5539 0.5519 0.0257 0.5050 0.5900 0.5625 0.0227 164-AH 0.0550 0.0750 0.1100 0.1125 0.1250 0.0974 0.0224 0.0375 0.0700 0.2296 0.0946 0.0916 0.0195 0.0550 0.1250 0.0974 0.0224 165-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0187 0.0200 0.0250 0.0250 0.0198 0.0055 0.0063 0.0250 0.2774 0.0150 0.0002 0.0035 0.0150 0.0250 0.0206 0.0037 168-AH 0.0250 0.0900 0.0900 0.0900 0.0900 0.0864 0.0130 0.0000 0.0650 0.1508 0.0845 0.0806 0.0058 0.0900 0.0900 0.0900 0.0000 169-AH 0.0000 0.0100 0.0150 0.0162 0.0300 0.0134 0.0072 0.0062 0.0300 0.5355 0.0093 0.0002 0.0057 0.0050 0.0250 0.0133 0.0060 170-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 171-AH 0.0050 0.0537 0.0650 0.0713 0.0850 0.0598 0.0188 0.0175 0.0800 0.3142 0.0538 0.0391 0.0135 0.0400 0.0850 0.0641 0.0117 172-AH 0.0200 0.0287 0.0350 0.0350 0.0350 0.0314 0.0047 0.0063 0.0150 0.1491 0.0310 0.0306 0.0040 0.0200 0.0350 0.0314 0.0047 173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 174-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 175-AH 0.0300 0.0350 0.0350 0.0350 0.0350 0.0344 0.0017 0.0000 0.0050 0.0482 0.0344 0.0343 0.0011 0.0350 0.0350 0.0350 0.0000 176-AH 0.1950 0.1950 0.1950 0.1950 0.1950 0.1950 0.0000 0.0000 0.0000 0.0000 0.1950 0.1950 0.0000 0.1950 0.1950 0.1950 0.0000 177-AH 0.0300 0.0500 0.0600 0.0600 0.0650 0.0550 0.0087 0.0100 0.0350 0.1575 0.0542 0.0532 0.0064 0.0450 0.0650 0.0570 0.0056 178-AH 0.0050 0.0100 0.0150 0.0150 0.0200 0.0126 0.0044 0.0050 0.0150 0.3459 0.0118 0.0108 0.0037 0.0050 0.0200 0.0126 0.0044 179-AH 0.0500 0.0888 0.1050 0.1100 0.1100 0.0972 0.0149 0.0212 0.0600 0.1529 0.0959 0.0942 0.0115 0.0750 0.1100 0.0992 0.0114 180-AH 0.0000 0.0888 0.1900 0.2000 0.2000 0.1446 0.0690 0.1113 0.2000 0.4770 0.0870 0.0002 0.0609 0.0000 0.2000 0.1446 0.0690 181-AH 0.4200 0.4400 0.4500 0.4500 0.4550 0.4456 0.0092 0.0100 0.0350 0.0206 0.4455 0.4454 0.0072 0.4300 0.4550 0.4467 0.0076 182-AH 0.0150 0.0200 0.0200 0.0200 0.0200 0.0194 0.0017 0.0000 0.0050 0.0855 0.0193 0.0192 0.0011 0.0200 0.0200 0.0200 0.0000 183-AH 0.0150 0.0200 0.0200 0.0200 0.0200 0.0198 0.0010 0.0000 0.0050 0.0505 0.0198 0.0197 0.0004 0.0200 0.0200 0.0200 0.0000 184-AH 0.0300 0.0400 0.0450 0.0450 0.0450 0.0424 0.0041 0.0050 0.0150 0.0970 0.0422 0.0419 0.0033 0.0350 0.0450 0.0429 0.0033 185-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0048 0.0010 0.0000 0.0050 0.2083 0.0039 0.0002 0.0004 0.0050 0.0050 0.0050 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 188-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0028 0.0025 0.0050 0.0050 0.9047 0.0003 0.0000 0.0025 0.0000 0.0050 0.0028 0.0025 189-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000 190-AH 0.0350 0.0350 0.0350 0.0350 0.0450 0.0358 0.0024 0.0000 0.0100 0.0660 0.0357 0.0357 0.0014 0.0350 0.0350 0.0350 0.0000 106 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0150 0.0250 0.0300 0.0300 0.0300 0.0268 0.0043 0.0050 0.0150 0.1605 0.0264 0.0260 0.0036 0.0200 0.0300 0.0273 0.0036 193-AH 0.0250 0.0300 0.0350 0.0350 0.0350 0.0318 0.0038 0.0050 0.0100 0.1191 0.0316 0.0313 0.0033 0.0250 0.0350 0.0318 0.0038 194-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 197-AH 0.1600 0.2138 0.2400 0.2500 0.2500 0.2290 0.0259 0.0362 0.0900 0.1129 0.2274 0.2257 0.0202 0.1600 0.2500 0.2290 0.0259 198-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 199-AH 0.0450 0.0500 0.0500 0.0500 0.0500 0.0498 0.0010 0.0000 0.0050 0.0201 0.0498 0.0498 0.0004 0.0500 0.0500 0.0500 0.0000 200-AH 0.0000 0.0350 0.0400 0.0450 0.0450 0.0384 0.0091 0.0100 0.0450 0.2369 0.0285 0.0002 0.0054 0.0300 0.0450 0.0400 0.0044 251-AH 0.1050 0.2000 0.2150 0.2313 0.2500 0.2112 0.0333 0.0313 0.1450 0.1577 0.2080 0.2040 0.0237 0.1800 0.2500 0.2187 0.0210 252-AH 0.1050 0.1350 0.1350 0.1400 0.1400 0.1350 0.0079 0.0050 0.0350 0.0586 0.1348 0.1345 0.0048 0.1350 0.1400 0.1379 0.0025 253-AH 0.1900 0.3988 0.4750 0.4850 0.5150 0.4428 0.0724 0.0863 0.3250 0.1634 0.4351 0.4241 0.0524 0.3150 0.5150 0.4533 0.0507 254-AH 0.1650 0.2900 0.3350 0.3800 0.4100 0.3262 0.0633 0.0900 0.2450 0.1942 0.3192 0.3107 0.0492 0.1650 0.4100 0.3262 0.0633 255-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0188 0.0026 0.0000 0.0100 0.1390 0.0186 0.0183 0.0019 0.0200 0.0200 0.0200 0.0000 256-AH 0.0950 0.1538 0.1650 0.1650 0.1700 0.1512 0.0277 0.0113 0.0750 0.1832 0.1482 0.1446 0.0214 0.1500 0.1700 0.1645 0.0054 257-AH 0.1250 0.1800 0.2000 0.2112 0.2200 0.1936 0.0238 0.0312 0.0950 0.1228 0.1920 0.1902 0.0188 0.1400 0.2200 0.1965 0.0194 258-AH 0.0050 0.0100 0.0150 0.0150 0.0200 0.0138 0.0039 0.0050 0.0150 0.2822 0.0132 0.0125 0.0031 0.0050 0.0200 0.0138 0.0039 259-AH 0.0000 0.0100 0.0150 0.0150 0.0150 0.0126 0.0044 0.0050 0.0150 0.3459 0.0076 0.0001 0.0033 0.0100 0.0150 0.0137 0.0022 260-AH 0.2350 0.2700 0.2900 0.2950 0.3100 0.2858 0.0173 0.0250 0.0750 0.0605 0.2853 0.2847 0.0134 0.2350 0.3100 0.2858 0.0173 261-AH 0.0050 0.0425 0.0600 0.0950 0.1100 0.0628 0.0284 0.0525 0.1050 0.4516 0.0538 0.0380 0.0229 0.0050 0.1100 0.0628 0.0284 262-AH 0.0750 0.1725 0.2350 0.2662 0.2800 0.2156 0.0618 0.0937 0.2050 0.2867 0.2042 0.1891 0.0509 0.0750 0.2800 0.2156 0.0618 263-AH 0.0500 0.1350 0.1550 0.1650 0.1800 0.1494 0.0264 0.0300 0.1300 0.1764 0.1460 0.1403 0.0176 0.1150 0.1800 0.1535 0.0166 264-AH 0.0850 0.0850 0.0900 0.1000 0.1050 0.0922 0.0075 0.0150 0.0200 0.0815 0.0919 0.0916 0.0069 0.0850 0.1050 0.0922 0.0075 265-AH 0.0150 0.0287 0.0300 0.0300 0.0300 0.0284 0.0035 0.0012 0.0150 0.1216 0.0281 0.0278 0.0024 0.0300 0.0300 0.0300 0.0000 266-AH 0.0000 0.0050 0.0100 0.0200 0.0200 0.0126 0.0069 0.0150 0.0200 0.5508 0.0085 0.0002 0.0063 0.0000 0.0200 0.0126 0.0069 267-AH 0.0650 0.0750 0.0800 0.0850 0.0950 0.0808 0.0064 0.0100 0.0300 0.0792 0.0806 0.0803 0.0050 0.0650 0.0950 0.0808 0.0064 268-AH 0.0100 0.0100 0.0150 0.0150 0.0150 0.0134 0.0024 0.0050 0.0050 0.1776 0.0132 0.0129 0.0022 0.0100 0.0150 0.0134 0.0024 269-AH 0.0300 0.0350 0.0400 0.0400 0.0400 0.0378 0.0033 0.0050 0.0100 0.0861 0.0377 0.0375 0.0028 0.0300 0.0400 0.0378 0.0033 270-AH 0.0250 0.2600 0.2650 0.2750 0.2800 0.2530 0.0520 0.0150 0.2550 0.2054 0.2380 0.1890 0.0258 0.2450 0.2800 0.2665 0.0088 271-AH 0.0150 0.0925 0.1100 0.1150 0.1200 0.0954 0.0345 0.0225 0.1050 0.3618 0.0827 0.0600 0.0258 0.0750 0.1200 0.1093 0.0114 272-AH 0.0100 0.0475 0.0600 0.0650 0.0650 0.0530 0.0161 0.0175 0.0550 0.3045 0.0490 0.0423 0.0126 0.0400 0.0650 0.0580 0.0090 273-AH 0.2550 0.3225 0.3450 0.3638 0.4000 0.3438 0.0343 0.0413 0.1450 0.0997 0.3421 0.3402 0.0257 0.2950 0.4000 0.3475 0.0295 274-AH 0.0200 0.0587 0.0700 0.0800 0.0800 0.0660 0.0157 0.0212 0.0600 0.2386 0.0634 0.0596 0.0121 0.0350 0.0800 0.0679 0.0128 275-AH 0.1100 0.2150 0.2400 0.2763 0.2950 0.2326 0.0540 0.0613 0.1850 0.2324 0.2250 0.2155 0.0415 0.1400 0.2950 0.2433 0.0412 276-AH 0.1800 0.2438 0.2550 0.2800 0.2900 0.2546 0.0280 0.0362 0.1100 0.1101 0.2530 0.2512 0.0213 0.2000 0.2900 0.2577 0.0238 277-AH 0.0450 0.0750 0.0800 0.0900 0.0900 0.0800 0.0108 0.0150 0.0450 0.1350 0.0792 0.0781 0.0076 0.0600 0.0900 0.0815 0.0081 278-AH 0.0350 0.0637 0.0900 0.0950 0.1000 0.0784 0.0207 0.0313 0.0650 0.2634 0.0752 0.0712 0.0179 0.0350 0.1000 0.0784 0.0207 279-AH 0.0100 0.0150 0.0200 0.0200 0.0200 0.0172 0.0036 0.0050 0.0100 0.2069 0.0168 0.0163 0.0031 0.0100 0.0200 0.0172 0.0036 280-AH 0.0000 0.0387 0.0600 0.0700 0.0900 0.0542 0.0230 0.0313 0.0900 0.4250 0.0368 0.0002 0.0185 0.0000 0.0900 0.0542 0.0230 281-AH 0.1450 0.1800 0.1800 0.1850 0.1900 0.1780 0.0107 0.0050 0.0450 0.0601 0.1777 0.1773 0.0064 0.1750 0.1900 0.1814 0.0035 282-AH 0.0000 0.0738 0.0800 0.1000 0.1100 0.0798 0.0275 0.0262 0.1100 0.3444 0.0541 0.0002 0.0190 0.0450 0.1100 0.0863 0.0164 283-AH 0.0500 0.1113 0.1300 0.1487 0.1750 0.1270 0.0341 0.0375 0.1250 0.2687 0.1217 0.1153 0.0262 0.0600 0.1750 0.1302 0.0308 284-AH 0.1550 0.1900 0.1900 0.1900 0.1900 0.1886 0.0070 0.0000 0.0350 0.0371 0.1885 0.1883 0.0027 0.1900 0.1900 0.1900 0.0000 285-AH 0.2450 0.3088 0.3200 0.3250 0.3350 0.3090 0.0264 0.0162 0.0900 0.0854 0.3078 0.3066 0.0199 0.3050 0.3350 0.3212 0.0086 286-AH 0.0050 0.0150 0.0250 0.0300 0.0350 0.0242 0.0080 0.0150 0.0300 0.3304 0.0225 0.0200 0.0066 0.0050 0.0350 0.0242 0.0080 287-AH 0.0950 0.1925 0.2100 0.2200 0.2250 0.1998 0.0277 0.0275 0.1300 0.1385 0.1973 0.1938 0.0187 0.1600 0.2250 0.2042 0.0174 288-AH 0.0400 0.1600 0.1850 0.2062 0.2500 0.1756 0.0440 0.0463 0.2100 0.2508 0.1675 0.1536 0.0326 0.1050 0.2500 0.1812 0.0345 289-AH 0.0200 0.0850 0.0900 0.0900 0.0900 0.0848 0.0139 0.0050 0.0700 0.1637 0.0824 0.0770 0.0060 0.0800 0.0900 0.0875 0.0033 290-AH 0.0850 0.1488 0.1800 0.1912 0.2150 0.1676 0.0348 0.0425 0.1300 0.2078 0.1633 0.1580 0.0273 0.1200 0.2150 0.1748 0.0255 107 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1000 0.1100 0.1200 0.1312 0.1350 0.1204 0.0114 0.0212 0.0350 0.0951 0.1199 0.1193 0.0100 0.1000 0.1350 0.1204 0.0114 292-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0196 0.0020 0.0000 0.0100 0.1020 0.0195 0.0192 0.0008 0.0200 0.0200 0.0200 0.0000 293-AH 0.0150 0.1638 0.1700 0.1700 0.1700 0.1604 0.0308 0.0062 0.1550 0.1921 0.1511 0.1185 0.0134 0.1550 0.1700 0.1665 0.0058 294-AH 0.1150 0.1350 0.1350 0.1350 0.1350 0.1342 0.0040 0.0000 0.0200 0.0298 0.1341 0.1341 0.0015 0.1350 0.1350 0.1350 0.0000 295-AH 0.0950 0.1350 0.1850 0.1950 0.2050 0.1620 0.0388 0.0600 0.1100 0.2396 0.1569 0.1511 0.0342 0.0950 0.2050 0.1620 0.0388 296-AH 0.0100 0.1175 0.1200 0.1200 0.1200 0.1126 0.0227 0.0025 0.1100 0.2015 0.1057 0.0816 0.0112 0.1200 0.1200 0.1200 0.0000 297-AH 0.0200 0.0337 0.0450 0.0450 0.0550 0.0396 0.0099 0.0113 0.0350 0.2497 0.0383 0.0368 0.0084 0.0200 0.0550 0.0396 0.0099 298-AH 0.0650 0.1000 0.1050 0.1050 0.1150 0.1016 0.0099 0.0050 0.0500 0.0971 0.1011 0.1004 0.0063 0.0950 0.1100 0.1020 0.0041 299-AH 0.1850 0.2188 0.2250 0.2625 0.3100 0.2402 0.0360 0.0437 0.1250 0.1497 0.2378 0.2354 0.0295 0.1850 0.3100 0.2402 0.0360 300-AH 0.1000 0.1650 0.1800 0.1850 0.1950 0.1724 0.0207 0.0200 0.0950 0.1202 0.1710 0.1692 0.0147 0.1450 0.1950 0.1754 0.0145 301-AH 0.0000 0.0200 0.0200 0.0500 0.0700 0.0298 0.0196 0.0300 0.0700 0.6579 0.0189 0.0002 0.0169 0.0000 0.0700 0.0298 0.0196 302-AH 0.0200 0.0800 0.0800 0.0850 0.0850 0.0768 0.0168 0.0050 0.0650 0.2191 0.0736 0.0678 0.0102 0.0750 0.0850 0.0825 0.0030 303-AH 0.0300 0.0500 0.0550 0.0550 0.0600 0.0522 0.0068 0.0050 0.0300 0.1299 0.0517 0.0511 0.0050 0.0450 0.0600 0.0537 0.0043 304-AH 0.0300 0.0387 0.0400 0.0600 0.0600 0.0458 0.0104 0.0212 0.0300 0.2266 0.0447 0.0437 0.0090 0.0300 0.0600 0.0458 0.0104 305-AH 0.1450 0.1650 0.2100 0.2275 0.2800 0.2012 0.0367 0.0625 0.1350 0.1822 0.1980 0.1947 0.0315 0.1450 0.2800 0.2012 0.0367 306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 307-AH 0.0750 0.2000 0.2500 0.2800 0.3050 0.2300 0.0651 0.0800 0.2300 0.2830 0.2178 0.2011 0.0516 0.0950 0.3050 0.2365 0.0577 308-AH 0.0400 0.0500 0.0500 0.0500 0.0500 0.0492 0.0024 0.0000 0.0100 0.0480 0.0491 0.0491 0.0014 0.0500 0.0500 0.0500 0.0000 309-AH 0.0100 0.0300 0.0350 0.0400 0.0400 0.0346 0.0071 0.0100 0.0300 0.2040 0.0335 0.0317 0.0050 0.0250 0.0400 0.0356 0.0050 310-AH 0.0400 0.0963 0.1250 0.1300 0.2100 0.1160 0.0355 0.0337 0.1700 0.3063 0.1096 0.1011 0.0247 0.0750 0.1600 0.1186 0.0216 311-AH 0.1050 0.1775 0.1950 0.2100 0.2250 0.1884 0.0306 0.0325 0.1200 0.1626 0.1855 0.1820 0.0234 0.1550 0.2250 0.1952 0.0204 312-AH 0.0650 0.1388 0.1500 0.1500 0.1500 0.1362 0.0242 0.0113 0.0850 0.1777 0.1335 0.1300 0.0182 0.1350 0.1500 0.1475 0.0041 313-AH 0.0050 0.0200 0.0300 0.0500 0.0650 0.0338 0.0187 0.0300 0.0600 0.5523 0.0276 0.0202 0.0156 0.0050 0.0650 0.0338 0.0187 314-AH 0.0250 0.0637 0.0650 0.0700 0.0800 0.0632 0.0122 0.0063 0.0550 0.1936 0.0616 0.0594 0.0079 0.0550 0.0750 0.0655 0.0051 315-AH 0.0850 0.1338 0.1700 0.2350 0.2650 0.1782 0.0576 0.1012 0.1800 0.3230 0.1684 0.1581 0.0509 0.0850 0.2650 0.1782 0.0576 316-AH 0.0250 0.0850 0.1800 0.2325 0.2750 0.1606 0.0836 0.1475 0.2500 0.5208 0.1320 0.0993 0.0753 0.0250 0.2750 0.1606 0.0836 317-AH 0.0450 0.0888 0.1000 0.1100 0.1150 0.0974 0.0158 0.0212 0.0700 0.1617 0.0958 0.0938 0.0117 0.0800 0.1150 0.0996 0.0116 318-AH 0.0250 0.0450 0.0450 0.0450 0.0450 0.0434 0.0043 0.0000 0.0200 0.0982 0.0431 0.0428 0.0026 0.0450 0.0450 0.0450 0.0000 319-AH 0.0400 0.0600 0.0700 0.0763 0.0800 0.0674 0.0126 0.0163 0.0400 0.1868 0.0661 0.0645 0.0101 0.0400 0.0800 0.0674 0.0126 320-AH 0.0050 0.0150 0.0250 0.0300 0.0350 0.0226 0.0078 0.0150 0.0300 0.3446 0.0209 0.0187 0.0065 0.0050 0.0350 0.0226 0.0078 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0150 0.0250 0.0350 0.0400 0.0400 0.0318 0.0072 0.0150 0.0250 0.2264 0.0309 0.0299 0.0061 0.0150 0.0400 0.0318 0.0072 323-AH 0.0350 0.0637 0.0700 0.0812 0.0900 0.0716 0.0126 0.0175 0.0550 0.1754 0.0704 0.0689 0.0098 0.0600 0.0900 0.0731 0.0102 324-AH 0.0600 0.1388 0.2450 0.3013 0.3400 0.2268 0.0851 0.1625 0.2800 0.3754 0.2078 0.1853 0.0749 0.0600 0.3400 0.2268 0.0851 325-AH 0.2050 0.2688 0.2800 0.2950 0.2950 0.2752 0.0217 0.0262 0.0900 0.0789 0.2743 0.2733 0.0154 0.2300 0.2950 0.2781 0.0164 326-AH 0.0050 0.0150 0.0150 0.0150 0.0200 0.0136 0.0037 0.0000 0.0150 0.2710 0.0129 0.0118 0.0026 0.0150 0.0150 0.0150 0.0000 327-AH 0.0000 0.0200 0.0200 0.0200 0.0200 0.0188 0.0042 0.0000 0.0200 0.2209 0.0144 0.0002 0.0021 0.0200 0.0200 0.0200 0.0000 328-AH 0.1050 0.1150 0.1150 0.1150 0.1150 0.1136 0.0031 0.0000 0.0100 0.0270 0.1136 0.1135 0.0022 0.1150 0.1150 0.1150 0.0000 329-AH 0.0850 0.0850 0.0850 0.0850 0.0850 0.0850 0.0000 0.0000 0.0000 0.0000 0.0850 0.0850 0.0000 0.0850 0.0850 0.0850 0.0000 330-AH 0.1600 0.2450 0.2550 0.2550 0.2550 0.2434 0.0214 0.0100 0.0950 0.0881 0.2423 0.2410 0.0142 0.2450 0.2550 0.2522 0.0041 331-AH 0.0450 0.0850 0.0850 0.0850 0.0850 0.0822 0.0088 0.0000 0.0400 0.1069 0.0816 0.0807 0.0047 0.0850 0.0850 0.0850 0.0000 332-AH 0.0050 0.0400 0.0400 0.0400 0.0400 0.0386 0.0070 0.0000 0.0350 0.1813 0.0368 0.0312 0.0027 0.0400 0.0400 0.0400 0.0000 333-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000 334-AH 0.0100 0.0200 0.0250 0.0250 0.0250 0.0222 0.0036 0.0050 0.0150 0.1603 0.0218 0.0214 0.0029 0.0200 0.0250 0.0227 0.0025 335-AH 0.0300 0.0537 0.0550 0.0600 0.0650 0.0556 0.0077 0.0062 0.0350 0.1382 0.0550 0.0542 0.0054 0.0450 0.0650 0.0567 0.0056 336-AH 0.0000 0.0275 0.0450 0.0500 0.0750 0.0372 0.0205 0.0225 0.0750 0.5516 0.0230 0.0002 0.0167 0.0000 0.0750 0.0372 0.0205 337-AH 0.0850 0.0950 0.1000 0.1000 0.1000 0.0976 0.0041 0.0050 0.0150 0.0421 0.0975 0.0974 0.0033 0.0900 0.1000 0.0981 0.0032 338-AH 0.0400 0.0500 0.0500 0.0500 0.0500 0.0490 0.0029 0.0000 0.0100 0.0589 0.0489 0.0488 0.0018 0.0500 0.0500 0.0500 0.0000 339-AH 0.0850 0.0950 0.0950 0.0950 0.0950 0.0944 0.0022 0.0000 0.0100 0.0233 0.0944 0.0943 0.0011 0.0950 0.0950 0.0950 0.0000 340-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000 108 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0250 0.0300 0.0300 0.0300 0.0300 0.0290 0.0020 0.0000 0.0050 0.0704 0.0289 0.0288 0.0016 0.0300 0.0300 0.0300 0.0000 342-AH 0.2200 0.3875 0.4700 0.4700 0.4750 0.4258 0.0712 0.0825 0.2550 0.1671 0.4184 0.4087 0.0534 0.3550 0.4750 0.4430 0.0404 343-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0046 0.0014 0.0000 0.0050 0.3010 0.0030 0.0001 0.0007 0.0050 0.0050 0.0050 0.0000 344-AH 0.1200 0.1300 0.1450 0.1550 0.1550 0.1422 0.0123 0.0250 0.0350 0.0862 0.1417 0.1412 0.0111 0.1200 0.1550 0.1422 0.0123 345-AH 0.0250 0.0350 0.0450 0.0450 0.0450 0.0406 0.0062 0.0100 0.0200 0.1522 0.0401 0.0395 0.0053 0.0250 0.0450 0.0406 0.0062 346-AH 0.0300 0.0400 0.0450 0.0500 0.0550 0.0452 0.0059 0.0100 0.0250 0.1296 0.0448 0.0444 0.0043 0.0300 0.0550 0.0452 0.0059 347-AH 0.0300 0.0300 0.0350 0.0350 0.0350 0.0334 0.0024 0.0050 0.0050 0.0713 0.0333 0.0332 0.0022 0.0300 0.0350 0.0334 0.0024 348-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0096 0.0020 0.0000 0.0100 0.2083 0.0076 0.0002 0.0008 0.0100 0.0100 0.0100 0.0000 349-AH 0.1150 0.1250 0.1300 0.1350 0.1350 0.1296 0.0059 0.0100 0.0200 0.0458 0.1295 0.1293 0.0046 0.1150 0.1350 0.1296 0.0059 350-AH 0.0450 0.0500 0.0500 0.0500 0.0500 0.0490 0.0020 0.0000 0.0050 0.0417 0.0490 0.0489 0.0016 0.0500 0.0500 0.0500 0.0000 109 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 142-AH 0.0140 0.0160 0.0160 0.0160 0.0160 0.0159 0.0004 0.0000 0.0020 0.0251 0.0159 0.0159 0.0002 0.0160 0.0160 0.0160 0.0000 143-AH 0.0720 0.0780 0.0780 0.0780 0.0780 0.0775 0.0013 0.0000 0.0060 0.0171 0.0775 0.0775 0.0008 0.0780 0.0780 0.0780 0.0000 144-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000 145-AH 0.0660 0.0720 0.0740 0.0740 0.0740 0.0727 0.0021 0.0020 0.0080 0.0285 0.0727 0.0727 0.0015 0.0700 0.0740 0.0732 0.0012 146-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0038 0.0006 0.0000 0.0020 0.1442 0.0038 0.0037 0.0003 0.0040 0.0040 0.0040 0.0000 147-AH 0.0860 0.0980 0.1020 0.1020 0.1020 0.0998 0.0036 0.0040 0.0160 0.0365 0.0998 0.0997 0.0026 0.0960 0.1020 0.1004 0.0023 148-AH 0.0060 0.0115 0.0120 0.0120 0.0120 0.0112 0.0016 0.0005 0.0060 0.1458 0.0111 0.0109 0.0012 0.0120 0.0120 0.0120 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0020 0.0140 0.0160 0.0180 0.0200 0.0154 0.0043 0.0040 0.0180 0.2786 0.0142 0.0115 0.0027 0.0140 0.0200 0.0165 0.0022 151-AH 0.0140 0.0180 0.0180 0.0180 0.0200 0.0179 0.0012 0.0000 0.0060 0.0682 0.0179 0.0178 0.0006 0.0180 0.0180 0.0180 0.0000 152-AH 0.0180 0.0200 0.0200 0.0220 0.0220 0.0207 0.0011 0.0020 0.0040 0.0549 0.0207 0.0207 0.0010 0.0180 0.0220 0.0207 0.0011 153-AH 0.0000 0.0000 0.0000 0.0000 0.0020 0.0003 0.0007 0.0000 0.0020 2.3385 0.0000 0.0000 0.0005 0.0000 0.0000 0.0000 0.0000 154-AH 0.0320 0.0380 0.0400 0.0400 0.0400 0.0386 0.0021 0.0020 0.0080 0.0553 0.0386 0.0385 0.0016 0.0360 0.0400 0.0391 0.0013 155-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000 156-AH 0.0240 0.0350 0.0380 0.0380 0.0400 0.0354 0.0045 0.0030 0.0160 0.1283 0.0350 0.0347 0.0035 0.0320 0.0400 0.0374 0.0018 157-AH 0.0920 0.2340 0.2400 0.2660 0.2700 0.2402 0.0359 0.0320 0.1780 0.1493 0.2362 0.2296 0.0197 0.1960 0.2700 0.2463 0.0186 158-AH 0.0020 0.0595 0.0660 0.0680 0.0680 0.0567 0.0212 0.0085 0.0660 0.3738 0.0422 0.0135 0.0140 0.0580 0.0680 0.0650 0.0034 159-AH 0.0700 0.0920 0.0940 0.0960 0.1040 0.0934 0.0066 0.0040 0.0340 0.0703 0.0932 0.0929 0.0041 0.0900 0.1020 0.0940 0.0029 160-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 163-AH 0.2100 0.2395 0.2420 0.2420 0.2420 0.2392 0.0064 0.0025 0.0320 0.0269 0.2391 0.2390 0.0033 0.2360 0.2420 0.2404 0.0021 164-AH 0.0320 0.0480 0.0500 0.0520 0.0540 0.0487 0.0054 0.0040 0.0220 0.1098 0.0484 0.0480 0.0034 0.0440 0.0540 0.0501 0.0026 165-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0095 0.0100 0.0100 0.0100 0.0092 0.0021 0.0005 0.0100 0.2263 0.0073 0.0002 0.0012 0.0100 0.0100 0.0100 0.0000 168-AH 0.0160 0.0360 0.0360 0.0360 0.0360 0.0352 0.0040 0.0000 0.0200 0.1136 0.0349 0.0343 0.0015 0.0360 0.0360 0.0360 0.0000 169-AH 0.0020 0.0055 0.0060 0.0080 0.0120 0.0063 0.0029 0.0025 0.0100 0.4538 0.0056 0.0048 0.0021 0.0020 0.0100 0.0058 0.0024 170-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 171-AH 0.0040 0.0295 0.0340 0.0360 0.0380 0.0312 0.0077 0.0065 0.0340 0.2462 0.0292 0.0242 0.0048 0.0280 0.0380 0.0332 0.0031 172-AH 0.0100 0.0135 0.0140 0.0140 0.0140 0.0134 0.0013 0.0005 0.0040 0.0939 0.0133 0.0132 0.0010 0.0140 0.0140 0.0140 0.0000 173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 174-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 175-AH 0.0120 0.0140 0.0140 0.0140 0.0140 0.0138 0.0007 0.0000 0.0020 0.0482 0.0137 0.0137 0.0004 0.0140 0.0140 0.0140 0.0000 176-AH 0.0780 0.0780 0.0780 0.0780 0.0780 0.0780 0.0000 0.0000 0.0000 0.0000 0.0780 0.0780 0.0000 0.0780 0.0780 0.0780 0.0000 177-AH 0.0200 0.0240 0.0260 0.0260 0.0260 0.0247 0.0022 0.0020 0.0060 0.0901 0.0246 0.0245 0.0017 0.0240 0.0260 0.0256 0.0008 178-AH 0.0040 0.0055 0.0060 0.0065 0.0080 0.0060 0.0014 0.0010 0.0040 0.2357 0.0058 0.0057 0.0010 0.0040 0.0060 0.0054 0.0010 179-AH 0.0280 0.0400 0.0420 0.0440 0.0440 0.0416 0.0035 0.0040 0.0160 0.0844 0.0414 0.0412 0.0023 0.0380 0.0440 0.0422 0.0021 180-AH 0.0120 0.0635 0.0800 0.0800 0.0800 0.0678 0.0197 0.0165 0.0680 0.2902 0.0627 0.0532 0.0145 0.0560 0.0800 0.0741 0.0089 181-AH 0.1800 0.1800 0.1820 0.1820 0.1840 0.1814 0.0011 0.0020 0.0040 0.0061 0.1814 0.1814 0.0010 0.1800 0.1840 0.1814 0.0011 182-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0078 0.0007 0.0000 0.0020 0.0855 0.0077 0.0077 0.0004 0.0080 0.0080 0.0080 0.0000 183-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000 184-AH 0.0160 0.0180 0.0180 0.0180 0.0180 0.0178 0.0007 0.0000 0.0020 0.0373 0.0177 0.0177 0.0004 0.0180 0.0180 0.0180 0.0000 185-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 188-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0014 0.0009 0.0020 0.0020 0.6365 0.0005 0.0000 0.0008 0.0000 0.0020 0.0014 0.0009 189-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000 190-AH 0.0140 0.0140 0.0140 0.0145 0.0180 0.0147 0.0014 0.0005 0.0040 0.0951 0.0147 0.0146 0.0011 0.0140 0.0140 0.0140 0.0000 110 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0080 0.0120 0.0120 0.0120 0.0120 0.0115 0.0010 0.0000 0.0040 0.0908 0.0115 0.0114 0.0008 0.0120 0.0120 0.0120 0.0000 193-AH 0.0100 0.0135 0.0140 0.0140 0.0140 0.0134 0.0011 0.0005 0.0040 0.0806 0.0134 0.0133 0.0009 0.0140 0.0140 0.0140 0.0000 194-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 197-AH 0.0760 0.0995 0.1000 0.1000 0.1000 0.0981 0.0052 0.0005 0.0240 0.0535 0.0979 0.0978 0.0029 0.1000 0.1000 0.1000 0.0000 198-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 199-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 200-AH 0.0020 0.0160 0.0160 0.0180 0.0180 0.0161 0.0032 0.0020 0.0160 0.2015 0.0153 0.0128 0.0017 0.0140 0.0180 0.0167 0.0014 251-AH 0.0580 0.0935 0.1020 0.1060 0.1180 0.0989 0.0125 0.0125 0.0600 0.1259 0.0980 0.0969 0.0089 0.0900 0.1180 0.1017 0.0075 252-AH 0.0480 0.0580 0.0580 0.0580 0.0580 0.0574 0.0020 0.0000 0.0100 0.0356 0.0574 0.0574 0.0010 0.0580 0.0580 0.0580 0.0000 253-AH 0.1200 0.2390 0.2600 0.2685 0.2800 0.2485 0.0347 0.0295 0.1600 0.1398 0.2454 0.2411 0.0243 0.2080 0.2800 0.2538 0.0226 254-AH 0.1180 0.2300 0.2400 0.2600 0.2820 0.2384 0.0362 0.0300 0.1640 0.1520 0.2351 0.2309 0.0240 0.1880 0.2820 0.2434 0.0267 255-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0078 0.0007 0.0000 0.0020 0.0855 0.0077 0.0077 0.0004 0.0080 0.0080 0.0080 0.0000 256-AH 0.0380 0.0615 0.0660 0.0680 0.0680 0.0614 0.0109 0.0065 0.0300 0.1767 0.0603 0.0589 0.0081 0.0560 0.0680 0.0659 0.0033 257-AH 0.0800 0.1005 0.1040 0.1085 0.1160 0.1034 0.0079 0.0080 0.0360 0.0767 0.1030 0.1027 0.0056 0.0900 0.1160 0.1043 0.0064 258-AH 0.0020 0.0060 0.0080 0.0080 0.0080 0.0066 0.0018 0.0020 0.0060 0.2716 0.0062 0.0058 0.0015 0.0040 0.0080 0.0068 0.0015 259-AH 0.0020 0.0060 0.0060 0.0060 0.0060 0.0055 0.0010 0.0000 0.0040 0.1894 0.0054 0.0052 0.0008 0.0060 0.0060 0.0060 0.0000 260-AH 0.1120 0.1195 0.1240 0.1240 0.1240 0.1215 0.0037 0.0045 0.0120 0.0302 0.1215 0.1214 0.0031 0.1160 0.1240 0.1219 0.0031 261-AH 0.0020 0.0215 0.0280 0.0420 0.0480 0.0303 0.0127 0.0205 0.0460 0.4201 0.0260 0.0172 0.0103 0.0020 0.0480 0.0303 0.0127 262-AH 0.0480 0.0995 0.1300 0.1380 0.1440 0.1152 0.0297 0.0385 0.0960 0.2580 0.1104 0.1041 0.0242 0.0480 0.1440 0.1152 0.0297 263-AH 0.0460 0.0720 0.0840 0.0900 0.0940 0.0814 0.0117 0.0180 0.0480 0.1438 0.0804 0.0793 0.0092 0.0460 0.0940 0.0814 0.0117 264-AH 0.0360 0.0400 0.0420 0.0420 0.0440 0.0410 0.0021 0.0020 0.0080 0.0511 0.0409 0.0409 0.0017 0.0380 0.0440 0.0412 0.0019 265-AH 0.0080 0.0120 0.0120 0.0120 0.0120 0.0115 0.0010 0.0000 0.0040 0.0908 0.0115 0.0114 0.0008 0.0120 0.0120 0.0120 0.0000 266-AH 0.0020 0.0040 0.0060 0.0080 0.0080 0.0058 0.0023 0.0040 0.0060 0.3923 0.0052 0.0047 0.0020 0.0020 0.0080 0.0058 0.0023 267-AH 0.0340 0.0375 0.0380 0.0400 0.0420 0.0386 0.0026 0.0025 0.0080 0.0662 0.0385 0.0384 0.0021 0.0340 0.0420 0.0386 0.0026 268-AH 0.0040 0.0060 0.0060 0.0060 0.0060 0.0056 0.0008 0.0000 0.0020 0.1458 0.0055 0.0055 0.0006 0.0060 0.0060 0.0060 0.0000 269-AH 0.0140 0.0160 0.0160 0.0160 0.0160 0.0159 0.0004 0.0000 0.0020 0.0251 0.0159 0.0159 0.0002 0.0160 0.0160 0.0160 0.0000 270-AH 0.0200 0.1115 0.1120 0.1140 0.1140 0.1082 0.0186 0.0025 0.0940 0.1724 0.1043 0.0944 0.0079 0.1100 0.1140 0.1124 0.0015 271-AH 0.0080 0.0440 0.0460 0.0480 0.0480 0.0408 0.0128 0.0040 0.0400 0.3148 0.0370 0.0301 0.0091 0.0380 0.0480 0.0461 0.0023 272-AH 0.0100 0.0220 0.0260 0.0260 0.0280 0.0236 0.0048 0.0040 0.0180 0.2032 0.0229 0.0220 0.0034 0.0220 0.0280 0.0252 0.0020 273-AH 0.1200 0.1485 0.1560 0.1610 0.1660 0.1534 0.0117 0.0125 0.0460 0.0764 0.1529 0.1524 0.0087 0.1340 0.1660 0.1548 0.0096 274-AH 0.0100 0.0295 0.0320 0.0320 0.0320 0.0294 0.0051 0.0025 0.0220 0.1734 0.0287 0.0276 0.0032 0.0280 0.0320 0.0310 0.0015 275-AH 0.0620 0.1055 0.1160 0.1205 0.1240 0.1097 0.0175 0.0150 0.0620 0.1598 0.1080 0.1059 0.0128 0.0900 0.1240 0.1152 0.0087 276-AH 0.0960 0.1130 0.1160 0.1180 0.1180 0.1138 0.0062 0.0050 0.0220 0.0547 0.1136 0.1134 0.0045 0.1080 0.1180 0.1157 0.0031 277-AH 0.0220 0.0315 0.0340 0.0380 0.0440 0.0345 0.0046 0.0065 0.0220 0.1321 0.0342 0.0338 0.0034 0.0220 0.0440 0.0345 0.0046 278-AH 0.0140 0.0300 0.0400 0.0420 0.0420 0.0362 0.0073 0.0120 0.0280 0.2032 0.0352 0.0339 0.0062 0.0140 0.0420 0.0362 0.0073 279-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0078 0.0006 0.0000 0.0020 0.0706 0.0078 0.0078 0.0003 0.0080 0.0080 0.0080 0.0000 280-AH 0.0020 0.0280 0.0320 0.0400 0.0440 0.0327 0.0101 0.0120 0.0420 0.3076 0.0292 0.0193 0.0070 0.0260 0.0440 0.0351 0.0058 281-AH 0.0700 0.0820 0.0840 0.0840 0.0840 0.0825 0.0030 0.0020 0.0140 0.0366 0.0824 0.0824 0.0019 0.0800 0.0840 0.0830 0.0016 282-AH 0.0000 0.0400 0.0460 0.0545 0.0560 0.0442 0.0133 0.0145 0.0560 0.3010 0.0320 0.0002 0.0098 0.0360 0.0560 0.0472 0.0079 283-AH 0.0260 0.0600 0.0620 0.0660 0.0700 0.0611 0.0097 0.0060 0.0440 0.1584 0.0601 0.0585 0.0058 0.0540 0.0700 0.0636 0.0044 284-AH 0.0760 0.0760 0.0760 0.0760 0.0760 0.0760 0.0000 0.0000 0.0000 0.0000 0.0760 0.0760 0.0000 0.0760 0.0760 0.0760 0.0000 285-AH 0.1160 0.1260 0.1360 0.1365 0.1380 0.1317 0.0066 0.0105 0.0220 0.0499 0.1315 0.1314 0.0055 0.1160 0.1380 0.1317 0.0066 286-AH 0.0020 0.0100 0.0140 0.0160 0.0180 0.0128 0.0040 0.0060 0.0160 0.3157 0.0119 0.0101 0.0032 0.0020 0.0180 0.0128 0.0040 287-AH 0.0520 0.0875 0.0920 0.0940 0.0960 0.0892 0.0087 0.0065 0.0440 0.0977 0.0887 0.0880 0.0050 0.0780 0.0960 0.0908 0.0041 288-AH 0.0620 0.0875 0.0960 0.1060 0.1300 0.0975 0.0176 0.0185 0.0680 0.1801 0.0959 0.0943 0.0139 0.0620 0.1300 0.0975 0.0176 289-AH 0.0180 0.0340 0.0360 0.0360 0.0360 0.0347 0.0036 0.0020 0.0180 0.1050 0.0345 0.0341 0.0018 0.0320 0.0360 0.0354 0.0011 290-AH 0.0720 0.0820 0.0920 0.0940 0.0980 0.0890 0.0073 0.0120 0.0260 0.0820 0.0887 0.0884 0.0062 0.0720 0.0980 0.0890 0.0073 111 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0440 0.0540 0.0540 0.0560 0.0580 0.0537 0.0030 0.0020 0.0140 0.0566 0.0536 0.0535 0.0020 0.0520 0.0580 0.0546 0.0014 292-AH 0.0040 0.0080 0.0080 0.0080 0.0080 0.0078 0.0008 0.0000 0.0040 0.1020 0.0078 0.0077 0.0003 0.0080 0.0080 0.0080 0.0000 293-AH 0.0080 0.0680 0.0680 0.0680 0.0680 0.0654 0.0120 0.0000 0.0600 0.1833 0.0622 0.0522 0.0047 0.0680 0.0680 0.0680 0.0000 294-AH 0.0540 0.0540 0.0540 0.0540 0.0540 0.0540 0.0000 0.0000 0.0000 0.0000 0.0540 0.0540 0.0000 0.0540 0.0540 0.0540 0.0000 295-AH 0.0400 0.0640 0.0800 0.0880 0.1000 0.0730 0.0176 0.0240 0.0600 0.2413 0.0706 0.0678 0.0148 0.0400 0.1000 0.0730 0.0176 296-AH 0.0060 0.0480 0.0480 0.0480 0.0480 0.0458 0.0086 0.0000 0.0420 0.1885 0.0437 0.0371 0.0040 0.0480 0.0480 0.0480 0.0000 297-AH 0.0120 0.0180 0.0200 0.0220 0.0240 0.0198 0.0032 0.0040 0.0120 0.1609 0.0195 0.0191 0.0023 0.0120 0.0240 0.0198 0.0032 298-AH 0.0420 0.0520 0.0540 0.0560 0.0580 0.0523 0.0043 0.0040 0.0160 0.0823 0.0521 0.0519 0.0032 0.0460 0.0580 0.0531 0.0034 299-AH 0.1180 0.1335 0.1380 0.1420 0.1480 0.1364 0.0074 0.0085 0.0300 0.0542 0.1362 0.1360 0.0055 0.1220 0.1480 0.1372 0.0065 300-AH 0.0680 0.0800 0.0820 0.0840 0.0840 0.0816 0.0034 0.0040 0.0160 0.0413 0.0815 0.0814 0.0021 0.0780 0.0840 0.0822 0.0019 301-AH 0.0040 0.0080 0.0080 0.0260 0.0300 0.0144 0.0091 0.0180 0.0260 0.6352 0.0120 0.0103 0.0082 0.0040 0.0300 0.0144 0.0091 302-AH 0.0160 0.0320 0.0340 0.0340 0.0340 0.0319 0.0050 0.0020 0.0180 0.1571 0.0314 0.0306 0.0030 0.0300 0.0340 0.0335 0.0011 303-AH 0.0180 0.0220 0.0240 0.0260 0.0260 0.0239 0.0021 0.0040 0.0080 0.0886 0.0238 0.0237 0.0016 0.0180 0.0260 0.0239 0.0021 304-AH 0.0120 0.0210 0.0240 0.0280 0.0300 0.0234 0.0052 0.0070 0.0180 0.2207 0.0227 0.0220 0.0041 0.0120 0.0300 0.0234 0.0052 305-AH 0.0820 0.1070 0.1200 0.1220 0.1220 0.1120 0.0124 0.0150 0.0400 0.1109 0.1113 0.1105 0.0102 0.0920 0.1220 0.1133 0.0110 306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 307-AH 0.0440 0.1125 0.1280 0.1350 0.1400 0.1190 0.0238 0.0225 0.0960 0.2002 0.1158 0.1112 0.0175 0.0960 0.1400 0.1263 0.0125 308-AH 0.0180 0.0200 0.0200 0.0200 0.0220 0.0202 0.0008 0.0000 0.0040 0.0397 0.0201 0.0201 0.0004 0.0200 0.0200 0.0200 0.0000 309-AH 0.0080 0.0180 0.0200 0.0200 0.0200 0.0184 0.0028 0.0020 0.0120 0.1505 0.0181 0.0177 0.0019 0.0160 0.0200 0.0190 0.0015 310-AH 0.0400 0.0695 0.0760 0.0820 0.1020 0.0745 0.0138 0.0125 0.0620 0.1850 0.0731 0.0715 0.0098 0.0540 0.0940 0.0748 0.0109 311-AH 0.0700 0.0935 0.0980 0.0985 0.1000 0.0941 0.0081 0.0050 0.0300 0.0860 0.0937 0.0933 0.0057 0.0920 0.1000 0.0972 0.0026 312-AH 0.0360 0.0600 0.0600 0.0620 0.0620 0.0583 0.0071 0.0020 0.0260 0.1211 0.0578 0.0572 0.0044 0.0600 0.0620 0.0608 0.0010 313-AH 0.0020 0.0155 0.0200 0.0280 0.0320 0.0200 0.0081 0.0125 0.0300 0.4031 0.0177 0.0135 0.0066 0.0020 0.0320 0.0200 0.0081 314-AH 0.0140 0.0320 0.0320 0.0340 0.0340 0.0313 0.0042 0.0020 0.0200 0.1329 0.0309 0.0303 0.0023 0.0300 0.0340 0.0323 0.0013 315-AH 0.0460 0.0655 0.0840 0.1020 0.1180 0.0828 0.0227 0.0365 0.0720 0.2747 0.0796 0.0762 0.0201 0.0460 0.1180 0.0828 0.0227 316-AH 0.0360 0.0830 0.1420 0.1625 0.1820 0.1258 0.0452 0.0795 0.1460 0.3591 0.1156 0.1030 0.0384 0.0360 0.1820 0.1258 0.0452 317-AH 0.0200 0.0440 0.0500 0.0540 0.0560 0.0483 0.0082 0.0100 0.0360 0.1688 0.0474 0.0461 0.0058 0.0380 0.0560 0.0495 0.0058 318-AH 0.0120 0.0180 0.0180 0.0180 0.0180 0.0178 0.0012 0.0000 0.0060 0.0676 0.0177 0.0176 0.0005 0.0180 0.0180 0.0180 0.0000 319-AH 0.0180 0.0240 0.0300 0.0320 0.0320 0.0282 0.0043 0.0080 0.0140 0.1534 0.0279 0.0275 0.0036 0.0180 0.0320 0.0282 0.0043 320-AH 0.0040 0.0120 0.0140 0.0180 0.0200 0.0146 0.0039 0.0060 0.0160 0.2705 0.0139 0.0130 0.0032 0.0040 0.0200 0.0146 0.0039 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0140 0.0180 0.0180 0.0225 0.0260 0.0202 0.0032 0.0045 0.0120 0.1592 0.0199 0.0197 0.0026 0.0140 0.0260 0.0202 0.0032 323-AH 0.0180 0.0380 0.0420 0.0465 0.0500 0.0414 0.0069 0.0085 0.0320 0.1669 0.0407 0.0397 0.0049 0.0320 0.0500 0.0424 0.0050 324-AH 0.0340 0.0650 0.1080 0.1300 0.1380 0.1007 0.0331 0.0650 0.1040 0.3288 0.0942 0.0863 0.0285 0.0340 0.1380 0.1007 0.0331 325-AH 0.1040 0.1195 0.1200 0.1200 0.1200 0.1185 0.0041 0.0005 0.0160 0.0349 0.1184 0.1183 0.0023 0.1200 0.1200 0.1200 0.0000 326-AH 0.0020 0.0060 0.0060 0.0065 0.0080 0.0059 0.0018 0.0005 0.0060 0.3003 0.0055 0.0050 0.0011 0.0060 0.0060 0.0060 0.0000 327-AH 0.0000 0.0080 0.0080 0.0080 0.0080 0.0076 0.0016 0.0000 0.0080 0.2149 0.0061 0.0002 0.0007 0.0080 0.0080 0.0080 0.0000 328-AH 0.0460 0.0460 0.0460 0.0460 0.0460 0.0460 0.0000 0.0000 0.0000 0.0000 0.0460 0.0460 0.0000 0.0460 0.0460 0.0460 0.0000 329-AH 0.0340 0.0340 0.0340 0.0340 0.0340 0.0340 0.0000 0.0000 0.0000 0.0000 0.0340 0.0340 0.0000 0.0340 0.0340 0.0340 0.0000 330-AH 0.0820 0.0995 0.1020 0.1020 0.1020 0.0993 0.0054 0.0025 0.0200 0.0539 0.0991 0.0990 0.0038 0.0980 0.1020 0.1014 0.0013 331-AH 0.0220 0.0340 0.0340 0.0340 0.0340 0.0335 0.0024 0.0000 0.0120 0.0716 0.0334 0.0333 0.0009 0.0340 0.0340 0.0340 0.0000 332-AH 0.0020 0.0160 0.0160 0.0160 0.0160 0.0154 0.0028 0.0000 0.0140 0.1813 0.0147 0.0125 0.0011 0.0160 0.0160 0.0160 0.0000 333-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 334-AH 0.0080 0.0100 0.0100 0.0100 0.0100 0.0097 0.0007 0.0000 0.0020 0.0773 0.0096 0.0096 0.0005 0.0100 0.0100 0.0100 0.0000 335-AH 0.0200 0.0260 0.0260 0.0280 0.0300 0.0265 0.0023 0.0020 0.0100 0.0880 0.0264 0.0262 0.0016 0.0240 0.0300 0.0270 0.0013 336-AH 0.0000 0.0195 0.0240 0.0280 0.0320 0.0207 0.0094 0.0085 0.0320 0.4544 0.0137 0.0002 0.0071 0.0080 0.0320 0.0241 0.0055 337-AH 0.0360 0.0400 0.0400 0.0400 0.0400 0.0395 0.0010 0.0000 0.0040 0.0265 0.0395 0.0395 0.0008 0.0400 0.0400 0.0400 0.0000 338-AH 0.0180 0.0200 0.0200 0.0200 0.0200 0.0198 0.0007 0.0000 0.0020 0.0336 0.0197 0.0197 0.0004 0.0200 0.0200 0.0200 0.0000 339-AH 0.0360 0.0380 0.0380 0.0380 0.0380 0.0378 0.0006 0.0000 0.0020 0.0146 0.0378 0.0378 0.0003 0.0380 0.0380 0.0380 0.0000 340-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 112 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0100 0.0120 0.0120 0.0120 0.0120 0.0119 0.0004 0.0000 0.0020 0.0336 0.0119 0.0119 0.0002 0.0120 0.0120 0.0120 0.0000 342-AH 0.0940 0.1880 0.1920 0.1920 0.1920 0.1855 0.0198 0.0040 0.0980 0.1066 0.1840 0.1818 0.0093 0.1860 0.1920 0.1908 0.0019 343-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 344-AH 0.0580 0.0600 0.0640 0.0640 0.0660 0.0625 0.0027 0.0040 0.0080 0.0436 0.0624 0.0624 0.0023 0.0580 0.0660 0.0625 0.0027 345-AH 0.0140 0.0175 0.0180 0.0180 0.0180 0.0174 0.0013 0.0005 0.0040 0.0723 0.0173 0.0173 0.0010 0.0180 0.0180 0.0180 0.0000 346-AH 0.0200 0.0220 0.0220 0.0220 0.0220 0.0218 0.0007 0.0000 0.0020 0.0305 0.0217 0.0217 0.0004 0.0220 0.0220 0.0220 0.0000 347-AH 0.0140 0.0140 0.0140 0.0160 0.0180 0.0148 0.0012 0.0020 0.0040 0.0780 0.0148 0.0147 0.0010 0.0140 0.0180 0.0148 0.0012 348-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0038 0.0008 0.0000 0.0040 0.2083 0.0031 0.0002 0.0003 0.0040 0.0040 0.0040 0.0000 349-AH 0.0540 0.0540 0.0540 0.0540 0.0540 0.0540 0.0000 0.0000 0.0000 0.0000 0.0540 0.0540 0.0000 0.0540 0.0540 0.0540 0.0000 350-AH 0.0180 0.0200 0.0200 0.0200 0.0200 0.0196 0.0008 0.0000 0.0020 0.0417 0.0196 0.0196 0.0006 0.0200 0.0200 0.0200 0.0000 113 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 142-AH 0.0070 0.0080 0.0080 0.0080 0.0080 0.0080 0.0002 0.0000 0.0010 0.0251 0.0080 0.0080 0.0001 0.0080 0.0080 0.0080 0.0000 143-AH 0.0370 0.0390 0.0390 0.0390 0.0390 0.0389 0.0004 0.0000 0.0020 0.0103 0.0389 0.0389 0.0002 0.0390 0.0390 0.0390 0.0000 144-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000 145-AH 0.0350 0.0370 0.0370 0.0370 0.0370 0.0369 0.0004 0.0000 0.0020 0.0108 0.0369 0.0369 0.0002 0.0370 0.0370 0.0370 0.0000 146-AH 0.0010 0.0020 0.0020 0.0020 0.0020 0.0019 0.0003 0.0000 0.0010 0.1442 0.0019 0.0019 0.0001 0.0020 0.0020 0.0020 0.0000 147-AH 0.0470 0.0498 0.0510 0.0510 0.0510 0.0502 0.0013 0.0012 0.0040 0.0252 0.0502 0.0502 0.0010 0.0480 0.0510 0.0504 0.0011 148-AH 0.0030 0.0060 0.0060 0.0060 0.0060 0.0056 0.0008 0.0000 0.0030 0.1437 0.0056 0.0055 0.0006 0.0060 0.0060 0.0060 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0020 0.0080 0.0090 0.0100 0.0100 0.0086 0.0020 0.0020 0.0080 0.2277 0.0082 0.0075 0.0013 0.0070 0.0100 0.0091 0.0010 151-AH 0.0070 0.0090 0.0090 0.0090 0.0120 0.0093 0.0010 0.0000 0.0050 0.1056 0.0092 0.0092 0.0006 0.0090 0.0090 0.0090 0.0000 152-AH 0.0090 0.0110 0.0110 0.0110 0.0110 0.0108 0.0005 0.0000 0.0020 0.0486 0.0107 0.0107 0.0004 0.0110 0.0110 0.0110 0.0000 153-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 0.9806 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005 154-AH 0.0180 0.0200 0.0200 0.0210 0.0210 0.0204 0.0007 0.0010 0.0030 0.0347 0.0204 0.0204 0.0006 0.0200 0.0210 0.0205 0.0005 155-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000 156-AH 0.0140 0.0197 0.0200 0.0200 0.0210 0.0192 0.0020 0.0003 0.0070 0.1040 0.0190 0.0189 0.0015 0.0200 0.0200 0.0200 0.0000 157-AH 0.0610 0.1300 0.1310 0.1370 0.1390 0.1291 0.0153 0.0070 0.0780 0.1182 0.1278 0.1259 0.0074 0.1290 0.1390 0.1333 0.0036 158-AH 0.0010 0.0320 0.0340 0.0340 0.0340 0.0295 0.0108 0.0020 0.0330 0.3652 0.0219 0.0068 0.0068 0.0310 0.0340 0.0334 0.0009 159-AH 0.0450 0.0487 0.0500 0.0510 0.0540 0.0500 0.0021 0.0022 0.0090 0.0415 0.0499 0.0499 0.0015 0.0470 0.0540 0.0502 0.0018 160-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 163-AH 0.1150 0.1200 0.1210 0.1210 0.1210 0.1205 0.0012 0.0010 0.0060 0.0102 0.1205 0.1205 0.0007 0.1200 0.1210 0.1207 0.0004 164-AH 0.0200 0.0250 0.0250 0.0270 0.0270 0.0254 0.0015 0.0020 0.0070 0.0601 0.0254 0.0253 0.0011 0.0240 0.0270 0.0257 0.0010 165-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0010 0.0050 0.0050 0.0050 0.0050 0.0047 0.0008 0.0000 0.0040 0.1785 0.0046 0.0042 0.0005 0.0050 0.0050 0.0050 0.0000 168-AH 0.0100 0.0180 0.0180 0.0180 0.0180 0.0177 0.0016 0.0000 0.0080 0.0905 0.0176 0.0174 0.0006 0.0180 0.0180 0.0180 0.0000 169-AH 0.0010 0.0040 0.0040 0.0043 0.0060 0.0040 0.0013 0.0002 0.0050 0.3379 0.0037 0.0033 0.0009 0.0040 0.0040 0.0040 0.0000 170-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 171-AH 0.0020 0.0170 0.0180 0.0180 0.0190 0.0169 0.0036 0.0010 0.0170 0.2124 0.0160 0.0132 0.0020 0.0160 0.0190 0.0179 0.0009 172-AH 0.0060 0.0070 0.0070 0.0070 0.0070 0.0069 0.0003 0.0000 0.0010 0.0482 0.0069 0.0069 0.0002 0.0070 0.0070 0.0070 0.0000 173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 174-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 175-AH 0.0060 0.0070 0.0070 0.0070 0.0070 0.0069 0.0003 0.0000 0.0010 0.0482 0.0069 0.0069 0.0002 0.0070 0.0070 0.0070 0.0000 176-AH 0.0390 0.0390 0.0390 0.0390 0.0390 0.0390 0.0000 0.0000 0.0000 0.0000 0.0390 0.0390 0.0000 0.0390 0.0390 0.0390 0.0000 177-AH 0.0110 0.0130 0.0130 0.0130 0.0130 0.0129 0.0004 0.0000 0.0020 0.0341 0.0129 0.0129 0.0002 0.0130 0.0130 0.0130 0.0000 178-AH 0.0030 0.0030 0.0030 0.0040 0.0040 0.0034 0.0005 0.0010 0.0010 0.1473 0.0034 0.0034 0.0005 0.0030 0.0040 0.0034 0.0005 179-AH 0.0180 0.0210 0.0220 0.0220 0.0220 0.0213 0.0011 0.0010 0.0040 0.0519 0.0213 0.0213 0.0008 0.0210 0.0220 0.0217 0.0005 180-AH 0.0200 0.0385 0.0400 0.0400 0.0400 0.0379 0.0045 0.0015 0.0200 0.1179 0.0375 0.0371 0.0029 0.0370 0.0400 0.0396 0.0007 181-AH 0.0900 0.0910 0.0920 0.0920 0.0920 0.0917 0.0006 0.0010 0.0020 0.0061 0.0917 0.0917 0.0005 0.0900 0.0920 0.0917 0.0006 182-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0706 0.0039 0.0039 0.0001 0.0040 0.0040 0.0040 0.0000 183-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 184-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000 185-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 188-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0003 0.0000 0.0010 0.3010 0.0007 0.0001 0.0001 0.0010 0.0010 0.0010 0.0000 189-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000 190-AH 0.0070 0.0070 0.0070 0.0080 0.0090 0.0075 0.0008 0.0010 0.0020 0.1024 0.0075 0.0075 0.0007 0.0070 0.0090 0.0075 0.0008 114 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0040 0.0060 0.0060 0.0060 0.0060 0.0059 0.0004 0.0000 0.0020 0.0676 0.0059 0.0059 0.0002 0.0060 0.0060 0.0060 0.0000 193-AH 0.0050 0.0068 0.0070 0.0070 0.0070 0.0067 0.0005 0.0003 0.0020 0.0806 0.0067 0.0067 0.0004 0.0070 0.0070 0.0070 0.0000 194-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 197-AH 0.0490 0.0500 0.0500 0.0500 0.0500 0.0500 0.0002 0.0000 0.0010 0.0040 0.0500 0.0500 0.0001 0.0500 0.0500 0.0500 0.0000 198-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 199-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 200-AH 0.0020 0.0080 0.0090 0.0090 0.0090 0.0085 0.0014 0.0010 0.0070 0.1672 0.0082 0.0077 0.0007 0.0080 0.0090 0.0087 0.0004 251-AH 0.0330 0.0525 0.0550 0.0580 0.0610 0.0538 0.0063 0.0055 0.0280 0.1164 0.0534 0.0529 0.0044 0.0480 0.0610 0.0553 0.0038 252-AH 0.0250 0.0290 0.0290 0.0290 0.0290 0.0288 0.0008 0.0000 0.0040 0.0284 0.0288 0.0288 0.0004 0.0290 0.0290 0.0290 0.0000 253-AH 0.0720 0.1365 0.1470 0.1532 0.1590 0.1426 0.0183 0.0168 0.0870 0.1283 0.1411 0.1391 0.0121 0.1230 0.1590 0.1455 0.0111 254-AH 0.0820 0.1650 0.1790 0.1822 0.1940 0.1712 0.0229 0.0172 0.1120 0.1339 0.1692 0.1663 0.0148 0.1460 0.1940 0.1765 0.0116 255-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0855 0.0039 0.0038 0.0002 0.0040 0.0040 0.0040 0.0000 256-AH 0.0190 0.0310 0.0340 0.0340 0.0340 0.0312 0.0052 0.0030 0.0150 0.1649 0.0307 0.0301 0.0038 0.0290 0.0340 0.0333 0.0015 257-AH 0.0440 0.0540 0.0580 0.0613 0.0630 0.0571 0.0050 0.0072 0.0190 0.0870 0.0569 0.0566 0.0042 0.0440 0.0630 0.0571 0.0050 258-AH 0.0020 0.0030 0.0040 0.0040 0.0040 0.0035 0.0008 0.0010 0.0020 0.2213 0.0034 0.0033 0.0007 0.0020 0.0040 0.0035 0.0008 259-AH 0.0010 0.0030 0.0030 0.0030 0.0030 0.0029 0.0004 0.0000 0.0020 0.1527 0.0028 0.0027 0.0002 0.0030 0.0030 0.0030 0.0000 260-AH 0.0560 0.0610 0.0620 0.0620 0.0630 0.0614 0.0016 0.0010 0.0070 0.0258 0.0614 0.0614 0.0011 0.0600 0.0630 0.0619 0.0008 261-AH 0.0020 0.0130 0.0170 0.0222 0.0280 0.0176 0.0067 0.0092 0.0260 0.3831 0.0158 0.0126 0.0053 0.0020 0.0280 0.0176 0.0067 262-AH 0.0320 0.0600 0.0710 0.0760 0.0790 0.0652 0.0146 0.0160 0.0470 0.2239 0.0632 0.0608 0.0116 0.0390 0.0790 0.0680 0.0114 263-AH 0.0320 0.0438 0.0470 0.0470 0.0480 0.0449 0.0044 0.0032 0.0160 0.0981 0.0447 0.0444 0.0032 0.0420 0.0480 0.0464 0.0017 264-AH 0.0190 0.0210 0.0210 0.0212 0.0220 0.0210 0.0007 0.0003 0.0030 0.0349 0.0210 0.0210 0.0005 0.0210 0.0210 0.0210 0.0000 265-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0058 0.0004 0.0000 0.0010 0.0641 0.0058 0.0058 0.0003 0.0060 0.0060 0.0060 0.0000 266-AH 0.0020 0.0038 0.0040 0.0040 0.0040 0.0036 0.0008 0.0003 0.0020 0.2305 0.0034 0.0033 0.0007 0.0040 0.0040 0.0040 0.0000 267-AH 0.0190 0.0200 0.0200 0.0210 0.0210 0.0203 0.0006 0.0010 0.0020 0.0274 0.0203 0.0203 0.0005 0.0190 0.0210 0.0203 0.0006 268-AH 0.0020 0.0030 0.0030 0.0030 0.0030 0.0029 0.0003 0.0000 0.0010 0.1152 0.0029 0.0028 0.0002 0.0030 0.0030 0.0030 0.0000 269-AH 0.0080 0.0080 0.0080 0.0080 0.0090 0.0081 0.0003 0.0000 0.0010 0.0343 0.0081 0.0081 0.0001 0.0080 0.0080 0.0080 0.0000 270-AH 0.0150 0.0560 0.0570 0.0570 0.0570 0.0548 0.0084 0.0010 0.0420 0.1529 0.0535 0.0508 0.0035 0.0560 0.0570 0.0567 0.0005 271-AH 0.0120 0.0228 0.0230 0.0240 0.0240 0.0218 0.0041 0.0013 0.0120 0.1868 0.0213 0.0207 0.0029 0.0220 0.0240 0.0235 0.0007 272-AH 0.0050 0.0130 0.0130 0.0140 0.0140 0.0126 0.0023 0.0010 0.0090 0.1782 0.0124 0.0119 0.0014 0.0120 0.0140 0.0134 0.0006 273-AH 0.0600 0.0797 0.0810 0.0830 0.0830 0.0797 0.0051 0.0032 0.0230 0.0640 0.0795 0.0793 0.0032 0.0770 0.0830 0.0813 0.0017 274-AH 0.0060 0.0150 0.0160 0.0160 0.0160 0.0152 0.0021 0.0010 0.0100 0.1395 0.0149 0.0146 0.0011 0.0140 0.0160 0.0157 0.0006 275-AH 0.0400 0.0568 0.0620 0.0630 0.0650 0.0591 0.0065 0.0063 0.0250 0.1098 0.0587 0.0583 0.0049 0.0490 0.0650 0.0606 0.0041 276-AH 0.0530 0.0587 0.0590 0.0590 0.0590 0.0584 0.0014 0.0003 0.0060 0.0242 0.0584 0.0584 0.0009 0.0590 0.0590 0.0590 0.0000 277-AH 0.0130 0.0170 0.0190 0.0200 0.0250 0.0187 0.0023 0.0030 0.0120 0.1210 0.0186 0.0184 0.0017 0.0130 0.0210 0.0185 0.0019 278-AH 0.0110 0.0160 0.0210 0.0210 0.0210 0.0190 0.0029 0.0050 0.0100 0.1526 0.0187 0.0184 0.0025 0.0110 0.0210 0.0190 0.0029 279-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0040 0.0002 0.0000 0.0010 0.0505 0.0040 0.0039 0.0001 0.0040 0.0040 0.0040 0.0000 280-AH 0.0030 0.0190 0.0210 0.0220 0.0240 0.0196 0.0050 0.0030 0.0210 0.2544 0.0183 0.0155 0.0031 0.0170 0.0240 0.0209 0.0021 281-AH 0.0400 0.0420 0.0420 0.0420 0.0420 0.0419 0.0004 0.0000 0.0020 0.0105 0.0419 0.0419 0.0002 0.0420 0.0420 0.0420 0.0000 282-AH 0.0010 0.0240 0.0250 0.0290 0.0300 0.0251 0.0063 0.0050 0.0290 0.2495 0.0226 0.0128 0.0039 0.0210 0.0300 0.0266 0.0029 283-AH 0.0140 0.0318 0.0350 0.0362 0.0370 0.0334 0.0049 0.0045 0.0230 0.1455 0.0329 0.0322 0.0032 0.0270 0.0370 0.0342 0.0028 284-AH 0.0380 0.0380 0.0380 0.0380 0.0380 0.0380 0.0000 0.0000 0.0000 0.0000 0.0380 0.0380 0.0000 0.0380 0.0380 0.0380 0.0000 285-AH 0.0610 0.0660 0.0680 0.0690 0.0690 0.0672 0.0022 0.0030 0.0080 0.0333 0.0672 0.0671 0.0018 0.0630 0.0690 0.0675 0.0019 286-AH 0.0020 0.0080 0.0080 0.0100 0.0100 0.0082 0.0021 0.0020 0.0080 0.2518 0.0078 0.0070 0.0014 0.0060 0.0100 0.0087 0.0012 287-AH 0.0410 0.0460 0.0480 0.0480 0.0490 0.0470 0.0018 0.0020 0.0080 0.0381 0.0470 0.0470 0.0012 0.0430 0.0490 0.0473 0.0013 288-AH 0.0380 0.0535 0.0580 0.0643 0.0700 0.0580 0.0079 0.0108 0.0320 0.1364 0.0574 0.0568 0.0062 0.0380 0.0700 0.0580 0.0079 289-AH 0.0130 0.0170 0.0180 0.0180 0.0180 0.0176 0.0010 0.0010 0.0050 0.0595 0.0175 0.0175 0.0006 0.0170 0.0180 0.0177 0.0004 290-AH 0.0420 0.0487 0.0490 0.0490 0.0490 0.0480 0.0021 0.0002 0.0070 0.0429 0.0480 0.0479 0.0015 0.0490 0.0490 0.0490 0.0000 115 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0260 0.0280 0.0280 0.0290 0.0300 0.0284 0.0009 0.0010 0.0040 0.0322 0.0284 0.0284 0.0007 0.0270 0.0300 0.0285 0.0008 292-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 293-AH 0.0080 0.0340 0.0340 0.0340 0.0340 0.0329 0.0052 0.0000 0.0260 0.1578 0.0320 0.0301 0.0020 0.0340 0.0340 0.0340 0.0000 294-AH 0.0270 0.0270 0.0270 0.0270 0.0270 0.0270 0.0000 0.0000 0.0000 0.0000 0.0270 0.0270 0.0000 0.0270 0.0270 0.0270 0.0000 295-AH 0.0210 0.0340 0.0430 0.0450 0.0500 0.0390 0.0090 0.0110 0.0290 0.2308 0.0378 0.0363 0.0074 0.0210 0.0500 0.0390 0.0090 296-AH 0.0040 0.0240 0.0240 0.0240 0.0240 0.0230 0.0041 0.0000 0.0200 0.1798 0.0221 0.0198 0.0019 0.0240 0.0240 0.0240 0.0000 297-AH 0.0080 0.0100 0.0110 0.0120 0.0120 0.0111 0.0011 0.0020 0.0040 0.1006 0.0110 0.0110 0.0009 0.0080 0.0120 0.0111 0.0011 298-AH 0.0250 0.0280 0.0280 0.0290 0.0300 0.0280 0.0012 0.0010 0.0050 0.0437 0.0280 0.0279 0.0008 0.0270 0.0300 0.0284 0.0007 299-AH 0.0670 0.0730 0.0740 0.0750 0.0760 0.0737 0.0022 0.0020 0.0090 0.0297 0.0737 0.0737 0.0014 0.0710 0.0760 0.0743 0.0012 300-AH 0.0400 0.0417 0.0420 0.0420 0.0420 0.0416 0.0007 0.0002 0.0020 0.0168 0.0416 0.0416 0.0005 0.0420 0.0420 0.0420 0.0000 301-AH 0.0040 0.0050 0.0050 0.0140 0.0160 0.0081 0.0047 0.0090 0.0120 0.5813 0.0070 0.0062 0.0042 0.0040 0.0160 0.0081 0.0047 302-AH 0.0080 0.0168 0.0170 0.0170 0.0170 0.0162 0.0021 0.0003 0.0090 0.1309 0.0160 0.0157 0.0012 0.0170 0.0170 0.0170 0.0000 303-AH 0.0100 0.0120 0.0130 0.0140 0.0140 0.0130 0.0011 0.0020 0.0040 0.0818 0.0129 0.0129 0.0008 0.0100 0.0140 0.0130 0.0011 304-AH 0.0060 0.0120 0.0150 0.0150 0.0150 0.0132 0.0025 0.0030 0.0090 0.1854 0.0130 0.0126 0.0019 0.0080 0.0150 0.0135 0.0020 305-AH 0.0440 0.0590 0.0610 0.0610 0.0610 0.0583 0.0049 0.0020 0.0170 0.0844 0.0581 0.0579 0.0036 0.0590 0.0610 0.0606 0.0008 306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 307-AH 0.0310 0.0678 0.0710 0.0732 0.0750 0.0682 0.0092 0.0055 0.0440 0.1352 0.0674 0.0661 0.0055 0.0620 0.0750 0.0705 0.0037 308-AH 0.0100 0.0100 0.0110 0.0110 0.0110 0.0105 0.0005 0.0010 0.0010 0.0485 0.0105 0.0105 0.0005 0.0100 0.0110 0.0105 0.0005 309-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0096 0.0011 0.0000 0.0050 0.1116 0.0096 0.0094 0.0006 0.0100 0.0100 0.0100 0.0000 310-AH 0.0240 0.0435 0.0480 0.0510 0.0590 0.0462 0.0068 0.0075 0.0350 0.1483 0.0456 0.0448 0.0048 0.0350 0.0590 0.0471 0.0052 311-AH 0.0420 0.0507 0.0520 0.0530 0.0530 0.0510 0.0028 0.0022 0.0110 0.0543 0.0509 0.0508 0.0018 0.0480 0.0530 0.0517 0.0014 312-AH 0.0220 0.0307 0.0310 0.0310 0.0310 0.0302 0.0021 0.0003 0.0090 0.0697 0.0302 0.0301 0.0012 0.0310 0.0310 0.0310 0.0000 313-AH 0.0050 0.0080 0.0120 0.0150 0.0170 0.0116 0.0039 0.0070 0.0120 0.3390 0.0109 0.0100 0.0034 0.0050 0.0170 0.0116 0.0039 314-AH 0.0130 0.0168 0.0170 0.0170 0.0170 0.0166 0.0009 0.0003 0.0040 0.0550 0.0166 0.0165 0.0006 0.0170 0.0170 0.0170 0.0000 315-AH 0.0270 0.0390 0.0450 0.0532 0.0590 0.0445 0.0102 0.0143 0.0320 0.2302 0.0433 0.0420 0.0087 0.0270 0.0590 0.0445 0.0102 316-AH 0.0280 0.0850 0.0950 0.1008 0.1100 0.0872 0.0238 0.0158 0.0820 0.2736 0.0824 0.0755 0.0180 0.0680 0.1100 0.0963 0.0106 317-AH 0.0100 0.0265 0.0280 0.0290 0.0300 0.0267 0.0043 0.0025 0.0200 0.1597 0.0262 0.0254 0.0028 0.0240 0.0300 0.0280 0.0016 318-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000 319-AH 0.0100 0.0140 0.0160 0.0160 0.0170 0.0150 0.0016 0.0020 0.0070 0.1048 0.0149 0.0148 0.0012 0.0130 0.0170 0.0152 0.0012 320-AH 0.0060 0.0090 0.0110 0.0120 0.0130 0.0102 0.0019 0.0030 0.0070 0.1877 0.0100 0.0098 0.0015 0.0060 0.0130 0.0102 0.0019 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0070 0.0110 0.0120 0.0130 0.0140 0.0117 0.0017 0.0020 0.0070 0.1468 0.0116 0.0114 0.0013 0.0090 0.0140 0.0119 0.0014 323-AH 0.0110 0.0210 0.0250 0.0250 0.0250 0.0230 0.0032 0.0040 0.0140 0.1414 0.0227 0.0223 0.0024 0.0180 0.0250 0.0235 0.0021 324-AH 0.0190 0.0375 0.0610 0.0652 0.0690 0.0530 0.0155 0.0277 0.0500 0.2920 0.0503 0.0469 0.0134 0.0190 0.0690 0.0530 0.0155 325-AH 0.0590 0.0600 0.0600 0.0610 0.0610 0.0604 0.0006 0.0010 0.0020 0.0107 0.0604 0.0604 0.0006 0.0590 0.0610 0.0604 0.0006 326-AH 0.0010 0.0030 0.0040 0.0040 0.0040 0.0033 0.0010 0.0010 0.0030 0.2987 0.0031 0.0027 0.0007 0.0030 0.0040 0.0036 0.0005 327-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0038 0.0008 0.0000 0.0040 0.2083 0.0031 0.0002 0.0003 0.0040 0.0040 0.0040 0.0000 328-AH 0.0230 0.0230 0.0230 0.0230 0.0230 0.0230 0.0000 0.0000 0.0000 0.0000 0.0230 0.0230 0.0000 0.0230 0.0230 0.0230 0.0000 329-AH 0.0170 0.0170 0.0170 0.0170 0.0170 0.0170 0.0000 0.0000 0.0000 0.0000 0.0170 0.0170 0.0000 0.0170 0.0170 0.0170 0.0000 330-AH 0.0450 0.0510 0.0510 0.0510 0.0510 0.0502 0.0018 0.0000 0.0060 0.0363 0.0501 0.0501 0.0013 0.0510 0.0510 0.0510 0.0000 331-AH 0.0120 0.0170 0.0170 0.0170 0.0170 0.0168 0.0010 0.0000 0.0050 0.0595 0.0168 0.0167 0.0004 0.0170 0.0170 0.0170 0.0000 332-AH 0.0030 0.0080 0.0080 0.0080 0.0080 0.0078 0.0010 0.0000 0.0050 0.1282 0.0077 0.0075 0.0004 0.0080 0.0080 0.0080 0.0000 333-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 334-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0050 0.0002 0.0000 0.0010 0.0403 0.0050 0.0050 0.0001 0.0050 0.0050 0.0050 0.0000 335-AH 0.0110 0.0140 0.0140 0.0150 0.0150 0.0140 0.0010 0.0010 0.0040 0.0714 0.0140 0.0139 0.0006 0.0130 0.0150 0.0142 0.0007 336-AH 0.0000 0.0115 0.0130 0.0143 0.0160 0.0119 0.0043 0.0028 0.0160 0.3582 0.0088 0.0002 0.0032 0.0100 0.0160 0.0138 0.0014 337-AH 0.0180 0.0200 0.0200 0.0200 0.0200 0.0198 0.0005 0.0000 0.0020 0.0265 0.0198 0.0197 0.0004 0.0200 0.0200 0.0200 0.0000 338-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 339-AH 0.0180 0.0190 0.0190 0.0190 0.0190 0.0189 0.0003 0.0000 0.0010 0.0146 0.0189 0.0189 0.0001 0.0190 0.0190 0.0190 0.0000 340-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 116 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0060 0.0002 0.0000 0.0010 0.0336 0.0060 0.0060 0.0001 0.0060 0.0060 0.0060 0.0000 342-AH 0.0550 0.0950 0.0960 0.0960 0.0960 0.0940 0.0082 0.0010 0.0410 0.0868 0.0935 0.0929 0.0031 0.0940 0.0960 0.0956 0.0007 343-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 344-AH 0.0300 0.0318 0.0330 0.0330 0.0330 0.0323 0.0011 0.0012 0.0030 0.0341 0.0323 0.0322 0.0009 0.0300 0.0330 0.0323 0.0011 345-AH 0.0080 0.0090 0.0090 0.0090 0.0090 0.0089 0.0003 0.0000 0.0010 0.0310 0.0089 0.0089 0.0001 0.0090 0.0090 0.0090 0.0000 346-AH 0.0100 0.0110 0.0110 0.0110 0.0110 0.0110 0.0002 0.0000 0.0010 0.0182 0.0110 0.0110 0.0001 0.0110 0.0110 0.0110 0.0000 347-AH 0.0070 0.0080 0.0080 0.0080 0.0090 0.0079 0.0005 0.0000 0.0020 0.0623 0.0079 0.0079 0.0003 0.0080 0.0080 0.0080 0.0000 348-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0004 0.0000 0.0020 0.2083 0.0016 0.0002 0.0002 0.0020 0.0020 0.0020 0.0000 349-AH 0.0270 0.0270 0.0270 0.0270 0.0270 0.0270 0.0000 0.0000 0.0000 0.0000 0.0270 0.0270 0.0000 0.0270 0.0270 0.0270 0.0000 350-AH 0.0090 0.0100 0.0100 0.0100 0.0100 0.0098 0.0004 0.0000 0.0010 0.0380 0.0098 0.0098 0.0003 0.0100 0.0100 0.0100 0.0000 117 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% reina [Experiment BILI2; MAP 38.42%; Not Pooled] uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] 90% know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 reina [Experiment BILI2; MAP 38.42%; Not Pooled] Difference 0.5 uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] 0 ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] −0.5 ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] −1 141−AH142−AH 143−AH144−AH145−AH146−AH 147−AH148−AH149−AH150−AH 151−AH152−AH153−AH154−AH155−AH 156−AH157−AH158−AH159−AH 160−AH161−AH162−AH163−AH 164−AH165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 reina [Experiment BILI2; MAP 38.42%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] 0 know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] −1 166−AH167−AH 168−AH169−AH170−AH171−AH 172−AH173−AH174−AH175−AH 176−AH177−AH178−AH179−AH180−AH 181−AH182−AH183−AH184−AH 185−AH186−AH187−AH188−AH 189−AH190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 reina [Experiment BILI2; MAP 38.42%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] 0 know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] −1 191−AH192−AH 193−AH194−AH195−AH196−AH 197−AH198−AH199−AH200−AH 251−AH252−AH253−AH254−AH255−AH 256−AH257−AH258−AH259−AH 260−AH261−AH262−AH263−AH 264−AH265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 reina [Experiment BILI2; MAP 38.42%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] 0 know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] −1 266−AH267−AH 268−AH269−AH270−AH271−AH 272−AH273−AH274−AH275−AH 276−AH277−AH278−AH279−AH280−AH 281−AH282−AH283−AH284−AH 285−AH286−AH287−AH288−AH 289−AH290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 reina [Experiment BILI2; MAP 38.42%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] 0 know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] −1 291−AH292−AH 293−AH294−AH295−AH296−AH 297−AH298−AH299−AH300−AH 301−AH302−AH303−AH304−AH305−AH 306−AH307−AH308−AH309−AH 310−AH311−AH312−AH313−AH 314−AH315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 reina [Experiment BILI2; MAP 38.42%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] 0 know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] −1 316−AH317−AH 318−AH319−AH320−AH321−AH 322−AH323−AH324−AH325−AH 326−AH327−AH328−AH329−AH330−AH 331−AH332−AH333−AH334−AH 335−AH336−AH337−AH338−AH 339−AH340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 reina [Experiment BILI2; MAP 38.42%; Not Pooled] Difference 0.5 uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] 0 ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] −0.5 ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 118 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Ad−Hoc Robust Bilingual English Test Task − Box Plot of the Topics reina [Experiment BILI2; MAP 38.42%; Not Pooled] uniba [Experiment UNIBACROSSKEYRF; MAP 38.09%; Not Pooled] uniba [Experiment UNIBACROSSTDN; MAP 37.31%; Not Pooled] reina [Experiment BILI4; MAP 37.31%; Not Pooled] reina [Experiment BILI5; MAP 34.52%; Not Pooled] reina [Experiment BILI1; MAP 34.37%; Not Pooled] Experiments uniba [Experiment UNIBACROSSTD; MAP 34.14%; Not Pooled] know−center [Experiment BILIASSO; MAP 28.98%; Not Pooled] reina [Experiment BILI3; MAP 28.54%; Not Pooled] know−center [Experiment BILISYNSET; MAP 28.49%; Not Pooled] know−center [Experiment BILISYNONYM; MAP 28.49%; Not Pooled] ufrgs [Experiment BILINGUAL; MAP 27.65%; Not Pooled] ixa [Experiment ESENNOWSD; MAP 18.05%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Average Precision 119 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 10.2455/TUKEY_T_TEST.9467A2F954584891B739B95A953EBFA3 Ad−Hoc Robust Bilingual English Test Task − Tukey T test with "top group" highlighted BILI2 UNIBACROSSKEYRF BILI4 UNIBACROSSTDN BILI5 BILI1 Experiments UNIBACROSSTD BILIASSO BILISYNONYM BILISYNSET BILI3 BILINGUAL ESENNOWSD 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 arcsin(sqrt(Average Precsion)) 120 121 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision 100% reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] 90% know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] Difference 0.5 uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] 0 ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] −0.5 ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] 0 know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] 0 know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] 0 know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] 0 know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] Difference uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] 0 know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] Difference 0.5 uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] 0 ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] −0.5 ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 122 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Ad−Hoc Robust Bilingual English Test Task − Box Plot of the Topics reina [Experiment BILI2; R−Prec 37.73%; Not Pooled] uniba [Experiment UNIBACROSSKEYRF; R−Prec 37.55%; Not Pooled] uniba [Experiment UNIBACROSSTDN; R−Prec 37.00%; Not Pooled] reina [Experiment BILI4; R−Prec 36.60%; Not Pooled] reina [Experiment BILI1; R−Prec 34.70%; Not Pooled] reina [Experiment BILI5; R−Prec 34.29%; Not Pooled] Experiments uniba [Experiment UNIBACROSSTD; R−Prec 33.89%; Not Pooled] know−center [Experiment BILIASSO; R−Prec 29.66%; Not Pooled] know−center [Experiment BILISYNSET; R−Prec 29.37%; Not Pooled] know−center [Experiment BILISYNONYM; R−Prec 29.37%; Not Pooled] reina [Experiment BILI3; R−Prec 28.57%; Not Pooled] ufrgs [Experiment BILINGUAL; R−Prec 27.21%; Not Pooled] ixa [Experiment ESENNOWSD; R−Prec 18.86%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% R−Precision 123 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Ad−Hoc Robust Bilingual English Test Task − Tukey T test with "top group" highlighted BILI2 UNIBACROSSKEYRF UNIBACROSSTDN BILI4 BILI1 BILI5 Experiments UNIBACROSSTD BILIASSO BILISYNONYM BILISYNSET BILI3 BILINGUAL ESENNOWSD 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 arcsin(sqrt(R−Precision)) 124 125 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.00 0.75 1.00 1.00 1.00 0.77 0.44 0.25 1.00 0.57 0.07 0.00 0.36 1.00 1.00 1.00 0.00 142-AH 8.00 8.00 8.00 8.00 8.00 8.00 0.00 0.00 0.00 0.00 8.00 8.00 0.00 8.00 8.00 8.00 0.00 143-AH 2.00 25.75 33.00 39.00 39.00 28.77 13.28 13.25 37.00 0.46 21.45 9.70 10.09 25.00 39.00 33.64 6.50 144-AH 1.00 2.75 3.00 3.00 3.00 2.69 0.63 0.25 2.00 0.23 2.59 2.44 0.47 3.00 3.00 3.00 0.00 145-AH 22.00 26.00 37.00 37.00 37.00 32.77 5.88 11.00 15.00 0.18 32.23 31.64 5.21 22.00 37.00 32.77 5.88 146-AH 1.00 1.00 2.00 2.00 2.00 1.54 0.52 1.00 1.00 0.34 1.45 1.37 0.50 1.00 2.00 1.54 0.52 147-AH 1.00 47.25 50.00 50.00 51.00 44.54 13.78 2.75 50.00 0.31 35.60 10.39 8.40 49.00 51.00 50.00 0.67 148-AH 0.00 3.75 6.00 6.00 6.00 4.77 1.88 2.25 6.00 0.39 1.82 0.00 1.51 3.00 6.00 5.17 1.27 149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 150-AH 3.00 4.75 7.00 10.00 10.00 7.15 2.64 5.25 7.00 0.37 6.65 6.11 2.19 3.00 10.00 7.15 2.64 151-AH 1.00 2.00 6.00 8.25 9.00 5.46 2.93 6.25 8.00 0.54 4.48 3.39 2.43 1.00 9.00 5.46 2.93 152-AH 0.00 9.00 10.00 11.00 11.00 8.85 3.60 2.00 11.00 0.41 3.11 0.00 2.41 9.00 11.00 10.27 0.90 153-AH 0.00 0.00 1.00 1.00 1.00 0.69 0.48 1.00 1.00 0.69 0.03 0.00 0.43 0.00 1.00 0.69 0.48 154-AH 16.00 19.00 20.00 20.00 20.00 19.31 1.11 1.00 4.00 0.06 19.28 19.24 0.75 19.00 20.00 19.58 0.51 155-AH 0.00 1.00 1.00 3.00 3.00 1.62 1.04 2.00 3.00 0.65 0.61 0.00 0.91 0.00 3.00 1.62 1.04 156-AH 12.00 17.50 18.00 20.00 20.00 17.92 2.36 2.50 8.00 0.13 17.76 17.57 1.66 15.00 20.00 18.42 1.62 157-AH 118.00 129.75 132.00 133.00 137.00 130.77 4.94 3.25 19.00 0.04 130.68 130.59 3.24 125.00 137.00 131.83 3.24 158-AH 4.00 32.75 33.00 34.00 34.00 30.85 8.18 1.25 30.00 0.27 28.10 21.19 4.41 32.00 34.00 33.45 0.69 159-AH 1.00 44.00 48.00 48.00 49.00 42.08 13.51 4.00 48.00 0.32 33.62 10.24 8.49 44.00 49.00 47.09 1.70 160-AH 1.00 2.00 2.00 2.00 2.00 1.92 0.28 0.00 1.00 0.14 1.90 1.86 0.14 2.00 2.00 2.00 0.00 161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 162-AH 0.00 1.00 1.00 1.00 1.00 0.92 0.28 0.00 1.00 0.30 0.41 0.00 0.14 1.00 1.00 1.00 0.00 163-AH 98.00 114.00 118.00 121.00 121.00 116.38 6.41 7.00 23.00 0.06 116.21 116.02 4.39 111.00 121.00 117.92 3.40 164-AH 2.00 24.75 25.00 25.00 27.00 22.38 7.01 0.25 25.00 0.31 19.63 12.80 4.58 25.00 25.00 25.00 0.00 165-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 167-AH 4.00 5.00 5.00 5.00 5.00 4.92 0.28 0.00 1.00 0.06 4.91 4.91 0.14 5.00 5.00 5.00 0.00 168-AH 18.00 18.00 18.00 18.00 18.00 18.00 0.00 0.00 0.00 0.00 18.00 18.00 0.00 18.00 18.00 18.00 0.00 169-AH 2.00 4.00 4.00 5.25 6.00 4.54 1.13 1.25 4.00 0.25 4.38 4.19 0.89 4.00 6.00 4.75 0.87 170-AH 0.00 1.00 1.00 1.00 1.00 0.92 0.28 0.00 1.00 0.30 0.41 0.00 0.14 1.00 1.00 1.00 0.00 171-AH 16.00 17.75 18.00 19.00 19.00 18.00 0.91 1.25 3.00 0.05 17.98 17.96 0.62 16.00 19.00 18.00 0.91 172-AH 2.00 3.00 7.00 7.00 7.00 5.62 2.02 4.00 5.00 0.36 5.17 4.63 1.76 2.00 7.00 5.62 2.02 173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 174-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 175-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00 176-AH 36.00 39.00 39.00 39.00 39.00 38.77 0.83 0.00 3.00 0.02 38.76 38.75 0.43 39.00 39.00 39.00 0.00 177-AH 12.00 12.00 13.00 13.00 13.00 12.54 0.52 1.00 1.00 0.04 12.53 12.52 0.50 12.00 13.00 12.54 0.52 178-AH 0.00 0.75 1.00 2.00 2.00 1.23 0.83 1.25 2.00 0.68 0.10 0.00 0.71 0.00 2.00 1.23 0.83 179-AH 0.00 16.00 20.00 21.00 22.00 17.85 5.83 5.00 22.00 0.33 6.31 0.00 3.73 16.00 22.00 19.33 2.39 180-AH 0.00 20.25 35.00 39.25 40.00 27.69 16.28 19.00 40.00 0.59 1.10 0.00 12.89 0.00 40.00 27.69 16.28 181-AH 86.00 91.75 92.00 92.00 92.00 91.38 1.66 0.25 6.00 0.02 91.37 91.36 0.95 92.00 92.00 92.00 0.00 182-AH 3.00 4.00 4.00 4.00 4.00 3.92 0.28 0.00 1.00 0.07 3.91 3.90 0.14 4.00 4.00 4.00 0.00 183-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00 184-AH 1.00 6.00 7.00 8.25 9.00 6.77 2.24 2.25 8.00 0.33 6.10 4.75 1.55 4.00 9.00 7.25 1.48 185-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 187-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 188-AH 0.00 0.00 1.00 1.00 1.00 0.54 0.52 1.00 1.00 0.96 0.00 0.00 0.50 0.00 1.00 0.54 0.52 189-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00 190-AH 5.00 6.00 7.00 7.25 8.00 6.62 1.04 1.25 3.00 0.16 6.54 6.46 0.88 5.00 8.00 6.62 1.04 126 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 192-AH 5.00 6.00 6.00 6.00 6.00 5.85 0.38 0.00 1.00 0.06 5.83 5.82 0.26 6.00 6.00 6.00 0.00 193-AH 5.00 7.00 7.00 7.00 7.00 6.69 0.75 0.00 2.00 0.11 6.65 6.59 0.52 7.00 7.00 7.00 0.00 194-AH 0.00 1.00 1.00 1.00 1.00 0.92 0.28 0.00 1.00 0.30 0.41 0.00 0.14 1.00 1.00 1.00 0.00 195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 196-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 197-AH 49.00 50.00 50.00 50.00 50.00 49.92 0.28 0.00 1.00 0.01 49.92 49.92 0.14 50.00 50.00 50.00 0.00 198-AH 0.00 0.75 1.00 1.00 1.00 0.77 0.44 0.25 1.00 0.57 0.07 0.00 0.36 1.00 1.00 1.00 0.00 199-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00 200-AH 8.00 8.00 9.00 9.00 9.00 8.54 0.52 1.00 1.00 0.06 8.52 8.51 0.50 8.00 9.00 8.54 0.52 251-AH 41.00 49.00 53.00 55.25 61.00 52.92 5.28 6.25 20.00 0.10 52.67 52.40 3.64 41.00 61.00 52.92 5.28 252-AH 25.00 28.00 29.00 29.00 29.00 28.23 1.30 1.00 4.00 0.05 28.20 28.17 0.95 28.00 29.00 28.73 0.47 253-AH 18.00 84.50 103.00 130.00 135.00 96.77 39.40 45.50 117.00 0.41 83.78 64.04 29.51 18.00 135.00 96.77 39.40 254-AH 52.00 121.00 153.00 163.25 181.00 138.23 36.42 42.25 129.00 0.26 132.22 123.96 27.44 89.00 181.00 145.42 26.74 255-AH 3.00 4.00 4.00 4.00 4.00 3.92 0.28 0.00 1.00 0.07 3.91 3.90 0.14 4.00 4.00 4.00 0.00 256-AH 4.00 31.75 33.00 34.00 34.00 28.69 11.00 2.25 30.00 0.38 23.95 15.63 7.60 31.00 34.00 33.18 0.98 257-AH 10.00 47.75 53.00 60.00 62.00 50.15 13.43 12.25 52.00 0.27 46.76 39.75 8.45 45.00 62.00 53.50 6.16 258-AH 0.00 2.00 2.00 3.00 4.00 2.38 1.12 1.00 4.00 0.47 0.93 0.00 0.88 1.00 4.00 2.58 0.90 259-AH 1.00 3.00 3.00 3.00 3.00 2.77 0.60 0.00 2.00 0.22 2.67 2.52 0.39 3.00 3.00 3.00 0.00 260-AH 46.00 46.75 57.00 61.25 62.00 55.46 6.74 14.50 16.00 0.12 55.06 54.65 5.67 46.00 62.00 55.46 6.74 261-AH 0.00 9.00 12.00 22.00 24.00 14.08 7.45 13.00 24.00 0.53 4.70 0.00 6.39 0.00 24.00 14.08 7.45 262-AH 18.00 53.00 56.00 58.75 66.00 51.69 15.26 5.75 48.00 0.30 48.44 43.67 10.06 53.00 66.00 57.64 5.16 263-AH 1.00 13.00 22.00 36.00 39.00 21.92 12.92 23.00 38.00 0.59 15.33 6.47 10.54 1.00 39.00 21.92 12.92 264-AH 17.00 17.00 20.00 21.25 22.00 19.46 1.98 4.25 5.00 0.10 19.37 19.27 1.66 17.00 22.00 19.46 1.98 265-AH 5.00 6.00 6.00 6.00 6.00 5.85 0.38 0.00 1.00 0.06 5.83 5.82 0.26 6.00 6.00 6.00 0.00 266-AH 0.00 0.00 2.00 4.00 4.00 1.85 1.91 4.00 4.00 1.03 0.01 0.00 1.70 0.00 4.00 1.85 1.91 267-AH 12.00 13.50 18.00 20.00 20.00 16.85 3.24 6.50 8.00 0.19 16.53 16.19 2.67 12.00 20.00 16.85 3.24 268-AH 2.00 3.00 3.00 3.00 3.00 2.92 0.28 0.00 1.00 0.09 2.91 2.89 0.14 3.00 3.00 3.00 0.00 269-AH 6.00 6.75 8.00 8.00 9.00 7.62 1.04 1.25 3.00 0.14 7.55 7.47 0.84 6.00 9.00 7.62 1.04 270-AH 41.00 57.00 57.00 57.00 57.00 55.31 4.61 0.00 16.00 0.08 55.10 54.86 2.86 57.00 57.00 57.00 0.00 271-AH 21.00 22.50 23.00 23.25 24.00 22.77 1.09 0.75 3.00 0.05 22.74 22.72 0.82 23.00 24.00 23.30 0.48 272-AH 4.00 12.75 14.00 14.00 14.00 12.69 2.72 1.25 10.00 0.21 12.21 11.33 1.55 12.00 14.00 13.42 0.79 273-AH 35.00 77.75 81.00 81.50 83.00 76.69 12.80 3.75 48.00 0.17 75.18 72.86 6.83 74.00 83.00 80.17 2.72 274-AH 3.00 4.00 7.00 10.50 12.00 7.54 3.55 6.50 9.00 0.47 6.71 5.93 3.20 3.00 12.00 7.54 3.55 275-AH 28.00 52.25 59.00 61.00 63.00 54.46 10.12 8.75 35.00 0.19 53.34 51.89 7.28 42.00 63.00 56.67 6.54 276-AH 40.00 45.00 48.00 55.75 59.00 49.46 6.48 10.75 19.00 0.13 49.07 48.69 5.42 40.00 59.00 49.46 6.48 277-AH 12.00 12.00 15.00 18.50 23.00 16.23 3.96 6.50 11.00 0.24 15.80 15.40 3.21 12.00 23.00 16.23 3.96 278-AH 5.00 6.00 12.00 17.00 21.00 12.00 5.83 11.00 16.00 0.49 10.66 9.42 4.62 5.00 21.00 12.00 5.83 279-AH 3.00 4.00 4.00 4.00 4.00 3.92 0.28 0.00 1.00 0.07 3.91 3.90 0.14 4.00 4.00 4.00 0.00 280-AH 2.00 16.75 18.00 22.25 23.00 17.54 5.94 5.50 21.00 0.34 15.52 11.11 3.95 10.00 23.00 18.83 3.83 281-AH 41.00 42.00 42.00 42.00 42.00 41.85 0.38 0.00 1.00 0.01 41.84 41.84 0.26 42.00 42.00 42.00 0.00 282-AH 19.00 24.00 27.00 29.00 30.00 25.92 3.30 5.00 11.00 0.13 25.72 25.50 2.70 19.00 30.00 25.92 3.30 283-AH 12.00 27.75 33.00 35.00 38.00 30.00 7.37 7.25 26.00 0.25 28.85 27.25 5.54 19.00 38.00 31.50 5.23 284-AH 14.00 31.50 37.00 38.00 38.00 32.46 9.63 6.50 24.00 0.30 30.61 28.24 7.75 36.00 38.00 37.50 0.71 285-AH 18.00 25.00 35.00 59.75 67.00 42.15 17.48 34.75 49.00 0.41 38.68 35.34 15.40 18.00 67.00 42.15 17.48 286-AH 2.00 5.00 8.00 9.00 10.00 6.69 2.66 4.00 8.00 0.40 6.00 5.10 2.22 2.00 10.00 6.69 2.66 287-AH 12.00 36.00 47.00 48.00 49.00 38.69 15.29 12.00 37.00 0.40 34.11 27.99 12.32 44.00 49.00 46.70 1.77 288-AH 39.00 41.00 51.00 57.00 65.00 49.62 9.70 16.00 26.00 0.20 48.77 47.98 8.11 39.00 65.00 49.62 9.70 289-AH 18.00 18.00 18.00 18.00 18.00 18.00 0.00 0.00 0.00 0.00 18.00 18.00 0.00 18.00 18.00 18.00 0.00 290-AH 9.00 35.00 44.00 44.25 48.00 37.62 11.38 9.25 39.00 0.30 34.98 30.56 8.28 24.00 48.00 40.00 7.78 127 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 19.00 28.50 29.00 30.00 30.00 28.15 3.00 1.50 11.00 0.11 27.97 27.76 1.92 27.00 30.00 29.18 0.87 292-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00 293-AH 16.00 34.00 34.00 34.00 34.00 32.38 4.99 0.00 18.00 0.15 31.86 31.08 2.73 34.00 34.00 34.00 0.00 294-AH 2.00 9.00 27.00 27.00 27.00 20.85 9.60 18.00 25.00 0.46 17.10 11.13 8.37 2.00 27.00 20.85 9.60 295-AH 10.00 30.75 40.00 41.75 44.00 34.38 11.27 11.00 34.00 0.33 31.71 27.80 8.36 30.00 44.00 38.55 5.30 296-AH 18.00 24.00 24.00 24.00 24.00 23.31 1.80 0.00 6.00 0.08 23.23 23.15 1.17 24.00 24.00 24.00 0.00 297-AH 5.00 9.00 11.00 12.00 12.00 9.77 2.45 3.00 7.00 0.25 9.41 8.96 1.94 5.00 12.00 9.77 2.45 298-AH 20.00 25.00 28.00 28.00 29.00 26.38 2.63 3.00 9.00 0.10 26.25 26.11 2.14 23.00 29.00 26.92 1.88 299-AH 11.00 49.75 56.00 68.00 73.00 54.69 19.39 18.25 62.00 0.35 49.20 40.29 13.87 49.00 73.00 61.82 9.17 300-AH 15.00 25.50 35.00 36.50 41.00 30.77 9.44 11.00 26.00 0.31 29.01 26.86 7.55 15.00 41.00 30.77 9.44 301-AH 3.00 6.00 9.00 16.00 16.00 10.38 4.75 10.00 13.00 0.46 9.27 8.08 4.17 3.00 16.00 10.38 4.75 302-AH 8.00 16.00 17.00 17.00 17.00 16.08 2.47 1.00 9.00 0.15 15.82 15.44 1.28 16.00 17.00 16.75 0.45 303-AH 3.00 8.00 9.00 11.25 13.00 9.31 2.93 3.25 10.00 0.31 8.73 7.95 2.18 5.00 13.00 9.83 2.33 304-AH 1.00 8.50 12.00 13.00 15.00 10.46 3.91 4.50 14.00 0.37 9.05 6.05 3.12 6.00 15.00 11.25 2.80 305-AH 4.00 6.50 57.00 61.00 61.00 38.00 26.14 54.50 57.00 0.69 24.67 13.12 24.15 4.00 61.00 38.00 26.14 306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 307-AH 3.00 41.00 50.00 54.50 72.00 44.15 19.38 13.50 69.00 0.44 34.62 18.07 13.50 41.00 72.00 51.36 8.87 308-AH 10.00 10.00 11.00 11.00 11.00 10.62 0.51 1.00 1.00 0.05 10.60 10.59 0.47 10.00 11.00 10.62 0.51 309-AH 8.00 8.75 10.00 10.00 10.00 9.38 0.87 1.25 2.00 0.09 9.35 9.30 0.76 8.00 10.00 9.38 0.87 310-AH 5.00 12.75 28.00 38.00 39.00 25.62 13.88 25.25 34.00 0.54 20.73 15.36 12.17 5.00 39.00 25.62 13.88 311-AH 36.00 45.50 51.00 52.00 52.00 48.15 5.19 6.50 16.00 0.11 47.87 47.56 4.27 36.00 52.00 48.15 5.19 312-AH 0.00 30.00 30.00 31.00 31.00 27.38 8.74 1.00 31.00 0.32 9.37 0.00 5.35 30.00 31.00 30.55 0.52 313-AH 6.00 7.00 9.00 11.00 11.00 8.77 1.96 4.00 5.00 0.22 8.56 8.36 1.79 6.00 11.00 8.77 1.96 314-AH 12.00 13.00 15.00 17.00 17.00 14.92 1.80 4.00 5.00 0.12 14.82 14.72 1.48 12.00 17.00 14.92 1.80 315-AH 19.00 30.00 42.00 50.50 53.00 39.23 11.33 20.50 34.00 0.29 37.57 35.78 10.06 19.00 53.00 39.23 11.33 316-AH 37.00 71.25 96.00 99.75 106.00 82.69 25.03 28.50 69.00 0.30 78.04 72.23 19.76 37.00 106.00 82.69 25.03 317-AH 15.00 21.00 23.00 29.25 30.00 23.85 5.40 8.25 15.00 0.23 23.24 22.59 4.43 15.00 30.00 23.85 5.40 318-AH 6.00 9.00 9.00 9.00 9.00 8.77 0.83 0.00 3.00 0.09 8.72 8.67 0.43 9.00 9.00 9.00 0.00 319-AH 12.00 13.00 15.00 15.00 16.00 14.23 1.30 2.00 4.00 0.09 14.17 14.11 1.10 12.00 16.00 14.23 1.30 320-AH 2.00 7.00 11.00 12.00 14.00 9.31 3.75 5.00 12.00 0.40 8.23 6.70 3.16 2.00 14.00 9.31 3.75 321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 322-AH 10.00 12.75 14.00 14.00 14.00 13.15 1.34 1.25 4.00 0.10 13.08 13.01 1.04 11.00 14.00 13.42 1.00 323-AH 7.00 11.75 14.00 19.00 20.00 14.69 4.17 7.25 13.00 0.28 14.09 13.42 3.47 7.00 20.00 14.69 4.17 324-AH 15.00 38.00 43.00 62.75 67.00 46.46 16.22 24.75 52.00 0.35 43.19 39.10 13.42 15.00 67.00 46.46 16.22 325-AH 3.00 16.25 36.00 45.00 60.00 33.15 19.18 28.75 57.00 0.58 25.78 16.17 14.76 3.00 60.00 33.15 19.18 326-AH 3.00 3.00 3.00 4.00 4.00 3.31 0.48 1.00 1.00 0.15 3.28 3.25 0.43 3.00 4.00 3.31 0.48 327-AH 0.00 2.00 4.00 4.00 4.00 3.23 1.30 2.00 4.00 0.40 1.26 0.00 1.07 0.00 4.00 3.23 1.30 328-AH 20.00 23.00 23.00 23.00 23.00 22.77 0.83 0.00 3.00 0.04 22.75 22.74 0.43 23.00 23.00 23.00 0.00 329-AH 14.00 17.00 17.00 17.00 17.00 16.69 0.85 0.00 3.00 0.05 16.67 16.65 0.52 17.00 17.00 17.00 0.00 330-AH 51.00 51.00 51.00 51.00 51.00 51.00 0.00 0.00 0.00 0.00 51.00 51.00 0.00 51.00 51.00 51.00 0.00 331-AH 17.00 17.00 17.00 17.00 17.00 17.00 0.00 0.00 0.00 0.00 17.00 17.00 0.00 17.00 17.00 17.00 0.00 332-AH 8.00 8.00 8.00 8.00 8.00 8.00 0.00 0.00 0.00 0.00 8.00 8.00 0.00 8.00 8.00 8.00 0.00 333-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00 334-AH 4.00 4.00 5.00 5.00 5.00 4.54 0.52 1.00 1.00 0.11 4.51 4.48 0.50 4.00 5.00 4.54 0.52 335-AH 3.00 12.50 13.00 14.00 15.00 12.31 3.22 1.50 12.00 0.26 11.59 10.26 2.14 11.00 15.00 13.45 1.13 336-AH 3.00 9.25 15.00 17.00 17.00 12.38 5.53 7.75 14.00 0.45 10.54 8.15 4.45 3.00 17.00 12.38 5.53 337-AH 18.00 19.50 20.00 20.00 20.00 19.54 0.88 0.50 2.00 0.04 19.52 19.50 0.71 20.00 20.00 20.00 0.00 338-AH 5.00 9.00 10.00 10.00 10.00 9.31 1.44 1.00 5.00 0.15 9.17 8.98 0.96 8.00 10.00 9.67 0.65 339-AH 19.00 19.00 19.00 19.00 19.00 19.00 0.00 0.00 0.00 0.00 19.00 19.00 0.00 19.00 19.00 19.00 0.00 340-AH 1.00 3.25 5.00 5.00 5.00 4.00 1.73 1.75 4.00 0.43 3.39 2.57 1.38 1.00 5.00 4.00 1.73 128 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 1.00 2.00 4.00 5.25 6.00 4.00 1.73 3.25 5.00 0.43 3.54 2.99 1.38 1.00 6.00 4.00 1.73 342-AH 93.00 96.00 96.00 96.00 96.00 95.62 0.96 0.00 3.00 0.01 95.61 95.61 0.65 96.00 96.00 96.00 0.00 343-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 344-AH 7.00 30.00 32.00 33.00 33.00 30.00 7.01 3.00 26.00 0.23 28.38 25.03 3.54 30.00 33.00 31.92 1.24 345-AH 0.00 7.00 9.00 9.00 9.00 7.85 2.51 2.00 9.00 0.32 2.96 0.00 1.60 7.00 9.00 8.50 0.90 346-AH 2.00 8.75 11.00 11.00 11.00 8.92 3.95 2.25 9.00 0.44 7.42 5.40 3.20 11.00 11.00 11.00 0.00 347-AH 4.00 7.00 8.00 8.00 9.00 7.54 1.20 1.00 5.00 0.16 7.42 7.26 0.79 7.00 9.00 7.83 0.58 348-AH 1.00 1.75 2.00 2.00 2.00 1.77 0.44 0.25 1.00 0.25 1.70 1.62 0.36 2.00 2.00 2.00 0.00 349-AH 25.00 27.00 27.00 27.00 27.00 26.85 0.55 0.00 2.00 0.02 26.84 26.83 0.28 27.00 27.00 27.00 0.00 350-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00 129 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 0.8978 0.9207 0.9276 0.9778 0.9861 0.9437 0.0325 0.0571 0.0883 0.0344 0.9432 0.9427 0.0292 0.8978 0.9861 0.9437 0.0325 143-AH 0.0001 0.1174 0.1799 0.8191 0.9443 0.4325 0.3826 0.7016 0.9442 0.8847 0.1108 0.0009 0.3614 0.0001 0.9443 0.4325 0.3826 144-AH 0.0085 0.0146 0.6389 0.6458 0.7500 0.4367 0.3124 0.6312 0.7415 0.7155 0.1820 0.0364 0.2803 0.0085 0.7500 0.4367 0.3124 145-AH 0.0256 0.0558 0.6438 0.6970 0.7443 0.4726 0.3042 0.6413 0.7188 0.6437 0.2859 0.1183 0.2634 0.0256 0.7443 0.4726 0.3042 146-AH 0.0072 0.0540 0.2500 0.5007 0.5038 0.2620 0.2133 0.4467 0.4966 0.8140 0.1210 0.0283 0.1847 0.0072 0.5038 0.2620 0.2133 147-AH 0.0000 0.3239 0.6027 0.6190 0.7305 0.4559 0.2333 0.2951 0.7304 0.5117 0.2096 0.0004 0.1932 0.0000 0.7305 0.4559 0.2333 148-AH 0.0000 0.0269 0.0806 0.1166 0.1964 0.0831 0.0709 0.0897 0.1964 0.8529 0.0337 0.0001 0.0542 0.0000 0.1964 0.0831 0.0709 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0010 0.0031 0.0121 0.1055 0.1141 0.0424 0.0493 0.1024 0.1132 1.1636 0.0145 0.0048 0.0446 0.0010 0.1141 0.0424 0.0493 151-AH 0.0005 0.0046 0.0119 0.2446 0.4009 0.1005 0.1463 0.2400 0.4004 1.4562 0.0156 0.0019 0.1257 0.0005 0.4009 0.1005 0.1463 152-AH 0.0000 0.1390 0.2371 0.2993 0.4580 0.2172 0.1319 0.1603 0.4580 0.6074 0.0697 0.0001 0.1014 0.0000 0.4580 0.2172 0.1319 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.0868 0.2862 0.3049 0.3466 0.3774 0.2996 0.0726 0.0604 0.2907 0.2422 0.2857 0.2612 0.0433 0.2662 0.3774 0.3174 0.0358 155-AH 0.0000 0.0003 0.0017 0.0831 0.3674 0.0711 0.1356 0.0827 0.3674 1.9083 0.0032 0.0001 0.0969 0.0000 0.1032 0.0172 0.0364 156-AH 0.0160 0.0516 0.0562 0.0930 0.1277 0.0720 0.0354 0.0415 0.1117 0.4913 0.0635 0.0538 0.0284 0.0160 0.1277 0.0720 0.0354 157-AH 0.3497 0.4698 0.5153 0.5250 0.6386 0.4946 0.0750 0.0552 0.2890 0.1515 0.4890 0.4828 0.0518 0.4585 0.5346 0.5082 0.0252 158-AH 0.0016 0.2373 0.2521 0.5556 0.7875 0.3659 0.2573 0.3184 0.7859 0.7031 0.2249 0.0193 0.2088 0.0016 0.7875 0.3659 0.2573 159-AH 0.0001 0.2093 0.2794 0.4550 0.5465 0.3043 0.1796 0.2457 0.5465 0.5903 0.1474 0.0010 0.1410 0.0001 0.5465 0.3043 0.1796 160-AH 0.0139 0.0183 0.0353 0.1292 0.2630 0.0700 0.0735 0.1109 0.2491 1.0495 0.0447 0.0314 0.0570 0.0139 0.2630 0.0700 0.0735 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.3597 0.6310 0.6896 0.8102 0.8382 0.6993 0.1316 0.1792 0.4785 0.1882 0.6851 0.6670 0.0967 0.6208 0.8382 0.7276 0.0869 164-AH 0.0011 0.0420 0.0755 0.1280 0.2249 0.0853 0.0602 0.0860 0.2238 0.7059 0.0537 0.0115 0.0469 0.0011 0.2249 0.0853 0.0602 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.1155 0.2240 0.2297 0.3057 0.4256 0.2566 0.0802 0.0817 0.3101 0.3126 0.2446 0.2320 0.0621 0.1155 0.4256 0.2566 0.0802 168-AH 0.0773 0.4666 0.5275 0.6405 0.7786 0.5244 0.1787 0.1739 0.7013 0.3408 0.4722 0.3681 0.1242 0.3486 0.7786 0.5616 0.1231 169-AH 0.0026 0.0108 0.0359 0.0845 0.1945 0.0559 0.0585 0.0738 0.1920 1.0473 0.0291 0.0130 0.0455 0.0026 0.1945 0.0559 0.0585 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0513 0.0514 0.0829 0.0943 0.1096 0.0775 0.0222 0.0429 0.0583 0.2867 0.0744 0.0714 0.0194 0.0513 0.1096 0.0775 0.0222 172-AH 0.0014 0.0018 0.0276 0.0632 0.0680 0.0328 0.0271 0.0614 0.0666 0.8273 0.0155 0.0049 0.0234 0.0014 0.0680 0.0328 0.0271 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5290 0.6090 0.6617 0.7021 0.7831 0.6533 0.0788 0.0931 0.2541 0.1205 0.6487 0.6439 0.0595 0.5290 0.7831 0.6533 0.0788 176-AH 0.7076 0.7488 0.8048 0.9266 0.9452 0.8310 0.0885 0.1778 0.2375 0.1065 0.8267 0.8224 0.0780 0.7076 0.9452 0.8310 0.0885 177-AH 0.0732 0.1706 0.2086 0.3445 0.4482 0.2519 0.1242 0.1739 0.3750 0.4932 0.2217 0.1914 0.1044 0.0732 0.4482 0.2519 0.1242 178-AH 0.0000 0.0008 0.0167 0.2509 0.2513 0.1007 0.1238 0.2501 0.2513 1.2291 0.0059 0.0000 0.1156 0.0000 0.2513 0.1007 0.1238 179-AH 0.0000 0.1710 0.2630 0.6137 0.8176 0.3761 0.2752 0.4427 0.8176 0.7317 0.1497 0.0001 0.2352 0.0000 0.8176 0.3761 0.2752 180-AH 0.0000 0.0151 0.0391 0.3561 0.4833 0.1700 0.2034 0.3411 0.4833 1.1967 0.0128 0.0000 0.1848 0.0000 0.4833 0.1700 0.2034 181-AH 0.3325 0.6718 0.7263 0.8214 0.8558 0.7214 0.1355 0.1496 0.5233 0.1879 0.7051 0.6821 0.0873 0.6590 0.8558 0.7539 0.0717 182-AH 0.0698 0.1029 0.1786 0.4941 0.5192 0.2603 0.1817 0.3911 0.4494 0.6981 0.2039 0.1601 0.1553 0.0698 0.5192 0.2603 0.1817 183-AH 0.0044 0.0555 0.2409 0.3356 0.5174 0.2201 0.1682 0.2801 0.5130 0.7643 0.1087 0.0254 0.1387 0.0044 0.5174 0.2201 0.1682 184-AH 0.0012 0.0586 0.1338 0.4344 0.5285 0.2308 0.2070 0.3758 0.5274 0.8970 0.0967 0.0099 0.1866 0.0012 0.5285 0.2308 0.2070 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.6510 0.8329 0.8909 0.9289 0.9325 0.8517 0.1056 0.0960 0.2816 0.1240 0.8450 0.8375 0.0825 0.7172 0.9325 0.8882 0.0622 190-AH 0.0065 0.0758 0.2278 0.4473 0.5872 0.2855 0.2157 0.3715 0.5808 0.7556 0.1766 0.0574 0.1911 0.0065 0.5872 0.2855 0.2157 130 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0283 0.5548 0.6895 0.9821 1.0000 0.6773 0.3459 0.4273 0.9717 0.5107 0.4664 0.1598 0.2744 0.0283 1.0000 0.6773 0.3459 193-AH 0.2197 0.3769 0.4081 0.4663 0.5234 0.4026 0.0806 0.0895 0.3037 0.2002 0.3940 0.3838 0.0579 0.3018 0.5234 0.4179 0.0616 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.4786 0.6882 0.7877 0.9449 0.9807 0.7889 0.1517 0.2567 0.5021 0.1923 0.7743 0.7585 0.1224 0.4786 0.9807 0.7889 0.1517 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.4782 0.6240 0.6584 0.6839 0.6924 0.6393 0.0609 0.0598 0.2142 0.0953 0.6363 0.6330 0.0429 0.5743 0.6924 0.6527 0.0386 200-AH 0.0111 0.2935 0.3338 0.5570 0.7175 0.3898 0.2190 0.2635 0.7064 0.5619 0.2783 0.0976 0.1763 0.0111 0.7175 0.3898 0.2190 251-AH 0.2342 0.3325 0.4574 0.5097 0.5202 0.4292 0.0916 0.1772 0.2860 0.2135 0.4186 0.4063 0.0746 0.2342 0.5202 0.4292 0.0916 252-AH 0.1287 0.1713 0.3196 0.4343 0.5705 0.3192 0.1440 0.2630 0.4418 0.4512 0.2883 0.2587 0.1127 0.1287 0.5705 0.3192 0.1440 253-AH 0.0019 0.1181 0.1856 0.3082 0.3484 0.1934 0.1207 0.1900 0.3465 0.6240 0.1033 0.0147 0.0985 0.0019 0.3484 0.1934 0.1207 254-AH 0.0345 0.0864 0.1609 0.1666 0.2695 0.1359 0.0742 0.0802 0.2350 0.5463 0.1146 0.0923 0.0605 0.0345 0.2695 0.1359 0.0742 255-AH 0.2556 0.5942 0.6227 0.7487 0.7669 0.6194 0.1551 0.1545 0.5114 0.2504 0.5951 0.5626 0.1080 0.3702 0.7669 0.6497 0.1149 256-AH 0.1176 0.6780 0.8150 0.8419 0.8563 0.6831 0.2795 0.1639 0.7387 0.4091 0.5771 0.4100 0.2195 0.7750 0.8563 0.8258 0.0268 257-AH 0.0061 0.1392 0.1774 0.2260 0.2878 0.1844 0.0739 0.0868 0.2818 0.4010 0.1479 0.0567 0.0522 0.1391 0.2878 0.1992 0.0532 258-AH 0.0000 0.0038 0.0041 0.0428 0.2522 0.0405 0.0744 0.0390 0.2522 1.8336 0.0066 0.0001 0.0525 0.0000 0.0844 0.0135 0.0248 259-AH 0.0056 0.0608 0.6691 0.6724 0.6842 0.4107 0.3135 0.6116 0.6786 0.7634 0.1805 0.0326 0.2860 0.0056 0.6842 0.4107 0.3135 260-AH 0.2372 0.3297 0.3788 0.4790 0.5786 0.4029 0.0976 0.1493 0.3414 0.2423 0.3921 0.3813 0.0762 0.2372 0.5786 0.4029 0.0976 261-AH 0.0000 0.0202 0.0971 0.3526 0.4085 0.1539 0.1639 0.3324 0.4085 1.0648 0.0411 0.0001 0.1421 0.0000 0.4085 0.1539 0.1639 262-AH 0.0059 0.0465 0.0971 0.1539 0.2865 0.1149 0.0967 0.1074 0.2806 0.8413 0.0716 0.0319 0.0731 0.0059 0.2865 0.1149 0.0967 263-AH 0.0000 0.0084 0.0126 0.0537 0.1088 0.0288 0.0323 0.0453 0.1087 1.1198 0.0089 0.0003 0.0254 0.0000 0.1088 0.0288 0.0323 264-AH 0.1700 0.1896 0.4123 0.5052 0.6852 0.3981 0.1774 0.3156 0.5152 0.4457 0.3562 0.3130 0.1422 0.1700 0.6852 0.3981 0.1774 265-AH 0.0523 0.1156 0.2286 0.4559 0.6141 0.2688 0.1970 0.3403 0.5618 0.7329 0.2042 0.1525 0.1623 0.0523 0.6141 0.2688 0.1970 266-AH 0.0000 0.0000 0.0036 0.0203 0.0834 0.0178 0.0282 0.0203 0.0834 1.5890 0.0006 0.0000 0.0203 0.0000 0.0301 0.0069 0.0102 267-AH 0.0982 0.1695 0.2325 0.3803 0.4221 0.2629 0.1079 0.2108 0.3239 0.4105 0.2416 0.2202 0.0918 0.0982 0.4221 0.2629 0.1079 268-AH 0.0721 0.3390 0.6747 0.6981 0.7292 0.5533 0.2101 0.3591 0.6570 0.3797 0.4855 0.3605 0.1729 0.0721 0.7292 0.5533 0.2101 269-AH 0.0325 0.1215 0.1472 0.2738 0.4670 0.2044 0.1433 0.1523 0.4345 0.7010 0.1571 0.1137 0.1096 0.0325 0.4670 0.2044 0.1433 270-AH 0.3651 0.6649 0.7243 0.7473 0.7760 0.6803 0.1214 0.0824 0.4109 0.1784 0.6673 0.6506 0.0839 0.6616 0.7760 0.7268 0.0384 271-AH 0.1672 0.3827 0.4584 0.4716 0.5175 0.4217 0.0924 0.0890 0.3504 0.2190 0.4081 0.3880 0.0672 0.3296 0.5175 0.4429 0.0541 272-AH 0.0019 0.1748 0.2059 0.2946 0.3347 0.2146 0.0932 0.1199 0.3328 0.4343 0.1542 0.0220 0.0666 0.0019 0.3347 0.2146 0.0932 273-AH 0.0385 0.6242 0.6358 0.6684 0.7282 0.6006 0.1746 0.0442 0.6897 0.2907 0.5199 0.2916 0.0952 0.6048 0.7282 0.6568 0.0343 274-AH 0.0007 0.0033 0.0188 0.0296 0.0575 0.0208 0.0216 0.0262 0.0569 1.0377 0.0095 0.0034 0.0167 0.0007 0.0575 0.0208 0.0216 275-AH 0.0924 0.2736 0.3654 0.5326 0.5556 0.3769 0.1680 0.2591 0.4632 0.4458 0.3296 0.2716 0.1411 0.0924 0.5556 0.3769 0.1680 276-AH 0.0698 0.1551 0.2304 0.3584 0.4370 0.2490 0.1271 0.2033 0.3672 0.5103 0.2158 0.1819 0.1037 0.0698 0.4370 0.2490 0.1271 277-AH 0.0649 0.0769 0.1081 0.1214 0.1546 0.1032 0.0292 0.0446 0.0897 0.2825 0.0995 0.0960 0.0244 0.0649 0.1546 0.1032 0.0292 278-AH 0.0112 0.0268 0.0431 0.1092 0.2932 0.0897 0.0993 0.0824 0.2819 1.1071 0.0530 0.0343 0.0783 0.0112 0.2315 0.0563 0.0615 279-AH 0.0087 0.0185 0.1005 0.3171 0.5311 0.1757 0.1968 0.2986 0.5223 1.1201 0.0734 0.0306 0.1595 0.0087 0.5311 0.1757 0.1968 280-AH 0.0035 0.0249 0.0509 0.0774 0.1056 0.0509 0.0341 0.0526 0.1022 0.6695 0.0353 0.0181 0.0301 0.0035 0.1056 0.0509 0.0341 281-AH 0.2554 0.3507 0.3740 0.4784 0.5105 0.3970 0.0833 0.1277 0.2551 0.2099 0.3885 0.3796 0.0707 0.2554 0.5105 0.3970 0.0833 282-AH 0.0163 0.1314 0.1586 0.1977 0.3158 0.1645 0.0715 0.0663 0.2996 0.4344 0.1415 0.0963 0.0483 0.1129 0.2539 0.1643 0.0405 283-AH 0.0430 0.1215 0.2269 0.3302 0.3958 0.2260 0.1156 0.2088 0.3529 0.5116 0.1911 0.1507 0.0975 0.0430 0.3958 0.2260 0.1156 284-AH 0.0069 0.3577 0.4782 0.5593 0.6047 0.4092 0.2135 0.2016 0.5978 0.5218 0.2526 0.0541 0.1646 0.1359 0.6047 0.4816 0.1311 285-AH 0.0073 0.1092 0.1263 0.4027 0.7585 0.2502 0.2287 0.2935 0.7512 0.9138 0.1572 0.0615 0.1828 0.0073 0.7585 0.2502 0.2287 286-AH 0.0007 0.0057 0.0197 0.0407 0.0685 0.0259 0.0231 0.0350 0.0679 0.8903 0.0138 0.0044 0.0191 0.0007 0.0685 0.0259 0.0231 287-AH 0.0067 0.1482 0.3078 0.4682 0.4818 0.2707 0.1802 0.3200 0.4751 0.6656 0.1350 0.0271 0.1449 0.0067 0.4818 0.2707 0.1802 288-AH 0.0375 0.0964 0.1548 0.2076 0.3149 0.1629 0.0865 0.1111 0.2774 0.5306 0.1380 0.1112 0.0699 0.0375 0.3149 0.1629 0.0865 289-AH 0.3196 0.7267 0.7647 0.7795 0.8630 0.7269 0.1303 0.0528 0.5434 0.1793 0.7106 0.6858 0.0718 0.6799 0.7931 0.7515 0.0356 290-AH 0.0054 0.0630 0.0844 0.1225 0.1876 0.0894 0.0507 0.0595 0.1822 0.5665 0.0698 0.0379 0.0372 0.0054 0.1876 0.0894 0.0507 131 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0734 0.4421 0.5107 0.5715 0.6547 0.4790 0.1601 0.1295 0.5813 0.3342 0.4324 0.3403 0.1096 0.2871 0.6547 0.5128 0.1084 292-AH 0.0144 0.4877 0.5943 0.6813 0.8875 0.5830 0.2316 0.1936 0.8731 0.3973 0.4593 0.1453 0.1538 0.4645 0.8875 0.6303 0.1634 293-AH 0.0234 0.4906 0.5274 0.5812 0.6662 0.5084 0.1592 0.0906 0.6428 0.3131 0.4279 0.2004 0.0896 0.4655 0.6662 0.5488 0.0670 294-AH 0.0002 0.0858 0.5601 0.6330 0.6655 0.3929 0.2614 0.5473 0.6653 0.6654 0.1830 0.0022 0.2375 0.0002 0.6655 0.3929 0.2614 295-AH 0.0032 0.2102 0.2619 0.2800 0.3467 0.2268 0.0991 0.0698 0.3435 0.4371 0.1637 0.0347 0.0714 0.1568 0.3467 0.2626 0.0498 296-AH 0.1729 0.3566 0.4772 0.5118 0.6634 0.4335 0.1428 0.1553 0.4905 0.3294 0.4069 0.3750 0.1142 0.1729 0.6634 0.4335 0.1428 297-AH 0.0273 0.0368 0.2681 0.3708 0.4153 0.2204 0.1652 0.3339 0.3880 0.7497 0.1401 0.0797 0.1519 0.0273 0.4153 0.2204 0.1652 298-AH 0.0526 0.1045 0.1558 0.2186 0.2262 0.1489 0.0601 0.1140 0.1736 0.4039 0.1356 0.1207 0.0479 0.0526 0.2262 0.1489 0.0601 299-AH 0.0021 0.1361 0.1573 0.2197 0.2865 0.1631 0.0863 0.0836 0.2844 0.5290 0.1024 0.0191 0.0631 0.1360 0.2865 0.1919 0.0549 300-AH 0.0060 0.0272 0.1032 0.1341 0.2292 0.0944 0.0669 0.1069 0.2231 0.7086 0.0563 0.0216 0.0514 0.0060 0.2292 0.0944 0.0669 301-AH 0.0068 0.0752 0.2577 0.5232 0.5804 0.2967 0.2281 0.4479 0.5736 0.7688 0.1675 0.0526 0.2013 0.0068 0.5804 0.2967 0.2281 302-AH 0.1348 0.2795 0.3622 0.4346 0.4620 0.3532 0.0910 0.1551 0.3272 0.2576 0.3387 0.3190 0.0681 0.1348 0.4620 0.3532 0.0910 303-AH 0.0008 0.0164 0.0252 0.1174 0.2039 0.0691 0.0721 0.1009 0.2032 1.0425 0.0336 0.0078 0.0593 0.0008 0.2039 0.0691 0.0721 304-AH 0.0006 0.0427 0.2695 0.2973 0.3076 0.1824 0.1267 0.2545 0.3070 0.6947 0.0932 0.0076 0.1155 0.0006 0.3076 0.1824 0.1267 305-AH 0.0003 0.0005 0.2433 0.2952 0.3052 0.1615 0.1408 0.2946 0.3050 0.8716 0.0279 0.0011 0.1329 0.0003 0.3052 0.1615 0.1408 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0004 0.0479 0.1021 0.1180 0.1781 0.0915 0.0564 0.0701 0.1777 0.6168 0.0436 0.0029 0.0447 0.0004 0.1781 0.0915 0.0564 308-AH 0.5722 0.7021 0.7419 0.7862 0.7988 0.7242 0.0718 0.0840 0.2265 0.0991 0.7207 0.7170 0.0534 0.6147 0.7988 0.7369 0.0579 309-AH 0.0104 0.0170 0.0551 0.1160 0.2467 0.0856 0.0942 0.0990 0.2364 1.1000 0.0482 0.0290 0.0743 0.0104 0.2467 0.0856 0.0942 310-AH 0.0016 0.0102 0.0283 0.0846 0.1293 0.0495 0.0490 0.0745 0.1277 0.9892 0.0265 0.0104 0.0399 0.0016 0.1293 0.0495 0.0490 311-AH 0.0305 0.1788 0.2203 0.2862 0.3504 0.2213 0.0861 0.1074 0.3198 0.3893 0.1958 0.1491 0.0619 0.0305 0.3504 0.2213 0.0861 312-AH 0.0000 0.1903 0.3985 0.4725 0.5942 0.3353 0.1953 0.2822 0.5942 0.5826 0.1357 0.0001 0.1645 0.0000 0.5942 0.3353 0.1953 313-AH 0.0091 0.0102 0.0163 0.0313 0.0664 0.0255 0.0211 0.0211 0.0573 0.8278 0.0194 0.0157 0.0161 0.0091 0.0480 0.0181 0.0118 314-AH 0.0225 0.0244 0.0452 0.0523 0.0836 0.0444 0.0195 0.0278 0.0612 0.4382 0.0406 0.0371 0.0147 0.0225 0.0836 0.0444 0.0195 315-AH 0.0096 0.2315 0.2542 0.3822 0.5009 0.2909 0.1359 0.1508 0.4913 0.4670 0.2284 0.0885 0.1054 0.0096 0.5009 0.2909 0.1359 316-AH 0.0195 0.0782 0.1375 0.1431 0.1698 0.1076 0.0515 0.0648 0.1503 0.4789 0.0895 0.0649 0.0445 0.0195 0.1698 0.1076 0.0515 317-AH 0.0263 0.0819 0.0859 0.2014 0.2255 0.1180 0.0689 0.1195 0.1992 0.5835 0.0999 0.0827 0.0588 0.0263 0.2255 0.1180 0.0689 318-AH 0.0122 0.0602 0.0697 0.1137 0.2668 0.1032 0.0724 0.0535 0.2546 0.7015 0.0817 0.0585 0.0516 0.0122 0.1312 0.0765 0.0338 319-AH 0.0909 0.3422 0.3771 0.4737 0.4822 0.3710 0.1208 0.1316 0.3913 0.3255 0.3420 0.2964 0.0863 0.1723 0.4822 0.3944 0.0904 320-AH 0.0007 0.0308 0.0452 0.0555 0.0798 0.0418 0.0227 0.0247 0.0791 0.5431 0.0270 0.0062 0.0174 0.0007 0.0798 0.0418 0.0227 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0427 0.0734 0.1320 0.1468 0.1885 0.1181 0.0468 0.0734 0.1459 0.3964 0.1073 0.0950 0.0375 0.0427 0.1885 0.1181 0.0468 323-AH 0.0052 0.0260 0.0583 0.1081 0.2089 0.0797 0.0738 0.0821 0.2037 0.9266 0.0486 0.0250 0.0569 0.0052 0.2089 0.0797 0.0738 324-AH 0.0047 0.1420 0.1518 0.5867 0.6044 0.2974 0.2222 0.4447 0.5996 0.7470 0.1897 0.0483 0.1923 0.0047 0.6044 0.2974 0.2222 325-AH 0.0002 0.0100 0.0295 0.1482 0.4535 0.1140 0.1742 0.1382 0.4533 1.5279 0.0260 0.0025 0.1400 0.0002 0.0653 0.0230 0.0197 326-AH 0.2182 0.2961 0.3271 0.3884 0.5227 0.3533 0.0865 0.0923 0.3045 0.2449 0.3441 0.3354 0.0664 0.2182 0.5227 0.3533 0.0865 327-AH 0.0000 0.0137 0.0417 0.2334 0.4610 0.1307 0.1460 0.2197 0.4610 1.1169 0.0332 0.0001 0.1206 0.0000 0.4610 0.1307 0.1460 328-AH 0.1865 0.4113 0.4942 0.5829 0.7534 0.5081 0.1505 0.1715 0.5669 0.2962 0.4828 0.4503 0.1124 0.1865 0.7534 0.5081 0.1505 329-AH 0.1489 0.6625 0.6983 0.7233 0.7479 0.6369 0.1761 0.0608 0.5990 0.2766 0.5951 0.5190 0.1164 0.6584 0.7479 0.7057 0.0318 330-AH 0.7134 0.7379 0.7566 0.7691 0.8242 0.7576 0.0290 0.0312 0.1108 0.0383 0.7571 0.7566 0.0213 0.7134 0.7896 0.7521 0.0220 331-AH 0.1156 0.1307 0.2292 0.5775 0.6023 0.3005 0.2098 0.4468 0.4867 0.6981 0.2405 0.1984 0.1801 0.1156 0.6023 0.3005 0.2098 332-AH 0.2834 0.3019 0.3172 0.3530 0.4207 0.3334 0.0455 0.0511 0.1373 0.1366 0.3307 0.3282 0.0353 0.2834 0.4207 0.3334 0.0455 333-AH 0.5568 0.9632 1.0000 1.0000 1.0000 0.9205 0.1664 0.0368 0.4432 0.1808 0.9027 0.8805 0.1223 1.0000 1.0000 1.0000 0.0000 334-AH 0.0818 0.0944 0.1565 0.2230 0.3296 0.1740 0.0875 0.1286 0.2478 0.5027 0.1554 0.1397 0.0682 0.0818 0.3296 0.1740 0.0875 335-AH 0.0016 0.0893 0.2420 0.3198 0.3563 0.2107 0.1156 0.2305 0.3546 0.5487 0.1398 0.0190 0.0975 0.0016 0.3563 0.2107 0.1156 336-AH 0.0010 0.0076 0.0806 0.2414 0.2774 0.1187 0.1113 0.2338 0.2764 0.9373 0.0366 0.0043 0.0990 0.0010 0.2774 0.1187 0.1113 337-AH 0.6720 0.6759 0.7620 0.8507 0.9279 0.7682 0.0926 0.1749 0.2559 0.1205 0.7631 0.7582 0.0792 0.6720 0.9279 0.7682 0.0926 338-AH 0.0155 0.5268 0.6604 0.7221 0.7690 0.5689 0.2278 0.1953 0.7536 0.4005 0.4437 0.1500 0.1641 0.4113 0.7690 0.6505 0.1116 339-AH 0.1742 0.3657 0.4415 0.6575 0.6786 0.4867 0.1613 0.2918 0.5043 0.3314 0.4576 0.4228 0.1350 0.1742 0.6786 0.4867 0.1613 340-AH 0.0003 0.0215 0.1364 0.1901 0.4183 0.1338 0.1163 0.1686 0.4181 0.8692 0.0341 0.0011 0.0827 0.0003 0.4183 0.1338 0.1163 132 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0008 0.0232 0.2933 0.4212 0.6858 0.2802 0.2159 0.3980 0.6851 0.7706 0.1227 0.0087 0.1692 0.0008 0.6858 0.2802 0.2159 342-AH 0.2767 0.5796 0.6424 0.7398 0.7537 0.6318 0.1251 0.1602 0.4770 0.1981 0.6158 0.5927 0.0806 0.5796 0.7537 0.6614 0.0683 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0197 0.4936 0.5059 0.5303 0.6096 0.4819 0.1451 0.0367 0.5899 0.3010 0.4034 0.1757 0.0760 0.4502 0.5847 0.5123 0.0352 345-AH 0.0000 0.0311 0.0369 0.1734 0.2872 0.0985 0.1007 0.1424 0.2872 1.0224 0.0325 0.0001 0.0860 0.0000 0.2872 0.0985 0.1007 346-AH 0.0004 0.0330 0.0478 0.0618 0.1148 0.0480 0.0335 0.0288 0.1144 0.6978 0.0197 0.0021 0.0230 0.0004 0.0850 0.0424 0.0280 347-AH 0.0034 0.0070 0.0825 0.1274 0.2200 0.0844 0.0789 0.1204 0.2166 0.9350 0.0402 0.0152 0.0657 0.0034 0.2200 0.0844 0.0789 348-AH 0.2500 0.8125 1.0000 1.0000 1.0000 0.8269 0.3289 0.1875 0.7500 0.3977 0.7262 0.5909 0.2663 1.0000 1.0000 1.0000 0.0000 349-AH 0.2723 0.3529 0.3640 0.4223 0.5686 0.3890 0.0752 0.0694 0.2963 0.1933 0.3828 0.3769 0.0536 0.2723 0.4862 0.3740 0.0547 350-AH 0.4514 0.5771 0.6472 0.6618 0.6888 0.6198 0.0687 0.0847 0.2373 0.1109 0.6158 0.6115 0.0532 0.4514 0.6888 0.6198 0.0687 133 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 0.7500 0.8750 0.8750 0.8750 0.8750 0.8654 0.0347 0.0000 0.1250 0.0401 0.8647 0.8639 0.0178 0.8750 0.8750 0.8750 0.0000 143-AH 0.0000 0.2436 0.3077 0.7179 0.8718 0.4477 0.3039 0.4744 0.8718 0.6787 0.0894 0.0001 0.2731 0.0000 0.8718 0.4477 0.3039 144-AH 0.0000 0.0000 0.6667 0.6667 0.6667 0.4103 0.3089 0.6667 0.6667 0.7530 0.0196 0.0000 0.2761 0.0000 0.6667 0.4103 0.3089 145-AH 0.0263 0.1316 0.5789 0.6645 0.7368 0.4615 0.2704 0.5329 0.7105 0.5859 0.3182 0.1499 0.2314 0.0263 0.7368 0.4615 0.2704 146-AH 0.0000 0.0000 0.5000 0.5000 0.5000 0.2692 0.2594 0.5000 0.5000 0.9636 0.0034 0.0000 0.2485 0.0000 0.5000 0.2692 0.2594 147-AH 0.0000 0.4020 0.5490 0.5686 0.6863 0.4615 0.1873 0.1667 0.6863 0.4059 0.2094 0.0001 0.1409 0.2157 0.6863 0.5000 0.1315 148-AH 0.0000 0.0000 0.1667 0.1667 0.1667 0.1154 0.0801 0.1667 0.1667 0.6939 0.0084 0.0000 0.0710 0.0000 0.1667 0.1154 0.0801 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0308 0.0751 0.0000 0.2000 2.4410 0.0000 0.0000 0.0521 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.3333 0.4167 0.1154 0.1685 0.3333 0.4167 1.4606 0.0005 0.0000 0.1469 0.0000 0.4167 0.1154 0.1685 152-AH 0.0000 0.1591 0.2727 0.2727 0.3636 0.2168 0.1146 0.1136 0.3636 0.5287 0.0516 0.0001 0.0914 0.0000 0.3636 0.2168 0.1146 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1429 0.3333 0.3333 0.3333 0.3810 0.3187 0.0563 0.0000 0.2381 0.1766 0.3118 0.3014 0.0321 0.3333 0.3333 0.3333 0.0000 155-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0513 0.1252 0.0000 0.3333 2.4410 0.0000 0.0000 0.0868 0.0000 0.0000 0.0000 0.0000 156-AH 0.0455 0.0795 0.0909 0.1591 0.2273 0.1189 0.0683 0.0795 0.1818 0.5743 0.1019 0.0873 0.0554 0.0455 0.2273 0.1189 0.0683 157-AH 0.4101 0.5198 0.5396 0.5486 0.5755 0.5208 0.0491 0.0288 0.1655 0.0943 0.5184 0.5158 0.0345 0.5036 0.5755 0.5396 0.0188 158-AH 0.0294 0.2647 0.2941 0.5221 0.6765 0.3688 0.1986 0.2574 0.6471 0.5386 0.3016 0.1883 0.1577 0.0294 0.6765 0.3688 0.1986 159-AH 0.0000 0.2870 0.3333 0.4722 0.5556 0.3476 0.1723 0.1852 0.5556 0.4956 0.1523 0.0001 0.1265 0.0741 0.5556 0.3765 0.1431 160-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0385 0.1387 0.0000 0.5000 3.6056 0.0000 0.0000 0.0710 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1538 0.3755 0.0000 1.0000 2.4410 0.0001 0.0000 0.2604 0.0000 0.0000 0.0000 0.0000 163-AH 0.4180 0.5984 0.6393 0.7398 0.7705 0.6557 0.0981 0.1414 0.3525 0.1496 0.6481 0.6395 0.0731 0.4180 0.7705 0.6557 0.0981 164-AH 0.0000 0.0370 0.0741 0.1111 0.2222 0.0769 0.0632 0.0741 0.2222 0.8214 0.0192 0.0001 0.0491 0.0000 0.2222 0.0769 0.0632 165-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8462 0.3755 0.0000 1.0000 0.4438 0.1701 0.0001 0.2604 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.2000 0.2000 0.4000 0.4000 0.4000 0.3077 0.1038 0.2000 0.2000 0.3373 0.2905 0.2737 0.0994 0.2000 0.4000 0.3077 0.1038 168-AH 0.1111 0.4861 0.5000 0.5556 0.6667 0.5000 0.1361 0.0694 0.5556 0.2722 0.4684 0.4075 0.0769 0.4444 0.5556 0.5056 0.0410 169-AH 0.0000 0.0000 0.0000 0.1667 0.1667 0.0513 0.0801 0.1667 0.1667 1.5612 0.0002 0.0000 0.0710 0.0000 0.1667 0.0513 0.0801 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8462 0.3755 0.0000 1.0000 0.4438 0.1701 0.0001 0.2604 1.0000 1.0000 1.0000 0.0000 171-AH 0.0526 0.0526 0.0526 0.1053 0.1579 0.0810 0.0347 0.0526 0.1053 0.4291 0.0748 0.0696 0.0305 0.0526 0.1579 0.0810 0.0347 172-AH 0.0000 0.0000 0.0000 0.0000 0.1429 0.0110 0.0396 0.0000 0.1429 3.6056 0.0000 0.0000 0.0203 0.0000 0.0000 0.0000 0.0000 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5714 0.5714 0.7143 0.7143 0.7143 0.6593 0.0723 0.1429 0.1429 0.1097 0.6555 0.6516 0.0676 0.5714 0.7143 0.6593 0.0723 176-AH 0.6410 0.6410 0.6923 0.8462 0.8718 0.7278 0.0962 0.2051 0.2308 0.1322 0.7221 0.7167 0.0871 0.6410 0.8718 0.7278 0.0962 177-AH 0.0000 0.2308 0.3077 0.4038 0.4615 0.2899 0.1444 0.1731 0.4615 0.4982 0.1299 0.0001 0.1138 0.0000 0.4615 0.2899 0.1444 178-AH 0.0000 0.0000 0.0000 0.2500 0.2500 0.0962 0.1266 0.2500 0.2500 1.3166 0.0005 0.0000 0.1183 0.0000 0.2500 0.0962 0.1266 179-AH 0.0000 0.2955 0.3182 0.5795 0.7727 0.3986 0.2304 0.2841 0.7727 0.5780 0.1713 0.0001 0.1829 0.0000 0.7727 0.3986 0.2304 180-AH 0.0000 0.0000 0.0000 0.4687 0.5250 0.1923 0.2469 0.4687 0.5250 1.2841 0.0012 0.0000 0.2290 0.0000 0.5250 0.1923 0.2469 181-AH 0.3913 0.6929 0.7283 0.7500 0.7826 0.7032 0.0979 0.0571 0.3913 0.1392 0.6946 0.6829 0.0548 0.6848 0.7826 0.7292 0.0295 182-AH 0.0000 0.0000 0.2500 0.5625 0.7500 0.3077 0.2914 0.5625 0.7500 0.9472 0.0151 0.0000 0.2337 0.0000 0.7500 0.3077 0.2914 183-AH 0.0000 0.0000 0.2500 0.2500 0.2500 0.1538 0.1266 0.2500 0.2500 0.8229 0.0051 0.0000 0.1183 0.0000 0.2500 0.1538 0.1266 184-AH 0.0000 0.0000 0.1111 0.4722 0.5556 0.2308 0.2377 0.4722 0.5556 1.0301 0.0113 0.0000 0.2156 0.0000 0.5556 0.2308 0.2377 185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3077 0.4804 1.0000 1.0000 1.5612 0.0003 0.0000 0.4260 0.0000 1.0000 0.3077 0.4804 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2308 0.4385 0.2500 1.0000 1.9003 0.0001 0.0000 0.3550 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.5714 0.6786 0.7143 0.7143 0.8571 0.7033 0.0915 0.0357 0.2857 0.1301 0.6977 0.6921 0.0609 0.7143 0.7143 0.7143 0.0000 190-AH 0.0000 0.1111 0.2222 0.4722 0.5556 0.2906 0.2105 0.3611 0.5556 0.7244 0.1143 0.0001 0.1933 0.0000 0.5556 0.2906 0.2105 134 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.5000 0.6667 0.8750 1.0000 0.6154 0.3360 0.3750 1.0000 0.5460 0.1256 0.0001 0.2604 0.0000 1.0000 0.6154 0.3360 193-AH 0.2857 0.2857 0.4286 0.4286 0.4286 0.3626 0.0741 0.1429 0.1429 0.2044 0.3554 0.3482 0.0710 0.2857 0.4286 0.3626 0.0741 194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1538 0.3755 0.0000 1.0000 2.4410 0.0001 0.0000 0.2604 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2308 0.4385 0.2500 1.0000 1.9003 0.0001 0.0000 0.3550 0.0000 0.0000 0.0000 0.0000 197-AH 0.4800 0.6400 0.7200 0.8600 0.9400 0.7354 0.1294 0.2200 0.4600 0.1760 0.7243 0.7125 0.1027 0.4800 0.9400 0.7354 0.1294 198-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2308 0.4385 0.2500 1.0000 1.9003 0.0001 0.0000 0.3550 0.0000 0.0000 0.0000 0.0000 199-AH 0.5000 0.6000 0.7000 0.7000 0.7000 0.6462 0.0776 0.1000 0.2000 0.1201 0.6415 0.6364 0.0663 0.5000 0.7000 0.6462 0.0776 200-AH 0.0000 0.3333 0.4444 0.6667 0.7778 0.4530 0.2504 0.3333 0.7778 0.5527 0.0964 0.0001 0.1972 0.0000 0.7778 0.4530 0.2504 251-AH 0.2769 0.3538 0.4615 0.5077 0.5385 0.4438 0.0838 0.1538 0.2615 0.1887 0.4357 0.4267 0.0692 0.2769 0.5385 0.4438 0.0838 252-AH 0.1724 0.2414 0.3448 0.3707 0.5172 0.3342 0.1009 0.1293 0.3448 0.3019 0.3200 0.3058 0.0751 0.1724 0.5172 0.3342 0.1009 253-AH 0.0105 0.2289 0.2895 0.3895 0.4474 0.2789 0.1411 0.1605 0.4368 0.5059 0.2029 0.0812 0.1061 0.0105 0.4474 0.2789 0.1411 254-AH 0.0873 0.1561 0.2358 0.2445 0.3319 0.2069 0.0760 0.0884 0.2445 0.3674 0.1924 0.1766 0.0613 0.0873 0.3319 0.2069 0.0760 255-AH 0.2500 0.5000 0.7500 0.7500 0.7500 0.6154 0.1651 0.2500 0.5000 0.2682 0.5897 0.5571 0.1450 0.2500 0.7500 0.6154 0.1651 256-AH 0.1176 0.5735 0.7059 0.7647 0.7941 0.6041 0.2684 0.1912 0.6765 0.4443 0.5011 0.3598 0.2155 0.7059 0.7941 0.7441 0.0368 257-AH 0.0159 0.2381 0.2698 0.3254 0.3810 0.2711 0.0894 0.0873 0.3651 0.3299 0.2311 0.1238 0.0550 0.2381 0.3810 0.2923 0.0481 258-AH 0.0000 0.0000 0.0000 0.0625 0.2500 0.0577 0.1096 0.0625 0.2500 1.9003 0.0001 0.0000 0.0888 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.6667 0.6667 0.6667 0.3846 0.3290 0.6667 0.6667 0.8555 0.0088 0.0000 0.3037 0.0000 0.6667 0.3846 0.3290 260-AH 0.3175 0.3810 0.4127 0.4643 0.5397 0.4237 0.0623 0.0833 0.2222 0.1470 0.4196 0.4155 0.0477 0.3175 0.5397 0.4237 0.0623 261-AH 0.0000 0.0588 0.1471 0.4191 0.4412 0.2014 0.1727 0.3603 0.4412 0.8576 0.0727 0.0001 0.1483 0.0000 0.4412 0.2014 0.1727 262-AH 0.0353 0.0471 0.1412 0.1735 0.3529 0.1430 0.1078 0.1265 0.3176 0.7540 0.1079 0.0817 0.0788 0.0353 0.3529 0.1430 0.1078 263-AH 0.0000 0.0000 0.0417 0.0625 0.1458 0.0449 0.0432 0.0625 0.1458 0.9636 0.0040 0.0000 0.0301 0.0000 0.1458 0.0449 0.0432 264-AH 0.2727 0.2727 0.4091 0.4773 0.6364 0.4161 0.1186 0.2045 0.3636 0.2850 0.4001 0.3842 0.0914 0.2727 0.6364 0.4161 0.1186 265-AH 0.0000 0.1667 0.1667 0.3333 0.5000 0.2179 0.1252 0.1667 0.5000 0.5743 0.1008 0.0001 0.0966 0.0000 0.5000 0.2179 0.1252 266-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0385 0.0939 0.0000 0.2500 2.4410 0.0000 0.0000 0.0651 0.0000 0.0000 0.0000 0.0000 267-AH 0.1429 0.1786 0.2857 0.3810 0.4286 0.2821 0.1073 0.2024 0.2857 0.3804 0.2614 0.2404 0.0919 0.1429 0.4286 0.2821 0.1073 268-AH 0.0000 0.3333 0.6667 0.6667 0.6667 0.5385 0.2168 0.3333 0.6667 0.4027 0.2418 0.0001 0.1775 0.0000 0.6667 0.5385 0.2168 269-AH 0.0000 0.0833 0.2222 0.3333 0.4444 0.2137 0.1536 0.2500 0.4444 0.7187 0.0248 0.0000 0.1144 0.0000 0.4444 0.2137 0.1536 270-AH 0.4211 0.5570 0.6316 0.6360 0.6842 0.5924 0.0792 0.0789 0.2632 0.1336 0.5870 0.5809 0.0617 0.4561 0.6842 0.6067 0.0628 271-AH 0.3333 0.3646 0.4167 0.5000 0.5833 0.4263 0.0836 0.1354 0.2500 0.1961 0.4190 0.4121 0.0695 0.3333 0.5833 0.4263 0.0836 272-AH 0.0000 0.2143 0.2857 0.3571 0.3571 0.2692 0.0974 0.1429 0.3571 0.3617 0.1301 0.0001 0.0668 0.0000 0.3571 0.2692 0.0974 273-AH 0.1325 0.5904 0.6024 0.6265 0.6627 0.5718 0.1381 0.0361 0.5301 0.2416 0.5399 0.4750 0.0796 0.5904 0.6627 0.6188 0.0237 274-AH 0.0000 0.0000 0.0625 0.0625 0.0625 0.0337 0.0324 0.0625 0.0625 0.9636 0.0011 0.0000 0.0311 0.0000 0.0625 0.0337 0.0324 275-AH 0.1364 0.3409 0.4091 0.5341 0.5455 0.4091 0.1338 0.1932 0.4091 0.3271 0.3821 0.3469 0.1026 0.1364 0.5455 0.4091 0.1338 276-AH 0.1356 0.2500 0.3559 0.4110 0.4407 0.3220 0.1047 0.1610 0.3051 0.3252 0.3026 0.2798 0.0887 0.1356 0.4407 0.3220 0.1047 277-AH 0.0769 0.1538 0.1923 0.2692 0.3077 0.2101 0.0659 0.1154 0.2308 0.3137 0.1985 0.1843 0.0546 0.0769 0.3077 0.2101 0.0659 278-AH 0.0476 0.0476 0.0476 0.1429 0.2381 0.0952 0.0645 0.0952 0.1905 0.6770 0.0790 0.0679 0.0513 0.0476 0.2381 0.0952 0.0645 279-AH 0.0000 0.0000 0.2500 0.2500 0.5000 0.1731 0.1878 0.2500 0.5000 1.0849 0.0026 0.0000 0.1598 0.0000 0.5000 0.1731 0.1878 280-AH 0.0000 0.0300 0.0800 0.1600 0.2400 0.0892 0.0769 0.1300 0.2400 0.8614 0.0116 0.0000 0.0653 0.0000 0.2400 0.0892 0.0769 281-AH 0.2857 0.3512 0.4048 0.4405 0.4762 0.3993 0.0608 0.0893 0.1905 0.1523 0.3948 0.3901 0.0499 0.2857 0.4762 0.3993 0.0608 282-AH 0.0000 0.2177 0.2581 0.2903 0.4516 0.2506 0.1071 0.0726 0.4516 0.4274 0.1197 0.0001 0.0687 0.1613 0.3871 0.2551 0.0585 283-AH 0.1316 0.1842 0.2895 0.3421 0.4211 0.2672 0.0911 0.1579 0.2895 0.3408 0.2512 0.2341 0.0766 0.1316 0.4211 0.2672 0.0911 284-AH 0.0000 0.4079 0.4737 0.5263 0.5789 0.4150 0.1895 0.1184 0.5789 0.4567 0.1791 0.0001 0.1470 0.4737 0.5789 0.5105 0.0376 285-AH 0.0290 0.1848 0.2174 0.4348 0.6667 0.2999 0.1881 0.2500 0.6377 0.6271 0.2390 0.1598 0.1499 0.0290 0.6667 0.2999 0.1881 286-AH 0.0000 0.0000 0.0833 0.1042 0.1667 0.0705 0.0667 0.1042 0.1667 0.9462 0.0030 0.0000 0.0542 0.0000 0.1667 0.0705 0.0667 287-AH 0.0204 0.2041 0.3061 0.5102 0.5714 0.3108 0.1945 0.3061 0.5510 0.6258 0.1946 0.0747 0.1464 0.0204 0.5714 0.3108 0.1945 288-AH 0.0526 0.2039 0.2632 0.3059 0.3816 0.2470 0.0967 0.1020 0.3289 0.3916 0.2216 0.1849 0.0761 0.0526 0.3816 0.2470 0.0967 289-AH 0.2778 0.7083 0.7222 0.7778 0.8889 0.7051 0.1459 0.0694 0.6111 0.2069 0.6842 0.6519 0.0861 0.6111 0.8333 0.7273 0.0580 290-AH 0.0204 0.0918 0.1429 0.1837 0.2449 0.1272 0.0662 0.0918 0.2245 0.5207 0.1028 0.0708 0.0514 0.0204 0.2449 0.1272 0.0662 135 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0667 0.4417 0.5000 0.6083 0.6333 0.4872 0.1596 0.1667 0.5667 0.3276 0.4378 0.3338 0.1132 0.3333 0.6333 0.5222 0.1018 292-AH 0.0000 0.5000 0.5000 0.5625 0.7500 0.5192 0.1899 0.0625 0.7500 0.3657 0.2389 0.0001 0.1065 0.5000 0.5000 0.5000 0.0000 293-AH 0.0588 0.4706 0.5294 0.5588 0.5882 0.4910 0.1387 0.0882 0.5294 0.2825 0.4434 0.3252 0.0835 0.4412 0.5882 0.5270 0.0509 294-AH 0.0000 0.2222 0.5556 0.6667 0.6667 0.4387 0.2262 0.4444 0.6667 0.5156 0.1907 0.0001 0.1999 0.0000 0.6667 0.4387 0.2262 295-AH 0.0000 0.2892 0.3333 0.3578 0.3922 0.2941 0.1225 0.0686 0.3922 0.4163 0.1350 0.0001 0.0905 0.2157 0.3922 0.3405 0.0482 296-AH 0.2500 0.4167 0.4583 0.5104 0.6250 0.4551 0.1013 0.0938 0.3750 0.2226 0.4431 0.4293 0.0745 0.2917 0.6250 0.4722 0.0840 297-AH 0.0000 0.0833 0.3333 0.4167 0.4167 0.2500 0.1667 0.3333 0.4167 0.6667 0.1009 0.0001 0.1538 0.0000 0.4167 0.2500 0.1667 298-AH 0.0000 0.1833 0.2000 0.2417 0.2667 0.1923 0.0760 0.0583 0.2667 0.3950 0.0939 0.0001 0.0529 0.1000 0.2667 0.2083 0.0515 299-AH 0.0132 0.1842 0.2500 0.3059 0.3421 0.2247 0.1033 0.1217 0.3289 0.4595 0.1755 0.0892 0.0797 0.0132 0.3421 0.2247 0.1033 300-AH 0.0000 0.0357 0.1429 0.2202 0.3095 0.1374 0.1039 0.1845 0.3095 0.7561 0.0171 0.0000 0.0837 0.0000 0.3095 0.1374 0.1039 301-AH 0.0625 0.1875 0.3125 0.5625 0.6250 0.3462 0.2003 0.3750 0.5625 0.5786 0.2754 0.1970 0.1709 0.0625 0.6250 0.3462 0.2003 302-AH 0.1765 0.3529 0.4118 0.4118 0.4706 0.3846 0.0745 0.0588 0.2941 0.1936 0.3755 0.3629 0.0515 0.3529 0.4706 0.4020 0.0422 303-AH 0.0000 0.0000 0.0000 0.1071 0.2857 0.0769 0.1109 0.1071 0.2857 1.4416 0.0008 0.0000 0.0854 0.0000 0.2143 0.0390 0.0667 304-AH 0.0000 0.1167 0.2667 0.3500 0.4000 0.2410 0.1402 0.2333 0.4000 0.5817 0.1032 0.0001 0.1199 0.0000 0.4000 0.2410 0.1402 305-AH 0.0000 0.0000 0.2787 0.3320 0.3443 0.1854 0.1581 0.3320 0.3443 0.8531 0.0104 0.0000 0.1484 0.0000 0.3443 0.1854 0.1581 306-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.1006 0.2078 0.2597 0.2727 0.1788 0.0978 0.1591 0.2727 0.5468 0.0436 0.0001 0.0801 0.0000 0.2727 0.1788 0.0978 308-AH 0.5455 0.6136 0.7273 0.7273 0.7273 0.6713 0.0791 0.1136 0.1818 0.1178 0.6667 0.6618 0.0689 0.5455 0.7273 0.6713 0.0791 309-AH 0.0000 0.0000 0.0000 0.1250 0.2000 0.0615 0.0870 0.1250 0.2000 1.4133 0.0004 0.0000 0.0757 0.0000 0.2000 0.0615 0.0870 310-AH 0.0159 0.0317 0.0635 0.1190 0.2381 0.0928 0.0854 0.0873 0.2222 0.9207 0.0633 0.0441 0.0671 0.0159 0.2381 0.0928 0.0854 311-AH 0.0000 0.2361 0.2778 0.3704 0.4074 0.2692 0.1136 0.1343 0.4074 0.4218 0.1271 0.0001 0.0789 0.1296 0.4074 0.2917 0.0832 312-AH 0.0000 0.1774 0.3871 0.4597 0.6129 0.3325 0.1860 0.2823 0.6129 0.5593 0.1397 0.0001 0.1531 0.0000 0.6129 0.3325 0.1860 313-AH 0.0000 0.0000 0.0500 0.1125 0.2000 0.0615 0.0682 0.1125 0.2000 1.1078 0.0026 0.0000 0.0544 0.0000 0.2000 0.0615 0.0682 314-AH 0.0000 0.0000 0.0000 0.0556 0.1111 0.0256 0.0367 0.0556 0.1111 1.4305 0.0003 0.0000 0.0316 0.0000 0.1111 0.0256 0.0367 315-AH 0.0339 0.2797 0.3051 0.4280 0.4915 0.3312 0.1241 0.1483 0.4576 0.3747 0.2892 0.1993 0.0921 0.2373 0.4915 0.3559 0.0900 316-AH 0.0254 0.1102 0.1610 0.1780 0.2288 0.1441 0.0608 0.0678 0.2034 0.4221 0.1253 0.0982 0.0469 0.0254 0.2288 0.1441 0.0608 317-AH 0.0333 0.1000 0.2000 0.2083 0.2667 0.1641 0.0687 0.1083 0.2333 0.4184 0.1461 0.1211 0.0592 0.0333 0.2667 0.1641 0.0687 318-AH 0.0000 0.0000 0.0000 0.1111 0.3333 0.0855 0.1213 0.1111 0.3333 1.4195 0.0009 0.0000 0.0920 0.0000 0.1111 0.0404 0.0561 319-AH 0.1579 0.3684 0.4211 0.4737 0.4737 0.3968 0.1022 0.1053 0.3158 0.2575 0.3795 0.3555 0.0741 0.2105 0.4737 0.4167 0.0760 320-AH 0.0000 0.1094 0.1250 0.1250 0.1875 0.1058 0.0534 0.0156 0.1875 0.5051 0.0286 0.0001 0.0392 0.1250 0.1250 0.1250 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0714 0.0714 0.2143 0.2857 0.3571 0.1978 0.1017 0.2143 0.2857 0.5140 0.1683 0.1386 0.0862 0.0714 0.3571 0.1978 0.1017 323-AH 0.0000 0.0385 0.1538 0.1635 0.2308 0.1213 0.0798 0.1250 0.2308 0.6581 0.0518 0.0001 0.0696 0.0000 0.2308 0.1213 0.0798 324-AH 0.0000 0.2297 0.2703 0.6047 0.7297 0.3773 0.2170 0.3750 0.7297 0.5750 0.1644 0.0001 0.1798 0.0000 0.7297 0.3773 0.2170 325-AH 0.0000 0.0246 0.0656 0.2377 0.5082 0.1538 0.1947 0.2131 0.5082 1.2657 0.0142 0.0000 0.1550 0.0000 0.5082 0.1538 0.1947 326-AH 0.2500 0.2500 0.2500 0.5000 0.5000 0.3462 0.1266 0.2500 0.2500 0.3657 0.3264 0.3095 0.1183 0.2500 0.5000 0.3462 0.1266 327-AH 0.0000 0.0000 0.0000 0.0625 0.5000 0.0769 0.1576 0.0625 0.5000 2.0489 0.0001 0.0000 0.1183 0.0000 0.0000 0.0000 0.0000 328-AH 0.1739 0.4783 0.5217 0.6196 0.6957 0.5351 0.1413 0.1413 0.5217 0.2641 0.5099 0.4715 0.1014 0.3913 0.6957 0.5652 0.0945 329-AH 0.1765 0.5147 0.5882 0.6471 0.6471 0.5566 0.1371 0.1324 0.4706 0.2464 0.5315 0.4909 0.0982 0.4118 0.6471 0.5882 0.0793 330-AH 0.6275 0.6422 0.6863 0.7255 0.7451 0.6848 0.0419 0.0833 0.1176 0.0613 0.6836 0.6824 0.0350 0.6275 0.7451 0.6848 0.0419 331-AH 0.0588 0.0588 0.2353 0.5294 0.5882 0.2579 0.2182 0.4706 0.5294 0.8459 0.1662 0.1080 0.1873 0.0588 0.5882 0.2579 0.2182 332-AH 0.2500 0.2500 0.3750 0.3750 0.3750 0.3365 0.0600 0.1250 0.1250 0.1784 0.3310 0.3250 0.0533 0.2500 0.3750 0.3365 0.0600 333-AH 0.4000 0.9500 1.0000 1.0000 1.0000 0.8923 0.2253 0.0500 0.6000 0.2525 0.8537 0.8000 0.1657 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1692 0.1377 0.2000 0.4000 0.8140 0.0106 0.0000 0.1041 0.0000 0.4000 0.1692 0.1377 335-AH 0.0000 0.2000 0.2000 0.2667 0.4000 0.2308 0.1004 0.0667 0.4000 0.4352 0.1110 0.0001 0.0686 0.2000 0.2667 0.2200 0.0322 336-AH 0.0000 0.0000 0.1176 0.2353 0.3529 0.1448 0.1350 0.2353 0.3529 0.9325 0.0087 0.0000 0.1197 0.0000 0.3529 0.1448 0.1350 337-AH 0.5500 0.6500 0.7000 0.8000 0.8500 0.7115 0.0916 0.1500 0.3000 0.1288 0.7061 0.7007 0.0757 0.5500 0.8500 0.7115 0.0916 338-AH 0.0000 0.5000 0.6000 0.7000 0.7000 0.5462 0.1898 0.2000 0.7000 0.3475 0.2508 0.0001 0.1278 0.4000 0.7000 0.5917 0.0996 339-AH 0.1579 0.3947 0.4737 0.5921 0.6842 0.4737 0.1473 0.1974 0.5263 0.3110 0.4462 0.4096 0.1053 0.1579 0.6842 0.4737 0.1473 340-AH 0.0000 0.0000 0.2000 0.2500 0.4000 0.1692 0.1601 0.2500 0.4000 0.9462 0.0052 0.0000 0.1302 0.0000 0.4000 0.1692 0.1601 136 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.3333 0.5000 0.6667 0.2949 0.2272 0.5000 0.6667 0.7706 0.0157 0.0000 0.1815 0.0000 0.6667 0.2949 0.2272 342-AH 0.2812 0.5391 0.5625 0.6615 0.7500 0.5761 0.1136 0.1224 0.4688 0.1972 0.5632 0.5463 0.0772 0.5312 0.7500 0.6007 0.0742 343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 344-AH 0.0606 0.4848 0.5455 0.5530 0.5758 0.4965 0.1353 0.0682 0.5152 0.2724 0.4499 0.3324 0.0724 0.4848 0.5758 0.5328 0.0353 345-AH 0.0000 0.0000 0.1111 0.2222 0.3333 0.1026 0.1153 0.2222 0.3333 1.1242 0.0019 0.0000 0.0947 0.0000 0.3333 0.1026 0.1153 346-AH 0.0000 0.0000 0.0909 0.0909 0.1818 0.0629 0.0573 0.0909 0.1818 0.9106 0.0029 0.0000 0.0484 0.0000 0.1818 0.0629 0.0573 347-AH 0.0000 0.0000 0.1111 0.1111 0.3333 0.0940 0.1187 0.1111 0.3333 1.2624 0.0018 0.0000 0.0868 0.0000 0.1111 0.0505 0.0580 348-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8846 0.2193 0.1250 0.5000 0.2479 0.8522 0.8125 0.1775 1.0000 1.0000 1.0000 0.0000 349-AH 0.2963 0.3611 0.3704 0.3796 0.5185 0.3818 0.0593 0.0185 0.2222 0.1553 0.3779 0.3743 0.0403 0.3333 0.3704 0.3621 0.0163 350-AH 0.3000 0.5000 0.6000 0.7000 0.7000 0.5846 0.1144 0.2000 0.4000 0.1956 0.5719 0.5560 0.0828 0.3000 0.7000 0.5846 0.1144 137 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 0.8594 0.8711 0.8750 0.9727 0.9844 0.9111 0.0558 0.1016 0.1250 0.0612 0.9095 0.9080 0.0516 0.8594 0.9844 0.9111 0.0558 143-AH 0.0302 0.2193 0.5161 0.8047 0.9474 0.4922 0.3356 0.5855 0.9172 0.6818 0.3286 0.1563 0.3033 0.0302 0.9474 0.4922 0.3356 144-AH 0.0000 0.0000 0.5556 0.6667 0.6667 0.4017 0.2959 0.6667 0.6667 0.7365 0.0195 0.0000 0.2577 0.0000 0.6667 0.4017 0.2959 145-AH 0.3400 0.3830 0.6434 0.7119 0.7465 0.5724 0.1577 0.3289 0.4065 0.2755 0.5500 0.5263 0.1420 0.3400 0.7465 0.5724 0.1577 146-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2500 0.2500 0.5000 0.5000 1.0000 0.0032 0.0000 0.2308 0.0000 0.5000 0.2500 0.2500 147-AH 0.0142 0.4475 0.6163 0.7118 0.7240 0.5330 0.2176 0.2643 0.7097 0.4083 0.4157 0.1392 0.1680 0.2580 0.7240 0.5762 0.1586 148-AH 0.0000 0.0000 0.0833 0.1042 0.1667 0.0705 0.0648 0.1042 0.1667 0.9185 0.0054 0.0000 0.0523 0.0000 0.1667 0.0705 0.0648 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0125 0.1700 0.0231 0.0507 0.0125 0.1700 2.1981 0.0001 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.3056 0.3889 0.1122 0.1535 0.3056 0.3889 1.3682 0.0010 0.0000 0.1329 0.0000 0.3889 0.1122 0.1535 152-AH 0.0000 0.1467 0.3554 0.4298 0.5537 0.2918 0.1710 0.2831 0.5537 0.5860 0.1135 0.0001 0.1380 0.0000 0.5537 0.2918 0.1710 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.2290 0.2902 0.2971 0.3180 0.3741 0.3033 0.0344 0.0278 0.1451 0.1133 0.3015 0.2996 0.0231 0.2812 0.3469 0.3036 0.0190 155-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0513 0.1252 0.0000 0.3333 2.4410 0.0000 0.0000 0.0868 0.0000 0.0000 0.0000 0.0000 156-AH 0.0310 0.0491 0.0661 0.1105 0.1694 0.0852 0.0503 0.0615 0.1384 0.5900 0.0739 0.0652 0.0398 0.0310 0.1694 0.0852 0.0503 157-AH 0.5504 0.5803 0.6208 0.6260 0.7331 0.6149 0.0441 0.0457 0.1826 0.0717 0.6135 0.6122 0.0286 0.5504 0.6352 0.6050 0.0273 158-AH 0.1038 0.2295 0.2465 0.5229 0.7457 0.3583 0.2246 0.2935 0.6419 0.6268 0.3019 0.2569 0.1845 0.1038 0.7457 0.3583 0.2246 159-AH 0.0147 0.1981 0.3477 0.4962 0.6567 0.3520 0.2160 0.2981 0.6420 0.6136 0.2479 0.1053 0.1700 0.0147 0.6567 0.3520 0.2160 160-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0192 0.0693 0.0000 0.2500 3.6056 0.0000 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1538 0.3755 0.0000 1.0000 2.4410 0.0001 0.0000 0.2604 0.0000 0.0000 0.0000 0.0000 163-AH 0.6312 0.8000 0.8436 0.9119 0.9318 0.8416 0.0855 0.1119 0.3006 0.1016 0.8372 0.8325 0.0658 0.7772 0.9318 0.8591 0.0601 164-AH 0.0123 0.0261 0.0316 0.1015 0.2250 0.0642 0.0602 0.0754 0.2126 0.9379 0.0442 0.0316 0.0469 0.0123 0.1015 0.0508 0.0375 165-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8462 0.3755 0.0000 1.0000 0.4438 0.1701 0.0001 0.2604 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.1200 0.1600 0.2400 0.2500 0.3600 0.2246 0.0644 0.0900 0.2400 0.2866 0.2159 0.2069 0.0497 0.1200 0.3600 0.2246 0.0644 168-AH 0.0710 0.4105 0.4691 0.5640 0.7037 0.4651 0.1569 0.1535 0.6327 0.3374 0.4206 0.3319 0.1088 0.3580 0.7037 0.4979 0.1075 169-AH 0.0000 0.0000 0.0000 0.1181 0.1667 0.0577 0.0675 0.1181 0.1667 1.1705 0.0008 0.0000 0.0621 0.0000 0.1667 0.0577 0.0675 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8462 0.3755 0.0000 1.0000 0.4438 0.1701 0.0001 0.2604 1.0000 1.0000 1.0000 0.0000 171-AH 0.0277 0.0416 0.0499 0.0561 0.0803 0.0509 0.0134 0.0145 0.0526 0.2632 0.0493 0.0477 0.0098 0.0277 0.0693 0.0485 0.0105 172-AH 0.0000 0.0000 0.0000 0.0000 0.1020 0.0110 0.0296 0.0000 0.1020 2.6929 0.0000 0.0000 0.0186 0.0000 0.0000 0.0000 0.0000 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.4490 0.5561 0.6327 0.6735 0.7755 0.6091 0.1030 0.1173 0.3265 0.1691 0.6004 0.5912 0.0766 0.4490 0.7755 0.6091 0.1030 176-AH 0.6778 0.7183 0.8008 0.9219 0.9441 0.8113 0.1060 0.2036 0.2663 0.1307 0.8049 0.7985 0.0913 0.6778 0.9441 0.8113 0.1060 177-AH 0.0533 0.1065 0.2604 0.4053 0.4438 0.2462 0.1538 0.2988 0.3905 0.6247 0.1929 0.1443 0.1390 0.0533 0.4438 0.2462 0.1538 178-AH 0.0000 0.0000 0.1875 0.2500 0.2500 0.1298 0.1182 0.2500 0.2500 0.9106 0.0044 0.0000 0.1102 0.0000 0.2500 0.1298 0.1182 179-AH 0.0000 0.2686 0.2789 0.5620 0.7851 0.3911 0.2330 0.2934 0.7851 0.5956 0.1698 0.0001 0.1905 0.0000 0.7851 0.3911 0.2330 180-AH 0.0000 0.0000 0.0000 0.3998 0.6781 0.1950 0.2631 0.3998 0.6781 1.3495 0.0012 0.0000 0.2336 0.0000 0.6781 0.1950 0.2631 181-AH 0.5755 0.7861 0.8349 0.8658 0.9038 0.8171 0.0833 0.0797 0.3283 0.1019 0.8125 0.8072 0.0539 0.7767 0.9038 0.8372 0.0427 182-AH 0.0000 0.0469 0.1250 0.5156 0.5625 0.2308 0.2302 0.4688 0.5625 0.9975 0.0223 0.0000 0.1975 0.0000 0.5625 0.2308 0.2302 183-AH 0.0000 0.0000 0.1875 0.1875 0.2500 0.1202 0.1035 0.1875 0.2500 0.8613 0.0043 0.0000 0.0925 0.0000 0.2500 0.1202 0.1035 184-AH 0.0000 0.0463 0.1728 0.4290 0.5062 0.2260 0.2008 0.3827 0.5062 0.8884 0.0230 0.0000 0.1756 0.0000 0.5062 0.2260 0.2008 185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3077 0.4804 1.0000 1.0000 1.5612 0.0003 0.0000 0.4260 0.0000 1.0000 0.3077 0.4804 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2308 0.4385 0.2500 1.0000 1.9003 0.0001 0.0000 0.3550 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.5306 0.7296 0.8367 0.9184 0.9184 0.7881 0.1461 0.1888 0.3878 0.1854 0.7738 0.7579 0.1133 0.5306 0.9184 0.7881 0.1461 190-AH 0.0000 0.1111 0.3580 0.4907 0.5679 0.3210 0.2068 0.3796 0.5679 0.6442 0.1309 0.0001 0.1861 0.0000 0.5679 0.3210 0.2068 138 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0833 0.5000 0.6389 0.9792 1.0000 0.6944 0.2990 0.4792 0.9167 0.4305 0.5992 0.4339 0.2607 0.0833 1.0000 0.6944 0.2990 193-AH 0.2449 0.2857 0.3469 0.3878 0.4286 0.3359 0.0563 0.1020 0.1837 0.1675 0.3316 0.3272 0.0464 0.2449 0.4286 0.3359 0.0563 194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1538 0.3755 0.0000 1.0000 2.4410 0.0001 0.0000 0.2604 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2308 0.4385 0.2500 1.0000 1.9003 0.0001 0.0000 0.3550 0.0000 0.0000 0.0000 0.0000 197-AH 0.5052 0.7337 0.8684 0.9518 0.9820 0.8208 0.1501 0.2181 0.4768 0.1829 0.8064 0.7901 0.1210 0.5052 0.9820 0.8208 0.1501 198-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2308 0.4385 0.2500 1.0000 1.9003 0.0001 0.0000 0.3550 0.0000 0.0000 0.0000 0.0000 199-AH 0.3800 0.6050 0.6400 0.6450 0.6900 0.6054 0.0911 0.0400 0.3100 0.1504 0.5977 0.5886 0.0656 0.5600 0.6900 0.6400 0.0338 200-AH 0.0000 0.2840 0.3951 0.6080 0.6914 0.3989 0.2310 0.3241 0.6914 0.5791 0.0857 0.0001 0.1883 0.0000 0.6914 0.3989 0.2310 251-AH 0.2774 0.3621 0.4611 0.5015 0.5991 0.4469 0.0860 0.1394 0.3217 0.1925 0.4387 0.4298 0.0653 0.2774 0.5991 0.4469 0.0860 252-AH 0.1724 0.1763 0.2687 0.3338 0.5113 0.2843 0.1062 0.1576 0.3389 0.3735 0.2675 0.2525 0.0784 0.1724 0.5113 0.2843 0.1062 253-AH 0.0902 0.3803 0.4684 0.5883 0.5956 0.4387 0.1721 0.2080 0.5054 0.3924 0.3860 0.3068 0.1291 0.0902 0.5956 0.4387 0.1721 254-AH 0.1977 0.4280 0.4760 0.4960 0.5885 0.4551 0.1063 0.0680 0.3908 0.2337 0.4399 0.4196 0.0726 0.4279 0.5885 0.4931 0.0528 255-AH 0.2500 0.5000 0.6250 0.7031 0.7500 0.6058 0.1429 0.2031 0.5000 0.2360 0.5851 0.5569 0.1102 0.2500 0.7500 0.6058 0.1429 256-AH 0.1176 0.7982 0.8088 0.8175 0.8711 0.7095 0.2636 0.0192 0.7535 0.3715 0.6063 0.4266 0.1821 0.7846 0.8201 0.8076 0.0103 257-AH 0.1348 0.1469 0.2006 0.2609 0.3182 0.2133 0.0602 0.1140 0.1834 0.2822 0.2054 0.1977 0.0494 0.1348 0.3182 0.2133 0.0602 258-AH 0.0000 0.0000 0.0000 0.0781 0.2500 0.0481 0.0852 0.0781 0.2500 1.7725 0.0002 0.0000 0.0666 0.0000 0.1875 0.0312 0.0625 259-AH 0.0000 0.0000 0.6667 0.6667 0.6667 0.3846 0.3290 0.6667 0.6667 0.8555 0.0088 0.0000 0.3037 0.0000 0.6667 0.3846 0.3290 260-AH 0.2885 0.4146 0.5125 0.5840 0.6407 0.4861 0.1058 0.1694 0.3522 0.2176 0.4747 0.4625 0.0908 0.2885 0.6407 0.4861 0.1058 261-AH 0.0000 0.1107 0.2024 0.4676 0.4749 0.2487 0.1727 0.3568 0.4749 0.6945 0.1033 0.0001 0.1483 0.0000 0.4749 0.2487 0.1727 262-AH 0.0318 0.1488 0.2473 0.3110 0.3803 0.2329 0.1064 0.1622 0.3485 0.4567 0.2003 0.1501 0.0916 0.0318 0.3803 0.2329 0.1064 263-AH 0.0000 0.0000 0.0365 0.1111 0.1467 0.0506 0.0527 0.1111 0.1467 1.0411 0.0040 0.0000 0.0452 0.0000 0.1467 0.0506 0.0527 264-AH 0.1901 0.2144 0.3636 0.4406 0.6550 0.3714 0.1445 0.2262 0.4649 0.3891 0.3441 0.3168 0.1117 0.1901 0.6550 0.3714 0.1445 265-AH 0.0000 0.0556 0.1389 0.3611 0.4167 0.1774 0.1481 0.3056 0.4167 0.8350 0.0696 0.0001 0.1259 0.0000 0.4167 0.1774 0.1481 266-AH 0.0000 0.0000 0.0000 0.0000 0.0625 0.0096 0.0235 0.0000 0.0625 2.4410 0.0000 0.0000 0.0163 0.0000 0.0000 0.0000 0.0000 267-AH 0.1361 0.1610 0.2472 0.3469 0.3810 0.2512 0.0892 0.1859 0.2449 0.3551 0.2365 0.2227 0.0754 0.1361 0.3810 0.2512 0.0892 268-AH 0.0000 0.3333 0.6667 0.6667 0.6667 0.5299 0.2135 0.3333 0.6667 0.4029 0.2384 0.0001 0.1723 0.0000 0.6667 0.5299 0.2135 269-AH 0.0000 0.0216 0.1852 0.2068 0.4198 0.1681 0.1417 0.1852 0.4198 0.8431 0.0320 0.0001 0.1039 0.0000 0.4198 0.1681 0.1417 270-AH 0.5103 0.6510 0.6922 0.7297 0.7670 0.6866 0.0716 0.0786 0.2567 0.1044 0.6828 0.6787 0.0518 0.6066 0.7670 0.7013 0.0504 271-AH 0.2083 0.3316 0.3472 0.4596 0.5191 0.3838 0.0842 0.1280 0.3108 0.2195 0.3744 0.3639 0.0701 0.2083 0.5191 0.3838 0.0842 272-AH 0.0102 0.1033 0.1786 0.2628 0.2857 0.1778 0.0905 0.1594 0.2755 0.5093 0.1411 0.0750 0.0738 0.0102 0.2857 0.1778 0.0905 273-AH 0.3722 0.6862 0.7023 0.7225 0.7850 0.6861 0.0996 0.0363 0.4128 0.1452 0.6770 0.6644 0.0528 0.6616 0.7542 0.7057 0.0255 274-AH 0.0000 0.0000 0.0352 0.0723 0.0977 0.0355 0.0383 0.0723 0.0977 1.0808 0.0018 0.0000 0.0311 0.0000 0.0977 0.0355 0.0383 275-AH 0.2507 0.3478 0.3907 0.5233 0.5477 0.4216 0.1102 0.1755 0.2971 0.2614 0.4071 0.3917 0.0946 0.2507 0.5477 0.4216 0.1102 276-AH 0.2973 0.3200 0.3812 0.4045 0.4226 0.3655 0.0437 0.0845 0.1253 0.1196 0.3630 0.3605 0.0385 0.2973 0.4226 0.3655 0.0437 277-AH 0.1109 0.1198 0.1672 0.1842 0.2308 0.1616 0.0356 0.0643 0.1198 0.2204 0.1579 0.1541 0.0280 0.1109 0.2308 0.1616 0.0356 278-AH 0.0476 0.0493 0.0771 0.1287 0.1814 0.0937 0.0468 0.0794 0.1338 0.4999 0.0837 0.0753 0.0396 0.0476 0.1814 0.0937 0.0468 279-AH 0.0000 0.0000 0.1250 0.2500 0.5000 0.1442 0.1829 0.2500 0.5000 1.2681 0.0022 0.0000 0.1420 0.0000 0.5000 0.1442 0.1829 280-AH 0.0000 0.0236 0.0608 0.0864 0.1376 0.0558 0.0414 0.0628 0.1376 0.7431 0.0147 0.0001 0.0352 0.0000 0.1376 0.0558 0.0414 281-AH 0.2449 0.3163 0.3435 0.4114 0.4694 0.3543 0.0711 0.0951 0.2245 0.2008 0.3473 0.3401 0.0554 0.2449 0.4694 0.3543 0.0711 282-AH 0.0239 0.1795 0.1904 0.2193 0.3548 0.1992 0.0725 0.0398 0.3309 0.3640 0.1770 0.1297 0.0420 0.1738 0.2726 0.2009 0.0284 283-AH 0.1440 0.2081 0.2590 0.3047 0.3657 0.2527 0.0677 0.0966 0.2216 0.2681 0.2435 0.2336 0.0547 0.1440 0.3657 0.2527 0.0677 284-AH 0.1475 0.4072 0.4765 0.5343 0.5914 0.4338 0.1389 0.1271 0.4439 0.3202 0.4039 0.3630 0.1018 0.3158 0.5914 0.4832 0.0752 285-AH 0.1248 0.2501 0.3033 0.4649 0.7872 0.3608 0.1883 0.2148 0.6625 0.5217 0.3222 0.2891 0.1447 0.1248 0.6633 0.3253 0.1441 286-AH 0.0000 0.0000 0.0556 0.0799 0.1042 0.0459 0.0407 0.0799 0.1042 0.8869 0.0039 0.0000 0.0343 0.0000 0.1042 0.0459 0.0407 287-AH 0.0225 0.1824 0.3195 0.4807 0.4965 0.2954 0.1789 0.2983 0.4740 0.6055 0.1917 0.0803 0.1400 0.0225 0.4965 0.2954 0.1789 288-AH 0.0950 0.2165 0.2580 0.2863 0.3442 0.2507 0.0697 0.0699 0.2491 0.2779 0.2393 0.2244 0.0509 0.1686 0.3442 0.2637 0.0539 289-AH 0.5494 0.7191 0.7747 0.8086 0.8395 0.7486 0.0807 0.0895 0.2901 0.1077 0.7442 0.7393 0.0604 0.6574 0.8395 0.7652 0.0565 290-AH 0.0221 0.0565 0.1158 0.1769 0.2170 0.1227 0.0679 0.1204 0.1949 0.5530 0.1009 0.0766 0.0546 0.0221 0.2170 0.1227 0.0679 139 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1167 0.4203 0.5133 0.6175 0.6500 0.4955 0.1607 0.1972 0.5333 0.3243 0.4578 0.3975 0.1245 0.2856 0.6500 0.5270 0.1185 292-AH 0.0000 0.4844 0.5000 0.5937 0.8750 0.5385 0.2346 0.1094 0.8750 0.4357 0.2425 0.0001 0.1553 0.4375 0.5000 0.4861 0.0276 293-AH 0.1713 0.4710 0.5311 0.5681 0.5995 0.4995 0.1099 0.0971 0.4282 0.2200 0.4813 0.4512 0.0688 0.4611 0.5995 0.5268 0.0506 294-AH 0.0219 0.2209 0.5720 0.6080 0.6763 0.4483 0.2194 0.3872 0.6543 0.4893 0.3509 0.1713 0.1963 0.0219 0.6763 0.4483 0.2194 295-AH 0.0765 0.2819 0.3191 0.3262 0.3549 0.2842 0.0840 0.0443 0.2784 0.2954 0.2650 0.2342 0.0582 0.2637 0.3549 0.3167 0.0271 296-AH 0.2500 0.3681 0.4462 0.4922 0.6059 0.4300 0.1035 0.1241 0.3559 0.2408 0.4174 0.4037 0.0823 0.2500 0.6059 0.4300 0.1035 297-AH 0.0000 0.0556 0.2917 0.3750 0.4097 0.2265 0.1607 0.3194 0.4097 0.7095 0.0872 0.0001 0.1482 0.0000 0.4097 0.2265 0.1607 298-AH 0.0000 0.1400 0.1633 0.2072 0.2267 0.1638 0.0611 0.0672 0.2267 0.3728 0.0819 0.0001 0.0423 0.1089 0.2267 0.1775 0.0378 299-AH 0.0976 0.2494 0.2969 0.3350 0.3376 0.2772 0.0699 0.0857 0.2400 0.2523 0.2652 0.2475 0.0514 0.1839 0.3376 0.2922 0.0465 300-AH 0.0312 0.0359 0.1355 0.1573 0.2851 0.1189 0.0757 0.1215 0.2540 0.6368 0.0933 0.0696 0.0605 0.0312 0.2851 0.1189 0.0757 301-AH 0.0742 0.1211 0.2812 0.5127 0.5664 0.3185 0.1921 0.3916 0.4922 0.6032 0.2560 0.1990 0.1699 0.0742 0.5664 0.3185 0.1921 302-AH 0.1972 0.2699 0.3356 0.3659 0.4533 0.3277 0.0706 0.0960 0.2561 0.2156 0.3203 0.3126 0.0560 0.1972 0.4533 0.3277 0.0706 303-AH 0.0000 0.0230 0.0357 0.0995 0.2296 0.0734 0.0840 0.0765 0.2296 1.1446 0.0089 0.0000 0.0650 0.0000 0.1837 0.0450 0.0520 304-AH 0.0444 0.1178 0.2667 0.2844 0.3111 0.2062 0.0983 0.1667 0.2667 0.4769 0.1765 0.1410 0.0870 0.0444 0.3111 0.2062 0.0983 305-AH 0.0559 0.0886 0.2515 0.2784 0.3117 0.1957 0.1032 0.1897 0.2558 0.5275 0.1638 0.1314 0.0928 0.0559 0.3117 0.1957 0.1032 306-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 307-AH 0.0388 0.2322 0.2798 0.3901 0.4036 0.2740 0.1180 0.1578 0.3648 0.4307 0.2326 0.1673 0.0854 0.0388 0.4036 0.2740 0.1180 308-AH 0.5289 0.6612 0.7107 0.7562 0.7851 0.6898 0.0841 0.0950 0.2562 0.1219 0.6847 0.6792 0.0627 0.5289 0.7851 0.6898 0.0841 309-AH 0.0000 0.0000 0.0000 0.0725 0.2000 0.0492 0.0864 0.0725 0.2000 1.7541 0.0003 0.0000 0.0696 0.0000 0.0300 0.0040 0.0097 310-AH 0.0257 0.0639 0.0786 0.1369 0.2053 0.1013 0.0642 0.0729 0.1796 0.6336 0.0831 0.0666 0.0500 0.0257 0.2053 0.1013 0.0642 311-AH 0.0871 0.1906 0.2490 0.3120 0.3690 0.2472 0.0807 0.1214 0.2819 0.3263 0.2329 0.2154 0.0598 0.0871 0.3690 0.2472 0.0807 312-AH 0.0000 0.2404 0.3632 0.4977 0.6296 0.3716 0.1811 0.2573 0.6296 0.4874 0.1669 0.0001 0.1475 0.0000 0.6296 0.3716 0.1811 313-AH 0.0000 0.0119 0.0275 0.0412 0.1225 0.0385 0.0425 0.0294 0.1225 1.1061 0.0092 0.0001 0.0326 0.0000 0.0825 0.0232 0.0224 314-AH 0.0000 0.0000 0.0031 0.0154 0.0370 0.0104 0.0132 0.0154 0.0370 1.2624 0.0012 0.0000 0.0105 0.0000 0.0370 0.0104 0.0132 315-AH 0.2045 0.2618 0.3327 0.4864 0.5654 0.3677 0.1303 0.2246 0.3608 0.3543 0.3468 0.3272 0.1107 0.2045 0.5654 0.3677 0.1303 316-AH 0.0246 0.1872 0.2100 0.2609 0.3426 0.2224 0.0816 0.0737 0.3179 0.3669 0.1957 0.1390 0.0593 0.1663 0.3426 0.2389 0.0584 317-AH 0.0122 0.1053 0.1611 0.1989 0.2222 0.1433 0.0689 0.0936 0.2100 0.4810 0.1165 0.0726 0.0590 0.0122 0.2222 0.1433 0.0689 318-AH 0.0000 0.0000 0.0123 0.1142 0.2716 0.0712 0.1013 0.1142 0.2716 1.4226 0.0021 0.0000 0.0820 0.0000 0.2716 0.0712 0.1013 319-AH 0.1302 0.3553 0.3989 0.4391 0.4515 0.3761 0.0862 0.0838 0.3213 0.2292 0.3619 0.3391 0.0578 0.3213 0.4515 0.3966 0.0464 320-AH 0.0000 0.0498 0.0625 0.0752 0.1211 0.0604 0.0328 0.0254 0.1211 0.5428 0.0297 0.0001 0.0233 0.0352 0.0977 0.0652 0.0181 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0561 0.1199 0.1582 0.1888 0.2806 0.1574 0.0662 0.0689 0.2245 0.4204 0.1420 0.1247 0.0487 0.0561 0.2806 0.1574 0.0662 323-AH 0.0104 0.0359 0.0991 0.1317 0.1982 0.0948 0.0656 0.0958 0.1879 0.6919 0.0688 0.0438 0.0520 0.0104 0.1982 0.0948 0.0656 324-AH 0.0940 0.2138 0.2146 0.6744 0.6921 0.3810 0.2263 0.4606 0.5981 0.5939 0.3185 0.2635 0.1994 0.0940 0.6921 0.3810 0.2263 325-AH 0.0333 0.1393 0.1664 0.4039 0.5805 0.2509 0.1906 0.2646 0.5472 0.7597 0.1848 0.1270 0.1569 0.0333 0.5805 0.2509 0.1906 326-AH 0.1875 0.2500 0.2500 0.3750 0.5000 0.3125 0.1021 0.1250 0.3125 0.3266 0.2987 0.2868 0.0865 0.1875 0.5000 0.3125 0.1021 327-AH 0.0000 0.0000 0.0000 0.0312 0.2500 0.0481 0.0960 0.0312 0.2500 1.9967 0.0001 0.0000 0.0740 0.0000 0.0000 0.0000 0.0000 328-AH 0.3497 0.4074 0.4858 0.6082 0.7259 0.5229 0.1235 0.2009 0.3762 0.2361 0.5094 0.4962 0.1086 0.3497 0.7259 0.5229 0.1235 329-AH 0.4152 0.5631 0.6332 0.6773 0.6955 0.6146 0.0830 0.1142 0.2803 0.1351 0.6087 0.6021 0.0636 0.4152 0.6955 0.6146 0.0830 330-AH 0.7605 0.7809 0.7828 0.8197 0.8385 0.7958 0.0239 0.0387 0.0780 0.0301 0.7955 0.7952 0.0203 0.7605 0.8385 0.7958 0.0239 331-AH 0.0035 0.0104 0.1488 0.5112 0.5398 0.2063 0.2301 0.5009 0.5363 1.1154 0.0695 0.0189 0.1967 0.0035 0.5398 0.2063 0.2301 332-AH 0.1875 0.2188 0.2500 0.2695 0.2969 0.2476 0.0354 0.0508 0.1094 0.1431 0.2452 0.2427 0.0294 0.1875 0.2969 0.2476 0.0354 333-AH 0.4400 0.9600 1.0000 1.0000 1.0000 0.9015 0.2095 0.0400 0.5600 0.2324 0.8696 0.8261 0.1515 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0000 0.0800 0.1700 0.2800 0.1046 0.1014 0.1700 0.2800 0.9690 0.0070 0.0000 0.0819 0.0000 0.2800 0.1046 0.1014 335-AH 0.0400 0.0933 0.2311 0.2944 0.3289 0.2092 0.0977 0.2011 0.2889 0.4669 0.1793 0.1417 0.0795 0.0400 0.3289 0.2092 0.0977 336-AH 0.0000 0.0234 0.1107 0.2258 0.2837 0.1243 0.1037 0.2024 0.2837 0.8345 0.0149 0.0000 0.0897 0.0000 0.2837 0.1243 0.1037 337-AH 0.5925 0.6875 0.7500 0.8306 0.9250 0.7556 0.0981 0.1431 0.3325 0.1299 0.7497 0.7437 0.0837 0.5925 0.9250 0.7556 0.0981 338-AH 0.1600 0.5375 0.6000 0.6600 0.8000 0.5677 0.1799 0.1225 0.6400 0.3168 0.5286 0.4706 0.1232 0.4700 0.8000 0.6309 0.0976 339-AH 0.1163 0.3400 0.3795 0.6357 0.6787 0.4479 0.1764 0.2957 0.5623 0.3938 0.4082 0.3574 0.1485 0.1163 0.6787 0.4479 0.1764 340-AH 0.0000 0.0000 0.0800 0.1300 0.3200 0.0923 0.0915 0.1300 0.3200 0.9911 0.0065 0.0000 0.0686 0.0000 0.3200 0.0923 0.0915 140 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.3611 0.3750 0.6667 0.2863 0.2188 0.3750 0.6667 0.7643 0.0154 0.0000 0.1762 0.0000 0.6667 0.2863 0.2188 342-AH 0.3465 0.6430 0.6643 0.7941 0.8353 0.6807 0.1255 0.1511 0.4888 0.1843 0.6672 0.6498 0.0856 0.6213 0.8353 0.7085 0.0786 343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 344-AH 0.1882 0.4642 0.4729 0.5135 0.5712 0.4710 0.0939 0.0494 0.3829 0.1994 0.4578 0.4373 0.0519 0.4417 0.5712 0.4946 0.0418 345-AH 0.0000 0.0000 0.0741 0.1173 0.2346 0.0722 0.0825 0.1173 0.2346 1.1429 0.0016 0.0000 0.0666 0.0000 0.2346 0.0722 0.0825 346-AH 0.0000 0.0000 0.0083 0.0413 0.1074 0.0248 0.0354 0.0413 0.1074 1.4272 0.0012 0.0000 0.0280 0.0000 0.0744 0.0179 0.0263 347-AH 0.0000 0.0000 0.0741 0.1019 0.2346 0.0731 0.0855 0.1019 0.2346 1.1686 0.0016 0.0000 0.0675 0.0000 0.2346 0.0731 0.0855 348-AH 0.2500 0.8125 1.0000 1.0000 1.0000 0.8269 0.3289 0.1875 0.7500 0.3977 0.7262 0.5909 0.2663 1.0000 1.0000 1.0000 0.0000 349-AH 0.2689 0.3008 0.3320 0.3536 0.4733 0.3417 0.0634 0.0528 0.2044 0.1856 0.3367 0.3322 0.0457 0.2689 0.3567 0.3189 0.0332 350-AH 0.2800 0.4800 0.5800 0.5975 0.6500 0.5454 0.0983 0.1175 0.3700 0.1802 0.5348 0.5210 0.0725 0.4700 0.6500 0.5675 0.0600 141 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0021 0.3474 1.0000 1.0000 1.0000 0.6588 0.4053 0.6526 0.9979 0.6152 0.3171 0.0205 0.3674 0.0021 1.0000 0.6588 0.4053 144-AH 0.0110 0.0400 0.7500 1.0000 1.0000 0.6058 0.4253 0.9600 0.9890 0.7021 0.2950 0.0718 0.3698 0.0110 1.0000 0.6058 0.4253 145-AH 0.0698 0.2000 1.0000 1.0000 1.0000 0.7394 0.4080 0.8000 0.9302 0.5517 0.5477 0.3223 0.3608 0.0698 1.0000 0.7394 0.4080 146-AH 0.0145 0.0786 0.5000 1.0000 1.0000 0.5174 0.4285 0.9214 0.9855 0.8281 0.2341 0.0558 0.3712 0.0145 1.0000 0.5174 0.4285 147-AH 0.0016 1.0000 1.0000 1.0000 1.0000 0.8719 0.3199 0.0000 0.9984 0.3669 0.5612 0.0209 0.2167 1.0000 1.0000 1.0000 0.0000 148-AH 0.0000 0.1321 0.2500 0.4375 1.0000 0.3610 0.3721 0.3054 1.0000 1.0306 0.1235 0.0001 0.2949 0.0000 0.2500 0.1693 0.0873 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0038 0.0116 0.0244 0.1681 0.2222 0.0814 0.0877 0.1565 0.2184 1.0774 0.0369 0.0168 0.0802 0.0038 0.2222 0.0814 0.0877 151-AH 0.0029 0.0364 0.0667 1.0000 1.0000 0.3431 0.4573 0.9636 0.9971 1.3330 0.0765 0.0117 0.4043 0.0029 1.0000 0.3431 0.4573 152-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7953 0.3967 0.1667 1.0000 0.4988 0.2550 0.0001 0.3149 1.0000 1.0000 1.0000 0.0000 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.1667 1.0000 1.0000 1.0000 1.0000 0.9359 0.2311 0.0000 0.8333 0.2470 0.8712 0.7222 0.1183 1.0000 1.0000 1.0000 0.0000 155-AH 0.0000 0.0010 0.0052 0.1205 1.0000 0.1776 0.3689 0.1194 1.0000 2.0775 0.0077 0.0001 0.2537 0.0000 0.1818 0.0280 0.0588 156-AH 0.0667 0.1569 0.4444 0.5000 1.0000 0.3717 0.2482 0.3431 0.9333 0.6678 0.2959 0.2245 0.1895 0.0667 1.0000 0.3717 0.2482 157-AH 0.5556 0.7349 1.0000 1.0000 1.0000 0.8699 0.1601 0.2651 0.4444 0.1841 0.8549 0.8385 0.1401 0.5556 1.0000 0.8699 0.1601 158-AH 0.0345 0.8929 1.0000 1.0000 1.0000 0.8364 0.3298 0.1071 0.9655 0.3944 0.6678 0.2921 0.2518 1.0000 1.0000 1.0000 0.0000 159-AH 0.0041 1.0000 1.0000 1.0000 1.0000 0.8721 0.3193 0.0000 0.9959 0.3662 0.6021 0.0504 0.2164 1.0000 1.0000 1.0000 0.0000 160-AH 0.0204 0.0272 0.0417 0.1333 0.5000 0.0958 0.1292 0.1061 0.4796 1.3484 0.0584 0.0429 0.0795 0.0204 0.1333 0.0621 0.0461 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 164-AH 0.0238 0.1261 0.2000 0.5000 1.0000 0.2881 0.2721 0.3739 0.9762 0.9443 0.1869 0.1081 0.2073 0.0238 1.0000 0.2881 0.2721 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.3750 0.5000 0.5000 1.0000 1.0000 0.6442 0.2492 0.5000 0.6250 0.3868 0.6053 0.5735 0.2189 0.3750 1.0000 0.6442 0.2492 168-AH 0.1333 0.9167 1.0000 1.0000 1.0000 0.8692 0.2723 0.0833 0.8667 0.3133 0.7870 0.6190 0.2012 1.0000 1.0000 1.0000 0.0000 169-AH 0.0084 0.0320 0.1250 0.2708 1.0000 0.2078 0.2795 0.2388 0.9916 1.3450 0.0877 0.0347 0.1926 0.0084 0.5000 0.1418 0.1531 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.1000 0.1053 0.3333 0.6250 1.0000 0.4230 0.3570 0.5197 0.9000 0.8440 0.2962 0.2114 0.2900 0.1000 1.0000 0.4230 0.3570 172-AH 0.0052 0.0065 0.0476 0.1429 0.2500 0.0792 0.0753 0.1363 0.2448 0.9504 0.0400 0.0164 0.0624 0.0052 0.2500 0.0792 0.0753 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.1875 0.2596 0.5000 0.7500 1.0000 0.5216 0.3175 0.4904 0.8125 0.6087 0.4355 0.3660 0.2654 0.1875 1.0000 0.5216 0.3175 178-AH 0.0000 0.0033 0.0667 1.0000 1.0000 0.4011 0.4936 0.9967 1.0000 1.2304 0.0165 0.0000 0.4607 0.0000 1.0000 0.4011 0.4936 179-AH 0.0000 0.5288 1.0000 1.0000 1.0000 0.8030 0.3314 0.4712 1.0000 0.4128 0.3475 0.0001 0.2728 0.0000 1.0000 0.8030 0.3314 180-AH 0.0000 0.0267 0.0717 0.7500 1.0000 0.3515 0.4146 0.7233 1.0000 1.1795 0.0224 0.0000 0.3780 0.0000 1.0000 0.3515 0.4146 181-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9774 0.0558 0.0000 0.1667 0.0571 0.9758 0.9740 0.0383 1.0000 1.0000 1.0000 0.0000 182-AH 0.0833 0.1917 0.3333 0.7500 1.0000 0.4495 0.2952 0.5583 0.9167 0.6567 0.3541 0.2680 0.2568 0.0833 1.0000 0.4495 0.2952 183-AH 0.0066 0.0882 0.5000 0.5000 1.0000 0.3977 0.3393 0.4118 0.9934 0.8532 0.1825 0.0404 0.2644 0.0066 1.0000 0.3977 0.3393 184-AH 0.0084 0.1955 0.5000 1.0000 1.0000 0.5531 0.4029 0.8045 0.9916 0.7284 0.2880 0.0538 0.3438 0.0084 1.0000 0.5531 0.4029 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 190-AH 0.0230 0.3333 1.0000 1.0000 1.0000 0.7646 0.3748 0.6667 0.9770 0.4902 0.5679 0.2080 0.3260 0.0230 1.0000 0.7646 0.3748 142 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0600 1.0000 1.0000 1.0000 1.0000 0.8585 0.3456 0.0000 0.9400 0.4026 0.6747 0.3451 0.2395 1.0000 1.0000 1.0000 0.0000 193-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9808 0.0693 0.0000 0.2500 0.0707 0.9781 0.9750 0.0355 1.0000 1.0000 1.0000 0.0000 200-AH 0.0222 0.6857 0.8333 1.0000 1.0000 0.7651 0.3305 0.3143 0.9778 0.4319 0.5753 0.2009 0.2432 0.6000 1.0000 0.8892 0.1422 251-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 252-AH 0.3750 0.5000 1.0000 1.0000 1.0000 0.8288 0.2692 0.5000 0.6250 0.3248 0.7768 0.7156 0.2370 0.3750 1.0000 0.8288 0.2692 253-AH 0.0407 0.7250 0.8500 1.0000 1.0000 0.7658 0.3361 0.2750 0.9593 0.4389 0.5747 0.2518 0.2363 0.7000 1.0000 0.8951 0.1266 254-AH 0.1333 0.2951 0.5000 1.0000 1.0000 0.5853 0.3599 0.7049 0.8667 0.6149 0.4686 0.3595 0.3190 0.1333 1.0000 0.5853 0.3599 255-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9744 0.0925 0.0000 0.3333 0.0949 0.9693 0.9630 0.0473 1.0000 1.0000 1.0000 0.0000 256-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 257-AH 0.0909 0.5000 0.5000 0.5417 1.0000 0.5245 0.1992 0.0417 0.9091 0.3799 0.4747 0.3876 0.1169 0.5000 0.5000 0.5000 0.0000 258-AH 0.0000 0.0057 0.0112 0.1094 1.0000 0.1461 0.2944 0.1037 1.0000 2.0157 0.0153 0.0001 0.2018 0.0000 0.2500 0.0363 0.0730 259-AH 0.0088 0.1111 1.0000 1.0000 1.0000 0.6430 0.4710 0.8889 0.9912 0.7325 0.3058 0.0627 0.4394 0.0088 1.0000 0.6430 0.4710 260-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9808 0.0693 0.0000 0.2500 0.0707 0.9781 0.9750 0.0355 1.0000 1.0000 1.0000 0.0000 261-AH 0.0000 0.3125 1.0000 1.0000 1.0000 0.6479 0.4051 0.6875 1.0000 0.6252 0.2513 0.0001 0.3792 0.0000 1.0000 0.6479 0.4051 262-AH 0.0667 0.2500 0.5000 0.9167 1.0000 0.5502 0.3555 0.6667 0.9333 0.6461 0.4052 0.2529 0.3084 0.0667 1.0000 0.5502 0.3555 263-AH 0.0012 0.0306 0.0833 0.0932 0.2500 0.0768 0.0650 0.0626 0.2488 0.8461 0.0430 0.0098 0.0441 0.0012 0.1333 0.0624 0.0406 264-AH 0.4000 0.8500 1.0000 1.0000 1.0000 0.8615 0.2631 0.1500 0.6000 0.3054 0.8094 0.7429 0.2130 1.0000 1.0000 1.0000 0.0000 265-AH 0.0909 0.2000 0.3333 1.0000 1.0000 0.5019 0.3646 0.8000 0.9091 0.7265 0.3816 0.2868 0.3065 0.0909 1.0000 0.5019 0.3646 266-AH 0.0000 0.0000 0.0091 0.0507 0.2500 0.0521 0.0902 0.0507 0.2500 1.7318 0.0010 0.0000 0.0610 0.0000 0.0526 0.0161 0.0225 267-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9615 0.1387 0.0000 0.5000 0.1442 0.9481 0.9286 0.0710 1.0000 1.0000 1.0000 0.0000 268-AH 0.1667 0.5000 1.0000 1.0000 1.0000 0.8205 0.2924 0.5000 0.8333 0.3563 0.7425 0.6190 0.2485 0.1667 1.0000 0.8205 0.2924 269-AH 0.0741 0.2088 0.4000 1.0000 1.0000 0.5484 0.3868 0.7912 0.9259 0.7054 0.3999 0.2676 0.3474 0.0741 1.0000 0.5484 0.3868 270-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 271-AH 0.3750 1.0000 1.0000 1.0000 1.0000 0.9177 0.2042 0.0000 0.6250 0.2225 0.8863 0.8405 0.1392 1.0000 1.0000 1.0000 0.0000 272-AH 0.0088 0.2837 0.4000 0.4261 0.4545 0.3379 0.1237 0.1424 0.4458 0.3661 0.2688 0.0876 0.0946 0.2632 0.4545 0.3654 0.0777 273-AH 0.1818 1.0000 1.0000 1.0000 1.0000 0.9371 0.2269 0.0000 0.8182 0.2422 0.8771 0.7429 0.1162 1.0000 1.0000 1.0000 0.0000 274-AH 0.0040 0.0204 0.0714 0.2750 0.5000 0.1568 0.2020 0.2546 0.4960 1.2887 0.0574 0.0187 0.1651 0.0040 0.5000 0.1568 0.2020 275-AH 0.5625 0.8750 1.0000 1.0000 1.0000 0.9141 0.1609 0.1250 0.4375 0.1760 0.8978 0.8776 0.1189 0.8750 1.0000 0.9773 0.0506 276-AH 0.1528 0.3307 0.6250 0.7917 1.0000 0.5806 0.2813 0.4610 0.8472 0.4844 0.5066 0.4271 0.2320 0.1528 1.0000 0.5806 0.2813 277-AH 0.2000 0.2778 0.3529 0.4000 1.0000 0.4047 0.2103 0.1222 0.8000 0.5197 0.3701 0.3459 0.1319 0.2000 0.4000 0.3267 0.0639 278-AH 0.0714 0.2292 0.5000 1.0000 1.0000 0.5375 0.3509 0.7708 0.9286 0.6528 0.4135 0.2889 0.2846 0.0714 1.0000 0.5375 0.3509 279-AH 0.0117 0.0307 0.3333 0.6250 1.0000 0.3592 0.3991 0.5943 0.9883 1.1110 0.1362 0.0479 0.3174 0.0117 1.0000 0.3592 0.3991 280-AH 0.0204 0.0528 0.2500 0.2589 1.0000 0.2268 0.2573 0.2061 0.9796 1.1341 0.1373 0.0829 0.1586 0.0204 0.3333 0.1624 0.1155 281-AH 0.4000 0.9500 1.0000 1.0000 1.0000 0.9000 0.2082 0.0500 0.6000 0.2313 0.8685 0.8254 0.1538 1.0000 1.0000 1.0000 0.0000 282-AH 0.0396 0.3938 0.5000 0.5000 0.5556 0.4268 0.1329 0.1062 0.5160 0.3113 0.3765 0.2502 0.0901 0.3333 0.5556 0.4590 0.0670 283-AH 0.2273 0.9107 1.0000 1.0000 1.0000 0.8823 0.2423 0.0893 0.7727 0.2746 0.8292 0.7377 0.1810 1.0000 1.0000 1.0000 0.0000 284-AH 0.0270 1.0000 1.0000 1.0000 1.0000 0.8559 0.3520 0.0000 0.9730 0.4112 0.6345 0.2241 0.2438 1.0000 1.0000 1.0000 0.0000 285-AH 0.1000 0.7697 1.0000 1.0000 1.0000 0.8526 0.2763 0.2303 0.9000 0.3241 0.7586 0.5490 0.2041 0.5714 1.0000 0.9153 0.1659 286-AH 0.0041 0.0113 0.1667 0.2000 0.3333 0.1388 0.1171 0.1887 0.3293 0.8440 0.0668 0.0213 0.0959 0.0041 0.3333 0.1388 0.1171 287-AH 0.0385 0.2823 0.6000 1.0000 1.0000 0.5980 0.3778 0.7177 0.9615 0.6318 0.3700 0.1405 0.2984 0.0385 1.0000 0.5980 0.3778 288-AH 0.0800 0.4571 0.5385 1.0000 1.0000 0.6247 0.3021 0.5429 0.9200 0.4837 0.5305 0.3890 0.2502 0.0800 1.0000 0.6247 0.3021 289-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9474 0.1661 0.0000 0.6000 0.1753 0.9257 0.8910 0.0890 1.0000 1.0000 1.0000 0.0000 290-AH 0.1250 0.1607 0.3333 0.5000 1.0000 0.3661 0.2433 0.3393 0.8750 0.6645 0.3018 0.2500 0.1799 0.1250 1.0000 0.3661 0.2433 143 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 292-AH 0.0213 0.9167 1.0000 1.0000 1.0000 0.8734 0.2846 0.0833 0.9787 0.3258 0.6987 0.2167 0.1947 1.0000 1.0000 1.0000 0.0000 293-AH 0.2000 0.7443 1.0000 1.0000 1.0000 0.8763 0.2344 0.2557 0.8000 0.2675 0.8218 0.7179 0.1713 0.7143 1.0000 0.9326 0.1221 294-AH 0.0029 0.3333 0.6667 1.0000 1.0000 0.6575 0.3594 0.6667 0.9971 0.5467 0.4219 0.0352 0.3175 0.0029 1.0000 0.6575 0.3594 295-AH 0.0331 0.9500 1.0000 1.0000 1.0000 0.8949 0.2695 0.0500 0.9669 0.3011 0.7433 0.3041 0.1618 1.0000 1.0000 1.0000 0.0000 296-AH 0.5000 0.7143 0.7273 0.8636 1.0000 0.7755 0.1491 0.1494 0.5000 0.1922 0.7621 0.7486 0.1105 0.5000 1.0000 0.7755 0.1491 297-AH 0.0870 0.2000 1.0000 1.0000 1.0000 0.6682 0.4029 0.8000 0.9130 0.6029 0.5026 0.3348 0.3699 0.0870 1.0000 0.6682 0.4029 298-AH 0.1103 0.3333 0.6667 0.8125 1.0000 0.5916 0.3115 0.4792 0.8897 0.5266 0.4958 0.3866 0.2676 0.1103 1.0000 0.5916 0.3115 299-AH 0.0270 0.5000 0.6667 1.0000 1.0000 0.6572 0.3281 0.5000 0.9730 0.4992 0.4900 0.2079 0.2552 0.0270 1.0000 0.6572 0.3281 300-AH 0.0219 0.1198 0.2424 0.3089 0.5000 0.2205 0.1405 0.1891 0.4781 0.6372 0.1497 0.0736 0.1075 0.0219 0.5000 0.2205 0.1405 301-AH 0.1000 0.5000 1.0000 1.0000 1.0000 0.7470 0.3557 0.5000 0.9000 0.4761 0.6028 0.3939 0.3114 0.1000 1.0000 0.7470 0.3557 302-AH 0.6000 0.6667 0.7500 1.0000 1.0000 0.8154 0.1582 0.3333 0.4000 0.1940 0.8014 0.7879 0.1420 0.6000 1.0000 0.8154 0.1582 303-AH 0.0045 0.0667 0.0952 0.6250 1.0000 0.3544 0.4007 0.5583 0.9955 1.1308 0.1535 0.0405 0.3428 0.0045 1.0000 0.3544 0.4007 304-AH 0.0096 0.2813 0.7500 1.0000 1.0000 0.5847 0.3760 0.7187 0.9904 0.6431 0.3678 0.0929 0.3318 0.0096 1.0000 0.5847 0.3760 305-AH 0.0054 0.0072 1.0000 1.0000 1.0000 0.6942 0.4774 0.9928 0.9946 0.6877 0.2087 0.0195 0.4234 0.0054 1.0000 0.6942 0.4774 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0093 0.2292 0.3333 0.3750 1.0000 0.3741 0.3051 0.1458 0.9907 0.8157 0.2216 0.0613 0.1930 0.0139 0.3750 0.2853 0.1164 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0182 0.0355 0.0909 0.3437 1.0000 0.2812 0.4111 0.3082 0.9818 1.4617 0.1065 0.0563 0.3317 0.0182 0.1250 0.0656 0.0380 310-AH 0.0714 0.1333 1.0000 1.0000 1.0000 0.6127 0.4397 0.8667 0.9286 0.7177 0.4052 0.2378 0.4171 0.0714 1.0000 0.6127 0.4397 311-AH 0.0596 0.4811 0.6000 1.0000 1.0000 0.6338 0.2951 0.5189 0.9404 0.4656 0.5335 0.3541 0.2308 0.0596 1.0000 0.6338 0.2951 312-AH 0.0000 0.3000 0.6667 1.0000 1.0000 0.6180 0.3726 0.7000 1.0000 0.6029 0.2431 0.0001 0.3163 0.0000 1.0000 0.6180 0.3726 313-AH 0.0400 0.0508 0.0870 0.1276 0.2308 0.1067 0.0697 0.0768 0.1908 0.6531 0.0898 0.0777 0.0541 0.0400 0.2308 0.1067 0.0697 314-AH 0.0476 0.0600 0.0833 0.1115 0.1351 0.0862 0.0297 0.0515 0.0875 0.3451 0.0814 0.0769 0.0242 0.0476 0.1351 0.0862 0.0297 315-AH 0.0392 0.9722 1.0000 1.0000 1.0000 0.9090 0.2646 0.0278 0.9608 0.2911 0.7655 0.3444 0.1400 1.0000 1.0000 1.0000 0.0000 316-AH 0.1221 0.1875 0.2312 0.6250 1.0000 0.4217 0.3431 0.4375 0.8779 0.8137 0.3225 0.2616 0.2790 0.1221 1.0000 0.4217 0.3431 317-AH 0.0784 0.2500 0.5000 0.6667 0.7500 0.4627 0.2346 0.4167 0.6716 0.5069 0.3874 0.2953 0.1997 0.0784 0.7500 0.4627 0.2346 318-AH 0.0308 0.0833 0.1064 0.2045 0.6667 0.1964 0.1863 0.1212 0.6359 0.9486 0.1405 0.1048 0.1308 0.0308 0.2727 0.1260 0.0697 319-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 320-AH 0.0060 0.1403 0.1667 0.2708 0.5000 0.1998 0.1352 0.1306 0.4940 0.6766 0.1316 0.0448 0.1027 0.0060 0.3333 0.1748 0.1052 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.1000 0.2321 0.4000 0.5000 1.0000 0.3945 0.2347 0.2679 0.9000 0.5950 0.3293 0.2630 0.1606 0.1000 0.5000 0.3440 0.1549 323-AH 0.0357 0.3000 0.5000 0.6250 1.0000 0.4977 0.3294 0.3250 0.9643 0.6618 0.3501 0.1741 0.2333 0.0357 1.0000 0.4977 0.3294 324-AH 0.0333 0.7024 0.9333 1.0000 1.0000 0.8109 0.2820 0.2976 0.9667 0.3478 0.6687 0.2933 0.2045 0.5000 1.0000 0.8757 0.1650 325-AH 0.0057 0.0694 0.1429 0.3028 1.0000 0.2478 0.2897 0.2333 0.9943 1.1693 0.1226 0.0419 0.2139 0.0057 0.5714 0.1851 0.1893 326-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9615 0.1387 0.0000 0.5000 0.1442 0.9481 0.9286 0.0710 1.0000 1.0000 1.0000 0.0000 327-AH 0.0000 0.0520 0.0606 0.2879 1.0000 0.2171 0.2790 0.2359 1.0000 1.2849 0.0579 0.0001 0.1955 0.0000 0.5000 0.1519 0.1566 328-AH 0.5263 0.6273 0.6923 1.0000 1.0000 0.8008 0.1976 0.3727 0.4737 0.2468 0.7778 0.7549 0.1838 0.5263 1.0000 0.8008 0.1976 329-AH 0.3000 1.0000 1.0000 1.0000 1.0000 0.9205 0.2080 0.0000 0.7000 0.2259 0.8836 0.8211 0.1345 1.0000 1.0000 1.0000 0.0000 330-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 331-AH 0.1750 0.1832 0.3125 1.0000 1.0000 0.4725 0.3716 0.8168 0.8250 0.7865 0.3590 0.2882 0.3246 0.1750 1.0000 0.4725 0.3716 332-AH 0.4286 0.4821 0.6667 1.0000 1.0000 0.7143 0.2503 0.5179 0.5714 0.3504 0.6732 0.6341 0.2198 0.4286 1.0000 0.7143 0.2503 333-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 334-AH 0.1429 0.2000 0.2500 0.6250 1.0000 0.4339 0.3346 0.4250 0.8571 0.7713 0.3432 0.2868 0.2715 0.1429 1.0000 0.4339 0.3346 335-AH 0.0090 0.2500 1.0000 1.0000 1.0000 0.7507 0.3939 0.7500 0.9910 0.5247 0.5056 0.0987 0.3452 0.0090 1.0000 0.7507 0.3939 336-AH 0.0076 0.0213 0.3333 1.0000 1.0000 0.4857 0.4591 0.9787 0.9924 0.9453 0.1582 0.0284 0.4235 0.0076 1.0000 0.4857 0.4591 337-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 338-AH 0.0588 1.0000 1.0000 1.0000 1.0000 0.8891 0.2852 0.0000 0.9412 0.3208 0.7624 0.4333 0.1876 1.0000 1.0000 1.0000 0.0000 339-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9423 0.1498 0.0000 0.5000 0.1590 0.9273 0.9070 0.0976 1.0000 1.0000 1.0000 0.0000 340-AH 0.0013 0.0487 0.2500 0.3500 0.5000 0.2309 0.1725 0.3013 0.4987 0.7471 0.0777 0.0056 0.1466 0.0013 0.5000 0.2309 0.1725 144 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0045 0.1250 1.0000 1.0000 1.0000 0.6959 0.4278 0.8750 0.9955 0.6148 0.3959 0.0509 0.3743 0.0045 1.0000 0.6959 0.4278 342-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9423 0.2080 0.0000 0.7500 0.2207 0.8989 0.8125 0.1065 1.0000 1.0000 1.0000 0.0000 345-AH 0.0000 0.0484 0.1250 0.3295 1.0000 0.2646 0.3531 0.2811 1.0000 1.3345 0.0634 0.0001 0.2637 0.0000 0.5000 0.1309 0.1477 346-AH 0.0028 0.0573 0.0909 0.1562 0.5000 0.1368 0.1440 0.0990 0.4972 1.0531 0.0603 0.0137 0.1035 0.0028 0.2500 0.0859 0.0706 347-AH 0.0103 0.0140 0.2500 0.6250 1.0000 0.3785 0.4041 0.6110 0.9897 1.0678 0.1267 0.0349 0.3429 0.0103 1.0000 0.3785 0.4041 348-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8846 0.2193 0.1250 0.5000 0.2479 0.8522 0.8125 0.1775 1.0000 1.0000 1.0000 0.0000 349-AH 0.6667 0.9167 1.0000 1.0000 1.0000 0.9231 0.1462 0.0833 0.3333 0.1584 0.9107 0.8966 0.1183 1.0000 1.0000 1.0000 0.0000 350-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 145 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.3310 0.4615 1.0000 1.0000 0.6032 0.4047 0.6690 1.0000 0.6710 0.1153 0.0001 0.3663 0.0000 1.0000 0.6032 0.4047 144-AH 0.0110 0.0400 0.7500 1.0000 1.0000 0.6058 0.4253 0.9600 0.9890 0.7021 0.2950 0.0718 0.3698 0.0110 1.0000 0.6058 0.4253 145-AH 0.0698 0.1316 1.0000 1.0000 1.0000 0.7261 0.4279 0.8684 0.9302 0.5894 0.5018 0.2710 0.3793 0.0698 1.0000 0.7261 0.4279 146-AH 0.0145 0.0786 0.5000 1.0000 1.0000 0.5174 0.4285 0.9214 0.9855 0.8281 0.2341 0.0558 0.3712 0.0145 1.0000 0.5174 0.4285 147-AH 0.0000 0.4651 0.9286 1.0000 1.0000 0.7149 0.3415 0.5349 1.0000 0.4778 0.3039 0.0001 0.2961 0.0000 1.0000 0.7149 0.3415 148-AH 0.0000 0.1321 0.2500 0.4375 1.0000 0.3610 0.3721 0.3054 1.0000 1.0306 0.1235 0.0001 0.2949 0.0000 0.2500 0.1693 0.0873 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0038 0.0116 0.0244 0.1681 0.2222 0.0814 0.0877 0.1565 0.2184 1.0774 0.0369 0.0168 0.0802 0.0038 0.2222 0.0814 0.0877 151-AH 0.0000 0.0029 0.0198 0.6167 1.0000 0.2642 0.3984 0.6137 1.0000 1.5080 0.0231 0.0001 0.3400 0.0000 1.0000 0.2642 0.3984 152-AH 0.0000 0.2750 0.5000 1.0000 1.0000 0.5848 0.3946 0.7250 1.0000 0.6748 0.1680 0.0001 0.3319 0.0000 1.0000 0.5848 0.3946 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.1667 0.7667 1.0000 1.0000 1.0000 0.8564 0.2626 0.2333 0.8333 0.3066 0.7870 0.6582 0.1988 0.5000 1.0000 0.9139 0.1685 155-AH 0.0000 0.0010 0.0052 0.1205 1.0000 0.1776 0.3689 0.1194 1.0000 2.0775 0.0077 0.0001 0.2537 0.0000 0.1818 0.0280 0.0588 156-AH 0.0476 0.0661 0.1200 0.2450 0.4444 0.1781 0.1571 0.1789 0.3968 0.8819 0.1288 0.0994 0.1230 0.0476 0.4444 0.1781 0.1571 157-AH 0.5200 0.6839 0.7368 0.7525 0.9333 0.7248 0.0999 0.0686 0.4133 0.1378 0.7182 0.7113 0.0661 0.5957 0.8214 0.7244 0.0586 158-AH 0.0075 0.4000 0.5714 1.0000 1.0000 0.6186 0.3240 0.6000 0.9925 0.5238 0.4366 0.0841 0.2636 0.0075 1.0000 0.6186 0.3240 159-AH 0.0000 0.3171 0.6667 0.8500 1.0000 0.5847 0.3381 0.5329 1.0000 0.5783 0.2304 0.0001 0.2755 0.0000 1.0000 0.5847 0.3381 160-AH 0.0204 0.0272 0.0417 0.1333 0.5000 0.0958 0.1292 0.1061 0.4796 1.3484 0.0584 0.0429 0.0795 0.0204 0.1333 0.0621 0.0461 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.7500 0.9540 1.0000 1.0000 1.0000 0.9643 0.0736 0.0460 0.2500 0.0763 0.9614 0.9581 0.0495 0.9524 1.0000 0.9915 0.0188 164-AH 0.0000 0.0708 0.1383 0.1765 0.4615 0.1391 0.1129 0.1057 0.4615 0.8115 0.0602 0.0001 0.0729 0.0000 0.1765 0.1122 0.0605 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.3750 0.5000 0.5000 1.0000 1.0000 0.6442 0.2492 0.5000 0.6250 0.3868 0.6053 0.5735 0.2189 0.3750 1.0000 0.6442 0.2492 168-AH 0.1333 0.6667 1.0000 1.0000 1.0000 0.7923 0.2715 0.3333 0.8667 0.3427 0.7167 0.5778 0.2237 0.5000 1.0000 0.8472 0.1941 169-AH 0.0084 0.0320 0.1250 0.2708 1.0000 0.2078 0.2795 0.2388 0.9916 1.3450 0.0877 0.0347 0.1926 0.0084 0.5000 0.1418 0.1531 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0779 0.1033 0.1190 0.1295 0.1667 0.1184 0.0253 0.0261 0.0887 0.2135 0.1160 0.1136 0.0191 0.0779 0.1667 0.1184 0.0253 172-AH 0.0052 0.0065 0.0476 0.1429 0.2500 0.0792 0.0753 0.1363 0.2448 0.9504 0.0400 0.0164 0.0624 0.0052 0.2500 0.0792 0.0753 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.1875 0.2596 0.5000 0.7500 1.0000 0.5209 0.3183 0.4904 0.8125 0.6111 0.4339 0.3634 0.2660 0.1875 1.0000 0.5209 0.3183 178-AH 0.0000 0.0033 0.0667 1.0000 1.0000 0.4011 0.4936 0.9967 1.0000 1.2304 0.0165 0.0000 0.4607 0.0000 1.0000 0.4011 0.4936 179-AH 0.0000 0.4750 0.6667 1.0000 1.0000 0.6619 0.3373 0.5250 1.0000 0.5095 0.2757 0.0001 0.2622 0.0000 1.0000 0.6619 0.3373 180-AH 0.0000 0.0267 0.0683 0.5288 0.7500 0.2548 0.3032 0.5021 0.7500 1.1900 0.0179 0.0000 0.2749 0.0000 0.7500 0.2548 0.3032 181-AH 0.5208 0.8282 0.8723 1.0000 1.0000 0.8831 0.1332 0.1718 0.4792 0.1508 0.8718 0.8580 0.0939 0.8250 1.0000 0.9133 0.0801 182-AH 0.0833 0.1917 0.3333 0.7500 1.0000 0.4495 0.2952 0.5583 0.9167 0.6567 0.3541 0.2680 0.2568 0.0833 1.0000 0.4495 0.2952 183-AH 0.0066 0.0882 0.5000 0.5000 1.0000 0.3977 0.3393 0.4118 0.9934 0.8532 0.1825 0.0404 0.2644 0.0066 1.0000 0.3977 0.3393 184-AH 0.0084 0.1955 0.5000 1.0000 1.0000 0.5531 0.4029 0.8045 0.9916 0.7284 0.2880 0.0538 0.3438 0.0084 1.0000 0.5531 0.4029 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 190-AH 0.0230 0.3333 1.0000 1.0000 1.0000 0.7646 0.3748 0.6667 0.9770 0.4902 0.5679 0.2080 0.3260 0.0230 1.0000 0.7646 0.3748 146 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0600 1.0000 1.0000 1.0000 1.0000 0.8585 0.3456 0.0000 0.9400 0.4026 0.6747 0.3451 0.2395 1.0000 1.0000 1.0000 0.0000 193-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.7647 1.0000 1.0000 1.0000 1.0000 0.9819 0.0653 0.0000 0.2353 0.0665 0.9796 0.9769 0.0334 1.0000 1.0000 1.0000 0.0000 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9808 0.0693 0.0000 0.2500 0.0707 0.9781 0.9750 0.0355 1.0000 1.0000 1.0000 0.0000 200-AH 0.0222 0.6857 0.8333 1.0000 1.0000 0.7651 0.3305 0.3143 0.9778 0.4319 0.5753 0.2009 0.2432 0.6000 1.0000 0.8892 0.1422 251-AH 0.8333 0.8750 1.0000 1.0000 1.0000 0.9487 0.0634 0.1250 0.1667 0.0669 0.9467 0.9446 0.0552 0.8333 1.0000 0.9487 0.0634 252-AH 0.2222 0.3750 0.7500 1.0000 1.0000 0.6917 0.3040 0.6250 0.7778 0.4394 0.6179 0.5392 0.2662 0.2222 1.0000 0.6917 0.3040 253-AH 0.0000 0.3417 0.5429 0.6770 0.8400 0.4925 0.2742 0.3353 0.8400 0.5567 0.1849 0.0001 0.2175 0.0000 0.8400 0.4925 0.2742 254-AH 0.0981 0.1944 0.2738 0.3229 0.5000 0.2696 0.1211 0.1285 0.4019 0.4491 0.2453 0.2218 0.0890 0.0981 0.5000 0.2696 0.1211 255-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9744 0.0925 0.0000 0.3333 0.0949 0.9693 0.9630 0.0473 1.0000 1.0000 1.0000 0.0000 256-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 257-AH 0.0370 0.3043 0.3333 0.4738 0.7778 0.3835 0.1728 0.1695 0.7407 0.4505 0.3284 0.2217 0.1203 0.3043 0.5625 0.3792 0.0909 258-AH 0.0000 0.0057 0.0112 0.1094 1.0000 0.1461 0.2944 0.1037 1.0000 2.0157 0.0153 0.0001 0.2018 0.0000 0.2500 0.0363 0.0730 259-AH 0.0088 0.1111 1.0000 1.0000 1.0000 0.6430 0.4710 0.8889 0.9912 0.7325 0.3058 0.0627 0.4394 0.0088 1.0000 0.6430 0.4710 260-AH 0.5000 0.5833 0.8333 1.0000 1.0000 0.8015 0.1869 0.4167 0.5000 0.2332 0.7797 0.7567 0.1587 0.5000 1.0000 0.8015 0.1869 261-AH 0.0000 0.0245 0.4000 0.8393 1.0000 0.4306 0.4064 0.8147 1.0000 0.9438 0.0966 0.0001 0.3608 0.0000 1.0000 0.4306 0.4064 262-AH 0.0220 0.0929 0.2727 0.4666 0.8182 0.3258 0.2759 0.3736 0.7962 0.8471 0.2030 0.1054 0.2207 0.0220 0.8182 0.3258 0.2759 263-AH 0.0000 0.0306 0.0318 0.0858 0.2174 0.0584 0.0580 0.0553 0.2174 0.9933 0.0146 0.0001 0.0411 0.0000 0.1111 0.0451 0.0343 264-AH 0.3333 0.3893 1.0000 1.0000 1.0000 0.7883 0.3011 0.6107 0.6667 0.3820 0.7185 0.6388 0.2624 0.3333 1.0000 0.7883 0.3011 265-AH 0.0909 0.2000 0.3333 1.0000 1.0000 0.5019 0.3646 0.8000 0.9091 0.7265 0.3816 0.2868 0.3065 0.0909 1.0000 0.5019 0.3646 266-AH 0.0000 0.0000 0.0091 0.0507 0.2500 0.0521 0.0902 0.0507 0.2500 1.7318 0.0010 0.0000 0.0610 0.0000 0.0526 0.0161 0.0225 267-AH 0.2727 0.7125 1.0000 1.0000 1.0000 0.8419 0.2367 0.2875 0.7273 0.2812 0.7973 0.7324 0.1946 0.5714 1.0000 0.8893 0.1710 268-AH 0.1667 0.5000 1.0000 1.0000 1.0000 0.8205 0.2924 0.5000 0.8333 0.3563 0.7425 0.6190 0.2485 0.1667 1.0000 0.8205 0.2924 269-AH 0.0741 0.2088 0.4000 1.0000 1.0000 0.5484 0.3868 0.7912 0.9259 0.7054 0.3999 0.2676 0.3474 0.0741 1.0000 0.5484 0.3868 270-AH 0.9167 1.0000 1.0000 1.0000 1.0000 0.9936 0.0231 0.0000 0.0833 0.0233 0.9933 0.9931 0.0118 1.0000 1.0000 1.0000 0.0000 271-AH 0.3750 0.7875 1.0000 1.0000 1.0000 0.8581 0.2010 0.2125 0.6250 0.2342 0.8291 0.7906 0.1554 0.5556 1.0000 0.8984 0.1451 272-AH 0.0082 0.2837 0.4000 0.4261 0.4545 0.3379 0.1239 0.1424 0.4464 0.3666 0.2673 0.0829 0.0946 0.2632 0.4545 0.3654 0.0777 273-AH 0.1325 0.9333 1.0000 1.0000 1.0000 0.9076 0.2352 0.0667 0.8675 0.2591 0.8336 0.6532 0.1192 0.9333 1.0000 0.9722 0.0343 274-AH 0.0037 0.0196 0.0353 0.0447 0.1176 0.0413 0.0371 0.0251 0.1140 0.8983 0.0271 0.0152 0.0262 0.0037 0.0588 0.0275 0.0167 275-AH 0.2051 0.5140 0.8750 0.9231 1.0000 0.7333 0.2731 0.4091 0.7949 0.3724 0.6662 0.5780 0.2252 0.2051 1.0000 0.7333 0.2731 276-AH 0.1528 0.3307 0.5652 0.7714 0.8182 0.5138 0.2351 0.4407 0.6654 0.4576 0.4539 0.3878 0.1945 0.1528 0.8182 0.5138 0.2351 277-AH 0.1071 0.2162 0.2778 0.3382 0.4000 0.2795 0.0833 0.1220 0.2929 0.2981 0.2650 0.2469 0.0641 0.1071 0.4000 0.2795 0.0833 278-AH 0.0116 0.0237 0.0561 0.1979 1.0000 0.2048 0.3124 0.1742 0.9884 1.5256 0.0751 0.0336 0.2196 0.0116 0.2917 0.0829 0.0885 279-AH 0.0117 0.0307 0.3333 0.6250 1.0000 0.3592 0.3991 0.5943 0.9883 1.1110 0.1362 0.0479 0.3174 0.0117 1.0000 0.3592 0.3991 280-AH 0.0000 0.0495 0.1290 0.2500 0.2857 0.1298 0.1011 0.2005 0.2857 0.7784 0.0513 0.0001 0.0858 0.0000 0.2857 0.1298 0.1011 281-AH 0.4000 0.6250 0.7143 0.8929 1.0000 0.7385 0.1870 0.2679 0.6000 0.2533 0.7152 0.6904 0.1407 0.4000 1.0000 0.7385 0.1870 282-AH 0.0396 0.3250 0.4000 0.5000 0.5556 0.3865 0.1358 0.1750 0.5160 0.3513 0.3391 0.2337 0.0961 0.2500 0.5556 0.4154 0.0909 283-AH 0.2273 0.3571 0.6154 1.0000 1.0000 0.6534 0.3103 0.6429 0.7727 0.4749 0.5783 0.5049 0.2666 0.2273 1.0000 0.6534 0.3103 284-AH 0.0270 0.5542 0.7273 1.0000 1.0000 0.6773 0.3490 0.4458 0.9730 0.5152 0.4650 0.1589 0.2748 0.0270 1.0000 0.6773 0.3490 285-AH 0.0231 0.4306 0.4444 0.8393 1.0000 0.5584 0.2924 0.4087 0.9769 0.5236 0.4292 0.1913 0.2369 0.0231 1.0000 0.5584 0.2924 286-AH 0.0041 0.0113 0.0526 0.1571 0.2222 0.0794 0.0758 0.1457 0.2181 0.9552 0.0427 0.0194 0.0638 0.0041 0.2222 0.0794 0.0758 287-AH 0.0370 0.2820 0.5714 0.6773 0.8571 0.4838 0.2957 0.3953 0.8201 0.6111 0.3133 0.1319 0.2420 0.0370 0.8571 0.4838 0.2957 288-AH 0.0669 0.2495 0.4091 0.5789 0.6786 0.4042 0.1955 0.3295 0.6116 0.4837 0.3420 0.2609 0.1641 0.0669 0.6786 0.4042 0.1955 289-AH 0.4000 0.9808 1.0000 1.0000 1.0000 0.9415 0.1654 0.0192 0.6000 0.1757 0.9200 0.8859 0.0900 1.0000 1.0000 1.0000 0.0000 290-AH 0.0117 0.1042 0.2069 0.2128 0.2941 0.1660 0.0845 0.1086 0.2824 0.5092 0.1297 0.0727 0.0698 0.0117 0.2941 0.1660 0.0845 147 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1220 1.0000 1.0000 1.0000 1.0000 0.9171 0.2452 0.0000 0.8780 0.2674 0.8361 0.6357 0.1403 1.0000 1.0000 1.0000 0.0000 292-AH 0.0213 0.9167 1.0000 1.0000 1.0000 0.8734 0.2846 0.0833 0.9787 0.3258 0.6987 0.2167 0.1947 1.0000 1.0000 1.0000 0.0000 293-AH 0.0483 0.7143 0.8000 1.0000 1.0000 0.8031 0.2643 0.2857 0.9517 0.3291 0.6856 0.3722 0.1817 0.7143 1.0000 0.8660 0.1418 294-AH 0.0000 0.2759 0.6667 1.0000 1.0000 0.5928 0.3400 0.7241 1.0000 0.5735 0.2455 0.0001 0.2847 0.0000 1.0000 0.5928 0.3400 295-AH 0.0130 0.5290 0.5789 0.6282 0.7500 0.5156 0.2240 0.0992 0.7370 0.4343 0.3771 0.1184 0.1592 0.4286 0.7500 0.6018 0.0835 296-AH 0.5000 0.7143 0.7273 0.7778 0.8462 0.7273 0.0871 0.0635 0.3462 0.1197 0.7219 0.7156 0.0548 0.6250 0.8462 0.7463 0.0564 297-AH 0.0588 0.0799 0.7500 1.0000 1.0000 0.5552 0.4378 0.9201 0.9412 0.7885 0.3225 0.1613 0.4098 0.0588 1.0000 0.5552 0.4378 298-AH 0.1103 0.2320 0.5000 0.6786 0.7500 0.4406 0.2327 0.4465 0.6397 0.5281 0.3733 0.3038 0.1995 0.1103 0.7500 0.4406 0.2327 299-AH 0.0149 0.2222 0.4348 0.5000 0.5625 0.3476 0.1870 0.2778 0.5476 0.5380 0.2422 0.0933 0.1588 0.0149 0.5625 0.3476 0.1870 300-AH 0.0214 0.0470 0.1857 0.2656 0.5000 0.1926 0.1428 0.2186 0.4786 0.7414 0.1258 0.0661 0.1098 0.0214 0.5000 0.1926 0.1428 301-AH 0.0048 0.5000 1.0000 1.0000 1.0000 0.7397 0.3708 0.5000 0.9952 0.5013 0.4772 0.0560 0.3204 0.0048 1.0000 0.7397 0.3708 302-AH 0.5000 0.6500 0.6667 0.7500 0.8000 0.6897 0.0881 0.1000 0.3000 0.1277 0.6842 0.6783 0.0710 0.6000 0.8000 0.7056 0.0701 303-AH 0.0045 0.0385 0.0952 0.2750 0.5000 0.1804 0.1907 0.2365 0.4955 1.0572 0.0942 0.0347 0.1505 0.0045 0.5000 0.1804 0.1907 304-AH 0.0000 0.2778 0.7500 1.0000 1.0000 0.5822 0.3797 0.7222 1.0000 0.6522 0.2129 0.0001 0.3346 0.0000 1.0000 0.5822 0.3797 305-AH 0.0000 0.0056 0.4286 0.5458 0.7000 0.3089 0.2775 0.5403 0.7000 0.8984 0.0235 0.0000 0.2575 0.0000 0.7000 0.3089 0.2775 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.1289 0.2619 0.2943 0.4211 0.2213 0.1268 0.1654 0.4211 0.5730 0.0520 0.0001 0.0968 0.0000 0.4211 0.2213 0.1268 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0182 0.0355 0.0909 0.3437 1.0000 0.2812 0.4111 0.3082 0.9818 1.4617 0.1065 0.0563 0.3317 0.0182 0.1250 0.0656 0.0380 310-AH 0.0000 0.0223 0.0507 0.1766 0.3684 0.1159 0.1469 0.1543 0.3684 1.2676 0.0194 0.0001 0.1166 0.0000 0.3684 0.1159 0.1469 311-AH 0.0596 0.3480 0.4762 0.5591 0.6667 0.4442 0.1761 0.2111 0.6071 0.3964 0.3874 0.2877 0.1337 0.0596 0.6667 0.4442 0.1761 312-AH 0.0000 0.2837 0.6667 0.7708 0.8571 0.5339 0.2991 0.4872 0.8571 0.5601 0.2166 0.0001 0.2604 0.0000 0.8571 0.5339 0.2991 313-AH 0.0400 0.0508 0.0750 0.1276 0.2308 0.1047 0.0703 0.0768 0.1908 0.6718 0.0877 0.0761 0.0551 0.0400 0.2308 0.1047 0.0703 314-AH 0.0465 0.0588 0.0833 0.1115 0.1351 0.0853 0.0308 0.0527 0.0886 0.3614 0.0801 0.0749 0.0250 0.0465 0.1351 0.0853 0.0308 315-AH 0.0353 0.7667 0.8571 0.8889 0.8889 0.7676 0.2397 0.1222 0.8536 0.3123 0.6454 0.3019 0.1561 0.5862 0.8889 0.8286 0.0993 316-AH 0.0614 0.1397 0.2267 0.2477 0.3111 0.1969 0.0802 0.1079 0.2497 0.4072 0.1764 0.1508 0.0674 0.0614 0.3111 0.1969 0.0802 317-AH 0.0784 0.2110 0.3333 0.4583 0.7500 0.3465 0.2146 0.2474 0.6716 0.6194 0.2879 0.2342 0.1628 0.0784 0.7500 0.3465 0.2146 318-AH 0.0308 0.0833 0.1064 0.2045 0.6667 0.1964 0.1863 0.1212 0.6359 0.9486 0.1405 0.1048 0.1308 0.0308 0.2727 0.1260 0.0697 319-AH 0.2222 0.9500 1.0000 1.0000 1.0000 0.8821 0.2538 0.0500 0.7778 0.2877 0.8226 0.7222 0.1815 1.0000 1.0000 1.0000 0.0000 320-AH 0.0060 0.1215 0.1500 0.1864 0.3333 0.1587 0.0962 0.0648 0.3273 0.6064 0.1109 0.0429 0.0637 0.1111 0.2000 0.1528 0.0265 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0882 0.1589 0.4000 0.5000 0.6667 0.3436 0.1827 0.3411 0.5784 0.5316 0.2856 0.2231 0.1479 0.0882 0.6667 0.3436 0.1827 323-AH 0.0120 0.0442 0.2143 0.5714 1.0000 0.3610 0.3895 0.5272 0.9880 1.0788 0.1659 0.0638 0.3157 0.0120 1.0000 0.3610 0.3895 324-AH 0.0333 0.3214 0.5556 0.9231 0.9375 0.5880 0.3150 0.6016 0.9042 0.5356 0.4602 0.2437 0.2803 0.0333 0.9375 0.5880 0.3150 325-AH 0.0000 0.0399 0.0732 0.3028 0.7333 0.1989 0.2504 0.2629 0.7333 1.2586 0.0540 0.0001 0.1981 0.0000 0.5714 0.1544 0.2006 326-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9615 0.1387 0.0000 0.5000 0.1442 0.9481 0.9286 0.0710 1.0000 1.0000 1.0000 0.0000 327-AH 0.0000 0.0520 0.0606 0.2879 1.0000 0.2171 0.2790 0.2359 1.0000 1.2849 0.0579 0.0001 0.1955 0.0000 0.5000 0.1519 0.1566 328-AH 0.4286 0.5929 0.6923 0.7500 1.0000 0.6776 0.1429 0.1571 0.5714 0.2108 0.6639 0.6502 0.1026 0.4286 0.8333 0.6508 0.1097 329-AH 0.3000 1.0000 1.0000 1.0000 1.0000 0.9205 0.2080 0.0000 0.7000 0.2259 0.8836 0.8211 0.1345 1.0000 1.0000 1.0000 0.0000 330-AH 0.8889 0.9167 1.0000 1.0000 1.0000 0.9709 0.0459 0.0833 0.1111 0.0473 0.9699 0.9689 0.0402 0.8889 1.0000 0.9709 0.0459 331-AH 0.1750 0.1832 0.3125 1.0000 1.0000 0.4725 0.3716 0.8168 0.8250 0.7865 0.3590 0.2882 0.3246 0.1750 1.0000 0.4725 0.3716 332-AH 0.4286 0.4821 0.6667 1.0000 1.0000 0.7143 0.2503 0.5179 0.5714 0.3504 0.6732 0.6341 0.2198 0.4286 1.0000 0.7143 0.2503 333-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 334-AH 0.1429 0.2000 0.2500 0.6250 1.0000 0.4339 0.3346 0.4250 0.8571 0.7713 0.3432 0.2868 0.2715 0.1429 1.0000 0.4339 0.3346 335-AH 0.0090 0.2143 1.0000 1.0000 1.0000 0.7040 0.4026 0.7857 0.9910 0.5719 0.4626 0.0965 0.3643 0.0090 1.0000 0.7040 0.4026 336-AH 0.0076 0.0213 0.1818 1.0000 1.0000 0.4059 0.4475 0.9787 0.9924 1.1026 0.1243 0.0274 0.4058 0.0076 1.0000 0.4059 0.4475 337-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 338-AH 0.0588 1.0000 1.0000 1.0000 1.0000 0.8891 0.2852 0.0000 0.9412 0.3208 0.7624 0.4333 0.1876 1.0000 1.0000 1.0000 0.0000 339-AH 0.2857 0.7500 1.0000 1.0000 1.0000 0.8297 0.2297 0.2500 0.7143 0.2768 0.7880 0.7290 0.1834 0.5000 1.0000 0.8750 0.1685 340-AH 0.0013 0.0487 0.2500 0.3500 0.5000 0.2309 0.1725 0.3013 0.4987 0.7471 0.0777 0.0056 0.1466 0.0013 0.5000 0.2309 0.1725 148 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0045 0.1250 1.0000 1.0000 1.0000 0.6959 0.4278 0.8750 0.9955 0.6148 0.3959 0.0509 0.3743 0.0045 1.0000 0.6959 0.4278 342-AH 0.4348 0.8824 0.9286 0.9353 1.0000 0.8878 0.1400 0.0529 0.5652 0.1578 0.8728 0.8507 0.0722 0.8824 1.0000 0.9255 0.0344 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0694 0.7875 1.0000 1.0000 1.0000 0.8464 0.2569 0.2125 0.9306 0.3035 0.7425 0.4682 0.1655 0.7500 1.0000 0.9111 0.1120 345-AH 0.0000 0.0484 0.1250 0.3295 1.0000 0.2646 0.3531 0.2811 1.0000 1.3345 0.0634 0.0001 0.2637 0.0000 0.5000 0.1309 0.1477 346-AH 0.0020 0.0414 0.0667 0.0936 0.2000 0.0693 0.0532 0.0522 0.1980 0.7668 0.0362 0.0089 0.0352 0.0020 0.1111 0.0584 0.0374 347-AH 0.0103 0.0140 0.2500 0.6250 1.0000 0.3785 0.4041 0.6110 0.9897 1.0678 0.1267 0.0349 0.3429 0.0103 1.0000 0.3785 0.4041 348-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8846 0.2193 0.1250 0.5000 0.2479 0.8522 0.8125 0.1775 1.0000 1.0000 1.0000 0.0000 349-AH 0.5000 0.6500 0.7500 1.0000 1.0000 0.7673 0.1893 0.3500 0.5000 0.2467 0.7453 0.7232 0.1598 0.5000 1.0000 0.7673 0.1893 350-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 149 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.3196 0.4000 1.0000 1.0000 0.5838 0.4010 0.6804 1.0000 0.6869 0.1110 0.0001 0.3649 0.0000 1.0000 0.5838 0.4010 144-AH 0.0110 0.0400 0.7500 1.0000 1.0000 0.6058 0.4253 0.9600 0.9890 0.7021 0.2950 0.0718 0.3698 0.0110 1.0000 0.6058 0.4253 145-AH 0.0495 0.1233 0.9167 1.0000 1.0000 0.6943 0.4158 0.8767 0.9505 0.5989 0.4690 0.2350 0.3654 0.0495 1.0000 0.6943 0.4158 146-AH 0.0145 0.0786 0.5000 1.0000 1.0000 0.5174 0.4285 0.9214 0.9855 0.8281 0.2341 0.0558 0.3712 0.0145 1.0000 0.5174 0.4285 147-AH 0.0000 0.4297 0.7407 0.9286 1.0000 0.6232 0.3119 0.4989 1.0000 0.5005 0.2641 0.0001 0.2556 0.0000 1.0000 0.6232 0.3119 148-AH 0.0000 0.0171 0.0526 0.0702 0.0750 0.0425 0.0260 0.0531 0.0750 0.6113 0.0208 0.0001 0.0228 0.0000 0.0750 0.0425 0.0260 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0038 0.0059 0.0244 0.1681 0.2222 0.0790 0.0896 0.1621 0.2184 1.1337 0.0289 0.0111 0.0820 0.0038 0.2222 0.0790 0.0896 151-AH 0.0000 0.0000 0.0109 0.5250 1.0000 0.2193 0.3358 0.5250 1.0000 1.5313 0.0056 0.0000 0.2805 0.0000 1.0000 0.2193 0.3358 152-AH 0.0000 0.1017 0.2857 0.3750 0.7500 0.2817 0.2091 0.2733 0.7500 0.7424 0.0577 0.0001 0.1469 0.0000 0.7500 0.2817 0.2091 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.1613 0.4286 0.6250 0.7440 1.0000 0.6033 0.2270 0.3155 0.8387 0.3763 0.5540 0.4893 0.1864 0.1613 1.0000 0.6033 0.2270 155-AH 0.0000 0.0010 0.0052 0.1205 1.0000 0.1776 0.3689 0.1194 1.0000 2.0775 0.0077 0.0001 0.2537 0.0000 0.1818 0.0280 0.0588 156-AH 0.0284 0.0653 0.0923 0.1997 0.2632 0.1267 0.0863 0.1344 0.2347 0.6816 0.1014 0.0809 0.0710 0.0284 0.2632 0.1267 0.0863 157-AH 0.5088 0.6763 0.7273 0.7458 0.8140 0.7013 0.0808 0.0694 0.3052 0.1152 0.6966 0.6913 0.0589 0.5957 0.8140 0.7173 0.0589 158-AH 0.0000 0.3504 0.3810 1.0000 1.0000 0.5498 0.3417 0.6496 1.0000 0.6215 0.2274 0.0001 0.2871 0.0000 1.0000 0.5498 0.3417 159-AH 0.0000 0.3171 0.4444 0.7589 0.7857 0.4779 0.2617 0.4419 0.7857 0.5475 0.1967 0.0001 0.2066 0.0000 0.7857 0.4779 0.2617 160-AH 0.0204 0.0272 0.0417 0.1333 0.5000 0.0958 0.1292 0.1061 0.4796 1.3484 0.0584 0.0429 0.0795 0.0204 0.1333 0.0621 0.0461 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.6304 0.8911 0.9500 1.0000 1.0000 0.9332 0.1023 0.1089 0.3696 0.1097 0.9270 0.9195 0.0681 0.8788 1.0000 0.9584 0.0490 164-AH 0.0000 0.0515 0.1224 0.1642 0.4615 0.1290 0.1149 0.1127 0.4615 0.8902 0.0535 0.0001 0.0733 0.0000 0.1642 0.1013 0.0592 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.3750 0.5000 0.5000 1.0000 1.0000 0.6442 0.2492 0.5000 0.6250 0.3868 0.6053 0.5735 0.2189 0.3750 1.0000 0.6442 0.2492 168-AH 0.0867 0.6429 0.6667 1.0000 1.0000 0.7294 0.2615 0.3571 0.9133 0.3585 0.6452 0.4693 0.1971 0.5000 1.0000 0.7829 0.1842 169-AH 0.0084 0.0135 0.0154 0.1127 0.2000 0.0639 0.0683 0.0993 0.1916 1.0700 0.0344 0.0204 0.0562 0.0084 0.2000 0.0639 0.0683 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0682 0.0875 0.1053 0.1095 0.1282 0.0998 0.0176 0.0220 0.0600 0.1764 0.0983 0.0968 0.0142 0.0682 0.1282 0.0998 0.0176 172-AH 0.0037 0.0049 0.0339 0.1126 0.1429 0.0560 0.0562 0.1077 0.1391 1.0029 0.0273 0.0113 0.0472 0.0037 0.1429 0.0560 0.0562 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.6667 0.7292 0.8000 1.0000 1.0000 0.8346 0.1430 0.2708 0.3333 0.1713 0.8234 0.8125 0.1272 0.6667 1.0000 0.8346 0.1430 176-AH 0.9333 1.0000 1.0000 1.0000 1.0000 0.9949 0.0185 0.0000 0.0667 0.0186 0.9947 0.9945 0.0095 1.0000 1.0000 1.0000 0.0000 177-AH 0.1875 0.2596 0.5000 0.6875 0.7500 0.4580 0.2270 0.4279 0.5625 0.4956 0.4028 0.3519 0.2016 0.1875 0.7500 0.4580 0.2270 178-AH 0.0000 0.0033 0.0667 1.0000 1.0000 0.4011 0.4936 0.9967 1.0000 1.2304 0.0165 0.0000 0.4607 0.0000 1.0000 0.4011 0.4936 179-AH 0.0000 0.3750 0.5000 1.0000 1.0000 0.6047 0.3590 0.6250 1.0000 0.5937 0.2442 0.0001 0.3041 0.0000 1.0000 0.6047 0.3590 180-AH 0.0000 0.0267 0.0683 0.5278 0.7143 0.2441 0.2863 0.5011 0.7143 1.1727 0.0176 0.0000 0.2618 0.0000 0.7143 0.2441 0.2863 181-AH 0.5208 0.8282 0.8723 1.0000 1.0000 0.8779 0.1302 0.1718 0.4792 0.1483 0.8670 0.8537 0.0883 0.8250 1.0000 0.9076 0.0771 182-AH 0.0833 0.1917 0.3333 0.7500 1.0000 0.4495 0.2952 0.5583 0.9167 0.6567 0.3541 0.2680 0.2568 0.0833 1.0000 0.4495 0.2952 183-AH 0.0066 0.0882 0.5000 0.5000 1.0000 0.3977 0.3393 0.4118 0.9934 0.8532 0.1825 0.0404 0.2644 0.0066 1.0000 0.3977 0.3393 184-AH 0.0000 0.1038 0.2727 1.0000 1.0000 0.4795 0.4380 0.8962 1.0000 0.9135 0.1300 0.0001 0.4004 0.0000 1.0000 0.4795 0.4380 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 190-AH 0.0230 0.1201 0.2778 0.8125 1.0000 0.4807 0.3954 0.6924 0.9770 0.8227 0.2890 0.1365 0.3640 0.0230 1.0000 0.4807 0.3954 150 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0435 0.6875 1.0000 1.0000 1.0000 0.7964 0.3620 0.3125 0.9565 0.4545 0.5868 0.2500 0.2819 0.5000 1.0000 0.9318 0.1617 193-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9615 0.1387 0.0000 0.5000 0.1442 0.9481 0.9286 0.0710 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.6190 0.9024 1.0000 1.0000 1.0000 0.9366 0.1191 0.0976 0.3810 0.1272 0.9282 0.9183 0.0878 0.7647 1.0000 0.9630 0.0745 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.7143 0.7500 1.0000 1.0000 1.0000 0.9186 0.1274 0.2500 0.2857 0.1387 0.9097 0.9002 0.1127 0.7143 1.0000 0.9186 0.1274 200-AH 0.0137 0.6000 0.7143 0.8750 1.0000 0.6721 0.3065 0.2750 0.9863 0.4560 0.4928 0.1376 0.2271 0.6000 1.0000 0.7801 0.1689 251-AH 0.5200 0.7222 0.9333 0.9375 1.0000 0.8577 0.1402 0.2153 0.4800 0.1634 0.8452 0.8305 0.1145 0.5200 1.0000 0.8577 0.1402 252-AH 0.1818 0.3043 0.3810 0.6875 0.8000 0.4823 0.2117 0.3832 0.6182 0.4389 0.4389 0.3976 0.1880 0.1818 0.8000 0.4823 0.2117 253-AH 0.0000 0.2809 0.4130 0.5846 0.6230 0.3893 0.2221 0.3038 0.6230 0.5705 0.0826 0.0001 0.1741 0.0000 0.6230 0.3893 0.2221 254-AH 0.0579 0.1680 0.2574 0.2689 0.4211 0.2308 0.1089 0.1009 0.3631 0.4720 0.2040 0.1734 0.0854 0.0579 0.4174 0.2150 0.0969 255-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9744 0.0925 0.0000 0.3333 0.0949 0.9693 0.9630 0.0473 1.0000 1.0000 1.0000 0.0000 256-AH 0.0000 0.8571 1.0000 1.0000 1.0000 0.8022 0.3892 0.1429 1.0000 0.4852 0.1594 0.0001 0.3043 1.0000 1.0000 1.0000 0.0000 257-AH 0.0000 0.2442 0.3111 0.4045 0.4651 0.3098 0.1203 0.1604 0.4651 0.3884 0.1471 0.0001 0.0807 0.2442 0.4651 0.3356 0.0796 258-AH 0.0000 0.0057 0.0112 0.1094 1.0000 0.1461 0.2944 0.1037 1.0000 2.0157 0.0153 0.0001 0.2018 0.0000 0.2500 0.0363 0.0730 259-AH 0.0088 0.1111 1.0000 1.0000 1.0000 0.6430 0.4710 0.8889 0.9912 0.7325 0.3058 0.0627 0.4394 0.0088 1.0000 0.6430 0.4710 260-AH 0.4483 0.5385 0.5909 0.7680 0.8750 0.6345 0.1450 0.2295 0.4267 0.2285 0.6194 0.6050 0.1265 0.4483 0.8750 0.6345 0.1450 261-AH 0.0000 0.0231 0.0959 0.7692 1.0000 0.3163 0.3896 0.7461 1.0000 1.2316 0.0569 0.0001 0.3416 0.0000 1.0000 0.3163 0.3896 262-AH 0.0191 0.0929 0.1195 0.1759 0.5000 0.1624 0.1419 0.0829 0.4809 0.8735 0.1151 0.0765 0.1072 0.0191 0.1274 0.0928 0.0392 263-AH 0.0000 0.0200 0.0316 0.0858 0.1833 0.0516 0.0513 0.0658 0.1833 0.9945 0.0126 0.0001 0.0387 0.0000 0.1833 0.0516 0.0513 264-AH 0.3333 0.3571 0.9000 1.0000 1.0000 0.7621 0.2962 0.6429 0.6667 0.3886 0.6941 0.6180 0.2603 0.3333 1.0000 0.7621 0.2962 265-AH 0.0800 0.1538 0.2308 0.7500 1.0000 0.4111 0.3649 0.5962 0.9200 0.8875 0.2893 0.2161 0.3111 0.0800 1.0000 0.4111 0.3649 266-AH 0.0000 0.0000 0.0091 0.0507 0.2500 0.0521 0.0902 0.0507 0.2500 1.7318 0.0010 0.0000 0.0610 0.0000 0.0526 0.0161 0.0225 267-AH 0.0734 0.1140 0.4167 1.0000 1.0000 0.5025 0.3931 0.8860 0.9266 0.7823 0.3308 0.1981 0.3443 0.0734 1.0000 0.5025 0.3931 268-AH 0.1667 0.5000 1.0000 1.0000 1.0000 0.8205 0.2924 0.5000 0.8333 0.3563 0.7425 0.6190 0.2485 0.1667 1.0000 0.8205 0.2924 269-AH 0.0741 0.2088 0.3636 0.4042 1.0000 0.3920 0.2935 0.1954 0.9259 0.7489 0.3063 0.2350 0.1946 0.0741 0.4167 0.2814 0.1265 270-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9749 0.0708 0.0000 0.2500 0.0727 0.9721 0.9689 0.0426 1.0000 1.0000 1.0000 0.0000 271-AH 0.3750 0.6116 0.7143 0.9062 1.0000 0.7323 0.1928 0.2946 0.6250 0.2633 0.7073 0.6807 0.1510 0.3750 1.0000 0.7323 0.1928 272-AH 0.0049 0.2837 0.3077 0.4261 0.4545 0.3163 0.1195 0.1424 0.4496 0.3778 0.2420 0.0543 0.0792 0.2632 0.4545 0.3423 0.0776 273-AH 0.0804 0.8665 0.9000 0.9583 1.0000 0.8571 0.2392 0.0919 0.9196 0.2791 0.7630 0.5099 0.1203 0.8519 1.0000 0.9218 0.0550 274-AH 0.0000 0.0055 0.0208 0.0408 0.0690 0.0269 0.0255 0.0353 0.0690 0.9464 0.0101 0.0001 0.0215 0.0000 0.0690 0.0269 0.0255 275-AH 0.1818 0.4393 0.6087 0.8188 0.8750 0.6109 0.2353 0.3795 0.6932 0.3852 0.5585 0.4949 0.2007 0.1818 0.8750 0.6109 0.2353 276-AH 0.1519 0.2680 0.5600 0.6045 0.8000 0.4761 0.2235 0.3365 0.6481 0.4694 0.4164 0.3520 0.1875 0.1519 0.8000 0.4761 0.2235 277-AH 0.0759 0.2000 0.2162 0.3244 0.3529 0.2444 0.0840 0.1244 0.2770 0.3436 0.2279 0.2066 0.0688 0.0759 0.3529 0.2444 0.0840 278-AH 0.0050 0.0101 0.0561 0.1842 0.3056 0.1032 0.1112 0.1741 0.3005 1.0782 0.0459 0.0190 0.0906 0.0050 0.3056 0.1032 0.1112 279-AH 0.0117 0.0307 0.3333 0.6250 1.0000 0.3592 0.3991 0.5943 0.9883 1.1110 0.1362 0.0479 0.3174 0.0117 1.0000 0.3592 0.3991 280-AH 0.0000 0.0495 0.1042 0.1282 0.2400 0.0929 0.0645 0.0787 0.2400 0.6936 0.0414 0.0001 0.0518 0.0000 0.2400 0.0929 0.0645 281-AH 0.3429 0.4353 0.4737 0.7548 0.9167 0.5787 0.2003 0.3195 0.5738 0.3461 0.5484 0.5212 0.1720 0.3429 0.9167 0.5787 0.2003 282-AH 0.0396 0.2431 0.2593 0.2937 0.4828 0.2696 0.1042 0.0507 0.4432 0.3864 0.2404 0.1869 0.0658 0.1698 0.3000 0.2582 0.0388 283-AH 0.0816 0.2239 0.6000 0.8889 1.0000 0.5464 0.3392 0.6650 0.9184 0.6209 0.4178 0.2883 0.2869 0.0816 1.0000 0.5464 0.3392 284-AH 0.0270 0.5036 0.7143 0.7548 1.0000 0.5794 0.2997 0.2512 0.9730 0.5172 0.4015 0.1520 0.2251 0.2143 1.0000 0.6792 0.1910 285-AH 0.0231 0.1653 0.2593 0.7708 0.9444 0.4117 0.3273 0.6055 0.9213 0.7951 0.2788 0.1466 0.2754 0.0231 0.9444 0.4117 0.3273 286-AH 0.0000 0.0068 0.0113 0.0402 0.0714 0.0239 0.0250 0.0334 0.0714 1.0453 0.0060 0.0001 0.0211 0.0000 0.0714 0.0239 0.0250 287-AH 0.0243 0.2394 0.3793 0.5879 0.6875 0.3687 0.2262 0.3485 0.6632 0.6135 0.2319 0.0889 0.1700 0.0243 0.6875 0.3687 0.2262 288-AH 0.0669 0.1918 0.3636 0.4158 0.6786 0.3331 0.1807 0.2240 0.6116 0.5423 0.2807 0.2233 0.1454 0.0669 0.6786 0.3331 0.1807 289-AH 0.4000 0.8958 1.0000 1.0000 1.0000 0.9083 0.1662 0.1042 0.6000 0.1829 0.8874 0.8560 0.1036 0.8182 1.0000 0.9507 0.0684 290-AH 0.0000 0.0827 0.1250 0.1893 0.2623 0.1295 0.0796 0.1066 0.2623 0.6144 0.0591 0.0001 0.0598 0.0000 0.2623 0.1295 0.0796 151 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0598 0.7944 1.0000 1.0000 1.0000 0.8362 0.2665 0.2056 0.9402 0.3187 0.7235 0.4281 0.1764 0.6000 1.0000 0.9009 0.1346 292-AH 0.0213 0.9167 1.0000 1.0000 1.0000 0.8734 0.2846 0.0833 0.9787 0.3258 0.6987 0.2167 0.1947 1.0000 1.0000 1.0000 0.0000 293-AH 0.0483 0.6466 0.7273 0.8080 1.0000 0.7077 0.2361 0.1614 0.9517 0.3337 0.6092 0.3526 0.1467 0.6000 1.0000 0.7626 0.1342 294-AH 0.0000 0.2759 0.6667 0.7131 1.0000 0.5408 0.2848 0.4372 1.0000 0.5267 0.2312 0.0001 0.2367 0.0000 1.0000 0.5408 0.2848 295-AH 0.0000 0.4125 0.5238 0.5238 0.6000 0.4287 0.2017 0.1113 0.6000 0.4706 0.1674 0.0001 0.1528 0.2750 0.6000 0.5050 0.0847 296-AH 0.5000 0.7143 0.7273 0.7778 0.8462 0.7246 0.0869 0.0635 0.3462 0.1199 0.7191 0.7130 0.0546 0.6250 0.8462 0.7433 0.0571 297-AH 0.0476 0.0744 0.7500 0.8083 1.0000 0.4962 0.4104 0.7339 0.9524 0.8272 0.2689 0.1284 0.3862 0.0476 1.0000 0.4962 0.4104 298-AH 0.0777 0.2249 0.3000 0.5000 0.6667 0.3289 0.1822 0.2751 0.5890 0.5541 0.2800 0.2301 0.1463 0.0777 0.6667 0.3289 0.1822 299-AH 0.0000 0.1882 0.3469 0.3910 0.4318 0.2782 0.1491 0.2027 0.4318 0.5360 0.1142 0.0001 0.1242 0.0000 0.4318 0.2782 0.1491 300-AH 0.0188 0.0464 0.1857 0.2443 0.5000 0.1791 0.1360 0.1980 0.4812 0.7593 0.1159 0.0593 0.1018 0.0188 0.5000 0.1791 0.1360 301-AH 0.0000 0.1026 0.5000 1.0000 1.0000 0.5353 0.4251 0.8974 1.0000 0.7942 0.1578 0.0001 0.3789 0.0000 1.0000 0.5353 0.4251 302-AH 0.1667 0.4444 0.5000 0.7143 0.8000 0.5492 0.1852 0.2698 0.6333 0.3372 0.5129 0.4648 0.1538 0.1667 0.8000 0.5492 0.1852 303-AH 0.0045 0.0262 0.0769 0.2750 0.5000 0.1739 0.1953 0.2488 0.4955 1.1230 0.0811 0.0304 0.1545 0.0045 0.5000 0.1739 0.1953 304-AH 0.0000 0.0676 0.7500 1.0000 1.0000 0.5349 0.4224 0.9324 1.0000 0.7897 0.1493 0.0001 0.3855 0.0000 1.0000 0.5349 0.4224 305-AH 0.0000 0.0000 0.3784 0.4333 0.5000 0.2423 0.2169 0.4333 0.5000 0.8952 0.0117 0.0000 0.2049 0.0000 0.5000 0.2423 0.2169 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.1289 0.2254 0.2597 0.3269 0.1931 0.1017 0.1309 0.3269 0.5269 0.0472 0.0001 0.0795 0.0000 0.3269 0.1931 0.1017 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0182 0.0349 0.0769 0.3289 1.0000 0.2747 0.4143 0.2941 0.9818 1.5084 0.0985 0.0533 0.3348 0.0182 0.1053 0.0571 0.0305 310-AH 0.0000 0.0129 0.0393 0.1601 0.3023 0.0962 0.1215 0.1472 0.3023 1.2632 0.0095 0.0000 0.0977 0.0000 0.3023 0.0962 0.1215 311-AH 0.0596 0.2437 0.4242 0.4545 0.4839 0.3422 0.1419 0.2109 0.4243 0.4145 0.3005 0.2383 0.1227 0.0596 0.4839 0.3422 0.1419 312-AH 0.0000 0.2837 0.6667 0.7125 0.8000 0.5013 0.2766 0.4288 0.8000 0.5517 0.2050 0.0001 0.2386 0.0000 0.8000 0.5013 0.2766 313-AH 0.0071 0.0205 0.0226 0.1089 0.2174 0.0749 0.0828 0.0884 0.2103 1.1056 0.0416 0.0251 0.0647 0.0071 0.2174 0.0749 0.0828 314-AH 0.0380 0.0567 0.0761 0.1061 0.1351 0.0809 0.0326 0.0494 0.0971 0.4027 0.0744 0.0679 0.0265 0.0380 0.1351 0.0809 0.0326 315-AH 0.0350 0.4459 0.5652 0.6404 0.8571 0.5481 0.2156 0.1945 0.8222 0.3934 0.4606 0.2580 0.1479 0.3158 0.8571 0.5909 0.1574 316-AH 0.0614 0.1200 0.1486 0.2272 0.2451 0.1619 0.0655 0.1072 0.1837 0.4043 0.1475 0.1314 0.0567 0.0614 0.2451 0.1619 0.0655 317-AH 0.0633 0.0838 0.2308 0.2481 0.3043 0.1781 0.0900 0.1643 0.2411 0.5052 0.1540 0.1310 0.0823 0.0633 0.3043 0.1781 0.0900 318-AH 0.0308 0.0833 0.1064 0.2045 0.6667 0.1964 0.1863 0.1212 0.6359 0.9486 0.1405 0.1048 0.1308 0.0308 0.2727 0.1260 0.0697 319-AH 0.0735 0.5804 0.8333 1.0000 1.0000 0.7500 0.2715 0.4196 0.9265 0.3620 0.6530 0.4414 0.2042 0.0735 1.0000 0.7500 0.2715 320-AH 0.0000 0.0451 0.0519 0.0755 0.1481 0.0584 0.0396 0.0304 0.1481 0.6788 0.0165 0.0001 0.0275 0.0000 0.1053 0.0509 0.0303 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0811 0.1292 0.3000 0.4000 0.5000 0.2777 0.1503 0.2708 0.4189 0.5414 0.2312 0.1840 0.1299 0.0811 0.5000 0.2777 0.1503 323-AH 0.0094 0.0281 0.0946 0.1263 0.2727 0.1056 0.0895 0.0982 0.2633 0.8477 0.0711 0.0431 0.0660 0.0094 0.2727 0.1056 0.0895 324-AH 0.0207 0.2798 0.3000 0.7428 0.9375 0.4851 0.2935 0.4630 0.9168 0.6050 0.3611 0.1661 0.2654 0.0207 0.9375 0.4851 0.2935 325-AH 0.0000 0.0181 0.0425 0.2259 0.5854 0.1584 0.2266 0.2078 0.5854 1.4304 0.0124 0.0000 0.1811 0.0000 0.5250 0.0847 0.1507 326-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9615 0.1387 0.0000 0.5000 0.1442 0.9481 0.9286 0.0710 1.0000 1.0000 1.0000 0.0000 327-AH 0.0000 0.0520 0.0606 0.2879 1.0000 0.2171 0.2790 0.2359 1.0000 1.2849 0.0579 0.0001 0.1955 0.0000 0.5000 0.1519 0.1566 328-AH 0.1475 0.5482 0.6364 0.7067 0.8750 0.6234 0.1834 0.1585 0.7275 0.2942 0.5824 0.5110 0.1263 0.4667 0.8750 0.6630 0.1199 329-AH 0.2222 1.0000 1.0000 1.0000 1.0000 0.9145 0.2275 0.0000 0.7778 0.2488 0.8634 0.7647 0.1446 1.0000 1.0000 1.0000 0.0000 330-AH 0.8182 0.9167 0.9286 1.0000 1.0000 0.9430 0.0643 0.0833 0.1818 0.0682 0.9409 0.9387 0.0526 0.8182 1.0000 0.9430 0.0643 331-AH 0.1750 0.1832 0.3125 0.6696 1.0000 0.4258 0.3133 0.4864 0.8250 0.7359 0.3394 0.2827 0.2600 0.1750 1.0000 0.4258 0.3133 332-AH 0.3333 0.4286 0.5000 0.6667 1.0000 0.5656 0.1794 0.2381 0.6667 0.3172 0.5417 0.5200 0.1446 0.3333 1.0000 0.5656 0.1794 333-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 334-AH 0.1429 0.2000 0.2500 0.6250 1.0000 0.4339 0.3346 0.4250 0.8571 0.7713 0.3432 0.2868 0.2715 0.1429 1.0000 0.4339 0.3346 335-AH 0.0090 0.2143 0.6000 0.7500 1.0000 0.5482 0.3203 0.5357 0.9910 0.5843 0.3775 0.0940 0.2711 0.0090 1.0000 0.5482 0.3203 336-AH 0.0000 0.0117 0.0847 0.3924 0.5714 0.2015 0.2071 0.3807 0.5714 1.0280 0.0275 0.0001 0.1839 0.0000 0.5714 0.2015 0.2071 337-AH 0.8889 1.0000 1.0000 1.0000 1.0000 0.9915 0.0308 0.0000 0.1111 0.0311 0.9910 0.9905 0.0158 1.0000 1.0000 1.0000 0.0000 338-AH 0.0588 1.0000 1.0000 1.0000 1.0000 0.8891 0.2852 0.0000 0.9412 0.3208 0.7624 0.4333 0.1876 1.0000 1.0000 1.0000 0.0000 339-AH 0.1429 0.4886 0.5714 0.8083 1.0000 0.6249 0.2293 0.3197 0.8571 0.3670 0.5713 0.4921 0.1873 0.1429 1.0000 0.6249 0.2293 340-AH 0.0013 0.0487 0.2500 0.3500 0.5000 0.2309 0.1725 0.3013 0.4987 0.7471 0.0777 0.0056 0.1466 0.0013 0.5000 0.2309 0.1725 152 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0144 0.6667 1.0000 1.0000 0.5418 0.4374 0.9856 1.0000 0.8073 0.1230 0.0001 0.3909 0.0000 1.0000 0.5418 0.4374 342-AH 0.4348 0.8400 0.8571 0.8832 0.9615 0.8376 0.1256 0.0432 0.5268 0.1499 0.8253 0.8078 0.0620 0.8400 0.8929 0.8630 0.0213 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0470 0.7185 0.8750 0.9167 1.0000 0.7793 0.2403 0.1981 0.9530 0.3084 0.6689 0.3635 0.1490 0.6923 1.0000 0.8403 0.1010 345-AH 0.0000 0.0303 0.0485 0.2879 0.4000 0.1449 0.1542 0.2576 0.4000 1.0642 0.0429 0.0001 0.1356 0.0000 0.4000 0.1449 0.1542 346-AH 0.0000 0.0407 0.0667 0.0936 0.1429 0.0644 0.0436 0.0529 0.1429 0.6777 0.0101 0.0000 0.0313 0.0000 0.1429 0.0644 0.0436 347-AH 0.0103 0.0140 0.0909 0.1875 0.5000 0.1422 0.1707 0.1735 0.4897 1.2009 0.0672 0.0320 0.1241 0.0103 0.1875 0.0771 0.0686 348-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8846 0.2193 0.1250 0.5000 0.2479 0.8522 0.8125 0.1775 1.0000 1.0000 1.0000 0.0000 349-AH 0.3793 0.4488 0.6000 0.6000 0.8750 0.5531 0.1321 0.1512 0.4957 0.2389 0.5392 0.5257 0.0975 0.3793 0.6000 0.5262 0.0940 350-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 153 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.2400 0.3243 1.0000 1.0000 0.5581 0.4180 0.7600 1.0000 0.7490 0.1023 0.0001 0.3887 0.0000 1.0000 0.5581 0.4180 144-AH 0.0110 0.0400 0.7500 1.0000 1.0000 0.6058 0.4253 0.9600 0.9890 0.7021 0.2950 0.0718 0.3698 0.0110 1.0000 0.6058 0.4253 145-AH 0.0486 0.0811 0.8571 1.0000 1.0000 0.6700 0.4194 0.9189 0.9514 0.6260 0.4198 0.1893 0.3687 0.0486 1.0000 0.6700 0.4194 146-AH 0.0145 0.0786 0.5000 1.0000 1.0000 0.5174 0.4285 0.9214 0.9855 0.8281 0.2341 0.0558 0.3712 0.0145 1.0000 0.5174 0.4285 147-AH 0.0000 0.4273 0.7407 0.8522 0.9444 0.5951 0.3062 0.4250 0.9444 0.5145 0.2446 0.0001 0.2499 0.0000 0.9444 0.5951 0.3062 148-AH 0.0000 0.0171 0.0526 0.0702 0.0750 0.0425 0.0260 0.0531 0.0750 0.6113 0.0208 0.0001 0.0228 0.0000 0.0750 0.0425 0.0260 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0038 0.0059 0.0244 0.1462 0.1923 0.0675 0.0743 0.1403 0.1885 1.1013 0.0269 0.0110 0.0678 0.0038 0.1923 0.0675 0.0743 151-AH 0.0000 0.0000 0.0103 0.3727 0.7143 0.1690 0.2525 0.3727 0.7143 1.4942 0.0051 0.0000 0.2113 0.0000 0.7143 0.1690 0.2525 152-AH 0.0000 0.1017 0.2857 0.2857 0.5000 0.2194 0.1470 0.1840 0.5000 0.6701 0.0483 0.0001 0.1219 0.0000 0.5000 0.2194 0.1470 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.1481 0.3838 0.3889 0.4255 0.5000 0.3819 0.0899 0.0417 0.3519 0.2355 0.3681 0.3483 0.0554 0.3684 0.4667 0.4047 0.0342 155-AH 0.0000 0.0010 0.0052 0.1205 1.0000 0.1776 0.3689 0.1194 1.0000 2.0775 0.0077 0.0001 0.2537 0.0000 0.1818 0.0280 0.0588 156-AH 0.0203 0.0568 0.0748 0.1018 0.1311 0.0810 0.0344 0.0449 0.1108 0.4251 0.0730 0.0633 0.0267 0.0203 0.1311 0.0810 0.0344 157-AH 0.4719 0.6365 0.7027 0.7185 0.7458 0.6613 0.0898 0.0820 0.2739 0.1358 0.6549 0.6478 0.0670 0.5915 0.7458 0.6936 0.0465 158-AH 0.0000 0.2550 0.3023 0.7656 1.0000 0.4590 0.3415 0.5106 1.0000 0.7442 0.1837 0.0001 0.2849 0.0000 1.0000 0.4590 0.3415 159-AH 0.0000 0.2972 0.3585 0.6018 0.7308 0.4047 0.2368 0.3046 0.7308 0.5850 0.1670 0.0001 0.1855 0.0000 0.7308 0.4047 0.2368 160-AH 0.0204 0.0272 0.0417 0.1333 0.5000 0.0958 0.1292 0.1061 0.4796 1.3484 0.0584 0.0429 0.0795 0.0204 0.1333 0.0621 0.0461 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.5968 0.8382 0.9091 0.9739 0.9744 0.8874 0.1065 0.1356 0.3776 0.1201 0.8805 0.8725 0.0781 0.8043 0.9744 0.9116 0.0638 164-AH 0.0000 0.0428 0.1023 0.1642 0.1692 0.0975 0.0596 0.1213 0.1692 0.6118 0.0443 0.0001 0.0504 0.0000 0.1692 0.0975 0.0596 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0526 0.2167 0.4000 0.5000 0.5000 0.3545 0.1571 0.2833 0.4474 0.4431 0.3032 0.2274 0.1291 0.0526 0.5000 0.3545 0.1571 168-AH 0.0867 0.5341 0.6667 0.8929 1.0000 0.6710 0.2559 0.3588 0.9133 0.3814 0.5936 0.4438 0.1850 0.0867 1.0000 0.6710 0.2559 169-AH 0.0084 0.0135 0.0154 0.1127 0.2000 0.0639 0.0683 0.0993 0.1916 1.0700 0.0344 0.0204 0.0562 0.0084 0.2000 0.0639 0.0683 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0682 0.0732 0.0773 0.0799 0.1053 0.0784 0.0093 0.0068 0.0371 0.1187 0.0779 0.0775 0.0059 0.0682 0.0847 0.0761 0.0048 172-AH 0.0000 0.0048 0.0339 0.0602 0.1026 0.0366 0.0301 0.0554 0.1026 0.8218 0.0141 0.0001 0.0239 0.0000 0.1026 0.0366 0.0301 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.6000 0.7125 0.7500 1.0000 1.0000 0.8000 0.1555 0.2875 0.4000 0.1943 0.7861 0.7723 0.1231 0.6000 1.0000 0.8000 0.1555 176-AH 0.9333 0.9853 1.0000 1.0000 1.0000 0.9858 0.0270 0.0147 0.0667 0.0274 0.9855 0.9851 0.0218 1.0000 1.0000 1.0000 0.0000 177-AH 0.1026 0.2575 0.4000 0.5714 0.6667 0.3973 0.1877 0.3139 0.5641 0.4724 0.3500 0.2981 0.1599 0.1026 0.6667 0.3973 0.1877 178-AH 0.0000 0.0000 0.0000 0.0038 0.0053 0.0019 0.0022 0.0038 0.0053 1.1904 0.0002 0.0000 0.0020 0.0000 0.0053 0.0019 0.0022 179-AH 0.0000 0.3156 0.3500 1.0000 1.0000 0.5418 0.3681 0.6844 1.0000 0.6794 0.2100 0.0001 0.3183 0.0000 1.0000 0.5418 0.3681 180-AH 0.0000 0.0267 0.0683 0.5119 0.6129 0.2302 0.2649 0.4852 0.6129 1.1505 0.0173 0.0000 0.2447 0.0000 0.6129 0.2302 0.2649 181-AH 0.4746 0.8282 0.8723 0.9408 1.0000 0.8615 0.1310 0.1126 0.5254 0.1520 0.8495 0.8336 0.0800 0.8250 1.0000 0.8937 0.0630 182-AH 0.0625 0.0890 0.2000 0.6875 0.7500 0.3201 0.2886 0.5985 0.6875 0.9015 0.2166 0.1548 0.2517 0.0625 0.7500 0.3201 0.2886 183-AH 0.0041 0.0882 0.2222 0.2879 0.4286 0.2023 0.1426 0.1996 0.4245 0.7052 0.1076 0.0244 0.1154 0.0041 0.4286 0.2023 0.1426 184-AH 0.0000 0.0956 0.2727 0.7625 1.0000 0.4092 0.3697 0.6669 1.0000 0.9035 0.1104 0.0001 0.3193 0.0000 1.0000 0.4092 0.3697 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9692 0.0751 0.0000 0.2000 0.0775 0.9663 0.9630 0.0521 1.0000 1.0000 1.0000 0.0000 190-AH 0.0085 0.0761 0.2778 0.8125 1.0000 0.4615 0.4127 0.7364 0.9915 0.8941 0.2301 0.0689 0.3817 0.0085 1.0000 0.4615 0.4127 154 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0435 0.6875 1.0000 1.0000 1.0000 0.7964 0.3620 0.3125 0.9565 0.4545 0.5868 0.2500 0.2819 0.5000 1.0000 0.9318 0.1617 193-AH 0.0151 0.2581 0.4286 0.6000 1.0000 0.4214 0.2709 0.3419 0.9849 0.6428 0.2966 0.1197 0.1978 0.0151 1.0000 0.4214 0.2709 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.5758 0.8956 1.0000 1.0000 1.0000 0.9264 0.1265 0.1044 0.4242 0.1365 0.9166 0.9046 0.0897 0.7647 1.0000 0.9557 0.0731 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.5000 0.7088 0.7273 0.7778 1.0000 0.7247 0.1251 0.0690 0.5000 0.1726 0.7142 0.7030 0.0758 0.6923 0.7778 0.7422 0.0295 200-AH 0.0137 0.6000 0.7143 0.8750 1.0000 0.6721 0.3065 0.2750 0.9863 0.4560 0.4928 0.1376 0.2271 0.6000 1.0000 0.7801 0.1689 251-AH 0.2258 0.5000 0.7692 0.8083 0.9091 0.6888 0.1973 0.3083 0.6833 0.2865 0.6519 0.5995 0.1584 0.2258 0.9091 0.6888 0.1973 252-AH 0.1343 0.1961 0.3462 0.4803 0.7692 0.3727 0.1805 0.2842 0.6349 0.4842 0.3332 0.2958 0.1367 0.1343 0.7692 0.3727 0.1805 253-AH 0.0000 0.1693 0.2775 0.4603 0.5888 0.3033 0.1977 0.2911 0.5888 0.6518 0.0642 0.0001 0.1642 0.0000 0.5888 0.3033 0.1977 254-AH 0.0000 0.1627 0.2379 0.2597 0.3379 0.2039 0.0933 0.0970 0.3379 0.4575 0.0969 0.0001 0.0729 0.0891 0.3379 0.2209 0.0735 255-AH 0.0177 0.7500 1.0000 1.0000 1.0000 0.8603 0.2810 0.2500 0.9823 0.3266 0.6799 0.1866 0.1934 0.6667 1.0000 0.9306 0.1273 256-AH 0.0000 0.8036 1.0000 1.0000 1.0000 0.7857 0.3813 0.1964 1.0000 0.4853 0.1567 0.0001 0.2967 0.9286 1.0000 0.9786 0.0345 257-AH 0.0000 0.2442 0.2899 0.3401 0.4651 0.2866 0.1182 0.0960 0.4651 0.4124 0.1360 0.0001 0.0792 0.1905 0.4651 0.3105 0.0845 258-AH 0.0000 0.0045 0.0057 0.0091 0.0769 0.0149 0.0247 0.0047 0.0769 1.6539 0.0032 0.0001 0.0169 0.0000 0.0097 0.0049 0.0030 259-AH 0.0088 0.1111 1.0000 1.0000 1.0000 0.6430 0.4710 0.8889 0.9912 0.7325 0.3058 0.0627 0.4394 0.0088 1.0000 0.6430 0.4710 260-AH 0.3455 0.4750 0.4792 0.5458 0.7778 0.5190 0.1110 0.0709 0.4323 0.2138 0.5089 0.4995 0.0782 0.4255 0.6000 0.4945 0.0462 261-AH 0.0000 0.0000 0.0158 0.6302 0.8571 0.2314 0.3378 0.6302 0.8571 1.4598 0.0036 0.0000 0.2950 0.0000 0.8571 0.2314 0.3378 262-AH 0.0000 0.0922 0.0973 0.1643 0.3704 0.1403 0.1199 0.0721 0.3704 0.8546 0.0323 0.0001 0.0904 0.0000 0.1268 0.0816 0.0445 263-AH 0.0000 0.0000 0.0315 0.0858 0.1562 0.0443 0.0496 0.0858 0.1562 1.1200 0.0021 0.0000 0.0390 0.0000 0.1562 0.0443 0.0496 264-AH 0.2188 0.2855 0.6429 0.9250 1.0000 0.6457 0.3212 0.6395 0.7812 0.4973 0.5531 0.4563 0.2774 0.2188 1.0000 0.6457 0.3212 265-AH 0.0800 0.1538 0.2308 0.7500 1.0000 0.4111 0.3649 0.5962 0.9200 0.8875 0.2893 0.2161 0.3111 0.0800 1.0000 0.4111 0.3649 266-AH 0.0000 0.0000 0.0053 0.0180 0.0625 0.0122 0.0185 0.0180 0.0625 1.5114 0.0005 0.0000 0.0133 0.0000 0.0305 0.0080 0.0111 267-AH 0.0734 0.0975 0.2917 0.4988 0.6154 0.2921 0.2135 0.4013 0.5420 0.7309 0.2150 0.1565 0.1820 0.0734 0.6154 0.2921 0.2135 268-AH 0.1667 0.5000 1.0000 1.0000 1.0000 0.8205 0.2924 0.5000 0.8333 0.3563 0.7425 0.6190 0.2485 0.1667 1.0000 0.8205 0.2924 269-AH 0.0698 0.2088 0.3000 0.3769 0.8000 0.3378 0.2268 0.1681 0.7302 0.6715 0.2757 0.2198 0.1583 0.0698 0.4167 0.2538 0.1060 270-AH 0.6129 0.9413 1.0000 1.0000 1.0000 0.9499 0.1064 0.0587 0.3871 0.1120 0.9430 0.9342 0.0620 0.9130 1.0000 0.9780 0.0340 271-AH 0.3636 0.3810 0.5714 0.5881 0.8182 0.5233 0.1364 0.2071 0.4545 0.2606 0.5073 0.4919 0.1103 0.3636 0.8182 0.5233 0.1364 272-AH 0.0000 0.2632 0.2917 0.4261 0.4545 0.3027 0.1265 0.1630 0.4545 0.4178 0.1426 0.0001 0.0876 0.1852 0.4545 0.3279 0.0918 273-AH 0.0686 0.8108 0.8333 0.8997 1.0000 0.8040 0.2294 0.0889 0.9314 0.2853 0.7104 0.4559 0.1131 0.8108 1.0000 0.8652 0.0643 274-AH 0.0000 0.0000 0.0105 0.0336 0.0638 0.0215 0.0244 0.0336 0.0638 1.1334 0.0013 0.0000 0.0204 0.0000 0.0638 0.0215 0.0244 275-AH 0.0873 0.4055 0.5556 0.7047 0.7692 0.5252 0.2320 0.2992 0.6819 0.4418 0.4498 0.3420 0.1887 0.0873 0.7692 0.5252 0.2320 276-AH 0.1250 0.2654 0.4865 0.5074 0.7308 0.4077 0.1827 0.2420 0.6058 0.4482 0.3603 0.3069 0.1531 0.1250 0.7308 0.4077 0.1827 277-AH 0.0755 0.1341 0.2083 0.2749 0.3214 0.1939 0.0830 0.1407 0.2460 0.4279 0.1762 0.1585 0.0711 0.0755 0.3214 0.1939 0.0830 278-AH 0.0000 0.0000 0.0449 0.1759 0.3056 0.0943 0.1152 0.1759 0.3056 1.2217 0.0052 0.0000 0.0957 0.0000 0.3056 0.0943 0.1152 279-AH 0.0093 0.0242 0.0588 0.3250 0.6000 0.1918 0.2197 0.3008 0.5907 1.1454 0.0807 0.0342 0.1768 0.0093 0.6000 0.1918 0.2197 280-AH 0.0000 0.0429 0.0541 0.0994 0.1475 0.0675 0.0423 0.0565 0.1475 0.6261 0.0317 0.0001 0.0346 0.0000 0.1475 0.0675 0.0423 281-AH 0.3393 0.3883 0.4516 0.6087 0.6500 0.4896 0.1186 0.2204 0.3107 0.2421 0.4762 0.4630 0.1085 0.3393 0.6500 0.4896 0.1186 282-AH 0.0293 0.1917 0.2391 0.2551 0.4828 0.2380 0.1137 0.0634 0.4534 0.4776 0.2029 0.1470 0.0706 0.0971 0.2703 0.2189 0.0516 283-AH 0.0265 0.2174 0.2791 0.4662 0.5217 0.3036 0.1628 0.2487 0.4952 0.5362 0.2349 0.1371 0.1320 0.0265 0.5217 0.3036 0.1628 284-AH 0.0179 0.4885 0.6000 0.6398 0.7143 0.5036 0.2558 0.1513 0.6964 0.5079 0.3291 0.0977 0.2032 0.6000 0.7143 0.6357 0.0431 285-AH 0.0000 0.0994 0.1111 0.5967 0.9394 0.3174 0.3276 0.4973 0.9394 1.0322 0.1013 0.0001 0.2717 0.0000 0.9394 0.3174 0.3276 286-AH 0.0000 0.0053 0.0106 0.0305 0.0714 0.0216 0.0246 0.0252 0.0714 1.1380 0.0053 0.0001 0.0193 0.0000 0.0426 0.0128 0.0131 287-AH 0.0000 0.2163 0.3605 0.5634 0.6000 0.3445 0.2238 0.3471 0.6000 0.6496 0.0368 0.0000 0.1726 0.0000 0.6000 0.3445 0.2238 288-AH 0.0669 0.1528 0.2150 0.3068 0.5000 0.2484 0.1412 0.1540 0.4331 0.5685 0.2088 0.1702 0.1071 0.0669 0.5000 0.2484 0.1412 289-AH 0.4000 0.8011 0.8571 0.9423 1.0000 0.8433 0.1624 0.1412 0.6000 0.1926 0.8240 0.7979 0.1114 0.7059 1.0000 0.8802 0.0971 290-AH 0.0000 0.0774 0.1136 0.1730 0.2623 0.1232 0.0800 0.0956 0.2623 0.6499 0.0555 0.0001 0.0601 0.0000 0.2623 0.1232 0.0800 155 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0570 0.6406 0.8000 0.9250 1.0000 0.7367 0.2612 0.2844 0.9430 0.3546 0.6340 0.3887 0.1831 0.4737 1.0000 0.7933 0.1701 292-AH 0.0161 0.6667 1.0000 1.0000 1.0000 0.7961 0.2862 0.3333 0.9839 0.3595 0.6229 0.1699 0.2196 0.6667 1.0000 0.8611 0.1716 293-AH 0.0430 0.5929 0.6500 0.7288 0.7857 0.6173 0.1915 0.1359 0.7427 0.3102 0.5347 0.3123 0.1196 0.4839 0.7857 0.6652 0.0867 294-AH 0.0000 0.2250 0.6316 0.6667 0.7273 0.4718 0.2464 0.4417 0.7273 0.5222 0.2024 0.0001 0.2202 0.0000 0.7273 0.4718 0.2464 295-AH 0.0000 0.2949 0.3953 0.4857 0.5517 0.3506 0.1781 0.1908 0.5517 0.5080 0.0787 0.0001 0.1348 0.2000 0.5517 0.4144 0.0949 296-AH 0.2000 0.5824 0.7273 0.7548 0.8462 0.6395 0.1958 0.1725 0.6462 0.3062 0.5976 0.5368 0.1451 0.5294 0.8462 0.7116 0.0920 297-AH 0.0347 0.0534 0.5714 0.8083 1.0000 0.4776 0.4096 0.7549 0.9653 0.8576 0.2386 0.1000 0.3787 0.0347 1.0000 0.4776 0.4096 298-AH 0.0744 0.1497 0.1639 0.1945 0.2647 0.1684 0.0508 0.0449 0.1903 0.3020 0.1604 0.1513 0.0359 0.1059 0.2195 0.1682 0.0359 299-AH 0.0000 0.1609 0.2150 0.3473 0.3651 0.2234 0.1292 0.1864 0.3651 0.5784 0.0525 0.0001 0.1055 0.0000 0.3651 0.2234 0.1292 300-AH 0.0164 0.0458 0.1857 0.2166 0.3333 0.1552 0.1009 0.1708 0.3170 0.6503 0.1040 0.0529 0.0809 0.0164 0.3333 0.1552 0.1009 301-AH 0.0000 0.0625 0.4545 0.9062 1.0000 0.5052 0.4202 0.8437 1.0000 0.8317 0.1372 0.0001 0.3716 0.0000 1.0000 0.5052 0.4202 302-AH 0.0526 0.3750 0.4444 0.5591 0.6667 0.4545 0.1555 0.1841 0.6140 0.3422 0.4036 0.2916 0.1124 0.3750 0.6667 0.4880 0.1024 303-AH 0.0000 0.0262 0.0532 0.1039 0.2000 0.0728 0.0630 0.0777 0.2000 0.8652 0.0280 0.0001 0.0504 0.0000 0.2000 0.0728 0.0630 304-AH 0.0000 0.0207 0.1915 0.3679 0.4000 0.1996 0.1734 0.3472 0.4000 0.8688 0.0554 0.0001 0.1579 0.0000 0.4000 0.1996 0.1734 305-AH 0.0000 0.0000 0.2923 0.3695 0.3922 0.1970 0.1775 0.3695 0.3922 0.9006 0.0102 0.0000 0.1667 0.0000 0.3922 0.1970 0.1775 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.1021 0.1677 0.1920 0.2737 0.1480 0.0835 0.0898 0.2737 0.5643 0.0372 0.0001 0.0666 0.0000 0.2737 0.1480 0.0835 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0182 0.0349 0.0600 0.0769 0.0943 0.0580 0.0248 0.0420 0.0762 0.4275 0.0520 0.0451 0.0210 0.0182 0.0943 0.0580 0.0248 310-AH 0.0000 0.0000 0.0342 0.1080 0.1818 0.0626 0.0733 0.1080 0.1818 1.1711 0.0026 0.0000 0.0582 0.0000 0.1818 0.0626 0.0733 311-AH 0.0576 0.2328 0.2361 0.3941 0.4737 0.2815 0.1231 0.1613 0.4161 0.4371 0.2503 0.2083 0.0991 0.0576 0.4737 0.2815 0.1231 312-AH 0.0000 0.2663 0.3871 0.5877 0.7500 0.4139 0.2495 0.3213 0.7500 0.6029 0.1645 0.0001 0.2049 0.0000 0.7500 0.4139 0.2495 313-AH 0.0071 0.0197 0.0220 0.0851 0.1395 0.0516 0.0457 0.0654 0.1324 0.8853 0.0347 0.0236 0.0384 0.0071 0.1395 0.0516 0.0457 314-AH 0.0339 0.0393 0.0652 0.0850 0.1277 0.0670 0.0278 0.0457 0.0938 0.4147 0.0619 0.0572 0.0218 0.0339 0.1277 0.0670 0.0278 315-AH 0.0212 0.2640 0.3750 0.5074 0.8077 0.3993 0.2381 0.2433 0.7865 0.5964 0.2981 0.1499 0.1737 0.0212 0.8077 0.3993 0.2381 316-AH 0.0384 0.1136 0.1486 0.2267 0.2312 0.1541 0.0697 0.1131 0.1928 0.4521 0.1337 0.1078 0.0584 0.0384 0.2312 0.1541 0.0697 317-AH 0.0446 0.0809 0.1167 0.2447 0.2895 0.1442 0.0884 0.1638 0.2449 0.6128 0.1211 0.1026 0.0744 0.0446 0.2895 0.1442 0.0884 318-AH 0.0221 0.0833 0.1064 0.1932 0.5000 0.1666 0.1315 0.1098 0.4779 0.7893 0.1273 0.0929 0.0933 0.0221 0.3333 0.1388 0.0889 319-AH 0.0588 0.4917 0.5833 0.7976 0.8571 0.5856 0.2539 0.3060 0.7983 0.4336 0.4898 0.3232 0.1927 0.0588 0.8571 0.5856 0.2539 320-AH 0.0000 0.0229 0.0476 0.0748 0.1111 0.0462 0.0348 0.0518 0.1111 0.7529 0.0127 0.0001 0.0284 0.0000 0.1111 0.0462 0.0348 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0360 0.0703 0.1471 0.1786 0.4545 0.1525 0.1051 0.1083 0.4186 0.6896 0.1252 0.1011 0.0637 0.0360 0.1923 0.1273 0.0554 323-AH 0.0000 0.0240 0.0455 0.0839 0.1067 0.0554 0.0351 0.0599 0.1067 0.6341 0.0266 0.0001 0.0291 0.0000 0.1067 0.0554 0.0351 324-AH 0.0000 0.1935 0.2018 0.7235 0.7436 0.3885 0.2836 0.5300 0.7436 0.7301 0.1451 0.0001 0.2582 0.0000 0.7436 0.3885 0.2836 325-AH 0.0000 0.0000 0.0381 0.1921 0.5854 0.1487 0.2283 0.1921 0.5854 1.5358 0.0061 0.0000 0.1834 0.0000 0.0812 0.0295 0.0287 326-AH 0.1429 0.2121 0.3333 0.5000 1.0000 0.4166 0.2873 0.2879 0.8571 0.6897 0.3443 0.2921 0.2180 0.1429 0.5000 0.3105 0.1365 327-AH 0.0000 0.0029 0.0606 0.2760 0.5000 0.1509 0.1644 0.2731 0.5000 1.0895 0.0270 0.0001 0.1413 0.0000 0.5000 0.1509 0.1644 328-AH 0.1475 0.5197 0.6364 0.7067 0.8750 0.6134 0.1875 0.1870 0.7275 0.3056 0.5719 0.5025 0.1385 0.4667 0.8750 0.6523 0.1303 329-AH 0.2222 0.9722 1.0000 1.0000 1.0000 0.9060 0.2261 0.0278 0.7778 0.2496 0.8556 0.7591 0.1446 1.0000 1.0000 1.0000 0.0000 330-AH 0.7727 0.8199 0.8333 0.8904 0.9062 0.8474 0.0419 0.0704 0.1335 0.0495 0.8464 0.8455 0.0364 0.7727 0.9062 0.8474 0.0419 331-AH 0.1750 0.1832 0.3125 0.6696 0.7500 0.3871 0.2432 0.4864 0.5750 0.6282 0.3246 0.2785 0.2068 0.1750 0.7500 0.3871 0.2432 332-AH 0.2308 0.2908 0.3750 0.4286 0.5000 0.3708 0.0828 0.1378 0.2692 0.2234 0.3614 0.3513 0.0663 0.2308 0.5000 0.3708 0.0828 333-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9487 0.1252 0.0000 0.3333 0.1319 0.9395 0.9286 0.0868 1.0000 1.0000 1.0000 0.0000 334-AH 0.1250 0.1905 0.2000 0.2500 0.4000 0.2323 0.0842 0.0595 0.2750 0.3625 0.2198 0.2086 0.0598 0.1250 0.2500 0.2018 0.0432 335-AH 0.0000 0.1154 0.1351 0.2668 0.5000 0.2009 0.1565 0.1514 0.5000 0.7790 0.0804 0.0001 0.1210 0.0000 0.2778 0.1465 0.0907 336-AH 0.0000 0.0107 0.0732 0.2217 0.4000 0.1276 0.1450 0.2111 0.4000 1.1359 0.0124 0.0000 0.1188 0.0000 0.4000 0.1276 0.1450 337-AH 0.8750 0.8854 1.0000 1.0000 1.0000 0.9549 0.0597 0.1146 0.1250 0.0625 0.9532 0.9514 0.0555 0.8750 1.0000 0.9549 0.0597 338-AH 0.0278 0.7389 1.0000 1.0000 1.0000 0.8329 0.3067 0.2611 0.9722 0.3682 0.6700 0.2584 0.2314 0.4444 1.0000 0.9000 0.1968 339-AH 0.1429 0.4688 0.5385 0.7500 0.8182 0.5798 0.2026 0.2812 0.6753 0.3494 0.5334 0.4653 0.1676 0.1429 0.8182 0.5798 0.2026 340-AH 0.0000 0.0484 0.2308 0.2875 0.5000 0.2000 0.1652 0.2391 0.5000 0.8256 0.0221 0.0000 0.1355 0.0000 0.5000 0.2000 0.1652 156 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0144 0.6667 1.0000 1.0000 0.5418 0.4374 0.9856 1.0000 0.8073 0.1230 0.0001 0.3909 0.0000 1.0000 0.5418 0.4374 342-AH 0.2639 0.7073 0.8095 0.8448 0.8857 0.7516 0.1620 0.1375 0.6218 0.2155 0.7254 0.6823 0.1049 0.6905 0.8857 0.7923 0.0721 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.6625 0.7143 0.8061 0.9167 0.6965 0.2330 0.1436 0.9167 0.3346 0.3154 0.0001 0.1345 0.6250 0.9167 0.7545 0.1070 345-AH 0.0000 0.0303 0.0485 0.2182 0.3750 0.1221 0.1248 0.1879 0.3750 1.0215 0.0396 0.0001 0.1076 0.0000 0.3750 0.1221 0.1248 346-AH 0.0000 0.0397 0.0645 0.0674 0.1429 0.0567 0.0397 0.0277 0.1429 0.7002 0.0091 0.0000 0.0271 0.0000 0.0926 0.0495 0.0314 347-AH 0.0103 0.0125 0.0667 0.1875 0.3333 0.1118 0.1169 0.1750 0.3230 1.0453 0.0575 0.0290 0.0927 0.0103 0.3333 0.1118 0.1169 348-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8846 0.2193 0.1250 0.5000 0.2479 0.8522 0.8125 0.1775 1.0000 1.0000 1.0000 0.0000 349-AH 0.2500 0.3865 0.4286 0.5250 0.7500 0.4660 0.1261 0.1385 0.5000 0.2706 0.4508 0.4355 0.0917 0.2500 0.6000 0.4424 0.0970 350-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9436 0.1384 0.0000 0.4000 0.1466 0.9319 0.9176 0.0955 1.0000 1.0000 1.0000 0.0000 157 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0856 0.2222 0.9545 1.0000 0.4862 0.4421 0.8690 1.0000 0.9094 0.0747 0.0001 0.4191 0.0000 1.0000 0.4862 0.4421 144-AH 0.0000 0.0066 0.6667 0.7500 1.0000 0.4999 0.3806 0.7434 1.0000 0.7613 0.0932 0.0001 0.3207 0.0000 1.0000 0.4999 0.3806 145-AH 0.0400 0.0769 0.7273 0.8500 0.8889 0.5719 0.3559 0.7731 0.8489 0.6223 0.3659 0.1702 0.3111 0.0400 0.8889 0.5719 0.3559 146-AH 0.0145 0.0786 0.5000 1.0000 1.0000 0.5174 0.4285 0.9214 0.9855 0.8281 0.2341 0.0558 0.3712 0.0145 1.0000 0.5174 0.4285 147-AH 0.0000 0.4030 0.6750 0.7468 0.8400 0.5488 0.2853 0.3438 0.8400 0.5198 0.2209 0.0001 0.2327 0.0000 0.8400 0.5488 0.2853 148-AH 0.0000 0.0068 0.0526 0.0702 0.0750 0.0378 0.0303 0.0633 0.0750 0.8014 0.0143 0.0001 0.0278 0.0000 0.0750 0.0378 0.0303 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0059 0.0244 0.1462 0.1923 0.0672 0.0746 0.1403 0.1923 1.1103 0.0170 0.0001 0.0681 0.0000 0.1923 0.0672 0.0746 151-AH 0.0000 0.0000 0.0102 0.1181 0.7143 0.1121 0.2062 0.1181 0.7143 1.8397 0.0039 0.0000 0.1436 0.0000 0.2778 0.0619 0.1034 152-AH 0.0000 0.0631 0.1562 0.2199 0.4286 0.1600 0.1195 0.1568 0.4286 0.7469 0.0362 0.0001 0.0920 0.0000 0.4286 0.1600 0.1195 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.1023 0.1334 0.1719 0.2447 0.3750 0.1874 0.0794 0.1114 0.2727 0.4238 0.1741 0.1631 0.0617 0.1023 0.3750 0.1874 0.0794 155-AH 0.0000 0.0000 0.0000 0.0909 0.1818 0.0358 0.0598 0.0909 0.1818 1.6677 0.0003 0.0000 0.0493 0.0000 0.1818 0.0358 0.0598 156-AH 0.0163 0.0462 0.0562 0.0786 0.1011 0.0618 0.0259 0.0324 0.0848 0.4200 0.0561 0.0493 0.0202 0.0163 0.1011 0.0618 0.0259 157-AH 0.4254 0.5785 0.6374 0.6650 0.7079 0.6077 0.0891 0.0866 0.2825 0.1466 0.6008 0.5931 0.0663 0.5664 0.7079 0.6400 0.0456 158-AH 0.0000 0.2297 0.2593 0.6960 1.0000 0.4100 0.3197 0.4663 1.0000 0.7796 0.1630 0.0001 0.2687 0.0000 1.0000 0.4100 0.3197 159-AH 0.0000 0.2455 0.3143 0.5312 0.5897 0.3504 0.1962 0.2856 0.5897 0.5601 0.1477 0.0001 0.1593 0.0000 0.5897 0.3504 0.1962 160-AH 0.0204 0.0272 0.0417 0.1333 0.5000 0.0958 0.1292 0.1061 0.4796 1.3484 0.0584 0.0429 0.0795 0.0204 0.1333 0.0621 0.0461 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.4435 0.8069 0.8500 0.9184 0.9322 0.8356 0.1317 0.1115 0.4887 0.1577 0.8227 0.8053 0.0843 0.7692 0.9322 0.8682 0.0616 164-AH 0.0000 0.0428 0.0846 0.1642 0.1692 0.0950 0.0607 0.1213 0.1692 0.6388 0.0420 0.0001 0.0520 0.0000 0.1692 0.0950 0.0607 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0526 0.2167 0.4000 0.5000 0.5000 0.3545 0.1571 0.2833 0.4474 0.4431 0.3032 0.2274 0.1291 0.0526 0.5000 0.3545 0.1571 168-AH 0.0867 0.5250 0.5882 0.7000 1.0000 0.6095 0.2227 0.1750 0.9133 0.3653 0.5457 0.4215 0.1526 0.5000 0.9000 0.6215 0.1294 169-AH 0.0000 0.0103 0.0110 0.0582 0.0968 0.0340 0.0322 0.0479 0.0968 0.9444 0.0136 0.0001 0.0274 0.0000 0.0968 0.0340 0.0322 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0550 0.0601 0.0606 0.0787 0.0920 0.0681 0.0121 0.0186 0.0370 0.1779 0.0672 0.0663 0.0103 0.0550 0.0920 0.0681 0.0121 172-AH 0.0000 0.0048 0.0339 0.0602 0.1026 0.0366 0.0301 0.0554 0.1026 0.8218 0.0141 0.0001 0.0239 0.0000 0.1026 0.0366 0.0301 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.6000 0.7125 0.7500 1.0000 1.0000 0.8000 0.1555 0.2875 0.4000 0.1943 0.7861 0.7723 0.1231 0.6000 1.0000 0.8000 0.1555 176-AH 0.8889 0.9412 1.0000 1.0000 1.0000 0.9719 0.0398 0.0588 0.1111 0.0410 0.9711 0.9703 0.0346 0.8889 1.0000 0.9719 0.0398 177-AH 0.0750 0.2484 0.2800 0.4448 0.5000 0.3202 0.1375 0.1964 0.4250 0.4293 0.2855 0.2417 0.1125 0.0750 0.5000 0.3202 0.1375 178-AH 0.0000 0.0000 0.0000 0.0038 0.0053 0.0019 0.0022 0.0038 0.0053 1.1904 0.0002 0.0000 0.0020 0.0000 0.0053 0.0019 0.0022 179-AH 0.0000 0.2181 0.3333 0.7321 1.0000 0.4603 0.3575 0.5141 1.0000 0.7768 0.1681 0.0001 0.3025 0.0000 1.0000 0.4603 0.3575 180-AH 0.0000 0.0265 0.0683 0.4744 0.6129 0.2202 0.2541 0.4479 0.6129 1.1538 0.0168 0.0000 0.2331 0.0000 0.6129 0.2202 0.2541 181-AH 0.4062 0.7963 0.8723 0.9399 0.9737 0.8455 0.1466 0.1436 0.5674 0.1734 0.8290 0.8056 0.0922 0.7963 0.9737 0.8821 0.0667 182-AH 0.0625 0.0890 0.2000 0.6875 0.7500 0.3201 0.2886 0.5985 0.6875 0.9015 0.2166 0.1548 0.2517 0.0625 0.7500 0.3201 0.2886 183-AH 0.0041 0.0882 0.2222 0.2879 0.4286 0.2023 0.1426 0.1996 0.4245 0.7052 0.1076 0.0244 0.1154 0.0041 0.4286 0.2023 0.1426 184-AH 0.0000 0.0941 0.1250 0.6286 0.8000 0.3301 0.3250 0.5345 0.8000 0.9844 0.0858 0.0001 0.2911 0.0000 0.8000 0.3301 0.3250 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9692 0.0751 0.0000 0.2000 0.0775 0.9663 0.9630 0.0521 1.0000 1.0000 1.0000 0.0000 190-AH 0.0071 0.0673 0.2778 0.7000 1.0000 0.3985 0.3704 0.6327 0.9929 0.9297 0.1751 0.0487 0.3399 0.0071 1.0000 0.3985 0.3704 158 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0103 0.5536 0.7500 1.0000 1.0000 0.6950 0.3556 0.4464 0.9897 0.5116 0.4615 0.1010 0.2900 0.0103 1.0000 0.6950 0.3556 193-AH 0.0151 0.2581 0.4286 0.6000 1.0000 0.4214 0.2709 0.3419 0.9849 0.6428 0.2966 0.1197 0.1978 0.0151 1.0000 0.4214 0.2709 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.5526 0.8622 0.9565 1.0000 1.0000 0.9059 0.1304 0.1378 0.4474 0.1439 0.8954 0.8825 0.0966 0.7647 1.0000 0.9354 0.0790 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.5000 0.6591 0.7273 0.7569 0.7778 0.6904 0.0945 0.0979 0.2778 0.1368 0.6836 0.6760 0.0705 0.6364 0.7778 0.7250 0.0463 200-AH 0.0137 0.1786 0.7143 0.8333 1.0000 0.5328 0.3525 0.6548 0.9863 0.6616 0.3476 0.1195 0.3208 0.0137 1.0000 0.5328 0.3525 251-AH 0.1244 0.2979 0.6190 0.7417 0.8485 0.5649 0.2336 0.4439 0.7241 0.4135 0.5016 0.4174 0.1946 0.1244 0.8485 0.5649 0.2336 252-AH 0.1060 0.1556 0.3200 0.4016 0.7000 0.3275 0.1790 0.2461 0.5940 0.5465 0.2841 0.2448 0.1333 0.1060 0.7000 0.3275 0.1790 253-AH 0.0000 0.0909 0.2242 0.3951 0.4699 0.2330 0.1730 0.3042 0.4699 0.7426 0.0259 0.0000 0.1493 0.0000 0.4699 0.2330 0.1730 254-AH 0.0000 0.1407 0.2228 0.2385 0.3262 0.1832 0.0992 0.0978 0.3262 0.5417 0.0451 0.0001 0.0780 0.0000 0.3262 0.1832 0.0992 255-AH 0.0177 0.7500 1.0000 1.0000 1.0000 0.8603 0.2810 0.2500 0.9823 0.3266 0.6799 0.1866 0.1934 0.6667 1.0000 0.9306 0.1273 256-AH 0.0000 0.7387 0.8750 1.0000 1.0000 0.7612 0.3716 0.2613 1.0000 0.4882 0.1525 0.0001 0.2854 0.4286 1.0000 0.8996 0.1695 257-AH 0.0000 0.1912 0.2109 0.2705 0.4000 0.2279 0.0959 0.0793 0.4000 0.4208 0.1099 0.0001 0.0677 0.1793 0.3375 0.2329 0.0534 258-AH 0.0000 0.0045 0.0057 0.0091 0.0769 0.0149 0.0247 0.0047 0.0769 1.6539 0.0032 0.0001 0.0169 0.0000 0.0097 0.0049 0.0030 259-AH 0.0000 0.0408 1.0000 1.0000 1.0000 0.5705 0.4878 0.9592 1.0000 0.8549 0.1244 0.0001 0.4625 0.0000 1.0000 0.5705 0.4878 260-AH 0.2979 0.3857 0.4262 0.4960 0.6667 0.4551 0.1068 0.1103 0.3688 0.2346 0.4444 0.4346 0.0811 0.2979 0.6341 0.4374 0.0896 261-AH 0.0000 0.0000 0.0000 0.5235 0.7368 0.1944 0.2968 0.5235 0.7368 1.5267 0.0010 0.0000 0.2589 0.0000 0.7368 0.1944 0.2968 262-AH 0.0000 0.0679 0.0882 0.1458 0.2957 0.1172 0.1022 0.0779 0.2957 0.8727 0.0272 0.0001 0.0783 0.0000 0.1021 0.0662 0.0379 263-AH 0.0000 0.0000 0.0270 0.0831 0.1436 0.0414 0.0462 0.0831 0.1436 1.1163 0.0020 0.0000 0.0370 0.0000 0.1436 0.0414 0.0462 264-AH 0.2045 0.2434 0.6316 0.7071 1.0000 0.5548 0.2929 0.4637 0.7955 0.5279 0.4759 0.4002 0.2425 0.2045 1.0000 0.5548 0.2929 265-AH 0.0638 0.0980 0.2308 0.4071 0.5000 0.2436 0.1553 0.3091 0.4362 0.6375 0.1939 0.1510 0.1300 0.0638 0.5000 0.2436 0.1553 266-AH 0.0000 0.0000 0.0053 0.0180 0.0625 0.0122 0.0185 0.0180 0.0625 1.5114 0.0005 0.0000 0.0133 0.0000 0.0305 0.0080 0.0111 267-AH 0.0521 0.0667 0.1087 0.3311 0.4737 0.1904 0.1529 0.2644 0.4216 0.8033 0.1411 0.1094 0.1318 0.0521 0.4737 0.1904 0.1529 268-AH 0.0465 0.5000 1.0000 1.0000 1.0000 0.7856 0.3126 0.5000 0.9535 0.3979 0.6524 0.3514 0.2638 0.0465 1.0000 0.7856 0.3126 269-AH 0.0563 0.1203 0.1250 0.3769 0.8000 0.2693 0.2577 0.2566 0.7437 0.9568 0.1907 0.1475 0.2005 0.0563 0.4167 0.1728 0.1146 270-AH 0.5714 0.8304 0.9231 0.9360 0.9583 0.8545 0.1287 0.1057 0.3869 0.1507 0.8441 0.8321 0.0954 0.7500 0.9583 0.9014 0.0635 271-AH 0.2182 0.3611 0.4545 0.5317 0.6087 0.4407 0.1188 0.1706 0.3905 0.2697 0.4241 0.4057 0.1008 0.2182 0.6087 0.4407 0.1188 272-AH 0.0000 0.1842 0.2632 0.3829 0.3889 0.2602 0.1145 0.1987 0.3889 0.4399 0.1228 0.0001 0.0873 0.0000 0.3889 0.2602 0.1145 273-AH 0.0378 0.7386 0.7778 0.7919 0.9189 0.7291 0.2148 0.0533 0.8811 0.2946 0.6216 0.3113 0.1072 0.7234 0.7955 0.7647 0.0257 274-AH 0.0000 0.0000 0.0070 0.0273 0.0361 0.0119 0.0135 0.0273 0.0361 1.1390 0.0006 0.0000 0.0117 0.0000 0.0361 0.0119 0.0135 275-AH 0.0290 0.3011 0.4576 0.6818 0.7297 0.4548 0.2407 0.3807 0.7007 0.5293 0.3478 0.1878 0.1981 0.0290 0.7297 0.4548 0.2407 276-AH 0.0972 0.2390 0.2653 0.4147 0.5000 0.3028 0.1303 0.1758 0.4028 0.4302 0.2725 0.2388 0.1067 0.0972 0.5000 0.3028 0.1303 277-AH 0.0397 0.0652 0.0719 0.1866 0.3143 0.1229 0.0880 0.1214 0.2746 0.7162 0.0986 0.0818 0.0750 0.0397 0.3143 0.1229 0.0880 278-AH 0.0000 0.0000 0.0296 0.1128 0.3056 0.0755 0.1105 0.1128 0.3056 1.4626 0.0024 0.0000 0.0871 0.0000 0.2500 0.0564 0.0900 279-AH 0.0093 0.0242 0.0588 0.3250 0.6000 0.1918 0.2197 0.3008 0.5907 1.1454 0.0807 0.0342 0.1768 0.0093 0.6000 0.1918 0.2197 280-AH 0.0000 0.0384 0.0492 0.0828 0.1176 0.0575 0.0354 0.0444 0.1176 0.6153 0.0275 0.0001 0.0288 0.0000 0.1176 0.0575 0.0354 281-AH 0.2833 0.3682 0.4250 0.5391 0.6000 0.4382 0.1074 0.1709 0.3167 0.2451 0.4257 0.4131 0.0899 0.2833 0.6000 0.4382 0.1074 282-AH 0.0277 0.1324 0.2063 0.2398 0.4828 0.2036 0.1200 0.1074 0.4550 0.5896 0.1675 0.1233 0.0823 0.0277 0.3714 0.1803 0.0897 283-AH 0.0000 0.0578 0.1553 0.1922 0.4706 0.1512 0.1202 0.1345 0.4706 0.7952 0.0619 0.0001 0.0839 0.0000 0.2237 0.1245 0.0756 284-AH 0.0000 0.4101 0.5714 0.5926 0.6538 0.4521 0.2545 0.1825 0.6538 0.5630 0.0848 0.0001 0.2048 0.5385 0.6538 0.5852 0.0317 285-AH 0.0000 0.0000 0.0662 0.5205 0.9394 0.2547 0.3345 0.5205 0.9394 1.3135 0.0097 0.0000 0.2754 0.0000 0.9394 0.2547 0.3345 286-AH 0.0000 0.0053 0.0106 0.0266 0.0394 0.0149 0.0137 0.0213 0.0394 0.9218 0.0044 0.0001 0.0113 0.0000 0.0394 0.0149 0.0137 287-AH 0.0000 0.1786 0.3605 0.5323 0.6000 0.3211 0.2195 0.3537 0.6000 0.6835 0.0344 0.0000 0.1740 0.0000 0.6000 0.3211 0.2195 288-AH 0.0492 0.0869 0.1549 0.2088 0.3647 0.1676 0.1011 0.1219 0.3156 0.6029 0.1416 0.1192 0.0762 0.0492 0.3647 0.1676 0.1011 289-AH 0.4000 0.7368 0.7857 0.9167 1.0000 0.7918 0.1477 0.1798 0.6000 0.1866 0.7758 0.7550 0.0987 0.7059 1.0000 0.8245 0.0932 290-AH 0.0000 0.0676 0.0848 0.1426 0.2333 0.0999 0.0653 0.0749 0.2333 0.6543 0.0456 0.0001 0.0510 0.0000 0.2333 0.0999 0.0653 159 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0374 0.4817 0.7059 0.8437 0.9375 0.6388 0.2782 0.3621 0.9001 0.4355 0.5217 0.2789 0.2245 0.0374 0.9375 0.6388 0.2782 292-AH 0.0161 0.6667 1.0000 1.0000 1.0000 0.7961 0.2862 0.3333 0.9839 0.3595 0.6229 0.1699 0.2196 0.6667 1.0000 0.8611 0.1716 293-AH 0.0281 0.5288 0.6087 0.6786 0.7778 0.5751 0.1867 0.1497 0.7497 0.3246 0.4845 0.2348 0.1184 0.4839 0.7778 0.6207 0.0925 294-AH 0.0000 0.0000 0.6000 0.6667 0.7273 0.4104 0.3110 0.6667 0.7273 0.7577 0.0196 0.0000 0.2761 0.0000 0.7273 0.4104 0.3110 295-AH 0.0000 0.2078 0.2683 0.3278 0.3929 0.2461 0.1297 0.1200 0.3929 0.5271 0.0581 0.0001 0.0982 0.1538 0.3929 0.2908 0.0767 296-AH 0.1887 0.4762 0.5238 0.6667 0.8462 0.5323 0.1904 0.1905 0.6575 0.3577 0.4914 0.4389 0.1368 0.1961 0.8462 0.5610 0.1671 297-AH 0.0143 0.0347 0.1667 0.5729 0.8333 0.3073 0.3162 0.5382 0.8190 1.0289 0.1457 0.0639 0.2785 0.0143 0.8333 0.3073 0.3162 298-AH 0.0556 0.1162 0.1395 0.1742 0.2063 0.1399 0.0478 0.0580 0.1508 0.3419 0.1304 0.1188 0.0358 0.0556 0.2063 0.1399 0.0478 299-AH 0.0000 0.1469 0.1609 0.2650 0.2783 0.1751 0.0950 0.1181 0.2783 0.5423 0.0434 0.0001 0.0716 0.0000 0.2783 0.1751 0.0950 300-AH 0.0000 0.0417 0.1377 0.1847 0.2429 0.1232 0.0857 0.1430 0.2429 0.6951 0.0162 0.0000 0.0697 0.0000 0.2429 0.1232 0.0857 301-AH 0.0000 0.0000 0.0412 0.7399 0.8750 0.3096 0.3878 0.7399 0.8750 1.2527 0.0092 0.0000 0.3573 0.0000 0.8750 0.3096 0.3878 302-AH 0.0417 0.3333 0.4375 0.5000 0.5333 0.4005 0.1290 0.1667 0.4917 0.3222 0.3549 0.2467 0.0918 0.3333 0.5333 0.4304 0.0741 303-AH 0.0000 0.0212 0.0262 0.0716 0.0896 0.0433 0.0323 0.0504 0.0896 0.7470 0.0119 0.0001 0.0287 0.0000 0.0896 0.0433 0.0323 304-AH 0.0000 0.0165 0.0968 0.2436 0.4000 0.1459 0.1572 0.2271 0.4000 1.0775 0.0396 0.0001 0.1290 0.0000 0.4000 0.1459 0.1572 305-AH 0.0000 0.0000 0.2294 0.2910 0.3214 0.1562 0.1460 0.2910 0.3214 0.9343 0.0048 0.0000 0.1366 0.0000 0.3214 0.1562 0.1460 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0717 0.1512 0.1583 0.1987 0.1188 0.0671 0.0866 0.1987 0.5651 0.0307 0.0001 0.0574 0.0000 0.1987 0.1188 0.0671 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0172 0.0189 0.0600 0.0769 0.0943 0.0540 0.0291 0.0580 0.0771 0.5396 0.0449 0.0360 0.0255 0.0172 0.0943 0.0540 0.0291 310-AH 0.0000 0.0000 0.0297 0.0919 0.1469 0.0502 0.0593 0.0919 0.1469 1.1821 0.0022 0.0000 0.0482 0.0000 0.1469 0.0502 0.0593 311-AH 0.0567 0.2085 0.2212 0.3634 0.4314 0.2601 0.1114 0.1549 0.3747 0.4283 0.2325 0.1962 0.0919 0.0567 0.4314 0.2601 0.1114 312-AH 0.0000 0.2663 0.3514 0.5405 0.7500 0.3780 0.2201 0.2742 0.7500 0.5823 0.1518 0.0001 0.1751 0.0000 0.7500 0.3780 0.2201 313-AH 0.0000 0.0000 0.0137 0.0337 0.0708 0.0182 0.0232 0.0337 0.0708 1.2702 0.0007 0.0000 0.0183 0.0000 0.0708 0.0182 0.0232 314-AH 0.0146 0.0365 0.0562 0.0722 0.0973 0.0560 0.0240 0.0357 0.0827 0.4280 0.0505 0.0440 0.0195 0.0146 0.0973 0.0560 0.0240 315-AH 0.0000 0.1311 0.1702 0.4598 0.5714 0.2751 0.2025 0.3287 0.5714 0.7361 0.1078 0.0001 0.1772 0.0000 0.5714 0.2751 0.2025 316-AH 0.0000 0.0927 0.1486 0.2040 0.2258 0.1360 0.0775 0.1113 0.2258 0.5701 0.0343 0.0001 0.0620 0.0000 0.2258 0.1360 0.0775 317-AH 0.0229 0.0775 0.1167 0.1995 0.2857 0.1296 0.0827 0.1220 0.2629 0.6383 0.1039 0.0789 0.0660 0.0229 0.2857 0.1296 0.0827 318-AH 0.0132 0.0797 0.1064 0.1481 0.4000 0.1323 0.0940 0.0684 0.3868 0.7102 0.1051 0.0718 0.0605 0.0132 0.2105 0.1100 0.0507 319-AH 0.0217 0.3844 0.5625 0.5952 0.6667 0.4674 0.2018 0.2109 0.6449 0.4317 0.3711 0.1737 0.1547 0.1333 0.6667 0.5045 0.1576 320-AH 0.0000 0.0129 0.0449 0.0507 0.0680 0.0330 0.0234 0.0378 0.0680 0.7105 0.0095 0.0001 0.0212 0.0000 0.0680 0.0330 0.0234 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0306 0.0629 0.0703 0.0971 0.1714 0.0798 0.0351 0.0342 0.1408 0.4397 0.0735 0.0678 0.0250 0.0306 0.1091 0.0721 0.0227 323-AH 0.0000 0.0151 0.0337 0.0674 0.0833 0.0384 0.0285 0.0523 0.0833 0.7419 0.0107 0.0001 0.0243 0.0000 0.0833 0.0384 0.0285 324-AH 0.0000 0.0718 0.1705 0.6792 0.7297 0.3240 0.2997 0.6075 0.7297 0.9250 0.0541 0.0001 0.2728 0.0000 0.7297 0.3240 0.2997 325-AH 0.0000 0.0000 0.0375 0.1796 0.5439 0.1398 0.2179 0.1796 0.5439 1.5583 0.0057 0.0000 0.1754 0.0000 0.0728 0.0258 0.0248 326-AH 0.1429 0.2121 0.3333 0.5000 1.0000 0.4166 0.2873 0.2879 0.8571 0.6897 0.3443 0.2921 0.2180 0.1429 0.5000 0.3105 0.1365 327-AH 0.0000 0.0029 0.0606 0.2760 0.5000 0.1509 0.1644 0.2731 0.5000 1.0895 0.0270 0.0001 0.1413 0.0000 0.5000 0.1509 0.1644 328-AH 0.1358 0.5197 0.5556 0.6875 0.8333 0.5893 0.1834 0.1678 0.6975 0.3113 0.5479 0.4777 0.1355 0.4667 0.8333 0.6271 0.1283 329-AH 0.2121 0.8854 1.0000 1.0000 1.0000 0.8703 0.2511 0.1146 0.7879 0.2885 0.8103 0.7073 0.1678 0.8750 1.0000 0.9694 0.0526 330-AH 0.7241 0.7769 0.8148 0.8220 0.9062 0.8026 0.0478 0.0451 0.1821 0.0596 0.8013 0.8000 0.0357 0.7241 0.8378 0.7940 0.0379 331-AH 0.1750 0.1832 0.3125 0.6552 0.7500 0.3827 0.2365 0.4720 0.5750 0.6179 0.3226 0.2779 0.2007 0.1750 0.7500 0.3827 0.2365 332-AH 0.2143 0.2560 0.2667 0.3141 0.4000 0.2811 0.0501 0.0581 0.1857 0.1781 0.2773 0.2738 0.0385 0.2143 0.4000 0.2811 0.0501 333-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9487 0.1252 0.0000 0.3333 0.1319 0.9395 0.9286 0.0868 1.0000 1.0000 1.0000 0.0000 334-AH 0.1250 0.1905 0.2000 0.2500 0.4000 0.2323 0.0842 0.0595 0.2750 0.3625 0.2198 0.2086 0.0598 0.1250 0.2500 0.2018 0.0432 335-AH 0.0000 0.0974 0.1250 0.2520 0.5000 0.1732 0.1456 0.1546 0.5000 0.8407 0.0676 0.0001 0.1103 0.0000 0.4000 0.1459 0.1123 336-AH 0.0000 0.0107 0.0551 0.1710 0.3182 0.0930 0.1004 0.1603 0.3182 1.0794 0.0105 0.0000 0.0801 0.0000 0.3182 0.0930 0.1004 337-AH 0.8000 0.8346 0.8889 1.0000 1.0000 0.9018 0.0792 0.1654 0.2000 0.0879 0.8986 0.8954 0.0653 0.8000 1.0000 0.9018 0.0792 338-AH 0.0221 0.7389 0.8000 1.0000 1.0000 0.7863 0.2928 0.2611 0.9779 0.3724 0.6253 0.2156 0.2057 0.4444 1.0000 0.8500 0.1898 339-AH 0.1389 0.4242 0.5000 0.7232 0.8182 0.5496 0.1995 0.2990 0.6793 0.3631 0.5046 0.4418 0.1676 0.1389 0.8182 0.5496 0.1995 340-AH 0.0000 0.0484 0.2308 0.2875 0.5000 0.2000 0.1652 0.2391 0.5000 0.8256 0.0221 0.0000 0.1355 0.0000 0.5000 0.2000 0.1652 160 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.1081 0.5000 1.0000 0.2609 0.3019 0.5000 1.0000 1.1573 0.0116 0.0000 0.2416 0.0000 1.0000 0.2609 0.3019 342-AH 0.2629 0.6319 0.6842 0.7800 0.8421 0.6780 0.1471 0.1481 0.5792 0.2169 0.6564 0.6235 0.0945 0.5733 0.8421 0.7126 0.0813 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.5918 0.6364 0.6522 0.7143 0.5819 0.1810 0.0604 0.7143 0.3110 0.2687 0.0001 0.0962 0.5385 0.7143 0.6304 0.0487 345-AH 0.0000 0.0303 0.0485 0.1929 0.2857 0.1086 0.1036 0.1626 0.2857 0.9537 0.0377 0.0001 0.0909 0.0000 0.2857 0.1086 0.1036 346-AH 0.0000 0.0397 0.0645 0.0674 0.0926 0.0513 0.0308 0.0277 0.0926 0.6001 0.0087 0.0000 0.0237 0.0000 0.0926 0.0513 0.0308 347-AH 0.0046 0.0088 0.0435 0.0708 0.1143 0.0460 0.0372 0.0620 0.1096 0.8076 0.0301 0.0175 0.0291 0.0046 0.1143 0.0460 0.0372 348-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8846 0.2193 0.1250 0.5000 0.2479 0.8522 0.8125 0.1775 1.0000 1.0000 1.0000 0.0000 349-AH 0.1500 0.3732 0.4000 0.4600 0.7333 0.4188 0.1370 0.0868 0.5833 0.3271 0.3964 0.3693 0.0895 0.3235 0.4651 0.3961 0.0422 350-AH 0.3333 0.7107 0.8000 1.0000 1.0000 0.8059 0.1975 0.2893 0.6667 0.2451 0.7773 0.7395 0.1536 0.3333 1.0000 0.8059 0.1975 161 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0696 0.1739 0.9545 1.0000 0.4607 0.4452 0.8850 1.0000 0.9665 0.0646 0.0001 0.4219 0.0000 1.0000 0.4607 0.4452 144-AH 0.0000 0.0066 0.6667 0.7500 1.0000 0.4999 0.3806 0.7434 1.0000 0.7613 0.0932 0.0001 0.3207 0.0000 1.0000 0.4999 0.3806 145-AH 0.0241 0.0754 0.7037 0.7920 0.8400 0.5140 0.3360 0.7166 0.8159 0.6538 0.3202 0.1356 0.3006 0.0241 0.8400 0.5140 0.3360 146-AH 0.0145 0.0786 0.5000 1.0000 1.0000 0.5174 0.4285 0.9214 0.9855 0.8281 0.2341 0.0558 0.3712 0.0145 1.0000 0.5174 0.4285 147-AH 0.0000 0.3487 0.6750 0.6888 0.8056 0.5062 0.2785 0.3402 0.8056 0.5502 0.1992 0.0001 0.2293 0.0000 0.8056 0.5062 0.2785 148-AH 0.0000 0.0068 0.0526 0.0702 0.0750 0.0378 0.0303 0.0633 0.0750 0.8014 0.0143 0.0001 0.0278 0.0000 0.0750 0.0378 0.0303 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0044 0.0244 0.1297 0.1923 0.0560 0.0698 0.1253 0.1923 1.2470 0.0058 0.0000 0.0599 0.0000 0.1923 0.0560 0.0698 151-AH 0.0000 0.0000 0.0079 0.0748 0.1667 0.0476 0.0677 0.0748 0.1667 1.4231 0.0011 0.0000 0.0531 0.0000 0.1667 0.0476 0.0677 152-AH 0.0000 0.0566 0.0938 0.1935 0.4286 0.1356 0.1183 0.1369 0.4286 0.8724 0.0303 0.0001 0.0906 0.0000 0.2500 0.1112 0.0825 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.0743 0.1185 0.1667 0.1778 0.2619 0.1529 0.0559 0.0594 0.1876 0.3653 0.1431 0.1333 0.0449 0.0743 0.2619 0.1529 0.0559 155-AH 0.0000 0.0000 0.0000 0.0909 0.1818 0.0358 0.0598 0.0909 0.1818 1.6677 0.0003 0.0000 0.0493 0.0000 0.1818 0.0358 0.0598 156-AH 0.0147 0.0379 0.0478 0.0621 0.0651 0.0481 0.0152 0.0242 0.0504 0.3160 0.0452 0.0411 0.0127 0.0147 0.0651 0.0481 0.0152 157-AH 0.3604 0.5380 0.5591 0.5704 0.6827 0.5421 0.0839 0.0324 0.3223 0.1548 0.5353 0.5275 0.0547 0.5235 0.6000 0.5618 0.0202 158-AH 0.0000 0.2152 0.2317 0.5159 1.0000 0.3777 0.3160 0.3007 1.0000 0.8366 0.1488 0.0001 0.2487 0.0000 0.8636 0.3258 0.2660 159-AH 0.0000 0.2073 0.2650 0.4714 0.5577 0.3017 0.1864 0.2641 0.5577 0.6179 0.1241 0.0001 0.1495 0.0000 0.5577 0.3017 0.1864 160-AH 0.0204 0.0272 0.0417 0.1333 0.5000 0.0958 0.1292 0.1061 0.4796 1.3484 0.0584 0.0429 0.0795 0.0204 0.1333 0.0621 0.0461 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.3750 0.7033 0.7750 0.8821 0.9143 0.7738 0.1473 0.1788 0.5393 0.1903 0.7568 0.7342 0.1042 0.6854 0.9143 0.8070 0.0894 164-AH 0.0000 0.0428 0.0787 0.1302 0.1458 0.0840 0.0522 0.0874 0.1458 0.6216 0.0223 0.0001 0.0434 0.0000 0.1458 0.0840 0.0522 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0136 0.1215 0.1905 0.2438 0.5000 0.2223 0.1475 0.1222 0.4864 0.6635 0.1701 0.0947 0.1089 0.0136 0.3750 0.1718 0.0888 168-AH 0.0867 0.4962 0.5294 0.6786 1.0000 0.5806 0.2255 0.1824 0.9133 0.3884 0.5186 0.4059 0.1560 0.4800 0.9000 0.5874 0.1378 169-AH 0.0000 0.0103 0.0110 0.0582 0.0968 0.0340 0.0322 0.0479 0.0968 0.9444 0.0136 0.0001 0.0274 0.0000 0.0968 0.0340 0.0322 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0467 0.0513 0.0579 0.0753 0.0847 0.0629 0.0138 0.0240 0.0380 0.2198 0.0615 0.0602 0.0119 0.0467 0.0847 0.0629 0.0138 172-AH 0.0000 0.0000 0.0240 0.0602 0.1026 0.0309 0.0317 0.0602 0.1026 1.0262 0.0029 0.0000 0.0250 0.0000 0.1026 0.0309 0.0317 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5714 0.6429 0.7500 0.8000 1.0000 0.7277 0.1186 0.1571 0.4286 0.1629 0.7189 0.7104 0.0856 0.5714 1.0000 0.7277 0.1186 176-AH 0.8333 0.8429 0.9524 0.9607 1.0000 0.9171 0.0645 0.1178 0.1667 0.0703 0.9150 0.9128 0.0567 0.8333 1.0000 0.9171 0.0645 177-AH 0.0750 0.2484 0.2800 0.4448 0.5000 0.3116 0.1304 0.1964 0.4250 0.4185 0.2796 0.2387 0.1032 0.0750 0.5000 0.3116 0.1304 178-AH 0.0000 0.0000 0.0000 0.0038 0.0053 0.0019 0.0022 0.0038 0.0053 1.1904 0.0002 0.0000 0.0020 0.0000 0.0053 0.0019 0.0022 179-AH 0.0000 0.1077 0.2391 0.6667 1.0000 0.3887 0.3619 0.5590 1.0000 0.9309 0.1273 0.0001 0.3027 0.0000 1.0000 0.3887 0.3619 180-AH 0.0000 0.0263 0.0683 0.4594 0.5714 0.2061 0.2377 0.4331 0.5714 1.1533 0.0163 0.0000 0.2157 0.0000 0.5714 0.2061 0.2377 181-AH 0.3269 0.7837 0.8621 0.9079 0.9412 0.8175 0.1589 0.1242 0.6143 0.1944 0.7952 0.7600 0.0973 0.7742 0.9412 0.8584 0.0621 182-AH 0.0625 0.0890 0.2000 0.6875 0.7500 0.3201 0.2886 0.5985 0.6875 0.9015 0.2166 0.1548 0.2517 0.0625 0.7500 0.3201 0.2886 183-AH 0.0041 0.0882 0.2222 0.2879 0.4286 0.2023 0.1426 0.1996 0.4245 0.7052 0.1076 0.0244 0.1154 0.0041 0.4286 0.2023 0.1426 184-AH 0.0000 0.0378 0.1154 0.4274 0.7143 0.2316 0.2498 0.3895 0.7143 1.0784 0.0351 0.0001 0.2131 0.0000 0.7143 0.2316 0.2498 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9692 0.0751 0.0000 0.2000 0.0775 0.9663 0.9630 0.0521 1.0000 1.0000 1.0000 0.0000 190-AH 0.0071 0.0449 0.2778 0.5139 0.7143 0.3083 0.2791 0.4690 0.7072 0.9055 0.1373 0.0387 0.2515 0.0071 0.7143 0.3083 0.2791 162 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0103 0.5536 0.7500 1.0000 1.0000 0.6950 0.3556 0.4464 0.9897 0.5116 0.4615 0.1010 0.2900 0.0103 1.0000 0.6950 0.3556 193-AH 0.0151 0.1143 0.1818 0.2056 0.2667 0.1594 0.0761 0.0913 0.2516 0.4772 0.1302 0.0834 0.0612 0.0151 0.2667 0.1594 0.0761 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.4902 0.8344 0.9000 1.0000 1.0000 0.8837 0.1451 0.1656 0.5098 0.1642 0.8699 0.8525 0.1044 0.7647 1.0000 0.9165 0.0878 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.5000 0.6591 0.7273 0.7569 0.7778 0.6904 0.0945 0.0979 0.2778 0.1368 0.6836 0.6760 0.0705 0.6364 0.7778 0.7250 0.0463 200-AH 0.0137 0.1589 0.2941 0.8333 0.8333 0.4490 0.3498 0.6744 0.8196 0.7791 0.2709 0.1040 0.3279 0.0137 0.8333 0.4490 0.3498 251-AH 0.0997 0.2185 0.3750 0.5410 0.5500 0.3840 0.1634 0.3224 0.4503 0.4255 0.3435 0.2953 0.1425 0.0997 0.5500 0.3840 0.1634 252-AH 0.1060 0.1426 0.2586 0.3788 0.6250 0.2849 0.1485 0.2362 0.5190 0.5212 0.2514 0.2215 0.1143 0.1060 0.6250 0.2849 0.1485 253-AH 0.0000 0.0000 0.1399 0.3220 0.3441 0.1599 0.1386 0.3220 0.3441 0.8669 0.0098 0.0000 0.1194 0.0000 0.3441 0.1599 0.1386 254-AH 0.0000 0.1250 0.2105 0.2146 0.2799 0.1657 0.0882 0.0896 0.2799 0.5322 0.0415 0.0001 0.0695 0.0000 0.2799 0.1657 0.0882 255-AH 0.0177 0.7500 1.0000 1.0000 1.0000 0.8603 0.2810 0.2500 0.9823 0.3266 0.6799 0.1866 0.1934 0.6667 1.0000 0.9306 0.1273 256-AH 0.0000 0.6867 0.8571 1.0000 1.0000 0.7517 0.3695 0.3133 1.0000 0.4915 0.1508 0.0001 0.2810 0.4286 1.0000 0.8884 0.1739 257-AH 0.0000 0.1364 0.1882 0.2295 0.3056 0.1826 0.0861 0.0931 0.3056 0.4714 0.0879 0.0001 0.0628 0.0000 0.3056 0.1826 0.0861 258-AH 0.0000 0.0045 0.0057 0.0091 0.0769 0.0149 0.0247 0.0047 0.0769 1.6539 0.0032 0.0001 0.0169 0.0000 0.0097 0.0049 0.0030 259-AH 0.0000 0.0408 1.0000 1.0000 1.0000 0.5705 0.4878 0.9592 1.0000 0.8549 0.1244 0.0001 0.4625 0.0000 1.0000 0.5705 0.4878 260-AH 0.2443 0.3374 0.3556 0.4341 0.5593 0.3862 0.0875 0.0967 0.3150 0.2266 0.3774 0.3691 0.0684 0.2443 0.5593 0.3862 0.0875 261-AH 0.0000 0.0000 0.0000 0.1578 0.1954 0.0572 0.0828 0.1578 0.1954 1.4466 0.0007 0.0000 0.0727 0.0000 0.1954 0.0572 0.0828 262-AH 0.0000 0.0602 0.0690 0.1334 0.2704 0.1028 0.0923 0.0731 0.2704 0.8980 0.0241 0.0001 0.0711 0.0000 0.2416 0.0734 0.0636 263-AH 0.0000 0.0000 0.0000 0.0800 0.1436 0.0360 0.0475 0.0800 0.1436 1.3186 0.0006 0.0000 0.0388 0.0000 0.1436 0.0360 0.0475 264-AH 0.1573 0.1750 0.2558 0.4329 1.0000 0.3709 0.2825 0.2579 0.8427 0.7615 0.2994 0.2554 0.2131 0.1573 0.6316 0.2687 0.1417 265-AH 0.0638 0.0980 0.2308 0.4071 0.5000 0.2436 0.1553 0.3091 0.4362 0.6375 0.1939 0.1510 0.1300 0.0638 0.5000 0.2436 0.1553 266-AH 0.0000 0.0000 0.0053 0.0180 0.0625 0.0122 0.0185 0.0180 0.0625 1.5114 0.0005 0.0000 0.0133 0.0000 0.0305 0.0080 0.0111 267-AH 0.0191 0.0398 0.1028 0.1444 0.1803 0.0947 0.0563 0.1046 0.1612 0.5939 0.0732 0.0508 0.0469 0.0191 0.1803 0.0947 0.0563 268-AH 0.0465 0.5000 1.0000 1.0000 1.0000 0.7856 0.3126 0.5000 0.9535 0.3979 0.6524 0.3514 0.2638 0.0465 1.0000 0.7856 0.3126 269-AH 0.0256 0.0649 0.1111 0.2656 0.4167 0.1598 0.1311 0.2007 0.3910 0.8209 0.1120 0.0776 0.1132 0.0256 0.4167 0.1598 0.1311 270-AH 0.1364 0.5833 0.7073 0.7485 0.8857 0.6386 0.2076 0.1652 0.7494 0.3250 0.5846 0.4937 0.1497 0.5577 0.8857 0.7154 0.0905 271-AH 0.2182 0.3611 0.4000 0.5046 0.6087 0.4179 0.1184 0.1435 0.3905 0.2833 0.4010 0.3828 0.0954 0.2182 0.6087 0.4179 0.1184 272-AH 0.0000 0.1826 0.2500 0.3829 0.3889 0.2550 0.1154 0.2003 0.3889 0.4527 0.1201 0.0001 0.0880 0.0000 0.3889 0.2550 0.1154 273-AH 0.0000 0.6685 0.7368 0.7569 0.8400 0.6644 0.2187 0.0884 0.8400 0.3291 0.3019 0.0001 0.1352 0.6418 0.8400 0.7423 0.0537 274-AH 0.0000 0.0000 0.0000 0.0163 0.0237 0.0086 0.0103 0.0163 0.0237 1.1981 0.0003 0.0000 0.0093 0.0000 0.0237 0.0086 0.0103 275-AH 0.0000 0.2141 0.3587 0.5461 0.5789 0.3598 0.2008 0.3321 0.5789 0.5582 0.1517 0.0001 0.1633 0.0000 0.5789 0.3598 0.2008 276-AH 0.0771 0.1245 0.1948 0.3354 0.3750 0.2171 0.1145 0.2109 0.2979 0.5275 0.1882 0.1621 0.0997 0.0771 0.3750 0.2171 0.1145 277-AH 0.0000 0.0000 0.0470 0.1025 0.1733 0.0626 0.0651 0.1025 0.1733 1.0401 0.0047 0.0000 0.0516 0.0000 0.1733 0.0626 0.0651 278-AH 0.0000 0.0000 0.0191 0.0654 0.3056 0.0618 0.0999 0.0654 0.3056 1.6175 0.0020 0.0000 0.0762 0.0000 0.1531 0.0250 0.0444 279-AH 0.0093 0.0242 0.0588 0.3250 0.6000 0.1918 0.2197 0.3008 0.5907 1.1454 0.0807 0.0342 0.1768 0.0093 0.6000 0.1918 0.2197 280-AH 0.0000 0.0349 0.0402 0.0631 0.0915 0.0460 0.0273 0.0282 0.0915 0.5929 0.0138 0.0001 0.0211 0.0000 0.0915 0.0460 0.0273 281-AH 0.2386 0.3453 0.3750 0.4025 0.5111 0.3738 0.0711 0.0572 0.2725 0.1901 0.3672 0.3601 0.0484 0.2727 0.4468 0.3736 0.0485 282-AH 0.0277 0.0898 0.1111 0.2292 0.4048 0.1485 0.1028 0.1394 0.3770 0.6923 0.1200 0.0945 0.0799 0.0277 0.4048 0.1485 0.1028 283-AH 0.0000 0.0548 0.1329 0.1570 0.1933 0.1088 0.0622 0.1023 0.1933 0.5715 0.0499 0.0001 0.0533 0.0000 0.1933 0.1088 0.0622 284-AH 0.0000 0.3654 0.5000 0.5467 0.5952 0.4067 0.2345 0.1813 0.5952 0.5767 0.0429 0.0000 0.1877 0.4872 0.5952 0.5287 0.0410 285-AH 0.0000 0.0000 0.0430 0.3603 0.8780 0.2078 0.3029 0.3603 0.8780 1.4577 0.0043 0.0000 0.2398 0.0000 0.8780 0.2078 0.3029 286-AH 0.0000 0.0000 0.0106 0.0214 0.0351 0.0121 0.0127 0.0214 0.0351 1.0503 0.0010 0.0000 0.0099 0.0000 0.0351 0.0121 0.0127 287-AH 0.0000 0.1410 0.3253 0.5196 0.5870 0.3011 0.2125 0.3787 0.5870 0.7059 0.0324 0.0000 0.1692 0.0000 0.5870 0.3011 0.2125 288-AH 0.0400 0.0640 0.0990 0.1576 0.3040 0.1265 0.0805 0.0936 0.2640 0.6364 0.1061 0.0896 0.0609 0.0400 0.2436 0.1117 0.0630 289-AH 0.4000 0.7368 0.7857 0.9167 1.0000 0.7918 0.1477 0.1798 0.6000 0.1866 0.7758 0.7550 0.0987 0.7059 1.0000 0.8245 0.0932 290-AH 0.0000 0.0657 0.0848 0.1226 0.1892 0.0871 0.0548 0.0570 0.1892 0.6288 0.0230 0.0001 0.0406 0.0000 0.1892 0.0871 0.0548 163 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0237 0.3509 0.5556 0.7887 0.9375 0.5571 0.2858 0.4378 0.9138 0.5130 0.4332 0.1968 0.2259 0.0237 0.9375 0.5571 0.2858 292-AH 0.0161 0.6667 1.0000 1.0000 1.0000 0.7961 0.2862 0.3333 0.9839 0.3595 0.6229 0.1699 0.2196 0.6667 1.0000 0.8611 0.1716 293-AH 0.0000 0.4964 0.5862 0.6018 0.7391 0.5300 0.1767 0.1054 0.7391 0.3334 0.2452 0.0001 0.1040 0.4634 0.7391 0.5742 0.0800 294-AH 0.0000 0.0000 0.5600 0.6667 0.7273 0.3975 0.3143 0.6667 0.7273 0.7907 0.0187 0.0000 0.2828 0.0000 0.7273 0.3975 0.3143 295-AH 0.0000 0.1132 0.1844 0.2755 0.3333 0.1840 0.1124 0.1623 0.3333 0.6110 0.0438 0.0001 0.0910 0.0000 0.3333 0.1840 0.1124 296-AH 0.1348 0.2927 0.4815 0.5491 0.8000 0.4407 0.1958 0.2564 0.6652 0.4442 0.3927 0.3387 0.1586 0.1348 0.8000 0.4407 0.1958 297-AH 0.0000 0.0312 0.0366 0.1206 0.1935 0.0696 0.0620 0.0894 0.1935 0.8913 0.0167 0.0001 0.0503 0.0000 0.1935 0.0696 0.0620 298-AH 0.0339 0.0590 0.1103 0.1329 0.1600 0.0994 0.0422 0.0739 0.1261 0.4248 0.0896 0.0791 0.0365 0.0339 0.1600 0.0994 0.0422 299-AH 0.0000 0.1017 0.1583 0.1888 0.2184 0.1332 0.0702 0.0871 0.2184 0.5271 0.0346 0.0001 0.0546 0.0000 0.2184 0.1332 0.0702 300-AH 0.0000 0.0220 0.1271 0.1542 0.1963 0.1010 0.0714 0.1322 0.1963 0.7065 0.0136 0.0000 0.0610 0.0000 0.1963 0.1010 0.0714 301-AH 0.0000 0.0000 0.0379 0.6434 0.8000 0.2769 0.3491 0.6434 0.8000 1.2610 0.0082 0.0000 0.3232 0.0000 0.8000 0.2769 0.3491 302-AH 0.0000 0.2647 0.3514 0.4252 0.5000 0.3385 0.1322 0.1605 0.5000 0.3904 0.1595 0.0001 0.0931 0.2647 0.5000 0.3667 0.0882 303-AH 0.0000 0.0136 0.0202 0.0387 0.0643 0.0267 0.0224 0.0251 0.0643 0.8373 0.0078 0.0001 0.0177 0.0000 0.0643 0.0267 0.0224 304-AH 0.0000 0.0070 0.0510 0.2236 0.3200 0.1112 0.1303 0.2167 0.3200 1.1723 0.0101 0.0000 0.1087 0.0000 0.3200 0.1112 0.1303 305-AH 0.0000 0.0000 0.1771 0.2398 0.2540 0.1214 0.1187 0.2398 0.2540 0.9781 0.0022 0.0000 0.1121 0.0000 0.2540 0.1214 0.1187 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0446 0.0872 0.0962 0.1398 0.0729 0.0430 0.0516 0.1398 0.5905 0.0202 0.0001 0.0354 0.0000 0.1398 0.0729 0.0430 308-AH 0.6667 0.9643 1.0000 1.0000 1.0000 0.9441 0.1131 0.0357 0.3333 0.1198 0.9369 0.9286 0.0859 1.0000 1.0000 1.0000 0.0000 309-AH 0.0107 0.0189 0.0600 0.0769 0.0943 0.0531 0.0299 0.0580 0.0837 0.5626 0.0430 0.0326 0.0263 0.0107 0.0943 0.0531 0.0299 310-AH 0.0000 0.0000 0.0000 0.0541 0.0657 0.0251 0.0294 0.0541 0.0657 1.1715 0.0005 0.0000 0.0271 0.0000 0.0657 0.0251 0.0294 311-AH 0.0509 0.1792 0.1812 0.3418 0.4000 0.2281 0.1097 0.1626 0.3491 0.4807 0.1998 0.1667 0.0917 0.0509 0.4000 0.2281 0.1097 312-AH 0.0000 0.2556 0.3286 0.5405 0.6667 0.3655 0.2107 0.2849 0.6667 0.5765 0.1463 0.0001 0.1727 0.0000 0.6667 0.3655 0.2107 313-AH 0.0000 0.0000 0.0000 0.0163 0.0297 0.0090 0.0116 0.0163 0.0297 1.2933 0.0003 0.0000 0.0097 0.0000 0.0297 0.0090 0.0116 314-AH 0.0146 0.0252 0.0449 0.0722 0.0973 0.0522 0.0267 0.0470 0.0827 0.5118 0.0453 0.0384 0.0225 0.0146 0.0973 0.0522 0.0267 315-AH 0.0000 0.0631 0.0981 0.4312 0.4918 0.2135 0.1983 0.3681 0.4918 0.9289 0.0712 0.0001 0.1809 0.0000 0.4918 0.2135 0.1983 316-AH 0.0000 0.0745 0.1486 0.2027 0.2185 0.1285 0.0831 0.1282 0.2185 0.6470 0.0172 0.0000 0.0677 0.0000 0.2185 0.1285 0.0831 317-AH 0.0170 0.0605 0.0766 0.1564 0.2239 0.0993 0.0670 0.0959 0.2068 0.6750 0.0770 0.0556 0.0542 0.0170 0.2239 0.0993 0.0670 318-AH 0.0100 0.0634 0.0893 0.1031 0.2609 0.0961 0.0582 0.0397 0.2509 0.6054 0.0794 0.0549 0.0345 0.0100 0.1351 0.0823 0.0319 319-AH 0.0196 0.2053 0.2778 0.4000 0.5000 0.2904 0.1355 0.1947 0.4804 0.4665 0.2373 0.1363 0.1106 0.0196 0.5000 0.2904 0.1355 320-AH 0.0000 0.0000 0.0319 0.0487 0.0506 0.0257 0.0227 0.0487 0.0506 0.8849 0.0017 0.0000 0.0204 0.0000 0.0506 0.0257 0.0227 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0239 0.0629 0.0703 0.0754 0.0933 0.0655 0.0191 0.0126 0.0694 0.2916 0.0619 0.0568 0.0131 0.0625 0.0933 0.0726 0.0091 323-AH 0.0000 0.0000 0.0157 0.0505 0.0722 0.0272 0.0268 0.0505 0.0722 0.9853 0.0027 0.0000 0.0236 0.0000 0.0722 0.0272 0.0268 324-AH 0.0000 0.0425 0.0987 0.6622 0.7297 0.2826 0.2979 0.6197 0.7297 1.0542 0.0416 0.0001 0.2596 0.0000 0.7297 0.2826 0.2979 325-AH 0.0000 0.0000 0.0373 0.1668 0.5439 0.1342 0.2172 0.1668 0.5439 1.6183 0.0030 0.0000 0.1748 0.0000 0.0626 0.0206 0.0232 326-AH 0.1429 0.2121 0.3333 0.5000 1.0000 0.4166 0.2873 0.2879 0.8571 0.6897 0.3443 0.2921 0.2180 0.1429 0.5000 0.3105 0.1365 327-AH 0.0000 0.0029 0.0606 0.2760 0.5000 0.1509 0.1644 0.2731 0.5000 1.0895 0.0270 0.0001 0.1413 0.0000 0.5000 0.1509 0.1644 328-AH 0.1262 0.5163 0.5455 0.6750 0.8125 0.5790 0.1783 0.1587 0.6863 0.3079 0.5375 0.4637 0.1290 0.4667 0.8125 0.6168 0.1203 329-AH 0.2093 0.5221 0.9000 0.9091 0.9091 0.7249 0.2382 0.3870 0.6998 0.3285 0.6737 0.6022 0.1994 0.2093 0.9091 0.7249 0.2382 330-AH 0.6842 0.7027 0.8056 0.8213 0.9062 0.7769 0.0693 0.1186 0.2220 0.0892 0.7740 0.7712 0.0598 0.6842 0.9062 0.7769 0.0693 331-AH 0.1385 0.1702 0.2632 0.6552 0.7500 0.3633 0.2499 0.4851 0.6115 0.6878 0.2926 0.2421 0.2126 0.1385 0.7500 0.3633 0.2499 332-AH 0.2143 0.2560 0.2667 0.3141 0.4000 0.2811 0.0501 0.0581 0.1857 0.1781 0.2773 0.2738 0.0385 0.2143 0.4000 0.2811 0.0501 333-AH 0.5000 0.9500 1.0000 1.0000 1.0000 0.9077 0.1891 0.0500 0.5000 0.2084 0.8836 0.8525 0.1420 1.0000 1.0000 1.0000 0.0000 334-AH 0.0408 0.1205 0.1667 0.2000 0.2308 0.1553 0.0542 0.0795 0.1900 0.3488 0.1432 0.1262 0.0449 0.0408 0.2308 0.1553 0.0542 335-AH 0.0000 0.0662 0.0899 0.1690 0.2581 0.1136 0.0827 0.1028 0.2581 0.7276 0.0481 0.0001 0.0682 0.0000 0.2581 0.1136 0.0827 336-AH 0.0000 0.0107 0.0537 0.0808 0.1957 0.0605 0.0621 0.0701 0.1957 1.0272 0.0079 0.0000 0.0467 0.0000 0.1667 0.0492 0.0491 337-AH 0.5714 0.7692 0.8462 0.9344 0.9412 0.8236 0.1078 0.1651 0.3697 0.1309 0.8164 0.8086 0.0853 0.5714 0.9412 0.8236 0.1078 338-AH 0.0088 0.6076 0.7778 1.0000 1.0000 0.7158 0.3456 0.3924 0.9912 0.4828 0.4846 0.0935 0.2719 0.0877 1.0000 0.7747 0.2847 339-AH 0.1389 0.3934 0.4545 0.7143 0.7692 0.5094 0.1948 0.3209 0.6303 0.3824 0.4666 0.4120 0.1602 0.1389 0.7692 0.5094 0.1948 340-AH 0.0000 0.0174 0.1333 0.2356 0.5000 0.1476 0.1397 0.2181 0.5000 0.9464 0.0165 0.0000 0.0985 0.0000 0.5000 0.1476 0.1397 164 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.1081 0.5000 1.0000 0.2609 0.3019 0.5000 1.0000 1.1573 0.0116 0.0000 0.2416 0.0000 1.0000 0.2609 0.3019 342-AH 0.2629 0.5714 0.6329 0.7283 0.8421 0.6329 0.1465 0.1569 0.5792 0.2315 0.6124 0.5845 0.1039 0.5517 0.8421 0.6637 0.0997 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.5000 0.5625 0.5959 0.6800 0.5188 0.1698 0.0959 0.6800 0.3273 0.2407 0.0001 0.0971 0.4474 0.6800 0.5620 0.0703 345-AH 0.0000 0.0273 0.0485 0.1315 0.2083 0.0776 0.0655 0.1042 0.2083 0.8442 0.0312 0.0001 0.0537 0.0000 0.2083 0.0776 0.0655 346-AH 0.0000 0.0388 0.0645 0.0674 0.0811 0.0498 0.0295 0.0286 0.0811 0.5930 0.0085 0.0000 0.0230 0.0000 0.0811 0.0498 0.0295 347-AH 0.0000 0.0073 0.0410 0.0505 0.0667 0.0336 0.0224 0.0432 0.0667 0.6670 0.0153 0.0001 0.0193 0.0000 0.0667 0.0336 0.0224 348-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8846 0.2193 0.1250 0.5000 0.2479 0.8522 0.8125 0.1775 1.0000 1.0000 1.0000 0.0000 349-AH 0.0909 0.3105 0.3784 0.4094 0.5600 0.3636 0.1103 0.0989 0.4691 0.3035 0.3401 0.3014 0.0767 0.2917 0.4651 0.3705 0.0571 350-AH 0.3333 0.7107 0.7143 0.8333 0.8571 0.7203 0.1463 0.1226 0.5238 0.2030 0.7020 0.6773 0.0942 0.5455 0.8571 0.7526 0.0927 165 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0355 0.1348 0.8387 1.0000 0.4084 0.4195 0.8032 1.0000 1.0271 0.0483 0.0001 0.3969 0.0000 1.0000 0.4084 0.4195 144-AH 0.0000 0.0066 0.6667 0.7500 1.0000 0.4999 0.3806 0.7434 1.0000 0.7613 0.0932 0.0001 0.3207 0.0000 1.0000 0.4999 0.3806 145-AH 0.0000 0.0387 0.5333 0.7537 0.7931 0.4554 0.3345 0.7150 0.7931 0.7345 0.1374 0.0001 0.2984 0.0000 0.7931 0.4554 0.3345 146-AH 0.0000 0.0000 0.0022 0.0077 0.0392 0.0066 0.0109 0.0077 0.0392 1.6568 0.0004 0.0000 0.0069 0.0000 0.0153 0.0039 0.0049 147-AH 0.0000 0.2947 0.5254 0.5455 0.7750 0.4170 0.2358 0.2507 0.7750 0.5654 0.1651 0.0001 0.1866 0.0000 0.7750 0.4170 0.2358 148-AH 0.0000 0.0039 0.0392 0.0429 0.0690 0.0283 0.0247 0.0390 0.0690 0.8702 0.0045 0.0000 0.0220 0.0000 0.0690 0.0283 0.0247 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0244 0.1151 0.1522 0.0490 0.0592 0.1151 0.1522 1.2098 0.0034 0.0000 0.0511 0.0000 0.1522 0.0490 0.0592 151-AH 0.0000 0.0000 0.0000 0.0369 0.1067 0.0246 0.0437 0.0369 0.1067 1.7766 0.0001 0.0000 0.0351 0.0000 0.0179 0.0018 0.0056 152-AH 0.0000 0.0330 0.0648 0.1400 0.3103 0.0852 0.0832 0.1070 0.3103 0.9763 0.0199 0.0001 0.0599 0.0000 0.1400 0.0665 0.0506 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.0743 0.0844 0.1182 0.1494 0.1912 0.1172 0.0382 0.0650 0.1169 0.3264 0.1117 0.1067 0.0314 0.0743 0.1912 0.1172 0.0382 155-AH 0.0000 0.0000 0.0000 0.0909 0.1818 0.0358 0.0598 0.0909 0.1818 1.6677 0.0003 0.0000 0.0493 0.0000 0.1818 0.0358 0.0598 156-AH 0.0000 0.0240 0.0310 0.0411 0.0493 0.0315 0.0128 0.0171 0.0493 0.4066 0.0177 0.0001 0.0097 0.0000 0.0493 0.0315 0.0128 157-AH 0.3244 0.4455 0.5091 0.5193 0.5860 0.4786 0.0711 0.0738 0.2616 0.1484 0.4732 0.4672 0.0534 0.3700 0.5860 0.4915 0.0563 158-AH 0.0000 0.1399 0.1549 0.4079 0.8077 0.2979 0.2820 0.2680 0.8077 0.9466 0.1119 0.0001 0.2226 0.0000 0.8077 0.2979 0.2820 159-AH 0.0000 0.1397 0.2619 0.4122 0.5238 0.2653 0.1866 0.2725 0.5238 0.7034 0.0570 0.0001 0.1525 0.0000 0.5238 0.2653 0.1866 160-AH 0.0000 0.0113 0.0290 0.0616 0.1333 0.0462 0.0509 0.0504 0.1333 1.1019 0.0170 0.0001 0.0402 0.0000 0.1333 0.0462 0.0509 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.2925 0.6051 0.6981 0.7971 0.8333 0.6885 0.1475 0.1920 0.5408 0.2142 0.6685 0.6403 0.1037 0.5968 0.8333 0.7215 0.0910 164-AH 0.0000 0.0397 0.0749 0.0988 0.1076 0.0689 0.0382 0.0592 0.1076 0.5552 0.0194 0.0001 0.0311 0.0000 0.1076 0.0689 0.0382 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0136 0.1215 0.1905 0.2438 0.5000 0.2223 0.1475 0.1222 0.4864 0.6635 0.1701 0.0947 0.1089 0.0136 0.3750 0.1718 0.0888 168-AH 0.0867 0.3929 0.4848 0.5890 0.7857 0.4950 0.1762 0.1961 0.6990 0.3560 0.4490 0.3668 0.1263 0.3929 0.7857 0.5290 0.1321 169-AH 0.0000 0.0064 0.0078 0.0373 0.0580 0.0226 0.0208 0.0309 0.0580 0.9203 0.0091 0.0001 0.0184 0.0000 0.0580 0.0226 0.0208 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0315 0.0349 0.0517 0.0672 0.0847 0.0528 0.0200 0.0323 0.0532 0.3780 0.0494 0.0463 0.0170 0.0315 0.0847 0.0528 0.0200 172-AH 0.0000 0.0000 0.0204 0.0602 0.0725 0.0270 0.0270 0.0602 0.0725 0.9967 0.0027 0.0000 0.0223 0.0000 0.0725 0.0270 0.0270 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.4167 0.4792 0.7143 0.7500 0.7500 0.6360 0.1433 0.2708 0.3333 0.2253 0.6189 0.6000 0.1238 0.4167 0.7500 0.6360 0.1433 176-AH 0.6857 0.7219 0.8333 0.9604 0.9630 0.8293 0.1132 0.2385 0.2772 0.1365 0.8222 0.8151 0.0999 0.6857 0.9630 0.8293 0.1132 177-AH 0.0750 0.1329 0.2195 0.2431 0.4211 0.2049 0.0958 0.1102 0.3461 0.4678 0.1843 0.1641 0.0719 0.0750 0.3200 0.1869 0.0736 178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0806 0.1217 0.5365 1.0000 0.3174 0.3634 0.4559 1.0000 1.1450 0.0920 0.0001 0.2982 0.0000 1.0000 0.3174 0.3634 180-AH 0.0000 0.0232 0.0590 0.2723 0.5106 0.1612 0.1969 0.2490 0.5106 1.2213 0.0140 0.0000 0.1630 0.0000 0.5106 0.1612 0.1969 181-AH 0.2772 0.7217 0.8028 0.8492 0.9048 0.7633 0.1572 0.1275 0.6275 0.2059 0.7388 0.6983 0.0950 0.7179 0.9048 0.8038 0.0607 182-AH 0.0045 0.0760 0.0976 0.6375 0.7500 0.2720 0.3095 0.5615 0.7455 1.1379 0.1249 0.0381 0.2711 0.0045 0.7500 0.2720 0.3095 183-AH 0.0041 0.0370 0.1212 0.2795 0.4286 0.1655 0.1401 0.2426 0.4245 0.8465 0.0806 0.0209 0.1191 0.0041 0.4286 0.1655 0.1401 184-AH 0.0000 0.0299 0.0359 0.1353 0.2857 0.0895 0.0994 0.1054 0.2857 1.1116 0.0179 0.0001 0.0800 0.0000 0.2857 0.0895 0.0994 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.4167 0.7565 1.0000 1.0000 1.0000 0.8573 0.2473 0.2435 0.5833 0.2884 0.8129 0.7573 0.1976 0.4167 1.0000 0.8573 0.2473 190-AH 0.0000 0.0222 0.0337 0.1919 0.5455 0.1485 0.2271 0.1697 0.5455 1.5291 0.0182 0.0001 0.1832 0.0000 0.0741 0.0295 0.0230 166 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0103 0.5536 0.6667 1.0000 1.0000 0.6872 0.3579 0.4464 0.9897 0.5208 0.4450 0.0956 0.2888 0.0103 1.0000 0.6872 0.3579 193-AH 0.0058 0.0806 0.1786 0.1870 0.2500 0.1388 0.0787 0.1063 0.2442 0.5670 0.0960 0.0378 0.0670 0.0058 0.2500 0.1388 0.0787 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.3404 0.7614 0.8108 1.0000 1.0000 0.8279 0.1842 0.2386 0.6596 0.2225 0.8020 0.7654 0.1329 0.7143 1.0000 0.8686 0.1167 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.4000 0.6591 0.7273 0.7569 0.7778 0.6816 0.1132 0.0979 0.3778 0.1660 0.6709 0.6579 0.0805 0.6364 0.7778 0.7237 0.0468 200-AH 0.0137 0.1168 0.1667 0.7500 0.7778 0.3859 0.3218 0.6332 0.7640 0.8339 0.2242 0.0914 0.2960 0.0137 0.7778 0.3859 0.3218 251-AH 0.0621 0.1356 0.1981 0.3026 0.4239 0.2322 0.1113 0.1670 0.3618 0.4796 0.2055 0.1773 0.0934 0.0621 0.4239 0.2322 0.1113 252-AH 0.0766 0.1426 0.2169 0.3080 0.4545 0.2404 0.1145 0.1655 0.3779 0.4761 0.2156 0.1912 0.0880 0.0766 0.4545 0.2404 0.1145 253-AH 0.0000 0.0000 0.0000 0.1878 0.2319 0.0749 0.0993 0.1878 0.2319 1.3267 0.0004 0.0000 0.0922 0.0000 0.2319 0.0749 0.0993 254-AH 0.0000 0.0000 0.1885 0.1909 0.2523 0.1116 0.1095 0.1909 0.2523 0.9812 0.0021 0.0000 0.1030 0.0000 0.2523 0.1116 0.1095 255-AH 0.0046 0.3250 0.7500 0.8125 1.0000 0.5907 0.3413 0.4875 0.9954 0.5777 0.3771 0.0524 0.2883 0.0046 1.0000 0.5907 0.3413 256-AH 0.0000 0.6366 0.7857 1.0000 1.0000 0.7109 0.3530 0.3634 1.0000 0.4966 0.1438 0.0001 0.2629 0.4286 1.0000 0.8401 0.1735 257-AH 0.0000 0.1099 0.1377 0.1838 0.2375 0.1416 0.0666 0.0739 0.2375 0.4701 0.0693 0.0001 0.0490 0.0000 0.2375 0.1416 0.0666 258-AH 0.0000 0.0000 0.0000 0.0057 0.0076 0.0026 0.0030 0.0057 0.0076 1.1652 0.0002 0.0000 0.0028 0.0000 0.0076 0.0026 0.0030 259-AH 0.0000 0.0408 1.0000 1.0000 1.0000 0.5705 0.4878 0.9592 1.0000 0.8549 0.1244 0.0001 0.4625 0.0000 1.0000 0.5705 0.4878 260-AH 0.1929 0.2249 0.3040 0.3778 0.5507 0.3173 0.1096 0.1529 0.3578 0.3453 0.3010 0.2862 0.0859 0.1929 0.5507 0.3173 0.1096 261-AH 0.0000 0.0000 0.0000 0.0318 0.0579 0.0125 0.0205 0.0318 0.0579 1.6344 0.0001 0.0000 0.0174 0.0000 0.0579 0.0125 0.0205 262-AH 0.0000 0.0560 0.0606 0.0942 0.2237 0.0814 0.0680 0.0382 0.2237 0.8352 0.0206 0.0001 0.0512 0.0000 0.0678 0.0481 0.0257 263-AH 0.0000 0.0000 0.0000 0.0665 0.1218 0.0255 0.0419 0.0665 0.1218 1.6453 0.0002 0.0000 0.0352 0.0000 0.1218 0.0255 0.0419 264-AH 0.0714 0.1518 0.1591 0.2129 0.8235 0.2281 0.1899 0.0612 0.7521 0.8323 0.1893 0.1665 0.1090 0.0714 0.2154 0.1637 0.0441 265-AH 0.0073 0.0980 0.2222 0.2875 0.4286 0.2085 0.1361 0.1895 0.4213 0.6528 0.1480 0.0608 0.1055 0.0073 0.4286 0.2085 0.1361 266-AH 0.0000 0.0000 0.0000 0.0053 0.0305 0.0045 0.0087 0.0053 0.0305 1.9314 0.0001 0.0000 0.0055 0.0000 0.0121 0.0023 0.0039 267-AH 0.0000 0.0209 0.0926 0.1300 0.1529 0.0764 0.0570 0.1092 0.1529 0.7463 0.0108 0.0000 0.0487 0.0000 0.1529 0.0764 0.0570 268-AH 0.0465 0.5000 1.0000 1.0000 1.0000 0.7856 0.3126 0.5000 0.9535 0.3979 0.6524 0.3514 0.2638 0.0465 1.0000 0.7856 0.3126 269-AH 0.0167 0.0361 0.1111 0.1776 0.3158 0.1212 0.1017 0.1415 0.2991 0.8393 0.0817 0.0534 0.0828 0.0167 0.3158 0.1212 0.1017 270-AH 0.0954 0.5124 0.6316 0.6651 0.7091 0.5516 0.1871 0.1527 0.6137 0.3393 0.4952 0.3946 0.1344 0.5067 0.7091 0.6235 0.0654 271-AH 0.1156 0.2720 0.3000 0.4412 0.6000 0.3414 0.1272 0.1692 0.4844 0.3725 0.3171 0.2892 0.0999 0.1156 0.6000 0.3414 0.1272 272-AH 0.0000 0.1404 0.2500 0.3243 0.3333 0.2242 0.1006 0.1839 0.3333 0.4486 0.1063 0.0001 0.0814 0.0000 0.3333 0.2242 0.1006 273-AH 0.0000 0.5901 0.6098 0.6745 0.7123 0.5782 0.1878 0.0844 0.7123 0.3248 0.2660 0.0001 0.1116 0.5747 0.7123 0.6439 0.0459 274-AH 0.0000 0.0000 0.0000 0.0127 0.0188 0.0067 0.0081 0.0127 0.0188 1.2065 0.0003 0.0000 0.0073 0.0000 0.0188 0.0067 0.0081 275-AH 0.0000 0.1663 0.3030 0.4880 0.5063 0.3011 0.1836 0.3217 0.5063 0.6096 0.1226 0.0001 0.1537 0.0000 0.5063 0.3011 0.1836 276-AH 0.0576 0.1098 0.1406 0.2789 0.3364 0.1795 0.0998 0.1692 0.2788 0.5557 0.1538 0.1306 0.0870 0.0576 0.3364 0.1795 0.0998 277-AH 0.0000 0.0000 0.0000 0.0440 0.0602 0.0197 0.0249 0.0440 0.0602 1.2631 0.0005 0.0000 0.0216 0.0000 0.0602 0.0197 0.0249 278-AH 0.0000 0.0000 0.0000 0.0566 0.2222 0.0433 0.0769 0.0566 0.2222 1.7750 0.0003 0.0000 0.0604 0.0000 0.0263 0.0041 0.0090 279-AH 0.0093 0.0122 0.0155 0.2481 0.6000 0.1570 0.2177 0.2359 0.5907 1.3865 0.0504 0.0215 0.1697 0.0093 0.6000 0.1570 0.2177 280-AH 0.0000 0.0264 0.0310 0.0566 0.0872 0.0388 0.0254 0.0302 0.0872 0.6532 0.0117 0.0001 0.0202 0.0000 0.0872 0.0388 0.0254 281-AH 0.2015 0.2330 0.2718 0.3032 0.4576 0.2804 0.0627 0.0702 0.2561 0.2236 0.2749 0.2701 0.0394 0.2015 0.3103 0.2656 0.0346 282-AH 0.0220 0.0589 0.1050 0.2173 0.2836 0.1225 0.0857 0.1585 0.2616 0.7001 0.0959 0.0735 0.0717 0.0220 0.2836 0.1225 0.0857 283-AH 0.0000 0.0456 0.0950 0.1237 0.1933 0.0863 0.0556 0.0780 0.1933 0.6443 0.0228 0.0001 0.0442 0.0000 0.1933 0.0863 0.0556 284-AH 0.0000 0.2799 0.3833 0.5191 0.5952 0.3556 0.2150 0.2392 0.5952 0.6045 0.0383 0.0000 0.1641 0.0000 0.5952 0.3556 0.2150 285-AH 0.0000 0.0000 0.0000 0.1973 0.7414 0.1519 0.2512 0.1973 0.7414 1.6541 0.0010 0.0000 0.1834 0.0000 0.2530 0.0551 0.0902 286-AH 0.0000 0.0000 0.0104 0.0127 0.0232 0.0080 0.0086 0.0127 0.0232 1.0796 0.0005 0.0000 0.0074 0.0000 0.0232 0.0080 0.0086 287-AH 0.0000 0.1316 0.2970 0.5083 0.5345 0.2788 0.2018 0.3767 0.5345 0.7239 0.0303 0.0000 0.1652 0.0000 0.5345 0.2788 0.2018 288-AH 0.0000 0.0000 0.0614 0.1082 0.2513 0.0705 0.0872 0.1082 0.2513 1.2361 0.0015 0.0000 0.0667 0.0000 0.2513 0.0705 0.0872 289-AH 0.3824 0.7291 0.7857 0.9167 0.9231 0.7741 0.1460 0.1876 0.5407 0.1886 0.7577 0.7362 0.0992 0.6875 0.9231 0.8067 0.0902 290-AH 0.0000 0.0467 0.0820 0.1023 0.1775 0.0741 0.0526 0.0556 0.1775 0.7103 0.0111 0.0000 0.0396 0.0000 0.1775 0.0741 0.0526 167 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0206 0.2802 0.4286 0.7045 0.8182 0.4630 0.2695 0.4243 0.7976 0.5821 0.3423 0.1575 0.2259 0.0206 0.8182 0.4630 0.2695 292-AH 0.0116 0.1595 0.2353 0.7000 0.8000 0.3914 0.3018 0.5405 0.7884 0.7710 0.2548 0.0977 0.2733 0.0116 0.8000 0.3914 0.3018 293-AH 0.0000 0.4808 0.5122 0.5650 0.5952 0.4807 0.1520 0.0842 0.5952 0.3162 0.2250 0.0001 0.0849 0.4340 0.5952 0.5208 0.0495 294-AH 0.0000 0.0000 0.5526 0.6667 0.7083 0.3914 0.3149 0.6667 0.7083 0.8046 0.0182 0.0000 0.2853 0.0000 0.7083 0.3914 0.3149 295-AH 0.0000 0.0241 0.1342 0.1829 0.3107 0.1166 0.0973 0.1587 0.3107 0.8349 0.0143 0.0000 0.0832 0.0000 0.3107 0.1166 0.0973 296-AH 0.0682 0.1786 0.4510 0.5018 0.6250 0.3438 0.1997 0.3231 0.5568 0.5808 0.2765 0.2085 0.1831 0.0682 0.6250 0.3438 0.1997 297-AH 0.0000 0.0122 0.0207 0.0498 0.1053 0.0349 0.0364 0.0375 0.1053 1.0424 0.0086 0.0001 0.0284 0.0000 0.1053 0.0349 0.0364 298-AH 0.0245 0.0590 0.0918 0.1122 0.1333 0.0853 0.0331 0.0532 0.1088 0.3882 0.0779 0.0688 0.0280 0.0245 0.1333 0.0853 0.0331 299-AH 0.0000 0.0676 0.1024 0.1484 0.1761 0.0997 0.0572 0.0808 0.1761 0.5736 0.0265 0.0001 0.0458 0.0000 0.1761 0.0997 0.0572 300-AH 0.0000 0.0220 0.0758 0.1225 0.1699 0.0738 0.0566 0.1005 0.1699 0.7675 0.0106 0.0000 0.0477 0.0000 0.1699 0.0738 0.0566 301-AH 0.0000 0.0000 0.0000 0.4821 0.7143 0.2026 0.2745 0.4821 0.7143 1.3550 0.0007 0.0000 0.2493 0.0000 0.7143 0.2026 0.2745 302-AH 0.0000 0.1642 0.2750 0.3457 0.5000 0.2677 0.1241 0.1815 0.5000 0.4634 0.1250 0.0001 0.0909 0.0000 0.5000 0.2677 0.1241 303-AH 0.0000 0.0000 0.0135 0.0280 0.0643 0.0207 0.0230 0.0280 0.0643 1.1101 0.0022 0.0000 0.0175 0.0000 0.0643 0.0207 0.0230 304-AH 0.0000 0.0068 0.0431 0.1955 0.2075 0.0778 0.0893 0.1887 0.2075 1.1478 0.0080 0.0000 0.0774 0.0000 0.2075 0.0778 0.0893 305-AH 0.0000 0.0000 0.1695 0.1912 0.2332 0.1065 0.1039 0.1912 0.2332 0.9753 0.0021 0.0000 0.0983 0.0000 0.2332 0.1065 0.1039 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0000 0.0663 0.0735 0.1379 0.0487 0.0441 0.0735 0.1379 0.9062 0.0025 0.0000 0.0375 0.0000 0.1379 0.0487 0.0441 308-AH 0.2500 0.8958 1.0000 1.0000 1.0000 0.8718 0.2537 0.1042 0.7500 0.2910 0.8176 0.7339 0.1972 1.0000 1.0000 1.0000 0.0000 309-AH 0.0107 0.0163 0.0600 0.0612 0.0822 0.0444 0.0256 0.0449 0.0715 0.5766 0.0355 0.0265 0.0229 0.0107 0.0822 0.0444 0.0256 310-AH 0.0000 0.0000 0.0000 0.0431 0.0441 0.0194 0.0219 0.0431 0.0441 1.1277 0.0005 0.0000 0.0209 0.0000 0.0441 0.0194 0.0219 311-AH 0.0430 0.0894 0.1447 0.2957 0.3235 0.1780 0.1059 0.2063 0.2805 0.5949 0.1470 0.1189 0.0938 0.0430 0.3235 0.1780 0.1059 312-AH 0.0000 0.2040 0.3286 0.5405 0.6552 0.3521 0.2182 0.3365 0.6552 0.6197 0.1330 0.0001 0.1832 0.0000 0.6552 0.3521 0.2182 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0146 0.0185 0.0449 0.0545 0.0973 0.0456 0.0256 0.0361 0.0827 0.5607 0.0388 0.0325 0.0185 0.0146 0.0973 0.0456 0.0256 315-AH 0.0000 0.0000 0.0479 0.3820 0.4419 0.1656 0.1994 0.3820 0.4419 1.2044 0.0023 0.0000 0.1843 0.0000 0.4419 0.1656 0.1994 316-AH 0.0000 0.0651 0.1330 0.1731 0.2023 0.1162 0.0745 0.1080 0.2023 0.6410 0.0160 0.0000 0.0589 0.0000 0.2023 0.1162 0.0745 317-AH 0.0000 0.0422 0.0594 0.1378 0.1818 0.0764 0.0608 0.0956 0.1818 0.7963 0.0193 0.0001 0.0498 0.0000 0.1818 0.0764 0.0608 318-AH 0.0100 0.0634 0.0814 0.0848 0.2609 0.0859 0.0570 0.0215 0.2509 0.6632 0.0713 0.0517 0.0293 0.0545 0.0952 0.0769 0.0130 319-AH 0.0162 0.1421 0.1791 0.2167 0.3158 0.1758 0.0796 0.0745 0.2996 0.4527 0.1482 0.0973 0.0557 0.0800 0.3158 0.1891 0.0663 320-AH 0.0000 0.0000 0.0172 0.0283 0.0333 0.0148 0.0136 0.0283 0.0333 0.9170 0.0012 0.0000 0.0118 0.0000 0.0333 0.0148 0.0136 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0231 0.0548 0.0588 0.0687 0.0732 0.0560 0.0159 0.0139 0.0500 0.2836 0.0531 0.0490 0.0107 0.0536 0.0732 0.0620 0.0072 323-AH 0.0000 0.0000 0.0000 0.0390 0.0465 0.0162 0.0214 0.0390 0.0465 1.3246 0.0002 0.0000 0.0199 0.0000 0.0465 0.0162 0.0214 324-AH 0.0000 0.0000 0.0000 0.6135 0.7297 0.2283 0.3080 0.6135 0.7297 1.3494 0.0013 0.0000 0.2674 0.0000 0.7297 0.2283 0.3080 325-AH 0.0000 0.0000 0.0000 0.1458 0.4805 0.1104 0.2014 0.1458 0.4805 1.8244 0.0002 0.0000 0.1626 0.0000 0.0471 0.0047 0.0149 326-AH 0.0051 0.0154 0.0189 0.0529 0.0909 0.0315 0.0252 0.0375 0.0858 0.8003 0.0227 0.0157 0.0204 0.0051 0.0909 0.0315 0.0252 327-AH 0.0000 0.0000 0.0354 0.2557 0.2857 0.1154 0.1251 0.2557 0.2857 1.0845 0.0059 0.0000 0.1131 0.0000 0.2857 0.1154 0.1251 328-AH 0.0927 0.4719 0.5333 0.6558 0.8000 0.5482 0.1792 0.1839 0.7073 0.3268 0.4997 0.4057 0.1325 0.4516 0.8000 0.5861 0.1208 329-AH 0.1000 0.4549 0.6111 0.7857 0.7857 0.5803 0.2011 0.3309 0.6857 0.3466 0.5260 0.4273 0.1579 0.1000 0.7857 0.5803 0.2011 330-AH 0.6721 0.6781 0.7209 0.8205 0.8649 0.7495 0.0702 0.1424 0.1927 0.0937 0.7465 0.7436 0.0611 0.6721 0.8649 0.7495 0.0702 331-AH 0.1165 0.1621 0.2295 0.4444 0.5000 0.2798 0.1477 0.2824 0.3835 0.5277 0.2435 0.2117 0.1293 0.1165 0.5000 0.2798 0.1477 332-AH 0.1795 0.2174 0.2414 0.2593 0.2759 0.2378 0.0264 0.0419 0.0964 0.1109 0.2364 0.2349 0.0211 0.1795 0.2759 0.2378 0.0264 333-AH 0.5000 0.9500 1.0000 1.0000 1.0000 0.9077 0.1891 0.0500 0.5000 0.2084 0.8836 0.8525 0.1420 1.0000 1.0000 1.0000 0.0000 334-AH 0.0408 0.1205 0.1667 0.2000 0.2308 0.1553 0.0542 0.0795 0.1900 0.3488 0.1432 0.1262 0.0449 0.0408 0.2308 0.1553 0.0542 335-AH 0.0000 0.0507 0.0565 0.1483 0.2432 0.0946 0.0789 0.0977 0.2432 0.8347 0.0394 0.0001 0.0648 0.0000 0.2432 0.0946 0.0789 336-AH 0.0000 0.0092 0.0358 0.0696 0.0940 0.0388 0.0328 0.0604 0.0940 0.8450 0.0061 0.0000 0.0282 0.0000 0.0940 0.0388 0.0328 337-AH 0.5714 0.7610 0.8235 0.9344 0.9412 0.8180 0.1096 0.1733 0.3697 0.1339 0.8107 0.8028 0.0878 0.5714 0.9412 0.8180 0.1096 338-AH 0.0000 0.4683 0.6000 0.7778 1.0000 0.5898 0.2985 0.3095 1.0000 0.5060 0.2421 0.0001 0.2134 0.0845 1.0000 0.6390 0.2508 339-AH 0.1121 0.3243 0.3871 0.6337 0.7500 0.4527 0.1976 0.3094 0.6379 0.4364 0.4056 0.3491 0.1691 0.1121 0.7500 0.4527 0.1976 340-AH 0.0000 0.0174 0.1333 0.2356 0.5000 0.1476 0.1397 0.2181 0.5000 0.9464 0.0165 0.0000 0.0985 0.0000 0.5000 0.1476 0.1397 168 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0976 0.1736 1.0000 0.1787 0.2827 0.1736 1.0000 1.5822 0.0080 0.0000 0.1868 0.0000 0.2500 0.0748 0.0789 342-AH 0.2489 0.4964 0.5631 0.6822 0.7838 0.5749 0.1370 0.1858 0.5349 0.2383 0.5562 0.5321 0.0986 0.2489 0.7838 0.5749 0.1370 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.2442 0.3636 0.5405 0.5946 0.3805 0.1751 0.2964 0.5946 0.4603 0.1729 0.0001 0.1384 0.0000 0.5946 0.3805 0.1751 345-AH 0.0000 0.0273 0.0467 0.1185 0.1818 0.0700 0.0549 0.0912 0.1818 0.7838 0.0295 0.0001 0.0452 0.0000 0.1818 0.0700 0.0549 346-AH 0.0000 0.0227 0.0385 0.0459 0.0667 0.0341 0.0215 0.0232 0.0667 0.6306 0.0063 0.0000 0.0163 0.0000 0.0667 0.0341 0.0215 347-AH 0.0000 0.0073 0.0317 0.0399 0.0531 0.0276 0.0174 0.0326 0.0531 0.6283 0.0133 0.0001 0.0147 0.0000 0.0531 0.0276 0.0174 348-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 349-AH 0.0769 0.2652 0.3125 0.4055 0.5000 0.3340 0.1130 0.1403 0.4231 0.3383 0.3082 0.2674 0.0897 0.0769 0.5000 0.3340 0.1130 350-AH 0.3333 0.5162 0.7000 0.7125 0.8571 0.6314 0.1650 0.1963 0.5238 0.2613 0.6087 0.5833 0.1307 0.3333 0.8571 0.6314 0.1650 169 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.0727 0.7418 1.0000 0.3690 0.4092 0.7418 1.0000 1.1091 0.0036 0.0000 0.3862 0.0000 1.0000 0.3690 0.4092 144-AH 0.0000 0.0052 0.2500 0.4375 0.7500 0.2813 0.2943 0.4323 0.7500 1.0461 0.0210 0.0000 0.2272 0.0000 0.7500 0.2813 0.2943 145-AH 0.0000 0.0000 0.3671 0.6136 0.7568 0.3208 0.2813 0.6136 0.7568 0.8767 0.0150 0.0000 0.2382 0.0000 0.7568 0.3208 0.2813 146-AH 0.0000 0.0000 0.0022 0.0077 0.0392 0.0066 0.0109 0.0077 0.0392 1.6568 0.0004 0.0000 0.0069 0.0000 0.0153 0.0039 0.0049 147-AH 0.0000 0.2724 0.3895 0.5314 0.6852 0.3816 0.2190 0.2589 0.6852 0.5739 0.1487 0.0001 0.1716 0.0000 0.6852 0.3816 0.2190 148-AH 0.0000 0.0000 0.0254 0.0370 0.0480 0.0199 0.0187 0.0370 0.0480 0.9409 0.0014 0.0000 0.0163 0.0000 0.0480 0.0199 0.0187 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0097 0.1151 0.1522 0.0445 0.0617 0.1151 0.1522 1.3867 0.0016 0.0000 0.0539 0.0000 0.1522 0.0445 0.0617 151-AH 0.0000 0.0000 0.0000 0.0132 0.0756 0.0156 0.0302 0.0132 0.0756 1.9308 0.0001 0.0000 0.0241 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0289 0.0530 0.0879 0.3103 0.0680 0.0790 0.0590 0.3103 1.1616 0.0159 0.0001 0.0465 0.0000 0.0879 0.0478 0.0320 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.0331 0.0717 0.0811 0.1146 0.1667 0.0923 0.0369 0.0428 0.1336 0.3995 0.0848 0.0765 0.0293 0.0331 0.1667 0.0923 0.0369 155-AH 0.0000 0.0000 0.0000 0.0113 0.0625 0.0078 0.0174 0.0113 0.0625 2.2281 0.0001 0.0000 0.0108 0.0000 0.0166 0.0033 0.0060 156-AH 0.0000 0.0210 0.0279 0.0361 0.0396 0.0256 0.0133 0.0150 0.0396 0.5216 0.0086 0.0001 0.0099 0.0000 0.0396 0.0256 0.0133 157-AH 0.2725 0.3903 0.4033 0.4571 0.5625 0.4141 0.0713 0.0668 0.2900 0.1721 0.4083 0.4021 0.0502 0.3235 0.4757 0.4135 0.0434 158-AH 0.0000 0.1048 0.1091 0.3474 0.6944 0.2396 0.2534 0.2426 0.6944 1.0576 0.0844 0.0001 0.2023 0.0000 0.6944 0.2396 0.2534 159-AH 0.0000 0.1058 0.1605 0.3111 0.4471 0.2059 0.1583 0.2052 0.4471 0.7691 0.0450 0.0001 0.1261 0.0000 0.4471 0.2059 0.1583 160-AH 0.0000 0.0113 0.0290 0.0616 0.1333 0.0462 0.0509 0.0504 0.1333 1.1019 0.0170 0.0001 0.0402 0.0000 0.1333 0.0462 0.0509 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.1874 0.5158 0.6014 0.7886 0.8091 0.6117 0.1795 0.2728 0.6217 0.2935 0.5776 0.5276 0.1352 0.1874 0.8091 0.6117 0.1795 164-AH 0.0000 0.0378 0.0739 0.0850 0.1076 0.0624 0.0347 0.0472 0.1076 0.5562 0.0179 0.0001 0.0284 0.0000 0.1076 0.0624 0.0347 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0115 0.0864 0.0952 0.1511 0.2222 0.1128 0.0589 0.0646 0.2108 0.5219 0.0938 0.0640 0.0446 0.0115 0.2222 0.1128 0.0589 168-AH 0.0867 0.3313 0.3714 0.4754 0.6190 0.3964 0.1282 0.1441 0.5323 0.3234 0.3666 0.3159 0.0944 0.3023 0.6190 0.4222 0.0921 169-AH 0.0000 0.0000 0.0000 0.0265 0.0455 0.0134 0.0162 0.0265 0.0455 1.2084 0.0004 0.0000 0.0145 0.0000 0.0455 0.0134 0.0162 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0306 0.0347 0.0411 0.0617 0.0847 0.0500 0.0199 0.0270 0.0541 0.3977 0.0467 0.0440 0.0160 0.0306 0.0847 0.0500 0.0199 172-AH 0.0000 0.0000 0.0204 0.0602 0.0725 0.0270 0.0270 0.0602 0.0725 0.9967 0.0027 0.0000 0.0223 0.0000 0.0725 0.0270 0.0270 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.4167 0.4792 0.7143 0.7500 0.7500 0.6360 0.1433 0.2708 0.3333 0.2253 0.6189 0.6000 0.1238 0.4167 0.7500 0.6360 0.1433 176-AH 0.5179 0.5671 0.6364 0.8909 0.9375 0.7071 0.1722 0.3238 0.4196 0.2436 0.6882 0.6705 0.1553 0.5179 0.9375 0.7071 0.1722 177-AH 0.0348 0.0685 0.0932 0.1145 0.1486 0.0938 0.0380 0.0460 0.1138 0.4049 0.0859 0.0774 0.0276 0.0348 0.1486 0.0938 0.0380 178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0532 0.0640 0.4429 0.8889 0.2366 0.3043 0.3897 0.8889 1.2861 0.0614 0.0001 0.2525 0.0000 0.8889 0.2366 0.3043 180-AH 0.0000 0.0000 0.0541 0.2256 0.4375 0.1361 0.1718 0.2256 0.4375 1.2627 0.0069 0.0000 0.1388 0.0000 0.4375 0.1361 0.1718 181-AH 0.2444 0.6879 0.7582 0.8025 0.8667 0.7222 0.1554 0.1146 0.6223 0.2151 0.6962 0.6521 0.0921 0.6771 0.8667 0.7620 0.0620 182-AH 0.0045 0.0760 0.0976 0.6375 0.7500 0.2720 0.3095 0.5615 0.7455 1.1379 0.1249 0.0381 0.2711 0.0045 0.7500 0.2720 0.3095 183-AH 0.0041 0.0370 0.1212 0.2795 0.4286 0.1655 0.1401 0.2426 0.4245 0.8465 0.0806 0.0209 0.1191 0.0041 0.4286 0.1655 0.1401 184-AH 0.0000 0.0000 0.0229 0.0380 0.0707 0.0251 0.0246 0.0380 0.0707 0.9776 0.0026 0.0000 0.0200 0.0000 0.0707 0.0251 0.0246 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.4167 0.7565 1.0000 1.0000 1.0000 0.8573 0.2473 0.2435 0.5833 0.2884 0.8129 0.7573 0.1976 0.4167 1.0000 0.8573 0.2473 190-AH 0.0000 0.0000 0.0170 0.0789 0.1842 0.0453 0.0681 0.0789 0.1842 1.5031 0.0010 0.0000 0.0548 0.0000 0.1842 0.0453 0.0681 170 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0059 0.3846 0.6250 1.0000 1.0000 0.6043 0.3642 0.6154 0.9941 0.6027 0.3304 0.0437 0.3080 0.0059 1.0000 0.6043 0.3642 193-AH 0.0058 0.0806 0.1786 0.1870 0.2500 0.1388 0.0787 0.1063 0.2442 0.5670 0.0960 0.0378 0.0670 0.0058 0.2500 0.1388 0.0787 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.2880 0.5195 0.7451 0.9756 1.0000 0.7214 0.2619 0.4561 0.7120 0.3631 0.6666 0.6032 0.2128 0.2880 1.0000 0.7214 0.2619 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.4000 0.6591 0.7273 0.7569 0.7778 0.6816 0.1132 0.0979 0.3778 0.1660 0.6709 0.6579 0.0805 0.6364 0.7778 0.7237 0.0468 200-AH 0.0137 0.0380 0.1000 0.3946 0.7778 0.2117 0.2314 0.3566 0.7640 1.0931 0.1083 0.0551 0.1902 0.0137 0.7778 0.2117 0.2314 251-AH 0.0000 0.0914 0.0998 0.1637 0.2473 0.1226 0.0671 0.0723 0.2473 0.5468 0.0597 0.0001 0.0514 0.0000 0.2473 0.1226 0.0671 252-AH 0.0532 0.1186 0.1765 0.2560 0.3750 0.2014 0.1042 0.1374 0.3218 0.5172 0.1763 0.1513 0.0833 0.0532 0.3750 0.2014 0.1042 253-AH 0.0000 0.0000 0.0000 0.0000 0.1476 0.0114 0.0409 0.0000 0.1476 3.6056 0.0000 0.0000 0.0210 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.1660 0.2176 0.0588 0.0929 0.1660 0.2176 1.5787 0.0002 0.0000 0.0814 0.0000 0.2176 0.0588 0.0929 255-AH 0.0046 0.3250 0.7500 0.8125 1.0000 0.5907 0.3413 0.4875 0.9954 0.5777 0.3771 0.0524 0.2883 0.0046 1.0000 0.5907 0.3413 256-AH 0.0000 0.6366 0.7381 0.8177 1.0000 0.6600 0.3250 0.1812 1.0000 0.4925 0.1354 0.0001 0.2387 0.4286 1.0000 0.7799 0.1543 257-AH 0.0000 0.0746 0.0977 0.1567 0.2018 0.1080 0.0569 0.0821 0.2018 0.5264 0.0527 0.0001 0.0461 0.0000 0.2018 0.1080 0.0569 258-AH 0.0000 0.0000 0.0000 0.0057 0.0076 0.0026 0.0030 0.0057 0.0076 1.1652 0.0002 0.0000 0.0028 0.0000 0.0076 0.0026 0.0030 259-AH 0.0000 0.0063 0.0151 0.0306 0.0526 0.0187 0.0155 0.0243 0.0526 0.8317 0.0055 0.0001 0.0129 0.0000 0.0526 0.0187 0.0155 260-AH 0.1079 0.1931 0.2368 0.3009 0.4945 0.2579 0.1036 0.1078 0.3866 0.4015 0.2399 0.2227 0.0784 0.1079 0.3947 0.2382 0.0787 261-AH 0.0000 0.0000 0.0000 0.0000 0.0310 0.0024 0.0086 0.0000 0.0310 3.6056 0.0000 0.0000 0.0044 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0300 0.1389 0.0293 0.0558 0.0300 0.1389 1.9059 0.0001 0.0000 0.0450 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0499 0.0842 0.0190 0.0307 0.0499 0.0842 1.6150 0.0001 0.0000 0.0263 0.0000 0.0842 0.0190 0.0307 264-AH 0.0271 0.1245 0.1495 0.1732 0.4146 0.1646 0.0908 0.0487 0.3875 0.5515 0.1424 0.1138 0.0569 0.1127 0.1928 0.1444 0.0246 265-AH 0.0055 0.0837 0.1316 0.2292 0.4286 0.1626 0.1339 0.1455 0.4231 0.8237 0.0959 0.0327 0.1013 0.0055 0.4286 0.1626 0.1339 266-AH 0.0000 0.0000 0.0000 0.0053 0.0305 0.0045 0.0087 0.0053 0.0305 1.9314 0.0001 0.0000 0.0055 0.0000 0.0121 0.0023 0.0039 267-AH 0.0000 0.0000 0.0798 0.1071 0.1442 0.0659 0.0535 0.1071 0.1442 0.8120 0.0053 0.0000 0.0467 0.0000 0.1442 0.0659 0.0535 268-AH 0.0000 0.0159 0.0240 0.0943 0.1875 0.0537 0.0588 0.0784 0.1875 1.0935 0.0178 0.0001 0.0484 0.0000 0.1875 0.0537 0.0588 269-AH 0.0000 0.0071 0.0098 0.1116 0.2188 0.0603 0.0793 0.1045 0.2188 1.3139 0.0055 0.0000 0.0666 0.0000 0.2188 0.0603 0.0793 270-AH 0.0517 0.4955 0.5634 0.6203 0.6897 0.5067 0.1855 0.1248 0.6379 0.3660 0.4365 0.2945 0.1251 0.4819 0.6897 0.5777 0.0661 271-AH 0.1156 0.2069 0.2951 0.3036 0.3864 0.2646 0.0794 0.0966 0.2707 0.3002 0.2518 0.2370 0.0626 0.1156 0.3864 0.2646 0.0794 272-AH 0.0000 0.1404 0.2500 0.3168 0.3243 0.2208 0.1002 0.1764 0.3243 0.4537 0.1046 0.0001 0.0823 0.0000 0.3243 0.2208 0.1002 273-AH 0.0000 0.4769 0.5175 0.5701 0.6146 0.4731 0.1662 0.0931 0.6146 0.3514 0.2188 0.0001 0.1114 0.4196 0.6146 0.5341 0.0528 274-AH 0.0000 0.0000 0.0000 0.0038 0.0152 0.0035 0.0067 0.0038 0.0152 1.9003 0.0001 0.0000 0.0054 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0975 0.2293 0.3786 0.4298 0.2287 0.1634 0.2811 0.4298 0.7146 0.0484 0.0001 0.1408 0.0000 0.4298 0.2287 0.1634 276-AH 0.0000 0.0649 0.0838 0.2114 0.2925 0.1262 0.1029 0.1465 0.2925 0.8154 0.0291 0.0001 0.0865 0.0000 0.2925 0.1262 0.1029 277-AH 0.0000 0.0000 0.0000 0.0052 0.0379 0.0074 0.0147 0.0052 0.0379 1.9777 0.0001 0.0000 0.0114 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0522 0.2000 0.0399 0.0730 0.0522 0.2000 1.8296 0.0002 0.0000 0.0581 0.0000 0.0216 0.0022 0.0068 279-AH 0.0093 0.0122 0.0155 0.2481 0.6000 0.1570 0.2177 0.2359 0.5907 1.3865 0.0504 0.0215 0.1697 0.0093 0.6000 0.1570 0.2177 280-AH 0.0000 0.0000 0.0226 0.0363 0.0579 0.0217 0.0206 0.0363 0.0579 0.9495 0.0015 0.0000 0.0173 0.0000 0.0579 0.0217 0.0206 281-AH 0.1784 0.2207 0.2586 0.2791 0.3030 0.2492 0.0377 0.0584 0.1246 0.1513 0.2464 0.2433 0.0301 0.1784 0.3030 0.2492 0.0377 282-AH 0.0000 0.0466 0.0830 0.1760 0.2316 0.0988 0.0765 0.1293 0.2316 0.7742 0.0426 0.0001 0.0637 0.0000 0.2316 0.0988 0.0765 283-AH 0.0000 0.0346 0.0799 0.0957 0.1742 0.0688 0.0473 0.0611 0.1742 0.6879 0.0186 0.0001 0.0360 0.0000 0.1742 0.0688 0.0473 284-AH 0.0000 0.2250 0.3418 0.4669 0.5600 0.3254 0.2001 0.2419 0.5600 0.6151 0.0357 0.0000 0.1541 0.0000 0.5600 0.3254 0.2001 285-AH 0.0000 0.0000 0.0000 0.1331 0.6429 0.1100 0.1995 0.1331 0.6429 1.8133 0.0005 0.0000 0.1387 0.0000 0.1572 0.0337 0.0597 286-AH 0.0000 0.0000 0.0000 0.0116 0.0213 0.0050 0.0083 0.0116 0.0213 1.6495 0.0001 0.0000 0.0070 0.0000 0.0213 0.0050 0.0083 287-AH 0.0000 0.0958 0.2823 0.3458 0.4118 0.2175 0.1518 0.2500 0.4118 0.6982 0.0251 0.0000 0.1325 0.0000 0.4118 0.2175 0.1518 288-AH 0.0000 0.0000 0.0000 0.0708 0.1964 0.0411 0.0718 0.0708 0.1964 1.7470 0.0002 0.0000 0.0569 0.0000 0.0969 0.0145 0.0331 289-AH 0.3824 0.7117 0.7368 0.8177 0.8889 0.7288 0.1330 0.1060 0.5065 0.1825 0.7147 0.6969 0.0885 0.5926 0.8889 0.7577 0.0865 290-AH 0.0000 0.0409 0.0758 0.0878 0.1383 0.0647 0.0443 0.0469 0.1383 0.6859 0.0101 0.0000 0.0345 0.0000 0.1383 0.0647 0.0443 171 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.1731 0.2211 0.4430 0.5833 0.2970 0.1950 0.2700 0.5833 0.6565 0.1250 0.0001 0.1627 0.0000 0.5833 0.2970 0.1950 292-AH 0.0116 0.1595 0.2353 0.7000 0.8000 0.3914 0.3018 0.5405 0.7884 0.7710 0.2548 0.0977 0.2733 0.0116 0.8000 0.3914 0.3018 293-AH 0.0000 0.4198 0.4630 0.5308 0.5952 0.4369 0.1542 0.1111 0.5952 0.3529 0.2037 0.0001 0.0977 0.2907 0.5952 0.4733 0.0845 294-AH 0.0000 0.0000 0.5526 0.6341 0.6667 0.3767 0.3019 0.6341 0.6667 0.8015 0.0177 0.0000 0.2734 0.0000 0.6667 0.3767 0.3019 295-AH 0.0000 0.0000 0.0742 0.0947 0.1607 0.0576 0.0607 0.0947 0.1607 1.0522 0.0014 0.0000 0.0532 0.0000 0.1607 0.0576 0.0607 296-AH 0.0651 0.1735 0.3778 0.4483 0.5312 0.3078 0.1694 0.2748 0.4661 0.5503 0.2518 0.1920 0.1555 0.0651 0.5312 0.3078 0.1694 297-AH 0.0000 0.0113 0.0141 0.0271 0.0687 0.0226 0.0219 0.0159 0.0687 0.9675 0.0065 0.0001 0.0160 0.0000 0.0347 0.0146 0.0103 298-AH 0.0000 0.0524 0.0559 0.0929 0.1078 0.0646 0.0305 0.0405 0.1078 0.4727 0.0334 0.0001 0.0237 0.0000 0.1078 0.0646 0.0305 299-AH 0.0000 0.0000 0.0709 0.1181 0.1564 0.0714 0.0562 0.1181 0.1564 0.7871 0.0058 0.0000 0.0473 0.0000 0.1564 0.0714 0.0562 300-AH 0.0000 0.0000 0.0586 0.0753 0.1500 0.0544 0.0461 0.0753 0.1500 0.8470 0.0048 0.0000 0.0350 0.0000 0.1500 0.0544 0.0461 301-AH 0.0000 0.0000 0.0000 0.0613 0.1781 0.0339 0.0541 0.0613 0.1781 1.5954 0.0003 0.0000 0.0417 0.0000 0.0896 0.0219 0.0338 302-AH 0.0000 0.1461 0.2553 0.3450 0.5000 0.2574 0.1278 0.1989 0.5000 0.4964 0.1189 0.0001 0.0957 0.0000 0.5000 0.2574 0.1278 303-AH 0.0000 0.0000 0.0000 0.0204 0.0610 0.0151 0.0225 0.0204 0.0610 1.4922 0.0004 0.0000 0.0170 0.0000 0.0314 0.0068 0.0106 304-AH 0.0000 0.0000 0.0215 0.0699 0.2075 0.0565 0.0867 0.0699 0.2075 1.5348 0.0019 0.0000 0.0697 0.0000 0.0241 0.0112 0.0118 305-AH 0.0000 0.0000 0.1536 0.1794 0.2332 0.0992 0.0971 0.1794 0.2332 0.9788 0.0020 0.0000 0.0916 0.0000 0.2332 0.0992 0.0971 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0000 0.0000 0.0555 0.1327 0.0236 0.0413 0.0555 0.1327 1.7511 0.0002 0.0000 0.0327 0.0000 0.1327 0.0236 0.0413 308-AH 0.1818 0.5415 0.8000 1.0000 1.0000 0.7043 0.2859 0.4585 0.8182 0.4059 0.6294 0.5333 0.2296 0.1818 1.0000 0.7043 0.2859 309-AH 0.0107 0.0113 0.0483 0.0602 0.0727 0.0399 0.0237 0.0488 0.0621 0.5938 0.0315 0.0234 0.0215 0.0107 0.0727 0.0399 0.0237 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0705 0.1133 0.2413 0.2923 0.1462 0.0976 0.1708 0.2923 0.6673 0.0648 0.0001 0.0852 0.0000 0.2923 0.1462 0.0976 312-AH 0.0000 0.1796 0.3286 0.4600 0.5581 0.2996 0.1845 0.2804 0.5581 0.6160 0.0641 0.0001 0.1502 0.0000 0.5581 0.2996 0.1845 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0146 0.0421 0.0475 0.0756 0.0376 0.0210 0.0329 0.0756 0.5595 0.0191 0.0001 0.0164 0.0000 0.0756 0.0376 0.0210 315-AH 0.0000 0.0000 0.0432 0.2576 0.3621 0.1180 0.1477 0.2576 0.3621 1.2525 0.0019 0.0000 0.1317 0.0000 0.3621 0.1180 0.1477 316-AH 0.0000 0.0000 0.1133 0.1657 0.1772 0.0886 0.0760 0.1657 0.1772 0.8583 0.0036 0.0000 0.0681 0.0000 0.1772 0.0886 0.0760 317-AH 0.0000 0.0285 0.0528 0.1176 0.1479 0.0624 0.0505 0.0890 0.1479 0.8104 0.0159 0.0001 0.0426 0.0000 0.1479 0.0624 0.0505 318-AH 0.0000 0.0544 0.0654 0.0814 0.0986 0.0650 0.0243 0.0270 0.0986 0.3740 0.0349 0.0001 0.0170 0.0496 0.0986 0.0704 0.0151 319-AH 0.0000 0.0000 0.0838 0.1207 0.2745 0.0933 0.0948 0.1207 0.2745 1.0168 0.0063 0.0000 0.0718 0.0000 0.2745 0.0933 0.0948 320-AH 0.0000 0.0000 0.0000 0.0144 0.0305 0.0072 0.0103 0.0144 0.0305 1.4297 0.0002 0.0000 0.0089 0.0000 0.0305 0.0072 0.0103 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0218 0.0333 0.0485 0.0509 0.0542 0.0437 0.0114 0.0176 0.0324 0.2613 0.0419 0.0399 0.0096 0.0218 0.0542 0.0437 0.0114 323-AH 0.0000 0.0000 0.0000 0.0262 0.0288 0.0105 0.0138 0.0262 0.0288 1.3203 0.0002 0.0000 0.0129 0.0000 0.0288 0.0105 0.0138 324-AH 0.0000 0.0000 0.0000 0.5946 0.7297 0.2124 0.3073 0.5946 0.7297 1.4466 0.0012 0.0000 0.2699 0.0000 0.7297 0.2124 0.3073 325-AH 0.0000 0.0000 0.0000 0.0846 0.3981 0.0872 0.1662 0.0846 0.3981 1.9069 0.0001 0.0000 0.1341 0.0000 0.0000 0.0000 0.0000 326-AH 0.0051 0.0154 0.0189 0.0529 0.0909 0.0315 0.0252 0.0375 0.0858 0.8003 0.0227 0.0157 0.0204 0.0051 0.0909 0.0315 0.0252 327-AH 0.0000 0.0000 0.0354 0.2557 0.2857 0.1154 0.1251 0.2557 0.2857 1.0845 0.0059 0.0000 0.1131 0.0000 0.2857 0.1154 0.1251 328-AH 0.0556 0.4277 0.5152 0.5897 0.7200 0.4935 0.1754 0.1620 0.6644 0.3555 0.4345 0.3094 0.1261 0.2833 0.7200 0.5299 0.1212 329-AH 0.1000 0.4427 0.5217 0.6316 0.6316 0.4857 0.1572 0.1889 0.5316 0.3235 0.4457 0.3764 0.1137 0.2653 0.6316 0.5179 0.1109 330-AH 0.6471 0.6723 0.7037 0.7781 0.8000 0.7210 0.0550 0.1058 0.1529 0.0762 0.7191 0.7173 0.0462 0.6471 0.8000 0.7210 0.0550 331-AH 0.1165 0.1451 0.2295 0.4444 0.5000 0.2769 0.1488 0.2994 0.3835 0.5376 0.2399 0.2081 0.1302 0.1165 0.5000 0.2769 0.1488 332-AH 0.1765 0.1791 0.2308 0.2403 0.2759 0.2209 0.0332 0.0613 0.0994 0.1505 0.2185 0.2160 0.0275 0.1765 0.2759 0.2209 0.0332 333-AH 0.4000 0.9500 1.0000 1.0000 1.0000 0.8923 0.2253 0.0500 0.6000 0.2525 0.8537 0.8000 0.1657 1.0000 1.0000 1.0000 0.0000 334-AH 0.0060 0.0098 0.0976 0.1726 0.2000 0.0957 0.0762 0.1628 0.1940 0.7968 0.0536 0.0232 0.0648 0.0060 0.2000 0.0957 0.0762 335-AH 0.0000 0.0287 0.0469 0.0759 0.1250 0.0502 0.0349 0.0471 0.1250 0.6954 0.0141 0.0001 0.0254 0.0000 0.1250 0.0502 0.0349 336-AH 0.0000 0.0000 0.0266 0.0452 0.0759 0.0289 0.0273 0.0452 0.0759 0.9442 0.0029 0.0000 0.0219 0.0000 0.0759 0.0289 0.0273 337-AH 0.5517 0.6818 0.7000 0.9344 0.9412 0.7671 0.1396 0.2526 0.3895 0.1820 0.7552 0.7433 0.1221 0.5517 0.9412 0.7671 0.1396 338-AH 0.0000 0.3787 0.4667 0.7000 0.7778 0.4634 0.2581 0.3213 0.7778 0.5570 0.1861 0.0001 0.1841 0.0000 0.7778 0.4634 0.2581 339-AH 0.0960 0.2725 0.3415 0.5600 0.7143 0.4017 0.1838 0.2875 0.6182 0.4574 0.3575 0.3057 0.1571 0.0960 0.7143 0.4017 0.1838 340-AH 0.0000 0.0088 0.0656 0.1162 0.5000 0.0921 0.1325 0.1074 0.5000 1.4383 0.0094 0.0000 0.0788 0.0000 0.1333 0.0581 0.0526 172 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0000 0.0196 0.0926 0.0185 0.0334 0.0196 0.0926 1.8074 0.0004 0.0000 0.0234 0.0000 0.0242 0.0052 0.0085 342-AH 0.1963 0.4607 0.4964 0.6822 0.7717 0.5318 0.1515 0.2215 0.5754 0.2848 0.5071 0.4749 0.1124 0.1963 0.7717 0.5318 0.1515 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.1297 0.2243 0.4407 0.5455 0.2639 0.1599 0.3109 0.5455 0.6059 0.1161 0.0001 0.1273 0.0000 0.5455 0.2639 0.1599 345-AH 0.0000 0.0271 0.0467 0.0772 0.1429 0.0568 0.0389 0.0501 0.1429 0.6848 0.0261 0.0001 0.0300 0.0000 0.1429 0.0568 0.0389 346-AH 0.0000 0.0227 0.0379 0.0437 0.0667 0.0333 0.0212 0.0210 0.0667 0.6355 0.0061 0.0000 0.0158 0.0000 0.0667 0.0333 0.0212 347-AH 0.0000 0.0073 0.0195 0.0275 0.0419 0.0201 0.0128 0.0202 0.0419 0.6366 0.0104 0.0001 0.0096 0.0000 0.0419 0.0201 0.0128 348-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 349-AH 0.0739 0.2625 0.3125 0.3305 0.4651 0.3035 0.0961 0.0680 0.3912 0.3166 0.2829 0.2493 0.0631 0.2500 0.3846 0.2971 0.0399 350-AH 0.3333 0.3500 0.4667 0.7000 0.7000 0.5075 0.1629 0.3500 0.3667 0.3210 0.4834 0.4608 0.1500 0.3333 0.7000 0.5075 0.1629 173 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 0.7778 0.8750 1.0000 1.0000 1.0000 0.9444 0.0773 0.1250 0.2222 0.0819 0.9414 0.9381 0.0684 0.7778 1.0000 0.9444 0.0773 143-AH 0.0000 0.0000 0.0488 0.6667 0.8919 0.3185 0.3573 0.6667 0.8919 1.1219 0.0033 0.0000 0.3355 0.0000 0.8919 0.3185 0.3573 144-AH 0.0000 0.0052 0.2500 0.4375 0.7500 0.2813 0.2943 0.4323 0.7500 1.0461 0.0210 0.0000 0.2272 0.0000 0.7500 0.2813 0.2943 145-AH 0.0000 0.0000 0.3010 0.4946 0.5636 0.2630 0.2301 0.4946 0.5636 0.8748 0.0128 0.0000 0.2003 0.0000 0.5636 0.2630 0.2301 146-AH 0.0000 0.0000 0.0022 0.0077 0.0392 0.0066 0.0109 0.0077 0.0392 1.6568 0.0004 0.0000 0.0069 0.0000 0.0153 0.0039 0.0049 147-AH 0.0000 0.1735 0.3228 0.3796 0.5190 0.2734 0.1648 0.2061 0.5190 0.6029 0.0585 0.0001 0.1318 0.0000 0.5190 0.2734 0.1648 148-AH 0.0000 0.0000 0.0254 0.0370 0.0480 0.0199 0.0187 0.0370 0.0480 0.9409 0.0014 0.0000 0.0163 0.0000 0.0480 0.0199 0.0187 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0449 0.1379 0.0295 0.0493 0.0449 0.1379 1.6750 0.0003 0.0000 0.0377 0.0000 0.0571 0.0107 0.0202 151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0194 0.0280 0.0520 0.3103 0.0510 0.0800 0.0326 0.3103 1.5690 0.0111 0.0001 0.0404 0.0000 0.0520 0.0294 0.0190 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.0000 0.0411 0.0639 0.0733 0.1053 0.0588 0.0283 0.0322 0.1053 0.4817 0.0304 0.0001 0.0218 0.0000 0.1053 0.0588 0.0283 155-AH 0.0000 0.0000 0.0000 0.0113 0.0625 0.0078 0.0174 0.0113 0.0625 2.2281 0.0001 0.0000 0.0108 0.0000 0.0166 0.0033 0.0060 156-AH 0.0000 0.0136 0.0222 0.0291 0.0328 0.0197 0.0124 0.0155 0.0328 0.6264 0.0041 0.0000 0.0096 0.0000 0.0328 0.0197 0.0124 157-AH 0.2200 0.3030 0.3436 0.3579 0.5045 0.3330 0.0716 0.0549 0.2845 0.2150 0.3260 0.3188 0.0472 0.2295 0.3601 0.3277 0.0436 158-AH 0.0000 0.0821 0.0929 0.1947 0.4915 0.1706 0.1850 0.1126 0.4915 1.0847 0.0605 0.0001 0.1480 0.0000 0.0959 0.0743 0.0325 159-AH 0.0000 0.0460 0.1114 0.2089 0.3411 0.1391 0.1247 0.1628 0.3411 0.8969 0.0301 0.0001 0.0972 0.0000 0.3411 0.1391 0.1247 160-AH 0.0000 0.0113 0.0290 0.0616 0.1333 0.0462 0.0509 0.0504 0.1333 1.1019 0.0170 0.0001 0.0402 0.0000 0.1333 0.0462 0.0509 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.1056 0.3321 0.4714 0.7001 0.7500 0.4833 0.2110 0.3680 0.6444 0.4365 0.4293 0.3602 0.1768 0.1056 0.7500 0.4833 0.2110 164-AH 0.0000 0.0296 0.0522 0.0661 0.1076 0.0507 0.0334 0.0365 0.1076 0.6590 0.0145 0.0001 0.0251 0.0000 0.1076 0.0507 0.0334 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0115 0.0864 0.0952 0.1511 0.2222 0.1128 0.0589 0.0646 0.2108 0.5219 0.0938 0.0640 0.0446 0.0115 0.2222 0.1128 0.0589 168-AH 0.0867 0.2817 0.3571 0.4754 0.5769 0.3597 0.1385 0.1937 0.4902 0.3850 0.3254 0.2779 0.1022 0.0867 0.5769 0.3597 0.1385 169-AH 0.0000 0.0000 0.0000 0.0265 0.0455 0.0134 0.0162 0.0265 0.0455 1.2084 0.0004 0.0000 0.0145 0.0000 0.0455 0.0134 0.0162 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0225 0.0280 0.0360 0.0495 0.0672 0.0395 0.0136 0.0215 0.0447 0.3437 0.0375 0.0356 0.0116 0.0225 0.0672 0.0395 0.0136 172-AH 0.0000 0.0000 0.0187 0.0386 0.0536 0.0212 0.0198 0.0386 0.0536 0.9296 0.0024 0.0000 0.0159 0.0000 0.0536 0.0212 0.0198 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.2308 0.3750 0.4615 0.7500 0.7500 0.5284 0.1942 0.3750 0.5192 0.3675 0.4937 0.4588 0.1704 0.2308 0.7500 0.5284 0.1942 176-AH 0.4706 0.5132 0.6154 0.8568 0.9167 0.6699 0.1769 0.3436 0.4461 0.2640 0.6491 0.6298 0.1585 0.4706 0.9167 0.6699 0.1769 177-AH 0.0228 0.0281 0.0493 0.1071 0.1486 0.0701 0.0491 0.0790 0.1258 0.7004 0.0559 0.0452 0.0403 0.0228 0.1486 0.0701 0.0491 178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0000 0.0395 0.1711 0.7500 0.1476 0.2428 0.1711 0.7500 1.6442 0.0033 0.0000 0.1784 0.0000 0.2903 0.0552 0.0884 180-AH 0.0000 0.0000 0.0365 0.1827 0.3696 0.1033 0.1304 0.1827 0.3696 1.2629 0.0032 0.0000 0.1063 0.0000 0.3696 0.1033 0.1304 181-AH 0.1689 0.6423 0.6981 0.7171 0.7677 0.6532 0.1515 0.0748 0.5987 0.2320 0.6211 0.5583 0.0848 0.6218 0.7677 0.6936 0.0442 182-AH 0.0000 0.0714 0.0976 0.1456 0.1818 0.0980 0.0563 0.0742 0.1818 0.5747 0.0432 0.0001 0.0427 0.0000 0.1818 0.0980 0.0563 183-AH 0.0041 0.0370 0.1212 0.2714 0.3333 0.1546 0.1225 0.2345 0.3293 0.7922 0.0780 0.0207 0.1057 0.0041 0.3333 0.1546 0.1225 184-AH 0.0000 0.0000 0.0000 0.0157 0.0379 0.0090 0.0140 0.0157 0.0379 1.5529 0.0002 0.0000 0.0111 0.0000 0.0379 0.0090 0.0140 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.2857 0.5261 0.6364 0.7778 0.8571 0.6189 0.2045 0.2517 0.5714 0.3304 0.5799 0.5342 0.1567 0.2857 0.8571 0.6189 0.2045 190-AH 0.0000 0.0000 0.0000 0.0023 0.0091 0.0021 0.0040 0.0023 0.0091 1.9003 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000 174 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0059 0.3846 0.6250 1.0000 1.0000 0.6043 0.3642 0.6154 0.9941 0.6027 0.3304 0.0437 0.3080 0.0059 1.0000 0.6043 0.3642 193-AH 0.0000 0.0075 0.1429 0.1740 0.2222 0.1054 0.0862 0.1666 0.2222 0.8185 0.0182 0.0001 0.0776 0.0000 0.2222 0.1054 0.0862 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.2128 0.4428 0.6349 0.9389 0.9756 0.6472 0.2788 0.4961 0.7628 0.4308 0.5789 0.5022 0.2243 0.2128 0.9756 0.6472 0.2788 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.4000 0.5536 0.5714 0.7273 0.7500 0.6113 0.1127 0.1737 0.3500 0.1844 0.6011 0.5902 0.0958 0.4000 0.7500 0.6113 0.1127 200-AH 0.0084 0.0199 0.0222 0.0302 0.3636 0.0498 0.0946 0.0103 0.3553 1.9019 0.0274 0.0219 0.0483 0.0084 0.0357 0.0236 0.0080 251-AH 0.0000 0.0000 0.0608 0.0781 0.1448 0.0566 0.0466 0.0781 0.1448 0.8230 0.0049 0.0000 0.0351 0.0000 0.1448 0.0566 0.0466 252-AH 0.0369 0.0845 0.1412 0.2420 0.3529 0.1752 0.1039 0.1575 0.3160 0.5932 0.1450 0.1161 0.0884 0.0369 0.3529 0.1752 0.1039 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0237 0.0678 0.1002 0.2353 0.0777 0.0641 0.0765 0.2353 0.8252 0.0326 0.0001 0.0467 0.0000 0.1538 0.0646 0.0452 256-AH 0.0000 0.5500 0.7250 0.7428 0.7778 0.5840 0.2834 0.1928 0.7778 0.4853 0.1220 0.0001 0.2182 0.3333 0.7778 0.6901 0.1255 257-AH 0.0000 0.0000 0.0688 0.1238 0.1461 0.0606 0.0615 0.1238 0.1461 1.0150 0.0015 0.0000 0.0560 0.0000 0.1461 0.0606 0.0615 258-AH 0.0000 0.0000 0.0000 0.0000 0.0059 0.0009 0.0021 0.0000 0.0059 2.4441 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0063 0.0151 0.0306 0.0526 0.0187 0.0155 0.0243 0.0526 0.8317 0.0055 0.0001 0.0129 0.0000 0.0526 0.0187 0.0155 260-AH 0.0000 0.0000 0.1151 0.2749 0.3778 0.1484 0.1376 0.2749 0.3778 0.9268 0.0091 0.0000 0.1134 0.0000 0.3778 0.1484 0.1376 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0396 0.0030 0.0110 0.0000 0.0396 3.6056 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0000 0.1040 0.1275 0.3051 0.1007 0.0927 0.1275 0.3051 0.9203 0.0071 0.0000 0.0663 0.0000 0.3051 0.1007 0.0927 265-AH 0.0055 0.0837 0.1316 0.2292 0.4286 0.1626 0.1339 0.1455 0.4231 0.8237 0.0959 0.0327 0.1013 0.0055 0.4286 0.1626 0.1339 266-AH 0.0000 0.0000 0.0000 0.0053 0.0305 0.0045 0.0087 0.0053 0.0305 1.9314 0.0001 0.0000 0.0055 0.0000 0.0121 0.0023 0.0039 267-AH 0.0000 0.0000 0.0415 0.0750 0.0899 0.0400 0.0340 0.0750 0.0899 0.8499 0.0038 0.0000 0.0292 0.0000 0.0899 0.0400 0.0340 268-AH 0.0000 0.0159 0.0240 0.0943 0.1875 0.0537 0.0588 0.0784 0.1875 1.0935 0.0178 0.0001 0.0484 0.0000 0.1875 0.0537 0.0588 269-AH 0.0000 0.0000 0.0098 0.0568 0.1818 0.0436 0.0640 0.0568 0.1818 1.4665 0.0027 0.0000 0.0478 0.0000 0.0672 0.0192 0.0254 270-AH 0.0000 0.3925 0.4466 0.5620 0.5974 0.4197 0.1869 0.1695 0.5974 0.4452 0.1834 0.0001 0.1310 0.3333 0.5974 0.4885 0.0883 271-AH 0.0266 0.0845 0.1818 0.2479 0.2941 0.1699 0.0982 0.1635 0.2676 0.5783 0.1316 0.0886 0.0798 0.0266 0.2941 0.1699 0.0982 272-AH 0.0000 0.0418 0.1579 0.2904 0.3243 0.1675 0.1264 0.2486 0.3243 0.7546 0.0614 0.0001 0.1093 0.0000 0.3243 0.1675 0.1264 273-AH 0.0000 0.3057 0.3918 0.4265 0.5000 0.3555 0.1364 0.1208 0.5000 0.3836 0.1661 0.0001 0.0992 0.1831 0.5000 0.3851 0.0886 274-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0429 0.1480 0.3566 0.3732 0.1804 0.1575 0.3136 0.3732 0.8734 0.0195 0.0000 0.1391 0.0000 0.3732 0.1804 0.1575 276-AH 0.0000 0.0000 0.0558 0.1077 0.2212 0.0674 0.0825 0.1077 0.2212 1.2242 0.0015 0.0000 0.0644 0.0000 0.2212 0.0674 0.0825 277-AH 0.0000 0.0000 0.0000 0.0000 0.0379 0.0058 0.0142 0.0000 0.0379 2.4410 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0267 0.1545 0.0296 0.0571 0.0267 0.1545 1.9294 0.0001 0.0000 0.0455 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0107 0.0154 0.0264 0.0476 0.0184 0.0130 0.0157 0.0476 0.7047 0.0095 0.0001 0.0098 0.0000 0.0476 0.0184 0.0130 280-AH 0.0000 0.0000 0.0000 0.0314 0.0515 0.0139 0.0190 0.0314 0.0515 1.3652 0.0002 0.0000 0.0172 0.0000 0.0515 0.0139 0.0190 281-AH 0.1675 0.1905 0.2024 0.2395 0.2500 0.2098 0.0275 0.0490 0.0825 0.1309 0.2082 0.2066 0.0231 0.1675 0.2500 0.2098 0.0275 282-AH 0.0000 0.0000 0.0308 0.1424 0.1773 0.0602 0.0698 0.1424 0.1773 1.1609 0.0025 0.0000 0.0596 0.0000 0.1773 0.0602 0.0698 283-AH 0.0000 0.0000 0.0536 0.0734 0.0878 0.0429 0.0375 0.0734 0.0878 0.8738 0.0023 0.0000 0.0334 0.0000 0.0878 0.0429 0.0375 284-AH 0.0000 0.1831 0.2963 0.4090 0.4844 0.2820 0.1761 0.2259 0.4844 0.6243 0.0318 0.0000 0.1360 0.0000 0.4844 0.2820 0.1761 285-AH 0.0000 0.0000 0.0000 0.0884 0.6364 0.0935 0.1882 0.0884 0.6364 2.0138 0.0004 0.0000 0.1210 0.0000 0.0931 0.0219 0.0383 286-AH 0.0000 0.0000 0.0000 0.0000 0.0104 0.0008 0.0029 0.0000 0.0104 3.6056 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0523 0.1547 0.2024 0.3053 0.1326 0.0997 0.1501 0.3053 0.7523 0.0169 0.0000 0.0826 0.0000 0.3053 0.1326 0.0997 288-AH 0.0000 0.0000 0.0000 0.0162 0.1614 0.0266 0.0543 0.0162 0.1614 2.0402 0.0001 0.0000 0.0409 0.0000 0.0000 0.0000 0.0000 289-AH 0.3556 0.6250 0.6957 0.7619 0.8889 0.6847 0.1313 0.1369 0.5333 0.1918 0.6706 0.6531 0.0928 0.5926 0.8889 0.7121 0.0903 290-AH 0.0000 0.0000 0.0637 0.0748 0.1064 0.0434 0.0434 0.0748 0.1064 0.9998 0.0013 0.0000 0.0400 0.0000 0.1064 0.0434 0.0434 175 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0741 0.0968 0.1068 0.1412 0.0905 0.0341 0.0327 0.1412 0.3769 0.0473 0.0001 0.0233 0.0647 0.1412 0.0980 0.0215 292-AH 0.0116 0.1595 0.2353 0.7000 0.8000 0.3914 0.3018 0.5405 0.7884 0.7710 0.2548 0.0977 0.2733 0.0116 0.8000 0.3914 0.3018 293-AH 0.0000 0.2478 0.3836 0.4302 0.5490 0.3393 0.1480 0.1824 0.5490 0.4361 0.1561 0.0001 0.1161 0.0000 0.5490 0.3393 0.1480 294-AH 0.0000 0.0000 0.4792 0.6031 0.6667 0.3485 0.2807 0.6031 0.6667 0.8056 0.0168 0.0000 0.2514 0.0000 0.6667 0.3485 0.2807 295-AH 0.0000 0.0000 0.0000 0.0585 0.0660 0.0266 0.0306 0.0585 0.0660 1.1494 0.0005 0.0000 0.0286 0.0000 0.0660 0.0266 0.0306 296-AH 0.0000 0.1009 0.2941 0.4378 0.4565 0.2498 0.1824 0.3369 0.4565 0.7301 0.0916 0.0001 0.1649 0.0000 0.4565 0.2498 0.1824 297-AH 0.0000 0.0000 0.0134 0.0208 0.0645 0.0165 0.0223 0.0208 0.0645 1.3501 0.0007 0.0000 0.0161 0.0000 0.0219 0.0081 0.0097 298-AH 0.0000 0.0361 0.0444 0.0733 0.0801 0.0480 0.0266 0.0372 0.0801 0.5549 0.0144 0.0001 0.0204 0.0000 0.0801 0.0480 0.0266 299-AH 0.0000 0.0000 0.0000 0.0978 0.1457 0.0489 0.0566 0.0978 0.1457 1.1587 0.0007 0.0000 0.0526 0.0000 0.1457 0.0489 0.0566 300-AH 0.0000 0.0000 0.0469 0.0580 0.0894 0.0354 0.0314 0.0580 0.0894 0.8883 0.0020 0.0000 0.0272 0.0000 0.0894 0.0354 0.0314 301-AH 0.0000 0.0000 0.0000 0.0418 0.1781 0.0283 0.0509 0.0418 0.1781 1.8000 0.0003 0.0000 0.0348 0.0000 0.0703 0.0158 0.0247 302-AH 0.0000 0.0966 0.2188 0.2449 0.2800 0.1864 0.0869 0.1484 0.2800 0.4662 0.0882 0.0001 0.0715 0.0000 0.2800 0.1864 0.0869 303-AH 0.0000 0.0000 0.0000 0.0033 0.0353 0.0064 0.0133 0.0033 0.0353 2.0675 0.0001 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000 304-AH 0.0000 0.0000 0.0172 0.0239 0.0251 0.0135 0.0114 0.0239 0.0251 0.8440 0.0011 0.0000 0.0104 0.0000 0.0251 0.0135 0.0114 305-AH 0.0000 0.0000 0.1152 0.1379 0.1953 0.0801 0.0800 0.1379 0.1953 0.9987 0.0017 0.0000 0.0739 0.0000 0.1953 0.0801 0.0800 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0000 0.0000 0.0000 0.1123 0.0086 0.0312 0.0000 0.1123 3.6056 0.0000 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000 308-AH 0.0714 0.1993 0.2571 0.5471 0.6923 0.3436 0.2102 0.3477 0.6209 0.6118 0.2859 0.2321 0.1753 0.0714 0.6923 0.3436 0.2102 309-AH 0.0083 0.0104 0.0428 0.0602 0.0727 0.0371 0.0246 0.0497 0.0644 0.6634 0.0278 0.0199 0.0224 0.0083 0.0727 0.0371 0.0246 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0542 0.1030 0.1782 0.2066 0.1077 0.0723 0.1241 0.2066 0.6717 0.0269 0.0001 0.0597 0.0000 0.2066 0.1077 0.0723 312-AH 0.0000 0.1441 0.2167 0.4464 0.5556 0.2484 0.1782 0.3023 0.5556 0.7176 0.0533 0.0001 0.1397 0.0000 0.5556 0.2484 0.1782 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0180 0.0393 0.0676 0.0225 0.0234 0.0393 0.0676 1.0388 0.0014 0.0000 0.0195 0.0000 0.0676 0.0225 0.0234 315-AH 0.0000 0.0000 0.0000 0.1211 0.2712 0.0614 0.1042 0.1211 0.2712 1.6988 0.0002 0.0000 0.0850 0.0000 0.2712 0.0614 0.1042 316-AH 0.0000 0.0000 0.1010 0.1114 0.1332 0.0618 0.0600 0.1114 0.1332 0.9721 0.0015 0.0000 0.0570 0.0000 0.1332 0.0618 0.0600 317-AH 0.0000 0.0000 0.0000 0.0916 0.1206 0.0357 0.0488 0.0916 0.1206 1.3667 0.0003 0.0000 0.0439 0.0000 0.1206 0.0357 0.0488 318-AH 0.0000 0.0398 0.0545 0.0608 0.0976 0.0517 0.0231 0.0210 0.0976 0.4469 0.0276 0.0001 0.0163 0.0311 0.0727 0.0522 0.0127 319-AH 0.0000 0.0000 0.0000 0.0000 0.0376 0.0029 0.0104 0.0000 0.0376 3.6056 0.0000 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0163 0.0013 0.0045 0.0000 0.0163 3.6056 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0226 0.0242 0.0341 0.0432 0.0248 0.0130 0.0115 0.0432 0.5238 0.0084 0.0001 0.0091 0.0197 0.0432 0.0293 0.0076 323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.5827 0.6593 0.1874 0.2931 0.5827 0.6593 1.5641 0.0003 0.0000 0.2595 0.0000 0.6593 0.1874 0.2931 325-AH 0.0000 0.0000 0.0000 0.0609 0.3630 0.0668 0.1297 0.0609 0.3630 1.9403 0.0001 0.0000 0.1028 0.0000 0.0000 0.0000 0.0000 326-AH 0.0000 0.0000 0.0000 0.0064 0.0176 0.0037 0.0064 0.0064 0.0176 1.7454 0.0001 0.0000 0.0051 0.0000 0.0157 0.0025 0.0050 327-AH 0.0000 0.0000 0.0354 0.1392 0.2857 0.0781 0.0921 0.1392 0.2857 1.1794 0.0047 0.0000 0.0762 0.0000 0.2857 0.0781 0.0921 328-AH 0.0380 0.3615 0.4750 0.5564 0.5588 0.4228 0.1534 0.1948 0.5208 0.3628 0.3661 0.2392 0.1154 0.2632 0.5588 0.4549 0.1053 329-AH 0.0547 0.2277 0.4000 0.4118 0.4375 0.3126 0.1320 0.1840 0.3828 0.4221 0.2700 0.2082 0.1073 0.0547 0.4375 0.3126 0.1320 330-AH 0.6029 0.6577 0.6721 0.6833 0.7193 0.6679 0.0295 0.0256 0.1164 0.0441 0.6673 0.6667 0.0210 0.6308 0.7193 0.6733 0.0230 331-AH 0.0982 0.1266 0.2295 0.2748 0.5000 0.2301 0.1348 0.1482 0.4018 0.5859 0.1985 0.1734 0.1020 0.0982 0.4828 0.2076 0.1125 332-AH 0.1702 0.1791 0.2258 0.2353 0.2759 0.2170 0.0335 0.0563 0.1056 0.1543 0.2145 0.2121 0.0276 0.1702 0.2759 0.2170 0.0335 333-AH 0.4000 0.9500 1.0000 1.0000 1.0000 0.8923 0.2253 0.0500 0.6000 0.2525 0.8537 0.8000 0.1657 1.0000 1.0000 1.0000 0.0000 334-AH 0.0060 0.0098 0.0976 0.1726 0.2000 0.0957 0.0762 0.1628 0.1940 0.7968 0.0536 0.0232 0.0648 0.0060 0.2000 0.0957 0.0762 335-AH 0.0000 0.0149 0.0369 0.0470 0.1017 0.0369 0.0306 0.0320 0.1017 0.8278 0.0062 0.0000 0.0230 0.0000 0.0816 0.0315 0.0246 336-AH 0.0000 0.0000 0.0266 0.0353 0.0679 0.0217 0.0236 0.0353 0.0679 1.0889 0.0008 0.0000 0.0200 0.0000 0.0679 0.0217 0.0236 337-AH 0.3200 0.6379 0.6667 0.8222 0.9412 0.6960 0.1688 0.1843 0.6212 0.2425 0.6735 0.6460 0.1232 0.5333 0.9412 0.7274 0.1309 338-AH 0.0000 0.1132 0.3600 0.4863 0.6154 0.3005 0.2250 0.3731 0.6154 0.7486 0.1102 0.0001 0.1999 0.0000 0.6154 0.3005 0.2250 339-AH 0.0960 0.2071 0.2254 0.5379 0.6957 0.3388 0.1976 0.3308 0.5996 0.5832 0.2898 0.2483 0.1691 0.0960 0.6957 0.3388 0.1976 340-AH 0.0000 0.0088 0.0656 0.1162 0.5000 0.0921 0.1325 0.1074 0.5000 1.4383 0.0094 0.0000 0.0788 0.0000 0.1333 0.0581 0.0526 176 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0000 0.0196 0.0926 0.0185 0.0334 0.0196 0.0926 1.8074 0.0004 0.0000 0.0234 0.0000 0.0242 0.0052 0.0085 342-AH 0.1835 0.4215 0.4678 0.6527 0.7264 0.4989 0.1495 0.2312 0.5429 0.2997 0.4741 0.4428 0.1166 0.1835 0.7264 0.4989 0.1495 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.0906 0.1570 0.3830 0.4821 0.2199 0.1581 0.2924 0.4821 0.7189 0.0923 0.0001 0.1296 0.0000 0.4821 0.2199 0.1581 345-AH 0.0000 0.0000 0.0252 0.0739 0.1429 0.0459 0.0452 0.0739 0.1429 0.9843 0.0039 0.0000 0.0378 0.0000 0.1429 0.0459 0.0452 346-AH 0.0000 0.0227 0.0344 0.0359 0.0495 0.0276 0.0164 0.0133 0.0495 0.5958 0.0054 0.0000 0.0127 0.0302 0.0495 0.0358 0.0055 347-AH 0.0000 0.0000 0.0104 0.0230 0.0300 0.0128 0.0113 0.0230 0.0300 0.8863 0.0017 0.0000 0.0093 0.0000 0.0300 0.0128 0.0113 348-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 349-AH 0.0712 0.1960 0.2584 0.3017 0.4000 0.2551 0.0897 0.1057 0.3288 0.3516 0.2368 0.2119 0.0653 0.0712 0.4000 0.2551 0.0897 350-AH 0.2051 0.2645 0.3077 0.3727 0.5333 0.3306 0.0918 0.1082 0.3282 0.2778 0.3196 0.3095 0.0746 0.2051 0.5333 0.3306 0.0918 177 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 0.3077 0.4386 0.5333 0.8222 0.8889 0.6050 0.2155 0.3836 0.5812 0.3562 0.5696 0.5361 0.1910 0.3077 0.8889 0.6050 0.2155 143-AH 0.0000 0.0000 0.0000 0.3839 0.7660 0.2160 0.2656 0.3839 0.7660 1.2295 0.0014 0.0000 0.2327 0.0000 0.7660 0.2160 0.2656 144-AH 0.0000 0.0052 0.2500 0.4375 0.7500 0.2813 0.2943 0.4323 0.7500 1.0461 0.0210 0.0000 0.2272 0.0000 0.7500 0.2813 0.2943 145-AH 0.0000 0.0000 0.1683 0.3414 0.4167 0.1699 0.1617 0.3414 0.4167 0.9516 0.0052 0.0000 0.1389 0.0000 0.4167 0.1699 0.1617 146-AH 0.0000 0.0000 0.0022 0.0077 0.0392 0.0066 0.0109 0.0077 0.0392 1.6568 0.0004 0.0000 0.0069 0.0000 0.0153 0.0039 0.0049 147-AH 0.0000 0.0768 0.1632 0.2359 0.3898 0.1633 0.1160 0.1591 0.3898 0.7106 0.0203 0.0000 0.0877 0.0000 0.3898 0.1633 0.1160 148-AH 0.0000 0.0000 0.0160 0.0347 0.0480 0.0174 0.0181 0.0347 0.0480 1.0417 0.0012 0.0000 0.0146 0.0000 0.0480 0.0174 0.0181 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0135 0.0833 0.0149 0.0281 0.0135 0.0833 1.8851 0.0002 0.0000 0.0196 0.0000 0.0196 0.0037 0.0068 151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0000 0.0183 0.0242 0.0300 0.0136 0.0117 0.0242 0.0300 0.8559 0.0011 0.0000 0.0105 0.0000 0.0300 0.0136 0.0117 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.0000 0.0252 0.0495 0.0536 0.0880 0.0433 0.0233 0.0284 0.0880 0.5372 0.0225 0.0001 0.0184 0.0000 0.0880 0.0433 0.0233 155-AH 0.0000 0.0000 0.0000 0.0113 0.0625 0.0078 0.0174 0.0113 0.0625 2.2281 0.0001 0.0000 0.0108 0.0000 0.0166 0.0033 0.0060 156-AH 0.0000 0.0000 0.0000 0.0225 0.0276 0.0080 0.0126 0.0225 0.0276 1.5760 0.0001 0.0000 0.0110 0.0000 0.0276 0.0080 0.0126 157-AH 0.0000 0.1747 0.2636 0.2775 0.3772 0.2162 0.1111 0.1029 0.3772 0.5140 0.0524 0.0001 0.0833 0.1609 0.3772 0.2555 0.0614 158-AH 0.0000 0.0596 0.0723 0.1606 0.4247 0.1362 0.1546 0.1010 0.4247 1.1352 0.0268 0.0001 0.1225 0.0000 0.0957 0.0566 0.0315 159-AH 0.0000 0.0000 0.0000 0.0000 0.0539 0.0041 0.0150 0.0000 0.0539 3.6056 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000 160-AH 0.0000 0.0113 0.0290 0.0616 0.1333 0.0462 0.0509 0.0504 0.1333 1.1019 0.0170 0.0001 0.0402 0.0000 0.1333 0.0462 0.0509 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.0000 0.2142 0.3030 0.4665 0.5340 0.3279 0.1716 0.2523 0.5340 0.5234 0.1452 0.0001 0.1436 0.0000 0.5340 0.3279 0.1716 164-AH 0.0000 0.0208 0.0288 0.0356 0.1050 0.0310 0.0268 0.0148 0.1050 0.8639 0.0055 0.0000 0.0159 0.0000 0.0417 0.0248 0.0156 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0224 0.0266 0.0324 0.0806 0.0294 0.0179 0.0100 0.0806 0.6092 0.0160 0.0001 0.0105 0.0219 0.0376 0.0274 0.0056 168-AH 0.0833 0.1491 0.1932 0.3632 0.5312 0.2535 0.1492 0.2141 0.4479 0.5883 0.2174 0.1878 0.1213 0.0833 0.5312 0.2535 0.1492 169-AH 0.0000 0.0000 0.0000 0.0017 0.0212 0.0034 0.0072 0.0017 0.0212 2.0971 0.0001 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0137 0.0246 0.0379 0.0483 0.0255 0.0169 0.0242 0.0483 0.6632 0.0049 0.0000 0.0134 0.0000 0.0483 0.0255 0.0169 172-AH 0.0000 0.0000 0.0093 0.0192 0.0264 0.0099 0.0096 0.0192 0.0264 0.9653 0.0009 0.0000 0.0079 0.0000 0.0264 0.0099 0.0096 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0172 0.0729 0.1556 0.2574 0.5385 0.1944 0.1726 0.1844 0.5213 0.8878 0.1254 0.0725 0.1318 0.0172 0.4667 0.1657 0.1443 176-AH 0.0957 0.4435 0.5000 0.8222 0.8409 0.5724 0.2326 0.3788 0.7452 0.4063 0.5090 0.4076 0.1939 0.0957 0.8409 0.5724 0.2326 177-AH 0.0164 0.0259 0.0462 0.0636 0.0736 0.0459 0.0210 0.0378 0.0572 0.4565 0.0409 0.0357 0.0170 0.0164 0.0736 0.0459 0.0210 178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0000 0.0219 0.1055 0.2632 0.0719 0.1024 0.1055 0.2632 1.4244 0.0023 0.0000 0.0806 0.0000 0.2632 0.0719 0.1024 180-AH 0.0000 0.0000 0.0000 0.0958 0.3058 0.0718 0.1110 0.0958 0.3058 1.5448 0.0008 0.0000 0.0836 0.0000 0.1564 0.0305 0.0505 181-AH 0.1309 0.4453 0.5030 0.5261 0.5903 0.4715 0.1141 0.0808 0.4594 0.2420 0.4488 0.4075 0.0728 0.4129 0.5903 0.4999 0.0527 182-AH 0.0000 0.0714 0.0976 0.1456 0.1818 0.0980 0.0563 0.0742 0.1818 0.5747 0.0432 0.0001 0.0427 0.0000 0.1818 0.0980 0.0563 183-AH 0.0041 0.0370 0.1212 0.2714 0.3333 0.1546 0.1225 0.2345 0.3293 0.7922 0.0780 0.0207 0.1057 0.0041 0.3333 0.1546 0.1225 184-AH 0.0000 0.0000 0.0000 0.0054 0.0274 0.0059 0.0112 0.0054 0.0274 1.9144 0.0001 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.2800 0.4511 0.5833 0.7778 0.7778 0.5688 0.1866 0.3267 0.4978 0.3280 0.5361 0.5000 0.1516 0.2800 0.7778 0.5688 0.1866 190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 178 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0252 0.4286 0.8929 1.0000 0.4610 0.4523 0.8677 1.0000 0.9811 0.0469 0.0001 0.4151 0.0000 1.0000 0.4610 0.4523 193-AH 0.0000 0.0072 0.0464 0.0543 0.1556 0.0422 0.0435 0.0471 0.1556 1.0321 0.0095 0.0001 0.0311 0.0000 0.0824 0.0327 0.0283 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.1692 0.2779 0.4945 0.7890 0.9412 0.5036 0.2763 0.5111 0.7720 0.5487 0.4303 0.3630 0.2246 0.1692 0.9412 0.5036 0.2763 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.1452 0.4348 0.5294 0.6552 0.7500 0.5168 0.1597 0.2204 0.6048 0.3090 0.4850 0.4374 0.1202 0.1452 0.7500 0.5168 0.1597 200-AH 0.0000 0.0000 0.0175 0.0219 0.0520 0.0139 0.0158 0.0219 0.0520 1.1429 0.0007 0.0000 0.0128 0.0000 0.0520 0.0139 0.0158 251-AH 0.0000 0.0000 0.0000 0.0000 0.0833 0.0120 0.0293 0.0000 0.0833 2.4482 0.0000 0.0000 0.0203 0.0000 0.0000 0.0000 0.0000 252-AH 0.0000 0.0776 0.0941 0.1943 0.3103 0.1283 0.0888 0.1167 0.3103 0.6917 0.0314 0.0001 0.0737 0.0000 0.3103 0.1283 0.0888 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0237 0.0678 0.1002 0.2353 0.0777 0.0641 0.0765 0.2353 0.8252 0.0326 0.0001 0.0467 0.0000 0.1538 0.0646 0.0452 256-AH 0.0000 0.2385 0.3827 0.6320 0.7381 0.3931 0.2631 0.3936 0.7381 0.6692 0.0746 0.0001 0.2086 0.0000 0.7381 0.3931 0.2631 257-AH 0.0000 0.0000 0.0000 0.0747 0.1048 0.0315 0.0427 0.0747 0.1048 1.3569 0.0003 0.0000 0.0388 0.0000 0.1048 0.0315 0.0427 258-AH 0.0000 0.0000 0.0000 0.0000 0.0059 0.0009 0.0021 0.0000 0.0059 2.4441 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0063 0.0151 0.0306 0.0526 0.0187 0.0155 0.0243 0.0526 0.8317 0.0055 0.0001 0.0129 0.0000 0.0526 0.0187 0.0155 260-AH 0.0000 0.0000 0.0611 0.1972 0.2923 0.0957 0.1132 0.1972 0.2923 1.1824 0.0018 0.0000 0.0985 0.0000 0.2923 0.0957 0.1132 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0000 0.0276 0.0664 0.1892 0.0388 0.0542 0.0664 0.1892 1.3977 0.0011 0.0000 0.0387 0.0000 0.0806 0.0263 0.0313 265-AH 0.0000 0.0479 0.0811 0.1281 0.4286 0.1275 0.1394 0.0802 0.4286 1.0935 0.0252 0.0001 0.1028 0.0000 0.2222 0.0753 0.0618 266-AH 0.0000 0.0000 0.0000 0.0053 0.0305 0.0045 0.0087 0.0053 0.0305 1.9314 0.0001 0.0000 0.0055 0.0000 0.0121 0.0023 0.0039 267-AH 0.0000 0.0000 0.0000 0.0265 0.0345 0.0115 0.0156 0.0265 0.0345 1.3480 0.0002 0.0000 0.0142 0.0000 0.0345 0.0115 0.0156 268-AH 0.0000 0.0159 0.0240 0.0943 0.1875 0.0537 0.0588 0.0784 0.1875 1.0935 0.0178 0.0001 0.0484 0.0000 0.1875 0.0537 0.0588 269-AH 0.0000 0.0000 0.0000 0.0000 0.0102 0.0016 0.0038 0.0000 0.0102 2.4410 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.3233 0.3969 0.4197 0.5474 0.3402 0.1658 0.0963 0.5474 0.4873 0.0775 0.0001 0.1213 0.2321 0.5474 0.4020 0.0750 271-AH 0.0000 0.0497 0.1038 0.1498 0.1760 0.0979 0.0672 0.1001 0.1760 0.6866 0.0137 0.0000 0.0562 0.0000 0.1760 0.0979 0.0672 272-AH 0.0000 0.0121 0.0684 0.1960 0.3023 0.1066 0.1218 0.1838 0.3023 1.1432 0.0102 0.0000 0.0992 0.0000 0.3023 0.1066 0.1218 273-AH 0.0000 0.1431 0.2269 0.2708 0.2907 0.1913 0.0989 0.1277 0.2907 0.5170 0.0470 0.0001 0.0781 0.0000 0.2907 0.1913 0.0989 274-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0000 0.0000 0.1077 0.1405 0.0462 0.0616 0.1077 0.1405 1.3335 0.0004 0.0000 0.0568 0.0000 0.1405 0.0462 0.0616 276-AH 0.0000 0.0000 0.0000 0.0883 0.1467 0.0374 0.0604 0.0883 0.1467 1.6168 0.0002 0.0000 0.0517 0.0000 0.1467 0.0374 0.0604 277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0080 0.0625 0.0098 0.0199 0.0080 0.0625 2.0359 0.0001 0.0000 0.0150 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0107 0.0154 0.0264 0.0476 0.0184 0.0130 0.0157 0.0476 0.7047 0.0095 0.0001 0.0098 0.0000 0.0476 0.0184 0.0130 280-AH 0.0000 0.0000 0.0000 0.0063 0.0253 0.0058 0.0111 0.0063 0.0253 1.9003 0.0001 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 281-AH 0.1333 0.1737 0.1806 0.1891 0.2111 0.1787 0.0192 0.0153 0.0778 0.1074 0.1777 0.1766 0.0130 0.1529 0.2111 0.1825 0.0141 282-AH 0.0000 0.0000 0.0000 0.0504 0.0962 0.0225 0.0370 0.0504 0.0962 1.6467 0.0002 0.0000 0.0311 0.0000 0.0962 0.0225 0.0370 283-AH 0.0000 0.0000 0.0000 0.0452 0.0609 0.0187 0.0250 0.0452 0.0609 1.3390 0.0003 0.0000 0.0230 0.0000 0.0609 0.0187 0.0250 284-AH 0.0000 0.0858 0.2000 0.2703 0.3933 0.1858 0.1348 0.1845 0.3933 0.7258 0.0221 0.0000 0.1114 0.0000 0.3933 0.1858 0.1348 285-AH 0.0000 0.0000 0.0000 0.0000 0.4228 0.0461 0.1232 0.0000 0.4228 2.6749 0.0000 0.0000 0.0779 0.0000 0.0000 0.0000 0.0000 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.0930 0.1205 0.1723 0.0732 0.0668 0.1205 0.1723 0.9136 0.0031 0.0000 0.0580 0.0000 0.1723 0.0732 0.0668 288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 289-AH 0.3091 0.5272 0.5484 0.5667 0.6071 0.5341 0.0736 0.0394 0.2981 0.1378 0.5280 0.5200 0.0413 0.5152 0.6071 0.5528 0.0304 290-AH 0.0000 0.0000 0.0000 0.0148 0.0779 0.0155 0.0298 0.0148 0.0779 1.9167 0.0001 0.0000 0.0239 0.0000 0.0000 0.0000 0.0000 179 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0481 0.0571 0.0658 0.0769 0.0505 0.0253 0.0177 0.0769 0.5008 0.0154 0.0001 0.0181 0.0338 0.0769 0.0596 0.0128 292-AH 0.0116 0.1595 0.2353 0.7000 0.8000 0.3914 0.3018 0.5405 0.7884 0.7710 0.2548 0.0977 0.2733 0.0116 0.8000 0.3914 0.3018 293-AH 0.0000 0.1274 0.2793 0.3702 0.4306 0.2488 0.1452 0.2428 0.4306 0.5836 0.1064 0.0001 0.1254 0.0000 0.4306 0.2488 0.1452 294-AH 0.0000 0.0000 0.4032 0.4506 0.6250 0.2830 0.2302 0.4506 0.6250 0.8133 0.0145 0.0000 0.2051 0.0000 0.6250 0.2830 0.2302 295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0908 0.2018 0.4027 0.4510 0.2291 0.1773 0.3119 0.4510 0.7740 0.0467 0.0001 0.1596 0.0000 0.4510 0.2291 0.1773 297-AH 0.0000 0.0000 0.0111 0.0187 0.0347 0.0111 0.0126 0.0187 0.0347 1.1358 0.0006 0.0000 0.0102 0.0000 0.0347 0.0111 0.0126 298-AH 0.0000 0.0000 0.0311 0.0348 0.0433 0.0216 0.0182 0.0348 0.0433 0.8436 0.0015 0.0000 0.0166 0.0000 0.0433 0.0216 0.0182 299-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0174 0.0428 0.0000 0.1250 2.4565 0.0000 0.0000 0.0295 0.0000 0.0000 0.0000 0.0000 300-AH 0.0000 0.0000 0.0000 0.0107 0.0854 0.0133 0.0271 0.0107 0.0854 2.0388 0.0001 0.0000 0.0205 0.0000 0.0000 0.0000 0.0000 301-AH 0.0000 0.0000 0.0000 0.0339 0.1364 0.0234 0.0401 0.0339 0.1364 1.7134 0.0003 0.0000 0.0288 0.0000 0.0641 0.0140 0.0223 302-AH 0.0000 0.0478 0.1260 0.1589 0.1720 0.1016 0.0586 0.1111 0.1720 0.5765 0.0479 0.0001 0.0521 0.0000 0.1720 0.1016 0.0586 303-AH 0.0000 0.0000 0.0000 0.0000 0.0196 0.0030 0.0074 0.0000 0.0196 2.4410 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000 304-AH 0.0000 0.0000 0.0000 0.0000 0.0207 0.0016 0.0058 0.0000 0.0207 3.6056 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000 305-AH 0.0000 0.0000 0.1058 0.1134 0.1647 0.0670 0.0668 0.1134 0.1647 0.9975 0.0016 0.0000 0.0619 0.0000 0.1647 0.0670 0.0668 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0000 0.0000 0.0000 0.0871 0.0067 0.0241 0.0000 0.0871 3.6056 0.0000 0.0000 0.0124 0.0000 0.0000 0.0000 0.0000 308-AH 0.0412 0.0444 0.0663 0.1366 0.1695 0.0861 0.0495 0.0922 0.1283 0.5747 0.0744 0.0654 0.0417 0.0412 0.1695 0.0861 0.0495 309-AH 0.0000 0.0071 0.0312 0.0556 0.0608 0.0306 0.0260 0.0484 0.0608 0.8506 0.0049 0.0000 0.0237 0.0000 0.0608 0.0306 0.0260 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0000 0.0889 0.1159 0.1503 0.0695 0.0614 0.1159 0.1503 0.8828 0.0031 0.0000 0.0535 0.0000 0.1503 0.0695 0.0614 312-AH 0.0000 0.0563 0.0952 0.2417 0.4242 0.1447 0.1217 0.1854 0.4242 0.8413 0.0318 0.0001 0.0988 0.0000 0.4242 0.1447 0.1217 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0190 0.0415 0.0088 0.0147 0.0190 0.0415 1.6743 0.0001 0.0000 0.0122 0.0000 0.0415 0.0088 0.0147 315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0000 0.0000 0.0749 0.0961 0.0285 0.0392 0.0749 0.0961 1.3759 0.0003 0.0000 0.0351 0.0000 0.0961 0.0285 0.0392 318-AH 0.0000 0.0322 0.0511 0.0522 0.0732 0.0430 0.0184 0.0200 0.0732 0.4266 0.0234 0.0001 0.0141 0.0265 0.0732 0.0466 0.0136 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0132 0.0240 0.0286 0.0329 0.0196 0.0121 0.0154 0.0329 0.6179 0.0041 0.0000 0.0097 0.0000 0.0329 0.0196 0.0121 323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0055 0.0198 0.0000 0.0714 3.6056 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0000 0.0457 0.2350 0.0482 0.0923 0.0457 0.2350 1.9132 0.0001 0.0000 0.0742 0.0000 0.0000 0.0000 0.0000 326-AH 0.0000 0.0000 0.0000 0.0064 0.0176 0.0037 0.0064 0.0064 0.0176 1.7454 0.0001 0.0000 0.0051 0.0000 0.0157 0.0025 0.0050 327-AH 0.0000 0.0000 0.0354 0.1392 0.2857 0.0781 0.0921 0.1392 0.2857 1.1794 0.0047 0.0000 0.0762 0.0000 0.2857 0.0781 0.0921 328-AH 0.0000 0.2000 0.3134 0.4468 0.5385 0.3146 0.1719 0.2468 0.5385 0.5465 0.1376 0.0001 0.1468 0.0000 0.5385 0.3146 0.1719 329-AH 0.0000 0.1509 0.2051 0.2325 0.2623 0.1805 0.0814 0.0816 0.2623 0.4507 0.0849 0.0001 0.0621 0.0482 0.2623 0.1956 0.0634 330-AH 0.4466 0.5396 0.5542 0.6127 0.6667 0.5725 0.0601 0.0731 0.2201 0.1050 0.5695 0.5664 0.0471 0.4466 0.6667 0.5725 0.0601 331-AH 0.0982 0.1053 0.1333 0.2500 0.2909 0.1665 0.0749 0.1447 0.1927 0.4496 0.1530 0.1422 0.0640 0.0982 0.2909 0.1665 0.0749 332-AH 0.1600 0.1778 0.1951 0.2238 0.2759 0.2035 0.0349 0.0460 0.1159 0.1717 0.2009 0.1985 0.0282 0.1600 0.2759 0.2035 0.0349 333-AH 0.2174 0.9286 1.0000 1.0000 1.0000 0.8576 0.2948 0.0714 0.7826 0.3438 0.7705 0.6311 0.2190 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0000 0.0063 0.0085 0.0254 0.0069 0.0090 0.0085 0.0254 1.3072 0.0004 0.0000 0.0064 0.0000 0.0085 0.0035 0.0041 335-AH 0.0000 0.0000 0.0000 0.0194 0.0636 0.0136 0.0219 0.0194 0.0636 1.6136 0.0002 0.0000 0.0167 0.0000 0.0211 0.0053 0.0091 336-AH 0.0000 0.0000 0.0000 0.0294 0.0486 0.0148 0.0183 0.0294 0.0486 1.2430 0.0004 0.0000 0.0159 0.0000 0.0486 0.0148 0.0183 337-AH 0.0455 0.2071 0.4186 0.7149 0.8571 0.4585 0.2955 0.5078 0.8117 0.6447 0.3075 0.1519 0.2504 0.0455 0.8571 0.4585 0.2955 338-AH 0.0000 0.0168 0.1184 0.3600 0.4500 0.1789 0.1749 0.3432 0.4500 0.9776 0.0269 0.0001 0.1607 0.0000 0.4500 0.1789 0.1749 339-AH 0.0841 0.1156 0.1837 0.2435 0.4615 0.1978 0.1079 0.1279 0.3774 0.5455 0.1735 0.1526 0.0819 0.0841 0.2951 0.1758 0.0764 340-AH 0.0000 0.0000 0.0275 0.0729 0.2632 0.0521 0.0743 0.0729 0.2632 1.4248 0.0034 0.0000 0.0513 0.0000 0.1220 0.0346 0.0404 180 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0000 0.0017 0.0224 0.0028 0.0065 0.0017 0.0224 2.2831 0.0000 0.0000 0.0044 0.0000 0.0000 0.0000 0.0000 342-AH 0.1579 0.3333 0.3926 0.5449 0.6493 0.4334 0.1413 0.2115 0.4914 0.3260 0.4090 0.3798 0.1124 0.1579 0.6493 0.4334 0.1413 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.0383 0.0949 0.1911 0.2479 0.1131 0.0822 0.1528 0.2479 0.7268 0.0485 0.0001 0.0700 0.0000 0.2479 0.1131 0.0822 345-AH 0.0000 0.0000 0.0233 0.0563 0.0928 0.0337 0.0300 0.0563 0.0928 0.8902 0.0033 0.0000 0.0256 0.0000 0.0928 0.0337 0.0300 346-AH 0.0000 0.0169 0.0314 0.0340 0.0389 0.0250 0.0148 0.0172 0.0389 0.5902 0.0050 0.0000 0.0120 0.0000 0.0389 0.0250 0.0148 347-AH 0.0000 0.0000 0.0000 0.0000 0.0160 0.0012 0.0044 0.0000 0.0160 3.6056 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 349-AH 0.0436 0.0454 0.1603 0.1963 0.2941 0.1500 0.0843 0.1509 0.2506 0.5624 0.1223 0.0944 0.0648 0.0436 0.2941 0.1500 0.0843 350-AH 0.1370 0.1436 0.1636 0.1867 0.2500 0.1701 0.0335 0.0431 0.1130 0.1967 0.1674 0.1649 0.0251 0.1370 0.2500 0.1701 0.0335 181 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 142-AH 0.3077 0.4386 0.5333 0.8222 0.8889 0.6050 0.2155 0.3836 0.5812 0.3562 0.5696 0.5361 0.1910 0.3077 0.8889 0.6050 0.2155 143-AH 0.0000 0.0000 0.0000 0.2184 0.3900 0.1151 0.1369 0.2184 0.3900 1.1898 0.0011 0.0000 0.1239 0.0000 0.3900 0.1151 0.1369 144-AH 0.0000 0.0052 0.2500 0.4375 0.7500 0.2813 0.2943 0.4323 0.7500 1.0461 0.0210 0.0000 0.2272 0.0000 0.7500 0.2813 0.2943 145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 146-AH 0.0000 0.0000 0.0022 0.0077 0.0392 0.0066 0.0109 0.0077 0.0392 1.6568 0.0004 0.0000 0.0069 0.0000 0.0153 0.0039 0.0049 147-AH 0.0000 0.0000 0.0000 0.0000 0.0713 0.0105 0.0256 0.0000 0.0713 2.4442 0.0000 0.0000 0.0177 0.0000 0.0000 0.0000 0.0000 148-AH 0.0000 0.0000 0.0160 0.0347 0.0480 0.0174 0.0181 0.0347 0.0480 1.0417 0.0012 0.0000 0.0146 0.0000 0.0480 0.0174 0.0181 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0118 0.0606 0.0117 0.0215 0.0118 0.0606 1.8320 0.0002 0.0000 0.0147 0.0000 0.0135 0.0032 0.0055 151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0000 0.0000 0.0168 0.0183 0.0077 0.0088 0.0168 0.0183 1.1370 0.0003 0.0000 0.0083 0.0000 0.0183 0.0077 0.0088 153-AH 0.0000 0.0000 0.0012 0.0026 0.0063 0.0019 0.0022 0.0026 0.0063 1.1599 0.0004 0.0000 0.0017 0.0000 0.0063 0.0019 0.0022 154-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 155-AH 0.0000 0.0000 0.0000 0.0113 0.0625 0.0078 0.0174 0.0113 0.0625 2.2281 0.0001 0.0000 0.0108 0.0000 0.0166 0.0033 0.0060 156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 157-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 158-AH 0.0000 0.0000 0.0000 0.1054 0.2833 0.0749 0.1176 0.1054 0.2833 1.5686 0.0007 0.0000 0.0938 0.0000 0.0514 0.0140 0.0228 159-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 160-AH 0.0000 0.0113 0.0290 0.0616 0.1333 0.0462 0.0509 0.0504 0.1333 1.1019 0.0170 0.0001 0.0402 0.0000 0.1333 0.0462 0.0509 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1667 0.2500 0.5000 1.0000 0.4038 0.3097 0.3333 1.0000 0.7668 0.1600 0.0001 0.2426 0.0000 0.5000 0.2955 0.1762 163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.0000 0.0601 0.0046 0.0167 0.0000 0.0601 3.6056 0.0000 0.0000 0.0085 0.0000 0.0000 0.0000 0.0000 165-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9231 0.1878 0.0000 0.5000 0.2034 0.8989 0.8667 0.1302 1.0000 1.0000 1.0000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0224 0.0266 0.0324 0.0806 0.0294 0.0179 0.0100 0.0806 0.6092 0.0160 0.0001 0.0105 0.0219 0.0376 0.0274 0.0056 168-AH 0.0260 0.1126 0.1565 0.2378 0.5143 0.2044 0.1514 0.1251 0.4883 0.7406 0.1577 0.1137 0.1156 0.0260 0.4000 0.1539 0.0952 169-AH 0.0000 0.0000 0.0000 0.0017 0.0212 0.0034 0.0072 0.0017 0.0212 2.0971 0.0001 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8846 0.2996 0.0000 1.0000 0.3386 0.3910 0.0001 0.1953 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0000 0.0000 0.0201 0.0265 0.0069 0.0109 0.0201 0.0265 1.5752 0.0001 0.0000 0.0096 0.0000 0.0265 0.0069 0.0109 172-AH 0.0000 0.0000 0.0093 0.0192 0.0264 0.0099 0.0096 0.0192 0.0264 0.9653 0.0009 0.0000 0.0079 0.0000 0.0264 0.0099 0.0096 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0172 0.0729 0.1556 0.2574 0.5385 0.1944 0.1726 0.1844 0.5213 0.8878 0.1254 0.0725 0.1318 0.0172 0.4667 0.1657 0.1443 176-AH 0.0000 0.1878 0.2393 0.5088 0.7091 0.3209 0.2282 0.3210 0.7091 0.7110 0.1298 0.0001 0.1837 0.0000 0.7091 0.3209 0.2282 177-AH 0.0000 0.0000 0.0269 0.0425 0.0492 0.0206 0.0209 0.0425 0.0492 1.0138 0.0008 0.0000 0.0191 0.0000 0.0492 0.0206 0.0209 178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0000 0.0000 0.0000 0.0302 0.0044 0.0108 0.0000 0.0302 2.4450 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000 180-AH 0.0000 0.0000 0.0000 0.0146 0.1212 0.0191 0.0389 0.0146 0.1212 2.0308 0.0001 0.0000 0.0294 0.0000 0.0000 0.0000 0.0000 181-AH 0.0000 0.0796 0.1531 0.1716 0.2902 0.1369 0.0954 0.0920 0.2902 0.6967 0.0179 0.0000 0.0683 0.0000 0.2902 0.1369 0.0954 182-AH 0.0000 0.0714 0.0976 0.1456 0.1818 0.0980 0.0563 0.0742 0.1818 0.5747 0.0432 0.0001 0.0427 0.0000 0.1818 0.0980 0.0563 183-AH 0.0041 0.0370 0.1212 0.2714 0.3333 0.1546 0.1225 0.2345 0.3293 0.7922 0.0780 0.0207 0.1057 0.0041 0.3333 0.1546 0.1225 184-AH 0.0000 0.0000 0.0000 0.0054 0.0274 0.0059 0.0112 0.0054 0.0274 1.9144 0.0001 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 185-AH 0.0333 0.0980 0.1429 1.0000 1.0000 0.4059 0.4282 0.9020 0.9667 1.0550 0.2056 0.1066 0.3801 0.0333 1.0000 0.4059 0.4282 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0656 0.0714 0.5000 1.0000 0.2985 0.4075 0.4344 0.9939 1.3653 0.1143 0.0425 0.3292 0.0061 1.0000 0.2985 0.4075 188-AH 0.0000 0.0000 0.0013 0.0172 0.0345 0.0079 0.0117 0.0172 0.0345 1.4710 0.0004 0.0000 0.0096 0.0000 0.0345 0.0079 0.0117 189-AH 0.2800 0.4511 0.5833 0.7778 0.7778 0.5688 0.1866 0.3267 0.4978 0.3280 0.5361 0.5000 0.1516 0.2800 0.7778 0.5688 0.1866 190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 182 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0252 0.4286 0.8929 1.0000 0.4610 0.4523 0.8677 1.0000 0.9811 0.0469 0.0001 0.4151 0.0000 1.0000 0.4610 0.4523 193-AH 0.0000 0.0072 0.0464 0.0543 0.1556 0.0422 0.0435 0.0471 0.1556 1.0321 0.0095 0.0001 0.0311 0.0000 0.0824 0.0327 0.0283 194-AH 0.0000 0.0301 0.0833 0.5000 1.0000 0.2770 0.3621 0.4699 1.0000 1.3074 0.0574 0.0001 0.2911 0.0000 1.0000 0.2770 0.3621 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 0.5000 0.6250 1.0000 0.6154 0.2193 0.1250 0.5000 0.3563 0.5867 0.5652 0.1775 0.5000 0.5000 0.5000 0.0000 197-AH 0.0000 0.0819 0.1029 0.3525 0.7692 0.2232 0.2138 0.2706 0.7692 0.9579 0.0826 0.0001 0.1633 0.0000 0.4167 0.1777 0.1432 198-AH 0.0000 0.0056 0.0213 0.5000 1.0000 0.2669 0.4272 0.4944 1.0000 1.6008 0.0098 0.0000 0.3486 0.0000 1.0000 0.2669 0.4272 199-AH 0.0402 0.2897 0.3846 0.4348 0.4348 0.3350 0.1351 0.1451 0.3946 0.4034 0.2874 0.2044 0.1032 0.1389 0.4348 0.3596 0.1066 200-AH 0.0000 0.0000 0.0175 0.0219 0.0520 0.0139 0.0158 0.0219 0.0520 1.1429 0.0007 0.0000 0.0128 0.0000 0.0520 0.0139 0.0158 251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 252-AH 0.0000 0.0000 0.0879 0.1674 0.1933 0.0877 0.0791 0.1674 0.1933 0.9021 0.0035 0.0000 0.0678 0.0000 0.1933 0.0877 0.0791 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0237 0.0678 0.1002 0.2353 0.0777 0.0641 0.0765 0.2353 0.8252 0.0326 0.0001 0.0467 0.0000 0.1538 0.0646 0.0452 256-AH 0.0000 0.0000 0.0000 0.0475 0.1848 0.0318 0.0540 0.0475 0.1848 1.7002 0.0003 0.0000 0.0391 0.0000 0.0825 0.0190 0.0296 257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 258-AH 0.0000 0.0000 0.0000 0.0000 0.0059 0.0009 0.0021 0.0000 0.0059 2.4441 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0063 0.0151 0.0306 0.0526 0.0187 0.0155 0.0243 0.0526 0.8317 0.0055 0.0001 0.0129 0.0000 0.0526 0.0187 0.0155 260-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0000 0.0000 0.0092 0.0491 0.0101 0.0194 0.0092 0.0491 1.9180 0.0001 0.0000 0.0155 0.0000 0.0000 0.0000 0.0000 265-AH 0.0000 0.0479 0.0811 0.1281 0.4286 0.1275 0.1394 0.0802 0.4286 1.0935 0.0252 0.0001 0.1028 0.0000 0.2222 0.0753 0.0618 266-AH 0.0000 0.0000 0.0000 0.0053 0.0305 0.0045 0.0087 0.0053 0.0305 1.9314 0.0001 0.0000 0.0055 0.0000 0.0121 0.0023 0.0039 267-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 268-AH 0.0000 0.0159 0.0240 0.0943 0.1875 0.0537 0.0588 0.0784 0.1875 1.0935 0.0178 0.0001 0.0484 0.0000 0.1875 0.0537 0.0588 269-AH 0.0000 0.0000 0.0000 0.0000 0.0102 0.0016 0.0038 0.0000 0.0102 2.4410 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.0613 0.0723 0.0965 0.1250 0.0713 0.0386 0.0351 0.1250 0.5412 0.0204 0.0001 0.0261 0.0574 0.1250 0.0842 0.0242 271-AH 0.0000 0.0000 0.0000 0.0094 0.0825 0.0149 0.0299 0.0094 0.0825 2.0093 0.0001 0.0000 0.0229 0.0000 0.0000 0.0000 0.0000 272-AH 0.0000 0.0000 0.0225 0.0262 0.0459 0.0156 0.0161 0.0262 0.0459 1.0291 0.0007 0.0000 0.0144 0.0000 0.0459 0.0156 0.0161 273-AH 0.0000 0.0000 0.0000 0.0270 0.1206 0.0268 0.0510 0.0270 0.1206 1.9033 0.0001 0.0000 0.0412 0.0000 0.0000 0.0000 0.0000 274-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 276-AH 0.0000 0.0000 0.0000 0.0000 0.0603 0.0046 0.0167 0.0000 0.0603 3.6056 0.0000 0.0000 0.0086 0.0000 0.0000 0.0000 0.0000 277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0000 0.0217 0.0017 0.0060 0.0000 0.0217 3.6056 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0107 0.0154 0.0264 0.0476 0.0184 0.0130 0.0157 0.0476 0.7047 0.0095 0.0001 0.0098 0.0000 0.0476 0.0184 0.0130 280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 281-AH 0.0000 0.0807 0.1217 0.1608 0.1680 0.1115 0.0609 0.0801 0.1680 0.5459 0.0293 0.0001 0.0487 0.0000 0.1680 0.1115 0.0609 282-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 283-AH 0.0000 0.0000 0.0000 0.0000 0.0490 0.0038 0.0136 0.0000 0.0490 3.6056 0.0000 0.0000 0.0070 0.0000 0.0000 0.0000 0.0000 284-AH 0.0000 0.0000 0.0000 0.1496 0.3016 0.0885 0.1119 0.1496 0.3016 1.2650 0.0009 0.0000 0.0953 0.0000 0.3016 0.0885 0.1119 285-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.0000 0.0000 0.0603 0.0046 0.0167 0.0000 0.0603 3.6056 0.0000 0.0000 0.0086 0.0000 0.0000 0.0000 0.0000 288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 289-AH 0.0336 0.0445 0.1098 0.1947 0.2609 0.1283 0.0858 0.1503 0.2272 0.6688 0.0992 0.0745 0.0744 0.0336 0.2609 0.1283 0.0858 290-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 183 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.0000 0.0312 0.0394 0.0108 0.0170 0.0312 0.0394 1.5735 0.0001 0.0000 0.0149 0.0000 0.0394 0.0108 0.0170 292-AH 0.0116 0.1595 0.2353 0.7000 0.8000 0.3914 0.3018 0.5405 0.7884 0.7710 0.2548 0.0977 0.2733 0.0116 0.8000 0.3914 0.3018 293-AH 0.0000 0.0776 0.1744 0.2845 0.3148 0.1654 0.1114 0.2069 0.3148 0.6740 0.0386 0.0001 0.0899 0.0000 0.3148 0.1654 0.1114 294-AH 0.0000 0.0000 0.1709 0.2847 0.4219 0.1749 0.1636 0.2847 0.4219 0.9356 0.0053 0.0000 0.1359 0.0000 0.4219 0.1749 0.1636 295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0843 0.1387 0.3278 0.4444 0.1987 0.1561 0.2434 0.4444 0.7855 0.0407 0.0001 0.1405 0.0000 0.4444 0.1987 0.1561 297-AH 0.0000 0.0000 0.0000 0.0133 0.0198 0.0048 0.0076 0.0133 0.0198 1.5940 0.0001 0.0000 0.0066 0.0000 0.0198 0.0048 0.0076 298-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 299-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 300-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 301-AH 0.0000 0.0000 0.0000 0.0291 0.0717 0.0144 0.0245 0.0291 0.0717 1.7049 0.0001 0.0000 0.0199 0.0000 0.0717 0.0144 0.0245 302-AH 0.0000 0.0000 0.0545 0.0816 0.1298 0.0520 0.0447 0.0816 0.1298 0.8599 0.0045 0.0000 0.0366 0.0000 0.1298 0.0520 0.0447 303-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 304-AH 0.0000 0.0000 0.0000 0.0000 0.0207 0.0016 0.0058 0.0000 0.0207 3.6056 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000 305-AH 0.0000 0.0000 0.0000 0.0801 0.1218 0.0409 0.0476 0.0801 0.1218 1.1639 0.0007 0.0000 0.0440 0.0000 0.1218 0.0409 0.0476 306-AH 0.1667 0.8750 1.0000 1.0000 1.0000 0.8590 0.2793 0.1250 0.8333 0.3251 0.7831 0.6500 0.2170 1.0000 1.0000 1.0000 0.0000 307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 308-AH 0.0000 0.0000 0.0162 0.0294 0.0663 0.0172 0.0193 0.0294 0.0663 1.1222 0.0012 0.0000 0.0138 0.0000 0.0663 0.0172 0.0193 309-AH 0.0000 0.0000 0.0149 0.0248 0.0324 0.0139 0.0129 0.0248 0.0324 0.9268 0.0011 0.0000 0.0113 0.0000 0.0324 0.0139 0.0129 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 312-AH 0.0000 0.0000 0.0000 0.0527 0.1216 0.0347 0.0450 0.0527 0.1216 1.2969 0.0006 0.0000 0.0373 0.0000 0.1216 0.0347 0.0450 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0000 0.0000 0.0077 0.0589 0.0102 0.0202 0.0077 0.0589 1.9813 0.0001 0.0000 0.0157 0.0000 0.0000 0.0000 0.0000 318-AH 0.0000 0.0322 0.0511 0.0522 0.0732 0.0430 0.0184 0.0200 0.0732 0.4266 0.0234 0.0001 0.0141 0.0265 0.0732 0.0466 0.0136 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0236 0.0273 0.0289 0.0159 0.0132 0.0273 0.0289 0.8317 0.0013 0.0000 0.0122 0.0000 0.0289 0.0159 0.0132 323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 326-AH 0.0000 0.0000 0.0000 0.0064 0.0176 0.0037 0.0064 0.0064 0.0176 1.7454 0.0001 0.0000 0.0051 0.0000 0.0157 0.0025 0.0050 327-AH 0.0000 0.0000 0.0354 0.1392 0.2857 0.0781 0.0921 0.1392 0.2857 1.1794 0.0047 0.0000 0.0762 0.0000 0.2857 0.0781 0.0921 328-AH 0.0000 0.1345 0.1575 0.2527 0.3966 0.1770 0.1043 0.1182 0.3966 0.5892 0.0800 0.0001 0.0767 0.0000 0.3966 0.1770 0.1043 329-AH 0.0000 0.0190 0.1037 0.1263 0.2267 0.0893 0.0742 0.1073 0.2267 0.8306 0.0196 0.0001 0.0599 0.0000 0.2267 0.0893 0.0742 330-AH 0.0867 0.2196 0.2757 0.3068 0.3893 0.2533 0.0903 0.0872 0.3026 0.3563 0.2326 0.2052 0.0690 0.1861 0.3893 0.2836 0.0568 331-AH 0.0429 0.0705 0.1156 0.1828 0.1954 0.1211 0.0523 0.1123 0.1525 0.4322 0.1095 0.0975 0.0418 0.0429 0.1954 0.1211 0.0523 332-AH 0.1600 0.1778 0.1951 0.2238 0.2759 0.2035 0.0349 0.0460 0.1159 0.1717 0.2009 0.1985 0.0282 0.1600 0.2759 0.2035 0.0349 333-AH 0.2174 0.9286 1.0000 1.0000 1.0000 0.8576 0.2948 0.0714 0.7826 0.3438 0.7705 0.6311 0.2190 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0000 0.0063 0.0085 0.0254 0.0069 0.0090 0.0085 0.0254 1.3072 0.0004 0.0000 0.0064 0.0000 0.0085 0.0035 0.0041 335-AH 0.0000 0.0000 0.0000 0.0000 0.0419 0.0055 0.0137 0.0000 0.0419 2.4811 0.0000 0.0000 0.0093 0.0000 0.0000 0.0000 0.0000 336-AH 0.0000 0.0000 0.0000 0.0236 0.0418 0.0099 0.0163 0.0236 0.0418 1.6389 0.0001 0.0000 0.0138 0.0000 0.0418 0.0099 0.0163 337-AH 0.0000 0.0397 0.0971 0.1347 0.5882 0.1472 0.1891 0.0950 0.5882 1.2845 0.0151 0.0000 0.1284 0.0000 0.1613 0.0726 0.0544 338-AH 0.0000 0.0000 0.0119 0.0946 0.3571 0.0759 0.1178 0.0946 0.3571 1.5518 0.0038 0.0000 0.0850 0.0000 0.1176 0.0305 0.0413 339-AH 0.0226 0.0831 0.1250 0.1410 0.2021 0.1188 0.0501 0.0579 0.1795 0.4218 0.1060 0.0873 0.0389 0.0226 0.2021 0.1188 0.0501 340-AH 0.0000 0.0000 0.0275 0.0729 0.2632 0.0521 0.0743 0.0729 0.2632 1.4248 0.0034 0.0000 0.0513 0.0000 0.1220 0.0346 0.0404 184 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0000 0.0017 0.0224 0.0028 0.0065 0.0017 0.0224 2.2831 0.0000 0.0000 0.0044 0.0000 0.0000 0.0000 0.0000 342-AH 0.0000 0.1094 0.2073 0.2599 0.4017 0.1894 0.1183 0.1505 0.4017 0.6244 0.0446 0.0001 0.0952 0.0000 0.4017 0.1894 0.1183 343-AH 0.0014 0.0129 0.0294 0.0668 0.2500 0.0563 0.0734 0.0539 0.2486 1.3038 0.0271 0.0104 0.0525 0.0014 0.0909 0.0287 0.0257 344-AH 0.0000 0.0000 0.0000 0.0537 0.0707 0.0217 0.0289 0.0537 0.0707 1.3351 0.0003 0.0000 0.0267 0.0000 0.0707 0.0217 0.0289 345-AH 0.0000 0.0000 0.0233 0.0563 0.0928 0.0337 0.0300 0.0563 0.0928 0.8902 0.0033 0.0000 0.0256 0.0000 0.0928 0.0337 0.0300 346-AH 0.0000 0.0130 0.0297 0.0328 0.0385 0.0233 0.0142 0.0199 0.0385 0.6092 0.0047 0.0000 0.0117 0.0000 0.0385 0.0233 0.0142 347-AH 0.0000 0.0000 0.0000 0.0000 0.0160 0.0012 0.0044 0.0000 0.0160 3.6056 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7692 0.4385 0.2500 1.0000 0.5701 0.0702 0.0000 0.3550 1.0000 1.0000 1.0000 0.0000 349-AH 0.0000 0.0280 0.0909 0.0983 0.1636 0.0777 0.0453 0.0703 0.1636 0.5828 0.0368 0.0001 0.0350 0.0000 0.1636 0.0777 0.0453 350-AH 0.1333 0.1365 0.1389 0.1551 0.1695 0.1455 0.0124 0.0185 0.0362 0.0851 0.1451 0.1446 0.0104 0.1333 0.1695 0.1455 0.0124 185 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.1500 0.2000 0.2000 0.2000 0.1538 0.0877 0.0500 0.2000 0.5701 0.0203 0.0000 0.0710 0.2000 0.2000 0.2000 0.0000 142-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.4000 1.0000 1.0000 0.5077 0.4873 1.0000 1.0000 0.9598 0.0098 0.0000 0.4544 0.0000 1.0000 0.5077 0.4873 144-AH 0.0000 0.0000 0.4000 0.4500 0.6000 0.3231 0.2386 0.4500 0.6000 0.7385 0.0169 0.0000 0.1988 0.0000 0.6000 0.3231 0.2386 145-AH 0.0000 0.2000 1.0000 1.0000 1.0000 0.7231 0.4362 0.8000 1.0000 0.6032 0.1328 0.0001 0.3834 0.0000 1.0000 0.7231 0.4362 146-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1385 0.0961 0.2000 0.2000 0.6939 0.0095 0.0000 0.0852 0.0000 0.2000 0.1385 0.0961 147-AH 0.0000 0.5500 1.0000 1.0000 1.0000 0.7231 0.3516 0.4500 1.0000 0.4862 0.3019 0.0001 0.2982 0.0000 1.0000 0.7231 0.3516 148-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1231 0.1013 0.2000 0.2000 0.8229 0.0044 0.0000 0.0947 0.0000 0.2000 0.1231 0.1013 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.4500 0.6000 0.1692 0.2689 0.4500 0.6000 1.5890 0.0003 0.0000 0.2343 0.0000 0.6000 0.1692 0.2689 152-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3231 0.1739 0.2000 0.6000 0.5384 0.0727 0.0001 0.1373 0.0000 0.6000 0.3231 0.1739 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6923 0.2532 0.2000 1.0000 0.3657 0.3097 0.0001 0.1799 0.4000 1.0000 0.7500 0.1508 155-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0308 0.0751 0.0000 0.2000 2.4410 0.0000 0.0000 0.0521 0.0000 0.0000 0.0000 0.0000 156-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1385 0.0961 0.2000 0.2000 0.6939 0.0095 0.0000 0.0852 0.0000 0.2000 0.1385 0.0961 157-AH 0.4000 0.5500 0.6000 0.8000 1.0000 0.6615 0.1895 0.2500 0.6000 0.2864 0.6348 0.6070 0.1586 0.4000 1.0000 0.6615 0.1895 158-AH 0.0000 0.4000 0.4000 1.0000 1.0000 0.5538 0.3666 0.6000 1.0000 0.6618 0.1096 0.0001 0.3124 0.0000 1.0000 0.5538 0.3666 159-AH 0.0000 0.2000 0.8000 0.8500 1.0000 0.5692 0.3728 0.6500 1.0000 0.6549 0.2187 0.0001 0.3408 0.0000 1.0000 0.5692 0.3728 160-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0154 0.0555 0.0000 0.2000 3.6056 0.0000 0.0000 0.0284 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1385 0.0961 0.2000 0.2000 0.6939 0.0095 0.0000 0.0852 0.0000 0.2000 0.1385 0.0961 163-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9538 0.1664 0.0000 0.6000 0.1745 0.9319 0.8966 0.0852 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1538 0.1854 0.4000 0.4000 1.2049 0.0012 0.0000 0.1657 0.0000 0.4000 0.1538 0.1854 165-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.2000 0.2000 0.4000 0.4000 0.4000 0.3077 0.1038 0.2000 0.2000 0.3373 0.2905 0.2737 0.0994 0.2000 0.4000 0.3077 0.1038 168-AH 0.0000 0.4000 0.6000 1.0000 1.0000 0.6615 0.3097 0.6000 1.0000 0.4681 0.2867 0.0001 0.2509 0.0000 1.0000 0.6615 0.3097 169-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0615 0.0961 0.2000 0.2000 1.5612 0.0002 0.0000 0.0852 0.0000 0.2000 0.0615 0.0961 170-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1846 0.0555 0.0000 0.2000 0.3005 0.0934 0.0001 0.0284 0.2000 0.2000 0.2000 0.0000 171-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1231 0.1013 0.2000 0.2000 0.8229 0.0044 0.0000 0.0947 0.0000 0.2000 0.1231 0.1013 172-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0154 0.0555 0.0000 0.2000 3.6056 0.0000 0.0000 0.0284 0.0000 0.0000 0.0000 0.0000 173-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000 174-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000 175-AH 0.6000 0.6000 0.6000 0.8000 0.8000 0.6615 0.0961 0.2000 0.2000 0.1452 0.6555 0.6500 0.0852 0.6000 0.8000 0.6615 0.0961 176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 177-AH 0.0000 0.0000 0.4000 0.6000 0.6000 0.3077 0.2783 0.6000 0.6000 0.9044 0.0075 0.0000 0.2533 0.0000 0.6000 0.3077 0.2783 178-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0769 0.1013 0.2000 0.2000 1.3166 0.0005 0.0000 0.0947 0.0000 0.2000 0.0769 0.1013 179-AH 0.0000 0.4000 0.6000 1.0000 1.0000 0.6308 0.3449 0.6000 1.0000 0.5468 0.2622 0.0001 0.2840 0.0000 1.0000 0.6308 0.3449 180-AH 0.0000 0.0000 0.0000 0.6000 0.6000 0.2154 0.2882 0.6000 0.6000 1.3382 0.0007 0.0000 0.2651 0.0000 0.6000 0.2154 0.2882 181-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.7538 0.2332 0.4000 0.6000 0.3093 0.7171 0.6783 0.2036 0.4000 1.0000 0.7538 0.2332 182-AH 0.0000 0.1500 0.2000 0.6000 0.6000 0.2769 0.2386 0.4500 0.6000 0.8616 0.0285 0.0000 0.1988 0.0000 0.6000 0.2769 0.2386 183-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1385 0.1261 0.2000 0.4000 0.9106 0.0047 0.0000 0.1065 0.0000 0.4000 0.1385 0.1261 184-AH 0.0000 0.0000 0.2000 0.6500 0.8000 0.3231 0.3219 0.6500 0.8000 0.9962 0.0150 0.0000 0.2746 0.0000 0.8000 0.3231 0.3219 185-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0769 0.1013 0.2000 0.2000 1.3166 0.0005 0.0000 0.0947 0.0000 0.2000 0.0769 0.1013 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0615 0.0961 0.2000 0.2000 1.5612 0.0002 0.0000 0.0852 0.0000 0.2000 0.0615 0.0961 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.8000 0.8000 1.0000 1.0000 1.0000 0.9385 0.0961 0.2000 0.2000 0.1024 0.9336 0.9286 0.0852 0.8000 1.0000 0.9385 0.0961 190-AH 0.0000 0.2000 0.2000 0.6500 0.8000 0.4154 0.2882 0.4500 0.8000 0.6939 0.1657 0.0001 0.2627 0.0000 0.8000 0.4154 0.2882 186 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.4000 0.6000 1.0000 1.0000 0.6000 0.3651 0.6000 1.0000 0.6086 0.1192 0.0001 0.3077 0.0000 1.0000 0.6000 0.3651 193-AH 0.4000 0.4000 0.4000 0.6000 0.6000 0.4615 0.0961 0.2000 0.2000 0.2082 0.4531 0.4457 0.0852 0.4000 0.6000 0.4615 0.0961 194-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0769 0.1013 0.2000 0.2000 1.3166 0.0005 0.0000 0.0947 0.0000 0.2000 0.0769 0.1013 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 197-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9692 0.1109 0.0000 0.4000 0.1145 0.9615 0.9512 0.0568 1.0000 1.0000 1.0000 0.0000 198-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0615 0.0961 0.2000 0.2000 1.5612 0.0002 0.0000 0.0852 0.0000 0.2000 0.0615 0.0961 199-AH 0.4000 0.4000 0.6000 0.6000 0.6000 0.5385 0.0961 0.2000 0.2000 0.1784 0.5296 0.5200 0.0852 0.4000 0.6000 0.5385 0.0961 200-AH 0.0000 0.6000 0.6000 0.8000 0.8000 0.6000 0.2828 0.2000 0.8000 0.4714 0.1261 0.0001 0.1846 0.6000 0.8000 0.7091 0.1044 251-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9846 0.0555 0.0000 0.2000 0.0563 0.9830 0.9811 0.0284 1.0000 1.0000 1.0000 0.0000 252-AH 0.2000 0.2000 0.6000 0.8000 1.0000 0.5385 0.2755 0.6000 0.8000 0.5116 0.4610 0.3833 0.2296 0.2000 1.0000 0.5385 0.2755 253-AH 0.0000 0.3500 0.6000 0.6500 0.8000 0.4923 0.2783 0.3000 0.8000 0.5652 0.1019 0.0001 0.2249 0.0000 0.8000 0.4923 0.2783 254-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.2000 0.1826 0.4000 0.4000 0.9129 0.0058 0.0000 0.1538 0.0000 0.4000 0.2000 0.1826 255-AH 0.2000 0.4000 0.6000 0.6000 0.6000 0.5077 0.1320 0.2000 0.4000 0.2601 0.4867 0.4588 0.1136 0.2000 0.6000 0.5077 0.1320 256-AH 0.8000 0.9500 1.0000 1.0000 1.0000 0.9538 0.0877 0.0500 0.2000 0.0919 0.9498 0.9455 0.0710 1.0000 1.0000 1.0000 0.0000 257-AH 0.0000 0.2000 0.4000 0.4000 0.8000 0.3231 0.2242 0.2000 0.8000 0.6939 0.0689 0.0001 0.1751 0.0000 0.6000 0.2833 0.1801 258-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0462 0.0877 0.0500 0.2000 1.9003 0.0001 0.0000 0.0710 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.4000 0.4000 0.4000 0.2308 0.1974 0.4000 0.4000 0.8555 0.0064 0.0000 0.1822 0.0000 0.4000 0.2308 0.1974 260-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.7846 0.2075 0.4000 0.6000 0.2645 0.7564 0.7256 0.1728 0.4000 1.0000 0.7846 0.2075 261-AH 0.0000 0.2000 0.4000 0.8000 1.0000 0.4615 0.3595 0.6000 1.0000 0.7789 0.0863 0.0001 0.3124 0.0000 1.0000 0.4615 0.3595 262-AH 0.0000 0.2000 0.4000 0.8000 0.8000 0.4308 0.3146 0.6000 0.8000 0.7303 0.0834 0.0001 0.2793 0.0000 0.8000 0.4308 0.3146 263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 264-AH 0.2000 0.4000 0.8000 1.0000 1.0000 0.7538 0.2961 0.6000 0.8000 0.3928 0.6793 0.5843 0.2485 0.2000 1.0000 0.7538 0.2961 265-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2462 0.1198 0.2000 0.4000 0.4868 0.1156 0.0001 0.0947 0.0000 0.4000 0.2462 0.1198 266-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0308 0.0751 0.0000 0.2000 2.4410 0.0000 0.0000 0.0521 0.0000 0.0000 0.0000 0.0000 267-AH 0.2000 0.6000 0.6000 1.0000 1.0000 0.6923 0.2532 0.4000 0.8000 0.3657 0.6394 0.5714 0.2059 0.2000 1.0000 0.6923 0.2532 268-AH 0.0000 0.4000 0.4000 0.4000 0.4000 0.3692 0.1109 0.0000 0.4000 0.3005 0.1770 0.0001 0.0568 0.4000 0.4000 0.4000 0.0000 269-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2769 0.2774 0.4000 0.8000 1.0015 0.0138 0.0000 0.2178 0.0000 0.8000 0.2769 0.2774 270-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9846 0.0555 0.0000 0.2000 0.0563 0.9830 0.9811 0.0284 1.0000 1.0000 1.0000 0.0000 271-AH 0.0000 0.7500 0.8000 0.8500 1.0000 0.7385 0.2755 0.1000 1.0000 0.3731 0.3277 0.0001 0.1870 0.8000 0.8000 0.8000 0.0000 272-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.2308 0.1797 0.4000 0.4000 0.7789 0.0131 0.0000 0.1562 0.0000 0.4000 0.2308 0.1797 273-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8769 0.2774 0.2000 1.0000 0.3163 0.3918 0.0001 0.1704 0.8000 1.0000 0.9500 0.0905 274-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0615 0.0961 0.2000 0.2000 1.5612 0.0002 0.0000 0.0852 0.0000 0.2000 0.0615 0.0961 275-AH 0.4000 0.5500 0.8000 1.0000 1.0000 0.7538 0.2470 0.4500 0.6000 0.3277 0.7107 0.6638 0.2107 0.4000 1.0000 0.7538 0.2470 276-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.3385 0.2755 0.6000 0.8000 0.8140 0.0169 0.0000 0.2296 0.0000 0.8000 0.3385 0.2755 277-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1538 0.1854 0.4000 0.4000 1.2049 0.0012 0.0000 0.1657 0.0000 0.4000 0.1538 0.1854 278-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.2000 0.2000 0.2000 0.6000 1.0000 0.0112 0.0000 0.1231 0.0000 0.2000 0.1273 0.1009 279-AH 0.0000 0.0000 0.2000 0.2500 0.6000 0.1846 0.2230 0.2500 0.6000 1.2081 0.0026 0.0000 0.1704 0.0000 0.6000 0.1846 0.2230 280-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0615 0.0961 0.2000 0.2000 1.5612 0.0002 0.0000 0.0852 0.0000 0.2000 0.0615 0.0961 281-AH 0.2000 0.6000 0.8000 0.8500 1.0000 0.7077 0.2397 0.2500 0.8000 0.3386 0.6570 0.5865 0.1917 0.4000 1.0000 0.7500 0.1931 282-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2615 0.1502 0.2000 0.4000 0.5743 0.0600 0.0001 0.1278 0.0000 0.4000 0.2615 0.1502 283-AH 0.0000 0.4000 0.4000 1.0000 1.0000 0.6000 0.3464 0.6000 1.0000 0.5774 0.2518 0.0001 0.3077 0.0000 1.0000 0.6000 0.3464 284-AH 0.0000 0.4000 0.6000 0.8500 1.0000 0.5846 0.3508 0.4500 1.0000 0.6001 0.1172 0.0001 0.2935 0.0000 1.0000 0.5846 0.3508 285-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6000 0.2828 0.4000 1.0000 0.4714 0.2627 0.0001 0.2154 0.0000 1.0000 0.6000 0.2828 286-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0615 0.0961 0.2000 0.2000 1.5612 0.0002 0.0000 0.0852 0.0000 0.2000 0.0615 0.0961 287-AH 0.0000 0.1500 0.4000 0.6500 0.8000 0.4308 0.3038 0.5000 0.8000 0.7053 0.0424 0.0000 0.2485 0.0000 0.8000 0.4308 0.3038 288-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3692 0.1974 0.4000 0.6000 0.5347 0.1620 0.0001 0.1609 0.0000 0.6000 0.3692 0.1974 289-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.8154 0.2641 0.2000 1.0000 0.3239 0.3658 0.0001 0.1420 0.8000 1.0000 0.8833 0.1030 290-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1385 0.1261 0.2000 0.4000 0.9106 0.0047 0.0000 0.1065 0.0000 0.4000 0.1385 0.1261 187 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8462 0.2332 0.2000 0.8000 0.2755 0.7931 0.6964 0.1657 0.6000 1.0000 0.9000 0.1348 292-AH 0.0000 0.4000 0.4000 0.6500 0.8000 0.4923 0.2253 0.2500 0.8000 0.4577 0.2211 0.0001 0.1751 0.4000 0.8000 0.5333 0.1775 293-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7538 0.2727 0.4000 0.8000 0.3617 0.6917 0.6070 0.2343 0.2000 1.0000 0.7538 0.2727 294-AH 0.0000 0.2000 0.4000 0.8000 1.0000 0.4462 0.3072 0.6000 1.0000 0.6885 0.1801 0.0001 0.2485 0.0000 1.0000 0.4462 0.3072 295-AH 0.0000 0.4000 0.4000 0.6000 0.8000 0.4923 0.2100 0.2000 0.8000 0.4266 0.2231 0.0001 0.1609 0.4000 0.8000 0.5333 0.1557 296-AH 0.4000 0.6000 0.6000 0.6000 0.6000 0.5692 0.0751 0.0000 0.2000 0.1319 0.5637 0.5571 0.0521 0.6000 0.6000 0.6000 0.0000 297-AH 0.0000 0.2000 0.6000 0.8000 0.8000 0.4923 0.3226 0.6000 0.8000 0.6554 0.1926 0.0001 0.3006 0.0000 0.8000 0.4923 0.3226 298-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3385 0.2219 0.4000 0.6000 0.6556 0.0717 0.0001 0.1893 0.0000 0.6000 0.3385 0.2219 299-AH 0.0000 0.2000 0.6000 0.6500 0.8000 0.4462 0.2961 0.4500 0.8000 0.6637 0.0888 0.0001 0.2580 0.0000 0.8000 0.4462 0.2961 300-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0462 0.1198 0.0000 0.4000 2.5963 0.0000 0.0000 0.0781 0.0000 0.0000 0.0000 0.0000 301-AH 0.0000 0.4000 0.6000 0.8500 1.0000 0.6000 0.3464 0.4500 1.0000 0.5774 0.1209 0.0001 0.2769 0.0000 1.0000 0.6000 0.3464 302-AH 0.4000 0.6000 0.6000 0.6000 0.8000 0.6000 0.1155 0.0000 0.4000 0.1925 0.5892 0.5778 0.0615 0.6000 0.6000 0.6000 0.0000 303-AH 0.0000 0.0000 0.0000 0.2500 0.4000 0.1231 0.1739 0.2500 0.4000 1.4133 0.0005 0.0000 0.1515 0.0000 0.4000 0.1231 0.1739 304-AH 0.0000 0.1500 0.6000 0.6000 0.8000 0.4154 0.2764 0.4500 0.8000 0.6655 0.0418 0.0000 0.2296 0.0000 0.8000 0.4154 0.2764 305-AH 0.0000 0.0000 0.4000 0.6000 0.6000 0.3231 0.2522 0.6000 0.6000 0.7805 0.0165 0.0000 0.2178 0.0000 0.6000 0.3231 0.2522 306-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1846 0.0555 0.0000 0.2000 0.3005 0.0934 0.0001 0.0284 0.2000 0.2000 0.2000 0.0000 307-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1538 0.1450 0.2000 0.4000 0.9425 0.0049 0.0000 0.1183 0.0000 0.4000 0.1538 0.1450 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0923 0.1754 0.1000 0.4000 1.9003 0.0001 0.0000 0.1420 0.0000 0.0000 0.0000 0.0000 310-AH 0.0000 0.0000 0.2000 0.2500 0.4000 0.1846 0.1519 0.2500 0.4000 0.8229 0.0111 0.0000 0.1136 0.0000 0.4000 0.1846 0.1519 311-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3538 0.2184 0.4000 0.6000 0.6172 0.0756 0.0001 0.1799 0.0000 0.6000 0.3538 0.2184 312-AH 0.0000 0.1500 0.4000 0.6500 0.8000 0.4000 0.3055 0.5000 0.8000 0.7638 0.0389 0.0000 0.2462 0.0000 0.8000 0.4000 0.3055 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.6000 0.8000 0.8000 0.8000 0.6923 0.2253 0.2000 0.8000 0.3255 0.3141 0.0001 0.1491 0.6000 0.8000 0.7500 0.0905 316-AH 0.0000 0.0000 0.0000 0.2500 0.6000 0.1385 0.2063 0.2500 0.6000 1.4900 0.0005 0.0000 0.1704 0.0000 0.6000 0.1385 0.2063 317-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3231 0.1922 0.2000 0.6000 0.5948 0.0711 0.0001 0.1562 0.0000 0.6000 0.3231 0.1922 318-AH 0.0000 0.0000 0.0000 0.0500 0.4000 0.0769 0.1536 0.0500 0.4000 1.9967 0.0001 0.0000 0.1183 0.0000 0.0000 0.0000 0.0000 319-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7231 0.2774 0.4000 0.8000 0.3836 0.6478 0.5417 0.2178 0.2000 1.0000 0.7231 0.2774 320-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0769 0.1013 0.2000 0.2000 1.3166 0.0005 0.0000 0.0947 0.0000 0.2000 0.0769 0.1013 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.1500 0.2000 0.4000 0.4000 0.2154 0.1519 0.2500 0.4000 0.7053 0.0252 0.0000 0.1136 0.0000 0.4000 0.2154 0.1519 323-AH 0.0000 0.2000 0.2000 0.3000 0.8000 0.2923 0.2660 0.1000 0.8000 0.9101 0.0587 0.0001 0.2036 0.2000 0.2000 0.2000 0.0000 324-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6923 0.2532 0.2000 1.0000 0.3657 0.3097 0.0001 0.1799 0.4000 1.0000 0.7500 0.1508 325-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0615 0.1710 0.0000 0.6000 2.7783 0.0000 0.0000 0.1041 0.0000 0.0000 0.0000 0.0000 326-AH 0.2000 0.2000 0.2000 0.4000 0.4000 0.2769 0.1013 0.2000 0.2000 0.3657 0.2611 0.2476 0.0947 0.2000 0.4000 0.2769 0.1013 327-AH 0.0000 0.0000 0.0000 0.0500 0.4000 0.0615 0.1261 0.0500 0.4000 2.0489 0.0001 0.0000 0.0947 0.0000 0.0000 0.0000 0.0000 328-AH 0.4000 0.4000 0.6000 0.6000 0.8000 0.5385 0.1261 0.2000 0.4000 0.2342 0.5248 0.5115 0.1065 0.4000 0.8000 0.5385 0.1261 329-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.8923 0.2660 0.0000 0.8000 0.2981 0.8234 0.7027 0.1822 1.0000 1.0000 1.0000 0.0000 330-AH 0.8000 0.8000 1.0000 1.0000 1.0000 0.9385 0.0961 0.2000 0.2000 0.1024 0.9336 0.9286 0.0852 0.8000 1.0000 0.9385 0.0961 331-AH 0.0000 0.0000 0.0000 0.6000 0.8000 0.2308 0.3351 0.6000 0.8000 1.4522 0.0007 0.0000 0.2888 0.0000 0.8000 0.2308 0.3351 332-AH 0.2000 0.3500 0.4000 0.4000 0.4000 0.3538 0.0877 0.0500 0.2000 0.2479 0.3409 0.3250 0.0710 0.4000 0.4000 0.4000 0.0000 333-AH 0.4000 0.9500 1.0000 1.0000 1.0000 0.8923 0.2253 0.0500 0.6000 0.2525 0.8537 0.8000 0.1657 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1692 0.1377 0.2000 0.4000 0.8140 0.0106 0.0000 0.1041 0.0000 0.4000 0.1692 0.1377 335-AH 0.0000 0.2000 0.6000 0.6000 0.6000 0.4308 0.2136 0.4000 0.6000 0.4959 0.1877 0.0001 0.1822 0.0000 0.6000 0.4308 0.2136 336-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2154 0.2375 0.4000 0.6000 1.1027 0.0029 0.0000 0.2036 0.0000 0.6000 0.2154 0.2375 337-AH 0.8000 0.8000 1.0000 1.0000 1.0000 0.9231 0.1013 0.2000 0.2000 0.1097 0.9178 0.9123 0.0947 0.8000 1.0000 0.9231 0.1013 338-AH 0.0000 0.7000 0.8000 1.0000 1.0000 0.7692 0.3146 0.3000 1.0000 0.4090 0.3345 0.0001 0.2320 0.4000 1.0000 0.8333 0.2229 339-AH 0.2000 0.6000 0.6000 0.8000 0.8000 0.6000 0.2000 0.2000 0.6000 0.3333 0.5536 0.4875 0.1231 0.6000 0.8000 0.6727 0.1009 340-AH 0.0000 0.0000 0.2000 0.2500 0.4000 0.1692 0.1601 0.2500 0.4000 0.9462 0.0052 0.0000 0.1302 0.0000 0.4000 0.1692 0.1601 188 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.4000 0.4000 0.8000 0.2769 0.2386 0.4000 0.8000 0.8616 0.0146 0.0000 0.1941 0.0000 0.8000 0.2769 0.2386 342-AH 0.4000 0.8000 0.8000 1.0000 1.0000 0.8462 0.1664 0.2000 0.6000 0.1967 0.8264 0.8000 0.1183 0.8000 1.0000 0.8833 0.1030 343-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0154 0.0555 0.0000 0.2000 3.6056 0.0000 0.0000 0.0284 0.0000 0.0000 0.0000 0.0000 344-AH 0.2000 0.7500 1.0000 1.0000 1.0000 0.8308 0.2428 0.2500 0.8000 0.2923 0.7758 0.6812 0.1822 0.6000 1.0000 0.8833 0.1586 345-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1077 0.1553 0.2000 0.4000 1.4416 0.0005 0.0000 0.1325 0.0000 0.4000 0.1077 0.1553 346-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0462 0.0877 0.0500 0.2000 1.9003 0.0001 0.0000 0.0710 0.0000 0.0000 0.0000 0.0000 347-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1385 0.1502 0.2000 0.4000 1.0849 0.0023 0.0000 0.1278 0.0000 0.4000 0.1385 0.1502 348-AH 0.2000 0.3500 0.4000 0.4000 0.4000 0.3538 0.0877 0.0500 0.2000 0.2479 0.3409 0.3250 0.0710 0.4000 0.4000 0.4000 0.0000 349-AH 0.4000 0.6000 0.6000 0.6000 0.8000 0.6000 0.1155 0.0000 0.4000 0.1925 0.5892 0.5778 0.0615 0.6000 0.6000 0.6000 0.0000 350-AH 0.6000 0.6000 0.8000 0.8000 0.8000 0.7077 0.1038 0.2000 0.2000 0.1466 0.7005 0.6933 0.0994 0.6000 0.8000 0.7077 0.1038 189 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0750 0.1000 0.1000 0.1000 0.0769 0.0439 0.0250 0.1000 0.5701 0.0119 0.0000 0.0355 0.1000 0.1000 0.1000 0.0000 142-AH 0.7000 0.7000 0.7000 0.8000 0.8000 0.7385 0.0506 0.1000 0.1000 0.0686 0.7369 0.7354 0.0473 0.7000 0.8000 0.7385 0.0506 143-AH 0.0000 0.0750 0.4000 1.0000 1.0000 0.5231 0.4438 0.9250 1.0000 0.8484 0.0434 0.0000 0.4095 0.0000 1.0000 0.5231 0.4438 144-AH 0.0000 0.0000 0.2000 0.3000 0.3000 0.1769 0.1301 0.3000 0.3000 0.7353 0.0111 0.0000 0.1089 0.0000 0.3000 0.1769 0.1301 145-AH 0.0000 0.1000 0.9000 1.0000 1.0000 0.6769 0.4246 0.9000 1.0000 0.6272 0.2324 0.0001 0.3704 0.0000 1.0000 0.6769 0.4246 146-AH 0.0000 0.0750 0.1000 0.1000 0.1000 0.0769 0.0439 0.0250 0.1000 0.5701 0.0119 0.0000 0.0355 0.1000 0.1000 0.1000 0.0000 147-AH 0.0000 0.4000 0.8000 0.9000 1.0000 0.6154 0.3158 0.5000 1.0000 0.5132 0.2592 0.0001 0.2757 0.0000 1.0000 0.6154 0.3158 148-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0846 0.0376 0.0000 0.1000 0.4438 0.0242 0.0001 0.0260 0.1000 0.1000 0.1000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0308 0.0751 0.0000 0.2000 2.4410 0.0000 0.0000 0.0521 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.3250 0.5000 0.1308 0.1932 0.3250 0.5000 1.4770 0.0005 0.0000 0.1657 0.0000 0.5000 0.1308 0.1932 152-AH 0.0000 0.1750 0.2000 0.3000 0.4000 0.2077 0.1188 0.1250 0.4000 0.5718 0.0494 0.0001 0.0864 0.0000 0.4000 0.2077 0.1188 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1000 0.4000 0.5000 0.5000 0.6000 0.4538 0.1266 0.1000 0.5000 0.2789 0.4242 0.3679 0.0876 0.4000 0.6000 0.4833 0.0718 155-AH 0.0000 0.0000 0.0000 0.0250 0.1000 0.0231 0.0439 0.0250 0.1000 1.9003 0.0001 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 156-AH 0.0000 0.1000 0.1000 0.2500 0.4000 0.1692 0.1437 0.1500 0.4000 0.8490 0.0371 0.0001 0.1160 0.0000 0.4000 0.1692 0.1437 157-AH 0.4000 0.6000 0.7000 0.7000 0.9000 0.6538 0.1266 0.1000 0.5000 0.1936 0.6418 0.6289 0.0959 0.5000 0.8000 0.6545 0.0820 158-AH 0.0000 0.4000 0.4000 0.7750 1.0000 0.5385 0.3124 0.3750 1.0000 0.5801 0.2272 0.0001 0.2473 0.0000 1.0000 0.5385 0.3124 159-AH 0.0000 0.3000 0.6000 0.8250 0.9000 0.5231 0.3032 0.5250 0.9000 0.5796 0.2126 0.0001 0.2521 0.0000 0.9000 0.5231 0.3032 160-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0308 0.0480 0.1000 0.1000 1.5612 0.0002 0.0000 0.0426 0.0000 0.1000 0.0308 0.0480 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0923 0.0277 0.0000 0.1000 0.3005 0.0492 0.0001 0.0142 0.1000 0.1000 0.1000 0.0000 163-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9615 0.1121 0.0000 0.4000 0.1166 0.9537 0.9435 0.0651 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1077 0.1256 0.2000 0.4000 1.1661 0.0020 0.0000 0.1018 0.0000 0.4000 0.1077 0.1256 165-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.1000 0.2000 0.2000 0.2250 0.3000 0.2077 0.0641 0.0250 0.2000 0.3084 0.1974 0.1857 0.0426 0.2000 0.2000 0.2000 0.0000 168-AH 0.1000 0.5000 0.6000 0.7250 1.0000 0.6077 0.2253 0.2250 0.9000 0.3708 0.5469 0.4388 0.1491 0.4000 1.0000 0.6500 0.1732 169-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0615 0.0650 0.1000 0.2000 1.0570 0.0015 0.0000 0.0568 0.0000 0.2000 0.0615 0.0650 170-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0923 0.0277 0.0000 0.1000 0.3005 0.0492 0.0001 0.0142 0.1000 0.1000 0.1000 0.0000 171-AH 0.0000 0.0750 0.1000 0.1000 0.1000 0.0769 0.0439 0.0250 0.1000 0.5701 0.0119 0.0000 0.0355 0.1000 0.1000 0.1000 0.0000 172-AH 0.0000 0.0000 0.0000 0.0250 0.1000 0.0231 0.0439 0.0250 0.1000 1.9003 0.0001 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 173-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 174-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 175-AH 0.4000 0.4750 0.5000 0.6000 0.6000 0.5154 0.0801 0.1250 0.2000 0.1553 0.5094 0.5032 0.0651 0.4000 0.6000 0.5154 0.0801 176-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9923 0.0277 0.0000 0.1000 0.0280 0.9919 0.9915 0.0142 1.0000 1.0000 1.0000 0.0000 177-AH 0.0000 0.1750 0.4000 0.4250 0.5000 0.3000 0.1732 0.2500 0.5000 0.5774 0.1283 0.0001 0.1538 0.0000 0.5000 0.3000 0.1732 178-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0385 0.0506 0.1000 0.1000 1.3166 0.0003 0.0000 0.0473 0.0000 0.1000 0.0385 0.0506 179-AH 0.0000 0.3750 0.5000 0.8500 1.0000 0.5692 0.3172 0.4750 1.0000 0.5573 0.2392 0.0001 0.2544 0.0000 1.0000 0.5692 0.3172 180-AH 0.0000 0.0000 0.0000 0.5000 0.7000 0.2077 0.2722 0.5000 0.7000 1.3107 0.0013 0.0000 0.2402 0.0000 0.7000 0.2077 0.2722 181-AH 0.5000 0.6000 0.7000 1.0000 1.0000 0.7769 0.2048 0.4000 0.5000 0.2635 0.7518 0.7274 0.1905 0.5000 1.0000 0.7769 0.2048 182-AH 0.0000 0.1000 0.2000 0.3000 0.3000 0.1769 0.1013 0.2000 0.3000 0.5724 0.0810 0.0001 0.0864 0.0000 0.3000 0.1769 0.1013 183-AH 0.0000 0.0000 0.2000 0.2250 0.3000 0.1385 0.1261 0.2250 0.3000 0.9106 0.0046 0.0000 0.1124 0.0000 0.3000 0.1385 0.1261 184-AH 0.0000 0.0750 0.2000 0.4250 0.5000 0.2385 0.1981 0.3500 0.5000 0.8306 0.0251 0.0000 0.1704 0.0000 0.5000 0.2385 0.1981 185-AH 0.0000 0.0750 0.1000 0.1000 0.1000 0.0769 0.0439 0.0250 0.1000 0.5701 0.0119 0.0000 0.0355 0.1000 0.1000 0.1000 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0385 0.0506 0.1000 0.1000 1.3166 0.0003 0.0000 0.0473 0.0000 0.1000 0.0385 0.0506 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.4000 0.5500 0.6000 0.7000 0.7000 0.5846 0.1144 0.1500 0.3000 0.1956 0.5729 0.5600 0.0852 0.4000 0.7000 0.5846 0.1144 190-AH 0.0000 0.1000 0.2000 0.5000 0.5000 0.2846 0.2115 0.4000 0.5000 0.7432 0.1092 0.0001 0.1988 0.0000 0.5000 0.2846 0.2115 190 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.4000 0.5000 0.6000 0.6000 0.4462 0.1984 0.2000 0.6000 0.4447 0.1952 0.0001 0.1503 0.1000 0.6000 0.4833 0.1528 193-AH 0.2000 0.2000 0.3000 0.3000 0.3000 0.2692 0.0480 0.1000 0.1000 0.1784 0.2648 0.2600 0.0426 0.2000 0.3000 0.2692 0.0480 194-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0385 0.0506 0.1000 0.1000 1.3166 0.0003 0.0000 0.0473 0.0000 0.1000 0.0385 0.0506 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 197-AH 0.6000 0.8750 1.0000 1.0000 1.0000 0.9308 0.1251 0.1250 0.4000 0.1344 0.9215 0.9105 0.0959 0.8000 1.0000 0.9583 0.0793 198-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0308 0.0480 0.1000 0.1000 1.5612 0.0002 0.0000 0.0426 0.0000 0.1000 0.0308 0.0480 199-AH 0.5000 0.6000 0.7000 0.7000 0.7000 0.6462 0.0776 0.1000 0.2000 0.1201 0.6415 0.6364 0.0663 0.5000 0.7000 0.6462 0.0776 200-AH 0.0000 0.3000 0.4000 0.6000 0.7000 0.4077 0.2253 0.3000 0.7000 0.5527 0.0882 0.0001 0.1775 0.0000 0.7000 0.4077 0.2253 251-AH 0.8000 0.8000 0.9000 1.0000 1.0000 0.9000 0.0816 0.2000 0.2000 0.0907 0.8966 0.8931 0.0615 0.8000 1.0000 0.9000 0.0816 252-AH 0.2000 0.3000 0.4000 0.6000 0.8000 0.4462 0.1984 0.3000 0.6000 0.4447 0.4048 0.3661 0.1728 0.2000 0.8000 0.4462 0.1984 253-AH 0.0000 0.4750 0.7000 0.8000 0.8000 0.5615 0.3097 0.3250 0.8000 0.5515 0.1102 0.0001 0.2438 0.0000 0.8000 0.5615 0.3097 254-AH 0.0000 0.0750 0.1000 0.3250 0.5000 0.2000 0.1732 0.2500 0.5000 0.8660 0.0215 0.0000 0.1538 0.0000 0.5000 0.2000 0.1732 255-AH 0.1000 0.3000 0.3000 0.3000 0.3000 0.2769 0.0599 0.0000 0.2000 0.2164 0.2672 0.2516 0.0391 0.3000 0.3000 0.3000 0.0000 256-AH 0.4000 0.7750 1.0000 1.0000 1.0000 0.8462 0.2570 0.2250 0.6000 0.3037 0.7964 0.7335 0.2059 0.9000 1.0000 0.9800 0.0422 257-AH 0.0000 0.1000 0.2000 0.4000 0.7000 0.2462 0.1984 0.3000 0.7000 0.8060 0.0992 0.0001 0.1562 0.0000 0.7000 0.2462 0.1984 258-AH 0.0000 0.0000 0.0000 0.0250 0.1000 0.0231 0.0439 0.0250 0.1000 1.9003 0.0001 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1462 0.0776 0.1000 0.2000 0.5311 0.0371 0.0001 0.0663 0.0000 0.2000 0.1462 0.0776 260-AH 0.5000 0.6000 0.8000 0.9000 0.9000 0.7538 0.1391 0.3000 0.4000 0.1846 0.7410 0.7274 0.1183 0.5000 0.9000 0.7538 0.1391 261-AH 0.0000 0.1000 0.4000 0.7000 0.9000 0.3846 0.3211 0.6000 0.9000 0.8347 0.1311 0.0001 0.2781 0.0000 0.9000 0.3846 0.3211 262-AH 0.0000 0.1000 0.4000 0.6500 0.8000 0.3769 0.3059 0.5500 0.8000 0.8116 0.0685 0.0001 0.2556 0.0000 0.8000 0.3769 0.3059 263-AH 0.0000 0.0000 0.0000 0.0250 0.1000 0.0231 0.0439 0.0250 0.1000 1.9003 0.0001 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 264-AH 0.3000 0.3750 0.6000 0.8250 1.0000 0.6308 0.2463 0.4500 0.7000 0.3904 0.5803 0.5274 0.2024 0.3000 1.0000 0.6308 0.2463 265-AH 0.0000 0.1000 0.2000 0.3250 0.4000 0.2154 0.1345 0.2250 0.4000 0.6242 0.0942 0.0001 0.1112 0.0000 0.4000 0.2154 0.1345 266-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0154 0.0376 0.0000 0.1000 2.4410 0.0000 0.0000 0.0260 0.0000 0.0000 0.0000 0.0000 267-AH 0.2000 0.3000 0.4000 0.6000 0.6000 0.4385 0.1446 0.3000 0.4000 0.3297 0.4148 0.3900 0.1243 0.2000 0.6000 0.4385 0.1446 268-AH 0.1000 0.2000 0.2000 0.2000 0.2000 0.1923 0.0277 0.0000 0.1000 0.1442 0.1896 0.1857 0.0142 0.2000 0.2000 0.2000 0.0000 269-AH 0.0000 0.1500 0.3000 0.3250 0.4000 0.2385 0.1502 0.1750 0.4000 0.6299 0.0279 0.0000 0.1219 0.0000 0.4000 0.2385 0.1502 270-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9923 0.0277 0.0000 0.1000 0.0280 0.9919 0.9915 0.0142 1.0000 1.0000 1.0000 0.0000 271-AH 0.3000 0.5750 0.6000 0.6250 0.8000 0.5923 0.1188 0.0500 0.5000 0.2005 0.5791 0.5626 0.0734 0.6000 0.7000 0.6222 0.0441 272-AH 0.0000 0.1000 0.2000 0.4000 0.4000 0.2154 0.1405 0.3000 0.4000 0.6524 0.0934 0.0001 0.1136 0.0000 0.4000 0.2154 0.1405 273-AH 0.1000 0.9000 0.9000 1.0000 1.0000 0.8846 0.2410 0.1000 0.9000 0.2724 0.7979 0.5735 0.1207 0.9000 1.0000 0.9500 0.0522 274-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0308 0.0480 0.1000 0.1000 1.5612 0.0002 0.0000 0.0426 0.0000 0.1000 0.0308 0.0480 275-AH 0.4000 0.5000 0.7000 0.8250 0.9000 0.6769 0.1833 0.3250 0.5000 0.2707 0.6519 0.6254 0.1515 0.4000 0.9000 0.6769 0.1833 276-AH 0.0000 0.2000 0.5000 0.7000 0.8000 0.4308 0.2626 0.5000 0.8000 0.6097 0.1743 0.0001 0.2237 0.0000 0.8000 0.4308 0.2626 277-AH 0.1000 0.1000 0.1000 0.2000 0.4000 0.1615 0.0961 0.1000 0.3000 0.5948 0.1421 0.1289 0.0757 0.1000 0.3000 0.1417 0.0669 278-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1462 0.0877 0.1000 0.3000 0.6001 0.0684 0.0001 0.0722 0.0000 0.3000 0.1462 0.0877 279-AH 0.0000 0.0000 0.1000 0.2250 0.3000 0.1231 0.1301 0.2250 0.3000 1.0570 0.0022 0.0000 0.1172 0.0000 0.3000 0.1231 0.1301 280-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.0846 0.0899 0.2000 0.2000 1.0621 0.0018 0.0000 0.0781 0.0000 0.2000 0.0846 0.0899 281-AH 0.4000 0.6000 0.6000 0.7250 0.9000 0.6538 0.1561 0.1250 0.5000 0.2387 0.6356 0.6164 0.1195 0.6000 0.9000 0.7000 0.1183 282-AH 0.0000 0.3000 0.3000 0.4000 0.5000 0.3308 0.1182 0.1000 0.5000 0.3574 0.1577 0.0001 0.0793 0.3000 0.5000 0.3583 0.0669 283-AH 0.0000 0.2000 0.5000 0.8000 0.8000 0.4846 0.2824 0.6000 0.8000 0.5827 0.2008 0.0001 0.2343 0.0000 0.8000 0.4846 0.2824 284-AH 0.0000 0.3750 0.6000 0.7000 0.8000 0.5000 0.2550 0.3250 0.8000 0.5099 0.2100 0.0001 0.2154 0.0000 0.8000 0.5000 0.2550 285-AH 0.1000 0.4750 0.6000 0.8000 1.0000 0.6000 0.2380 0.3250 0.9000 0.3967 0.5356 0.4294 0.1692 0.1000 1.0000 0.6000 0.2380 286-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0692 0.0630 0.1000 0.2000 0.9106 0.0031 0.0000 0.0533 0.0000 0.2000 0.0692 0.0630 287-AH 0.0000 0.1500 0.5000 0.6000 0.8000 0.4077 0.2813 0.4500 0.8000 0.6899 0.0408 0.0000 0.2379 0.0000 0.8000 0.4077 0.2813 288-AH 0.0000 0.3750 0.4000 0.5250 0.6000 0.4154 0.1725 0.1500 0.6000 0.4152 0.1898 0.0001 0.1243 0.2000 0.6000 0.4500 0.1243 289-AH 0.2000 0.6750 0.7000 0.9000 1.0000 0.7308 0.2016 0.2250 0.8000 0.2759 0.6902 0.6226 0.1408 0.6000 1.0000 0.7750 0.1288 290-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1615 0.0870 0.1000 0.3000 0.5384 0.0761 0.0001 0.0722 0.0000 0.3000 0.1615 0.0870 191 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.2000 0.6750 0.7000 0.9000 0.9000 0.7231 0.1922 0.2250 0.7000 0.2657 0.6846 0.6193 0.1325 0.6000 0.9000 0.7667 0.1155 292-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2615 0.1261 0.2000 0.4000 0.4821 0.1219 0.0001 0.1065 0.0000 0.4000 0.2615 0.1261 293-AH 0.1000 0.5000 0.7000 0.7000 0.8000 0.5923 0.1801 0.2000 0.7000 0.3041 0.5425 0.4409 0.1325 0.5000 0.8000 0.6333 0.1073 294-AH 0.0000 0.2000 0.5000 0.6000 0.8000 0.4154 0.2478 0.4000 0.8000 0.5966 0.1702 0.0001 0.2118 0.0000 0.8000 0.4154 0.2478 295-AH 0.0000 0.4000 0.5000 0.6000 0.6000 0.4538 0.1713 0.2000 0.6000 0.3775 0.2095 0.0001 0.1266 0.3000 0.6000 0.4917 0.1084 296-AH 0.4000 0.6000 0.7000 0.7000 0.8000 0.6615 0.1044 0.1000 0.4000 0.1578 0.6527 0.6424 0.0781 0.6000 0.8000 0.6833 0.0718 297-AH 0.0000 0.1000 0.4000 0.5000 0.5000 0.3000 0.2000 0.4000 0.5000 0.6667 0.1194 0.0001 0.1846 0.0000 0.5000 0.3000 0.2000 298-AH 0.0000 0.2000 0.3000 0.5000 0.6000 0.3231 0.1787 0.3000 0.6000 0.5530 0.1442 0.0001 0.1396 0.0000 0.6000 0.3231 0.1787 299-AH 0.0000 0.2000 0.5000 0.5000 0.6000 0.3692 0.2016 0.3000 0.6000 0.5460 0.1573 0.0001 0.1763 0.0000 0.6000 0.3692 0.2016 300-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1231 0.1092 0.2000 0.3000 0.8872 0.0082 0.0000 0.0899 0.0000 0.3000 0.1231 0.1092 301-AH 0.1000 0.2000 0.4000 0.7000 0.8000 0.4385 0.2567 0.5000 0.7000 0.5855 0.3518 0.2660 0.2260 0.1000 0.8000 0.4385 0.2567 302-AH 0.3000 0.4000 0.4000 0.5250 0.6000 0.4615 0.0961 0.1250 0.3000 0.2082 0.4523 0.4432 0.0817 0.3000 0.6000 0.4615 0.0961 303-AH 0.0000 0.0000 0.0000 0.1500 0.4000 0.1000 0.1581 0.1500 0.4000 1.5811 0.0005 0.0000 0.1231 0.0000 0.3000 0.0455 0.0934 304-AH 0.0000 0.1750 0.4000 0.4000 0.4000 0.2769 0.1589 0.2250 0.4000 0.5739 0.0619 0.0001 0.1361 0.0000 0.4000 0.2769 0.1589 305-AH 0.0000 0.0000 0.4000 0.6000 0.7000 0.3385 0.2694 0.6000 0.7000 0.7959 0.0169 0.0000 0.2355 0.0000 0.7000 0.3385 0.2694 306-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 307-AH 0.0000 0.0750 0.2000 0.3000 0.4000 0.1846 0.1463 0.2250 0.4000 0.7926 0.0212 0.0000 0.1243 0.0000 0.4000 0.1846 0.1463 308-AH 0.6000 0.6750 0.8000 0.8000 0.8000 0.7308 0.0855 0.1250 0.2000 0.1170 0.7259 0.7208 0.0746 0.6000 0.8000 0.7308 0.0855 309-AH 0.0000 0.0000 0.0000 0.1250 0.2000 0.0615 0.0870 0.1250 0.2000 1.4133 0.0004 0.0000 0.0757 0.0000 0.2000 0.0615 0.0870 310-AH 0.0000 0.0000 0.1000 0.2250 0.3000 0.1385 0.1193 0.2250 0.3000 0.8616 0.0089 0.0000 0.1030 0.0000 0.3000 0.1385 0.1193 311-AH 0.0000 0.3750 0.4000 0.5250 0.6000 0.4154 0.1625 0.1500 0.6000 0.3912 0.1925 0.0001 0.1112 0.3000 0.6000 0.4500 0.1087 312-AH 0.0000 0.1000 0.6000 0.7000 0.8000 0.4385 0.3042 0.6000 0.8000 0.6939 0.0816 0.0001 0.2757 0.0000 0.8000 0.4385 0.3042 313-AH 0.0000 0.0000 0.0000 0.0250 0.2000 0.0385 0.0768 0.0250 0.2000 1.9967 0.0001 0.0000 0.0592 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0077 0.0277 0.0000 0.1000 3.6056 0.0000 0.0000 0.0142 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.6000 0.8000 0.8000 0.8000 0.6769 0.2279 0.2000 0.8000 0.3366 0.3066 0.0001 0.1550 0.5000 0.8000 0.7333 0.1073 316-AH 0.0000 0.0000 0.1000 0.2250 0.4000 0.1308 0.1494 0.2250 0.4000 1.1421 0.0041 0.0000 0.1195 0.0000 0.4000 0.1308 0.1494 317-AH 0.0000 0.1000 0.3000 0.3250 0.4000 0.2308 0.1437 0.2250 0.4000 0.6226 0.0521 0.0001 0.1207 0.0000 0.4000 0.2308 0.1437 318-AH 0.0000 0.0000 0.0000 0.1250 0.4000 0.0923 0.1320 0.1250 0.4000 1.4305 0.0009 0.0000 0.0994 0.0000 0.3000 0.0667 0.0985 319-AH 0.2000 0.5000 0.5000 0.7000 0.7000 0.5462 0.1450 0.2000 0.5000 0.2655 0.5225 0.4897 0.1112 0.4000 0.7000 0.5750 0.1055 320-AH 0.0000 0.1000 0.1000 0.1250 0.2000 0.1077 0.0641 0.0250 0.2000 0.5948 0.0285 0.0001 0.0426 0.1000 0.1000 0.1000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0750 0.3000 0.4000 0.4000 0.2385 0.1660 0.3250 0.4000 0.6962 0.0268 0.0000 0.1432 0.0000 0.4000 0.2385 0.1660 323-AH 0.0000 0.1000 0.1000 0.3250 0.4000 0.1846 0.1519 0.2250 0.4000 0.8229 0.0395 0.0001 0.1349 0.0000 0.4000 0.1846 0.1519 324-AH 0.0000 0.5000 0.6000 0.9000 0.9000 0.6385 0.2663 0.4000 0.9000 0.4170 0.2833 0.0001 0.2107 0.0000 0.9000 0.6385 0.2663 325-AH 0.0000 0.0000 0.1000 0.1500 0.6000 0.1308 0.1888 0.1500 0.6000 1.4437 0.0020 0.0000 0.1396 0.0000 0.3000 0.0636 0.0924 326-AH 0.1000 0.1750 0.2000 0.2000 0.2000 0.1769 0.0439 0.0250 0.1000 0.2479 0.1704 0.1625 0.0355 0.2000 0.2000 0.2000 0.0000 327-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0846 0.0987 0.2000 0.2000 1.1666 0.0009 0.0000 0.0911 0.0000 0.2000 0.0846 0.0987 328-AH 0.3000 0.4750 0.6000 0.6000 0.8000 0.5692 0.1437 0.1250 0.5000 0.2524 0.5509 0.5306 0.1041 0.3000 0.6000 0.5273 0.1104 329-AH 0.3000 0.7750 0.9000 0.9000 0.9000 0.7923 0.1754 0.1250 0.6000 0.2214 0.7652 0.7240 0.1195 0.6000 0.9000 0.8333 0.0985 330-AH 0.8000 0.9000 1.0000 1.0000 1.0000 0.9538 0.0660 0.1000 0.2000 0.0692 0.9516 0.9493 0.0568 0.8000 1.0000 0.9538 0.0660 331-AH 0.0000 0.0000 0.1000 0.6000 0.7000 0.2462 0.2904 0.6000 0.7000 1.1799 0.0057 0.0000 0.2485 0.0000 0.7000 0.2462 0.2904 332-AH 0.2000 0.2750 0.3000 0.3000 0.4000 0.2846 0.0555 0.0250 0.2000 0.1949 0.2793 0.2737 0.0391 0.3000 0.3000 0.3000 0.0000 333-AH 0.4000 0.5000 0.5000 0.5000 0.5000 0.4846 0.0376 0.0000 0.1000 0.0775 0.4831 0.4815 0.0260 0.5000 0.5000 0.5000 0.0000 334-AH 0.0000 0.1000 0.1000 0.2000 0.2000 0.1231 0.0725 0.1000 0.2000 0.5891 0.0317 0.0001 0.0592 0.0000 0.2000 0.1231 0.0725 335-AH 0.0000 0.1000 0.3000 0.3250 0.5000 0.2692 0.1548 0.2250 0.5000 0.5751 0.1165 0.0001 0.1195 0.0000 0.5000 0.2692 0.1548 336-AH 0.0000 0.0000 0.1000 0.3250 0.4000 0.1692 0.1702 0.3250 0.4000 1.0058 0.0050 0.0000 0.1515 0.0000 0.4000 0.1692 0.1702 337-AH 0.8000 0.8000 0.8000 0.9000 0.9000 0.8385 0.0506 0.1000 0.1000 0.0604 0.8371 0.8357 0.0473 0.8000 0.9000 0.8385 0.0506 338-AH 0.0000 0.5000 0.6000 0.7000 0.7000 0.5462 0.1898 0.2000 0.7000 0.3475 0.2508 0.0001 0.1278 0.4000 0.7000 0.5917 0.0996 339-AH 0.2000 0.4000 0.5000 0.7000 0.8000 0.5308 0.1750 0.3000 0.6000 0.3298 0.4989 0.4610 0.1408 0.2000 0.8000 0.5308 0.1750 340-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1308 0.1251 0.2000 0.4000 0.9564 0.0044 0.0000 0.1053 0.0000 0.4000 0.1308 0.1251 192 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2154 0.1214 0.2000 0.4000 0.5638 0.0972 0.0001 0.0959 0.0000 0.4000 0.2154 0.1214 342-AH 0.5000 0.8000 0.9000 0.9000 1.0000 0.8538 0.1198 0.1000 0.5000 0.1403 0.8440 0.8313 0.0793 0.8000 1.0000 0.8833 0.0577 343-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0154 0.0376 0.0000 0.1000 2.4410 0.0000 0.0000 0.0260 0.0000 0.0000 0.0000 0.0000 344-AH 0.1000 0.6750 0.8000 0.9000 0.9000 0.7308 0.2175 0.2250 0.8000 0.2976 0.6625 0.5071 0.1467 0.6000 0.9000 0.7833 0.1115 345-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1000 0.1080 0.2000 0.3000 1.0801 0.0019 0.0000 0.0923 0.0000 0.3000 0.1000 0.1080 346-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0462 0.0660 0.1000 0.2000 1.4305 0.0004 0.0000 0.0568 0.0000 0.2000 0.0462 0.0660 347-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0846 0.1068 0.1000 0.3000 1.2624 0.0017 0.0000 0.0781 0.0000 0.1000 0.0455 0.0522 348-AH 0.1000 0.1750 0.2000 0.2000 0.2000 0.1769 0.0439 0.0250 0.1000 0.2479 0.1704 0.1625 0.0355 0.2000 0.2000 0.2000 0.0000 349-AH 0.3000 0.4000 0.5000 0.6000 0.7000 0.5077 0.1188 0.2000 0.4000 0.2339 0.4941 0.4798 0.1006 0.3000 0.7000 0.5077 0.1188 350-AH 0.3000 0.5000 0.6000 0.7000 0.7000 0.5846 0.1144 0.2000 0.4000 0.1956 0.5719 0.5560 0.0828 0.3000 0.7000 0.5846 0.1144 193 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0500 0.0667 0.0667 0.0667 0.0513 0.0292 0.0167 0.0667 0.5701 0.0087 0.0000 0.0237 0.0667 0.0667 0.0667 0.0000 142-AH 0.4667 0.4667 0.5333 0.5333 0.5333 0.5077 0.0338 0.0667 0.0667 0.0665 0.5066 0.5056 0.0316 0.4667 0.5333 0.5077 0.0338 143-AH 0.0000 0.2667 0.4000 0.9333 1.0000 0.5590 0.3892 0.6667 1.0000 0.6964 0.1064 0.0001 0.3558 0.0000 1.0000 0.5590 0.3892 144-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1333 0.0943 0.2000 0.2000 0.7071 0.0092 0.0000 0.0821 0.0000 0.2000 0.1333 0.0943 145-AH 0.0000 0.0667 0.8000 0.9333 0.9333 0.6205 0.3994 0.8667 0.9333 0.6437 0.2008 0.0001 0.3511 0.0000 0.9333 0.6205 0.3994 146-AH 0.0000 0.0500 0.0667 0.0667 0.0667 0.0513 0.0292 0.0167 0.0667 0.5701 0.0087 0.0000 0.0237 0.0667 0.0667 0.0667 0.0000 147-AH 0.0000 0.4000 0.6667 0.8667 0.9333 0.5846 0.2958 0.4667 0.9333 0.5060 0.2452 0.0001 0.2343 0.0000 0.9333 0.5846 0.2958 148-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0615 0.0185 0.0000 0.0667 0.3005 0.0339 0.0001 0.0095 0.0667 0.0667 0.0667 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0833 0.1333 0.0410 0.0580 0.0833 0.1333 1.4133 0.0003 0.0000 0.0505 0.0000 0.1333 0.0410 0.0580 151-AH 0.0000 0.0000 0.0667 0.2667 0.3333 0.1026 0.1294 0.2667 0.3333 1.2619 0.0018 0.0000 0.1112 0.0000 0.3333 0.1026 0.1294 152-AH 0.0000 0.1167 0.2667 0.2667 0.4000 0.2051 0.1201 0.1500 0.4000 0.5853 0.0478 0.0001 0.0963 0.0000 0.4000 0.2051 0.1201 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0667 0.4000 0.4000 0.4167 0.4667 0.3897 0.1013 0.0167 0.4000 0.2598 0.3611 0.2959 0.0497 0.4000 0.4000 0.4000 0.0000 155-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0256 0.0434 0.0667 0.1333 1.6912 0.0002 0.0000 0.0355 0.0000 0.1333 0.0256 0.0434 156-AH 0.0000 0.0667 0.1333 0.1667 0.2667 0.1333 0.0861 0.1000 0.2667 0.6455 0.0609 0.0001 0.0615 0.0000 0.2667 0.1333 0.0861 157-AH 0.4667 0.5333 0.6667 0.6833 0.9333 0.6462 0.1198 0.1500 0.4667 0.1854 0.6364 0.6270 0.0868 0.4667 0.7333 0.6222 0.0868 158-AH 0.0000 0.3167 0.4000 0.7167 1.0000 0.4872 0.2885 0.4000 1.0000 0.5922 0.2074 0.0001 0.2304 0.0000 1.0000 0.4872 0.2885 159-AH 0.0000 0.3167 0.4000 0.7333 0.7333 0.4462 0.2470 0.4167 0.7333 0.5537 0.1838 0.0001 0.1933 0.0000 0.7333 0.4462 0.2470 160-AH 0.0000 0.0000 0.0000 0.0833 0.1333 0.0410 0.0580 0.0833 0.1333 1.4133 0.0003 0.0000 0.0505 0.0000 0.1333 0.0410 0.0580 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0615 0.0185 0.0000 0.0667 0.3005 0.0339 0.0001 0.0095 0.0667 0.0667 0.0667 0.0000 163-AH 0.6000 0.9333 1.0000 1.0000 1.0000 0.9436 0.1182 0.0667 0.4000 0.1252 0.9351 0.9246 0.0781 0.9333 1.0000 0.9879 0.0270 164-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.0974 0.1075 0.1333 0.4000 1.1038 0.0067 0.0000 0.0742 0.0000 0.1333 0.0722 0.0600 165-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0667 0.1333 0.1333 0.2000 0.2000 0.1538 0.0501 0.0667 0.1333 0.3255 0.1445 0.1333 0.0426 0.0667 0.2000 0.1538 0.0501 168-AH 0.1333 0.5167 0.5333 0.6000 0.7333 0.5333 0.1466 0.0833 0.6000 0.2748 0.5022 0.4468 0.0821 0.4667 0.6000 0.5333 0.0444 169-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0462 0.0501 0.0667 0.1333 1.0849 0.0013 0.0000 0.0426 0.0000 0.1333 0.0462 0.0501 170-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0615 0.0185 0.0000 0.0667 0.3005 0.0339 0.0001 0.0095 0.0667 0.0667 0.0667 0.0000 171-AH 0.0667 0.0667 0.0667 0.0833 0.1333 0.0821 0.0292 0.0167 0.0667 0.3563 0.0782 0.0754 0.0237 0.0667 0.0667 0.0667 0.0000 172-AH 0.0000 0.0000 0.0000 0.0833 0.1333 0.0410 0.0580 0.0833 0.1333 1.4133 0.0003 0.0000 0.0505 0.0000 0.1333 0.0410 0.0580 173-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 174-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 175-AH 0.3333 0.3333 0.4000 0.4000 0.4667 0.3897 0.0459 0.0667 0.1333 0.1178 0.3873 0.3848 0.0347 0.3333 0.4667 0.3897 0.0459 176-AH 0.9333 0.9333 1.0000 1.0000 1.0000 0.9795 0.0320 0.0667 0.0667 0.0327 0.9790 0.9785 0.0284 0.9333 1.0000 0.9795 0.0320 177-AH 0.1333 0.2000 0.3333 0.4167 0.4667 0.3026 0.1294 0.2167 0.3333 0.4278 0.2750 0.2480 0.1152 0.1333 0.4667 0.3026 0.1294 178-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0359 0.0346 0.0667 0.0667 0.9636 0.0011 0.0000 0.0331 0.0000 0.0667 0.0359 0.0346 179-AH 0.0000 0.3667 0.4000 0.6667 0.9333 0.4923 0.2900 0.3000 0.9333 0.5891 0.2053 0.0001 0.2264 0.0000 0.9333 0.4923 0.2900 180-AH 0.0000 0.0000 0.0000 0.4833 0.6667 0.2154 0.2710 0.4833 0.6667 1.2583 0.0014 0.0000 0.2446 0.0000 0.6667 0.2154 0.2710 181-AH 0.5333 0.6667 0.7333 1.0000 1.0000 0.8000 0.1700 0.3333 0.4667 0.2125 0.7831 0.7663 0.1538 0.5333 1.0000 0.8000 0.1700 182-AH 0.0000 0.0667 0.1333 0.2000 0.2000 0.1282 0.0636 0.1333 0.2000 0.4961 0.0620 0.0001 0.0481 0.0000 0.2000 0.1282 0.0636 183-AH 0.0000 0.0500 0.1333 0.2667 0.2667 0.1436 0.1117 0.2167 0.2667 0.7780 0.0175 0.0000 0.0947 0.0000 0.2667 0.1436 0.1117 184-AH 0.0000 0.0500 0.2000 0.3333 0.3333 0.1949 0.1373 0.2833 0.3333 0.7047 0.0228 0.0000 0.1097 0.0000 0.3333 0.1949 0.1373 185-AH 0.0000 0.0500 0.0667 0.0667 0.0667 0.0513 0.0292 0.0167 0.0667 0.5701 0.0087 0.0000 0.0237 0.0667 0.0667 0.0667 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0500 0.0667 0.0667 0.0667 0.0513 0.0292 0.0167 0.0667 0.5701 0.0087 0.0000 0.0237 0.0667 0.0667 0.0667 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.3333 0.4333 0.4667 0.4667 0.4667 0.4359 0.0585 0.0333 0.1333 0.1341 0.4318 0.4272 0.0473 0.4667 0.4667 0.4667 0.0000 190-AH 0.0000 0.0667 0.2000 0.3500 0.4000 0.2154 0.1543 0.2833 0.4000 0.7165 0.0852 0.0001 0.1396 0.0000 0.4000 0.2154 0.1543 194 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.3333 0.4000 0.4000 0.4000 0.3231 0.1329 0.0667 0.4000 0.4114 0.1458 0.0001 0.0892 0.3333 0.4000 0.3758 0.0336 193-AH 0.1333 0.2000 0.2000 0.2000 0.2667 0.1949 0.0329 0.0000 0.1333 0.1688 0.1921 0.1891 0.0189 0.2000 0.2000 0.2000 0.0000 194-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0462 0.0320 0.0667 0.0667 0.6939 0.0044 0.0000 0.0284 0.0000 0.0667 0.0462 0.0320 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 197-AH 0.6000 0.8667 1.0000 1.0000 1.0000 0.9179 0.1252 0.1333 0.4000 0.1364 0.9087 0.8977 0.0931 0.7333 1.0000 0.9444 0.0845 198-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0205 0.0320 0.0667 0.0667 1.5612 0.0002 0.0000 0.0284 0.0000 0.0667 0.0205 0.0320 199-AH 0.4000 0.5167 0.5333 0.6000 0.6000 0.5333 0.0609 0.0833 0.2000 0.1141 0.5299 0.5263 0.0410 0.4000 0.6000 0.5333 0.0609 200-AH 0.0000 0.2000 0.2667 0.4000 0.4667 0.2769 0.1536 0.2000 0.4667 0.5546 0.0635 0.0001 0.1239 0.0000 0.4667 0.2769 0.1536 251-AH 0.7333 0.7333 0.9333 0.9333 0.9333 0.8615 0.0921 0.2000 0.2000 0.1069 0.8568 0.8518 0.0789 0.7333 0.9333 0.8615 0.0921 252-AH 0.2000 0.2667 0.2667 0.4833 0.6667 0.3692 0.1554 0.2167 0.4667 0.4210 0.3415 0.3176 0.1310 0.2000 0.6667 0.3692 0.1554 253-AH 0.0000 0.4167 0.7333 0.7333 0.8000 0.5436 0.3089 0.3167 0.8000 0.5683 0.1042 0.0001 0.2438 0.0000 0.8000 0.5436 0.3089 254-AH 0.0667 0.1333 0.2000 0.4000 0.5333 0.2667 0.1721 0.2667 0.4667 0.6455 0.2116 0.1640 0.1538 0.0667 0.5333 0.2667 0.1721 255-AH 0.0667 0.2000 0.2000 0.2000 0.2000 0.1846 0.0399 0.0000 0.1333 0.2164 0.1781 0.1677 0.0260 0.2000 0.2000 0.2000 0.0000 256-AH 0.2667 0.7167 0.8667 1.0000 1.0000 0.7897 0.3041 0.2833 0.7333 0.3851 0.7054 0.5945 0.2414 0.8667 1.0000 0.9467 0.0689 257-AH 0.0667 0.2000 0.2667 0.3667 0.5333 0.2923 0.1428 0.1667 0.4667 0.4886 0.2569 0.2162 0.1073 0.0667 0.5333 0.2923 0.1428 258-AH 0.0000 0.0000 0.0000 0.0167 0.0667 0.0154 0.0292 0.0167 0.0667 1.9003 0.0001 0.0000 0.0237 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.0974 0.0518 0.0667 0.1333 0.5311 0.0264 0.0001 0.0442 0.0000 0.1333 0.0974 0.0518 260-AH 0.4667 0.4667 0.6667 0.7333 0.8667 0.6410 0.1375 0.2667 0.4000 0.2146 0.6268 0.6123 0.1136 0.4667 0.8667 0.6410 0.1375 261-AH 0.0000 0.1167 0.2667 0.6667 0.8000 0.3333 0.2789 0.5500 0.8000 0.8367 0.1183 0.0001 0.2359 0.0000 0.8000 0.3333 0.2789 262-AH 0.0000 0.0667 0.4000 0.4500 0.7333 0.3282 0.2516 0.3833 0.7333 0.7666 0.1147 0.0001 0.2114 0.0000 0.7333 0.3282 0.2516 263-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0513 0.0618 0.0667 0.2000 1.2049 0.0013 0.0000 0.0473 0.0000 0.1333 0.0389 0.0446 264-AH 0.2667 0.3333 0.5333 0.6000 0.8667 0.5282 0.1815 0.2667 0.6000 0.3436 0.4986 0.4691 0.1396 0.2667 0.8667 0.5282 0.1815 265-AH 0.0667 0.1333 0.2000 0.2167 0.4000 0.2000 0.1018 0.0833 0.3333 0.5092 0.1789 0.1600 0.0718 0.0667 0.2667 0.1636 0.0547 266-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0103 0.0250 0.0000 0.0667 2.4410 0.0000 0.0000 0.0174 0.0000 0.0000 0.0000 0.0000 267-AH 0.2000 0.2500 0.3333 0.4667 0.5333 0.3436 0.1182 0.2167 0.3333 0.3439 0.3243 0.3055 0.1034 0.2000 0.5333 0.3436 0.1182 268-AH 0.0667 0.1333 0.1333 0.1333 0.1333 0.1282 0.0185 0.0000 0.0667 0.1442 0.1264 0.1238 0.0095 0.1333 0.1333 0.1333 0.0000 269-AH 0.0000 0.1667 0.2000 0.2667 0.3333 0.1897 0.1083 0.1000 0.3333 0.5710 0.0453 0.0001 0.0773 0.0667 0.3333 0.2242 0.0747 270-AH 0.7333 0.9333 1.0000 1.0000 1.0000 0.9590 0.0795 0.0667 0.2667 0.0829 0.9555 0.9517 0.0568 0.8667 1.0000 0.9778 0.0434 271-AH 0.3333 0.4667 0.5333 0.5333 0.6000 0.5026 0.0700 0.0667 0.2667 0.1393 0.4976 0.4920 0.0536 0.4667 0.6000 0.5167 0.0503 272-AH 0.0000 0.2000 0.2667 0.3333 0.3333 0.2513 0.0909 0.1333 0.3333 0.3617 0.1220 0.0001 0.0623 0.0000 0.3333 0.2513 0.0909 273-AH 0.1333 0.9167 0.9333 0.9500 1.0000 0.8718 0.2285 0.0333 0.8667 0.2621 0.8023 0.6371 0.1254 0.8667 1.0000 0.9455 0.0402 274-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0359 0.0346 0.0667 0.0667 0.9636 0.0011 0.0000 0.0331 0.0000 0.0667 0.0359 0.0346 275-AH 0.3333 0.4833 0.6667 0.8167 0.8667 0.6359 0.2011 0.3333 0.5333 0.3163 0.6012 0.5624 0.1609 0.3333 0.8667 0.6359 0.2011 276-AH 0.0000 0.2500 0.5333 0.6167 0.7333 0.4359 0.2382 0.3667 0.7333 0.5465 0.1846 0.0001 0.2020 0.0000 0.7333 0.4359 0.2382 277-AH 0.0667 0.1333 0.2667 0.2833 0.3333 0.2308 0.0887 0.1500 0.2667 0.3843 0.2103 0.1851 0.0750 0.0667 0.3333 0.2308 0.0887 278-AH 0.0667 0.0667 0.0667 0.1500 0.2667 0.1179 0.0777 0.0833 0.2000 0.6589 0.0999 0.0881 0.0631 0.0667 0.2667 0.1179 0.0777 279-AH 0.0000 0.0000 0.0667 0.2000 0.2000 0.0872 0.0918 0.2000 0.2000 1.0534 0.0018 0.0000 0.0836 0.0000 0.2000 0.0872 0.0918 280-AH 0.0000 0.0000 0.0667 0.2000 0.2667 0.0974 0.0928 0.2000 0.2667 0.9520 0.0067 0.0000 0.0789 0.0000 0.2667 0.0974 0.0928 281-AH 0.4000 0.4500 0.5333 0.6333 0.7333 0.5487 0.1281 0.1833 0.3333 0.2335 0.5352 0.5222 0.1089 0.4000 0.7333 0.5487 0.1281 282-AH 0.0000 0.2500 0.2667 0.3333 0.4667 0.2821 0.1127 0.0833 0.4667 0.3997 0.1344 0.0001 0.0781 0.2000 0.4000 0.2909 0.0616 283-AH 0.0667 0.3333 0.6000 0.6000 0.6667 0.4718 0.1875 0.2667 0.6000 0.3974 0.4119 0.3104 0.1578 0.0667 0.6667 0.4718 0.1875 284-AH 0.0000 0.3833 0.6000 0.6167 0.7333 0.4667 0.2293 0.2333 0.7333 0.4914 0.1953 0.0001 0.1846 0.0667 0.7333 0.5056 0.1895 285-AH 0.0667 0.4000 0.4000 0.8000 0.9333 0.5333 0.2553 0.4000 0.8667 0.4787 0.4558 0.3345 0.2154 0.0667 0.9333 0.5333 0.2553 286-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0615 0.0575 0.1333 0.1333 0.9342 0.0028 0.0000 0.0473 0.0000 0.1333 0.0615 0.0575 287-AH 0.0000 0.2000 0.4667 0.5500 0.6667 0.3744 0.2397 0.3500 0.6667 0.6402 0.0393 0.0000 0.1957 0.0000 0.6667 0.3744 0.2397 288-AH 0.0667 0.3000 0.4667 0.5333 0.5333 0.3795 0.1619 0.2333 0.4667 0.4266 0.3296 0.2578 0.1349 0.0667 0.5333 0.3795 0.1619 289-AH 0.3333 0.6667 0.7333 0.8000 0.8667 0.7128 0.1344 0.1333 0.5333 0.1885 0.6969 0.6749 0.0868 0.6667 0.8667 0.7444 0.0743 290-AH 0.0667 0.0667 0.1333 0.2000 0.2667 0.1436 0.0712 0.1333 0.2000 0.4959 0.1259 0.1095 0.0623 0.0667 0.2667 0.1436 0.0712 195 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1333 0.5833 0.7333 0.8333 0.9333 0.6923 0.2253 0.2500 0.8000 0.3255 0.6345 0.5303 0.1673 0.4667 0.9333 0.7389 0.1569 292-AH 0.0000 0.1333 0.1333 0.2667 0.2667 0.1795 0.0834 0.1333 0.2667 0.4645 0.0865 0.0001 0.0702 0.0000 0.2667 0.1795 0.0834 293-AH 0.0667 0.5333 0.6667 0.6833 0.7333 0.5897 0.1782 0.1500 0.6667 0.3021 0.5280 0.3788 0.1168 0.4667 0.7333 0.6333 0.0876 294-AH 0.0000 0.1333 0.4667 0.6000 0.6667 0.3846 0.2247 0.4667 0.6667 0.5842 0.1592 0.0001 0.1933 0.0000 0.6667 0.3846 0.2247 295-AH 0.0000 0.5000 0.5333 0.5333 0.6667 0.4667 0.1764 0.0333 0.6667 0.3780 0.2130 0.0001 0.1231 0.5333 0.5333 0.5333 0.0000 296-AH 0.4000 0.5667 0.6000 0.6667 0.8000 0.5949 0.1035 0.1000 0.4000 0.1740 0.5861 0.5769 0.0694 0.4667 0.8000 0.6111 0.0891 297-AH 0.0000 0.0667 0.2667 0.3333 0.3333 0.2000 0.1333 0.2667 0.3333 0.6667 0.0821 0.0001 0.1231 0.0000 0.3333 0.2000 0.1333 298-AH 0.0000 0.1833 0.2667 0.4000 0.4000 0.2667 0.1247 0.2167 0.4000 0.4677 0.1234 0.0001 0.0923 0.0000 0.4000 0.2667 0.1247 299-AH 0.0000 0.1333 0.4000 0.4667 0.5333 0.3128 0.1893 0.3333 0.5333 0.6052 0.1280 0.0001 0.1688 0.0000 0.5333 0.3128 0.1893 300-AH 0.0000 0.0500 0.1333 0.2667 0.4000 0.1641 0.1350 0.2167 0.4000 0.8229 0.0189 0.0000 0.1152 0.0000 0.4000 0.1641 0.1350 301-AH 0.0667 0.1333 0.3333 0.5333 0.6667 0.3436 0.2175 0.4000 0.6000 0.6329 0.2627 0.1863 0.1854 0.0667 0.6667 0.3436 0.2175 302-AH 0.2000 0.3333 0.4000 0.4667 0.5333 0.3897 0.0854 0.1333 0.3333 0.2191 0.3798 0.3682 0.0639 0.2000 0.5333 0.3897 0.0854 303-AH 0.0000 0.0000 0.0667 0.1000 0.2667 0.0872 0.0958 0.1000 0.2667 1.0987 0.0060 0.0000 0.0726 0.0000 0.2000 0.0545 0.0583 304-AH 0.0000 0.1167 0.2667 0.3500 0.4000 0.2410 0.1402 0.2333 0.4000 0.5817 0.1032 0.0001 0.1199 0.0000 0.4000 0.2410 0.1402 305-AH 0.0000 0.0000 0.3333 0.5333 0.5333 0.2923 0.2318 0.5333 0.5333 0.7930 0.0152 0.0000 0.2043 0.0000 0.5333 0.2923 0.2318 306-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 307-AH 0.0000 0.0667 0.2000 0.2000 0.4000 0.1692 0.1174 0.1333 0.4000 0.6939 0.0391 0.0001 0.0892 0.0000 0.3333 0.1500 0.0990 308-AH 0.4000 0.5167 0.5333 0.5500 0.6000 0.5282 0.0575 0.0333 0.2000 0.1088 0.5251 0.5219 0.0387 0.5333 0.6000 0.5533 0.0322 309-AH 0.0000 0.0000 0.0000 0.0833 0.1333 0.0462 0.0570 0.0833 0.1333 1.2348 0.0007 0.0000 0.0497 0.0000 0.1333 0.0462 0.0570 310-AH 0.0000 0.0667 0.1333 0.1667 0.2667 0.1333 0.0861 0.1000 0.2667 0.6455 0.0609 0.0001 0.0615 0.0000 0.2667 0.1333 0.0861 311-AH 0.0000 0.3333 0.4000 0.4167 0.5333 0.3692 0.1265 0.0833 0.5333 0.3427 0.1752 0.0001 0.0789 0.3333 0.5333 0.4000 0.0636 312-AH 0.0000 0.1333 0.5333 0.6167 0.6667 0.4103 0.2692 0.4833 0.6667 0.6562 0.0810 0.0001 0.2438 0.0000 0.6667 0.4103 0.2692 313-AH 0.0000 0.0000 0.0000 0.0833 0.2000 0.0564 0.0762 0.0833 0.2000 1.3515 0.0007 0.0000 0.0607 0.0000 0.2000 0.0564 0.0762 314-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0205 0.0320 0.0667 0.0667 1.5612 0.0002 0.0000 0.0284 0.0000 0.0667 0.0205 0.0320 315-AH 0.0000 0.6000 0.6000 0.6833 0.8000 0.6000 0.1981 0.0833 0.8000 0.3302 0.2752 0.0001 0.1026 0.5333 0.8000 0.6500 0.0859 316-AH 0.0000 0.0000 0.1333 0.2167 0.3333 0.1282 0.1231 0.2167 0.3333 0.9603 0.0081 0.0000 0.0978 0.0000 0.3333 0.1282 0.1231 317-AH 0.0000 0.1333 0.2000 0.2167 0.3333 0.1846 0.0867 0.0833 0.3333 0.4698 0.0876 0.0001 0.0623 0.0667 0.3333 0.2000 0.0696 318-AH 0.0000 0.0000 0.0667 0.1500 0.2667 0.0872 0.0958 0.1500 0.2667 1.0987 0.0018 0.0000 0.0836 0.0000 0.2667 0.0872 0.0958 319-AH 0.1333 0.4500 0.5333 0.5500 0.6000 0.4718 0.1373 0.1000 0.4667 0.2911 0.4429 0.3978 0.0970 0.4000 0.6000 0.5212 0.0654 320-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0923 0.0580 0.0667 0.2000 0.6281 0.0244 0.0001 0.0481 0.0000 0.2000 0.0923 0.0580 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0667 0.0667 0.2000 0.2667 0.3333 0.1846 0.0949 0.2000 0.2667 0.5140 0.1571 0.1294 0.0805 0.0667 0.3333 0.1846 0.0949 323-AH 0.0000 0.0667 0.2000 0.2167 0.3333 0.1641 0.1142 0.1500 0.3333 0.6961 0.0374 0.0001 0.0955 0.0000 0.3333 0.1641 0.1142 324-AH 0.0000 0.4000 0.4667 0.8667 0.9333 0.5795 0.2794 0.4667 0.9333 0.4821 0.2535 0.0001 0.2343 0.0000 0.9333 0.5795 0.2794 325-AH 0.0000 0.0000 0.0667 0.2167 0.7333 0.1641 0.2459 0.2167 0.7333 1.4983 0.0039 0.0000 0.1909 0.0000 0.5333 0.1167 0.1845 326-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 327-AH 0.0000 0.0000 0.0000 0.2000 0.2667 0.0923 0.1073 0.2000 0.2667 1.1622 0.0010 0.0000 0.0994 0.0000 0.2667 0.0923 0.1073 328-AH 0.2000 0.4000 0.6000 0.6833 0.8000 0.5590 0.1877 0.2833 0.6000 0.3357 0.5235 0.4806 0.1570 0.2000 0.8000 0.5590 0.1877 329-AH 0.2000 0.5333 0.6667 0.7333 0.7333 0.6103 0.1583 0.2000 0.5333 0.2595 0.5814 0.5371 0.1191 0.4000 0.7333 0.6444 0.1038 330-AH 0.7333 0.8667 0.8667 0.8667 0.9333 0.8564 0.0459 0.0000 0.2000 0.0536 0.8552 0.8539 0.0276 0.8667 0.8667 0.8667 0.0000 331-AH 0.0000 0.0667 0.2000 0.6000 0.6000 0.2718 0.2456 0.5333 0.6000 0.9038 0.0912 0.0001 0.2114 0.0000 0.6000 0.2718 0.2456 332-AH 0.1333 0.2000 0.2667 0.2667 0.2667 0.2308 0.0440 0.0667 0.1333 0.1907 0.2263 0.2213 0.0387 0.1333 0.2667 0.2308 0.0440 333-AH 0.2667 0.3333 0.3333 0.3333 0.3333 0.3231 0.0250 0.0000 0.0667 0.0775 0.3221 0.3210 0.0174 0.3333 0.3333 0.3333 0.0000 334-AH 0.0667 0.1333 0.1333 0.1500 0.2000 0.1436 0.0370 0.0167 0.1333 0.2575 0.1388 0.1333 0.0260 0.1333 0.1333 0.1333 0.0000 335-AH 0.0000 0.2000 0.2000 0.2667 0.4000 0.2308 0.1004 0.0667 0.4000 0.4352 0.1110 0.0001 0.0686 0.2000 0.2667 0.2200 0.0322 336-AH 0.0000 0.0000 0.1333 0.2667 0.4000 0.1538 0.1424 0.2667 0.4000 0.9258 0.0091 0.0000 0.1247 0.0000 0.4000 0.1538 0.1424 337-AH 0.6000 0.7333 0.8000 0.9333 0.9333 0.8000 0.1122 0.2000 0.3333 0.1403 0.7926 0.7850 0.0923 0.6000 0.9333 0.8000 0.1122 338-AH 0.0000 0.4500 0.4667 0.4833 0.5333 0.4256 0.1454 0.0333 0.5333 0.3416 0.1992 0.0001 0.0939 0.4000 0.4667 0.4583 0.0236 339-AH 0.2000 0.3833 0.4667 0.6667 0.7333 0.5026 0.1601 0.2833 0.5333 0.3186 0.4751 0.4432 0.1310 0.2000 0.7333 0.5026 0.1601 340-AH 0.0000 0.0000 0.1333 0.2000 0.2667 0.1077 0.0925 0.2000 0.2667 0.8585 0.0075 0.0000 0.0789 0.0000 0.2667 0.1077 0.0925 196 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1487 0.0823 0.1333 0.2667 0.5537 0.0690 0.0001 0.0679 0.0000 0.2667 0.1487 0.0823 342-AH 0.4000 0.8667 0.8667 0.9333 0.9333 0.8513 0.1392 0.0667 0.5333 0.1635 0.8355 0.8117 0.0694 0.8667 0.9333 0.8889 0.0328 343-AH 0.0000 0.0000 0.0000 0.0167 0.0667 0.0154 0.0292 0.0167 0.0667 1.9003 0.0001 0.0000 0.0237 0.0000 0.0000 0.0000 0.0000 344-AH 0.0667 0.6500 0.6667 0.7500 0.8000 0.6564 0.1902 0.1000 0.7333 0.2898 0.5858 0.4040 0.1081 0.6000 0.8000 0.7056 0.0722 345-AH 0.0000 0.0000 0.0667 0.2000 0.2667 0.0923 0.1073 0.2000 0.2667 1.1622 0.0018 0.0000 0.0931 0.0000 0.2667 0.0923 0.1073 346-AH 0.0000 0.0500 0.0667 0.0667 0.1333 0.0564 0.0370 0.0167 0.1333 0.6556 0.0092 0.0000 0.0260 0.0667 0.0667 0.0667 0.0000 347-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0667 0.0770 0.1333 0.2000 1.1547 0.0015 0.0000 0.0615 0.0000 0.2000 0.0667 0.0770 348-AH 0.0667 0.1167 0.1333 0.1333 0.1333 0.1179 0.0292 0.0167 0.0667 0.2479 0.1136 0.1083 0.0237 0.1333 0.1333 0.1333 0.0000 349-AH 0.2667 0.3833 0.4667 0.5333 0.7333 0.4564 0.1243 0.1500 0.4667 0.2723 0.4414 0.4268 0.0931 0.2667 0.7333 0.4564 0.1243 350-AH 0.3333 0.4000 0.4667 0.4667 0.5333 0.4359 0.0518 0.0667 0.2000 0.1187 0.4330 0.4300 0.0434 0.3333 0.5333 0.4359 0.0518 197 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0375 0.0500 0.0500 0.0500 0.0385 0.0219 0.0125 0.0500 0.5701 0.0070 0.0000 0.0178 0.0500 0.0500 0.0500 0.0000 142-AH 0.3500 0.4000 0.4000 0.4000 0.4000 0.3923 0.0188 0.0000 0.0500 0.0479 0.3919 0.3914 0.0130 0.4000 0.4000 0.4000 0.0000 143-AH 0.0000 0.2750 0.4000 0.9500 1.0000 0.5462 0.3848 0.6750 1.0000 0.7047 0.1035 0.0001 0.3497 0.0000 1.0000 0.5462 0.3848 144-AH 0.0000 0.0000 0.1500 0.1500 0.1500 0.1000 0.0707 0.1500 0.1500 0.7071 0.0075 0.0000 0.0615 0.0000 0.1500 0.1000 0.0707 145-AH 0.0000 0.0500 0.7000 0.8125 0.8500 0.5538 0.3625 0.7625 0.8500 0.6546 0.1741 0.0001 0.3178 0.0000 0.8500 0.5538 0.3625 146-AH 0.0000 0.0375 0.0500 0.0500 0.0500 0.0385 0.0219 0.0125 0.0500 0.5701 0.0070 0.0000 0.0178 0.0500 0.0500 0.0500 0.0000 147-AH 0.0000 0.3875 0.7000 0.8000 0.9000 0.5654 0.2757 0.4125 0.9000 0.4876 0.2431 0.0001 0.2296 0.0000 0.9000 0.5654 0.2757 148-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0462 0.0139 0.0000 0.0500 0.3005 0.0260 0.0001 0.0071 0.0500 0.0500 0.0500 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0346 0.0474 0.1000 0.1000 1.3684 0.0003 0.0000 0.0426 0.0000 0.1000 0.0346 0.0474 151-AH 0.0000 0.0000 0.0500 0.2125 0.2500 0.0846 0.1088 0.2125 0.2500 1.2852 0.0016 0.0000 0.0941 0.0000 0.2500 0.0846 0.1088 152-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1577 0.0862 0.1000 0.3000 0.5468 0.0395 0.0001 0.0675 0.0000 0.3000 0.1577 0.0862 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1500 0.3500 0.3500 0.3500 0.3500 0.3308 0.0560 0.0000 0.2000 0.1694 0.3241 0.3138 0.0325 0.3500 0.3500 0.3500 0.0000 155-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0231 0.0388 0.0500 0.1000 1.6819 0.0002 0.0000 0.0320 0.0000 0.1000 0.0231 0.0388 156-AH 0.0000 0.0875 0.1000 0.1750 0.2500 0.1269 0.0807 0.0875 0.2500 0.6355 0.0582 0.0001 0.0639 0.0000 0.2500 0.1269 0.0807 157-AH 0.4500 0.6000 0.6500 0.7125 0.9000 0.6538 0.1181 0.1125 0.4500 0.1806 0.6440 0.6342 0.0822 0.4500 0.8000 0.6333 0.0961 158-AH 0.0000 0.3375 0.3500 0.6625 0.9000 0.4538 0.2704 0.3250 0.9000 0.5958 0.1943 0.0001 0.2130 0.0000 0.9000 0.4538 0.2704 159-AH 0.0000 0.2500 0.4500 0.6625 0.7000 0.4346 0.2384 0.4125 0.7000 0.5485 0.1760 0.0001 0.1882 0.0000 0.7000 0.4346 0.2384 160-AH 0.0000 0.0000 0.0000 0.0625 0.1000 0.0346 0.0427 0.0625 0.1000 1.2348 0.0006 0.0000 0.0373 0.0000 0.1000 0.0346 0.0427 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0462 0.0139 0.0000 0.0500 0.3005 0.0260 0.0001 0.0071 0.0500 0.0500 0.0500 0.0000 163-AH 0.7000 0.9375 0.9500 1.0000 1.0000 0.9423 0.0862 0.0625 0.3000 0.0915 0.9382 0.9335 0.0580 0.8500 1.0000 0.9625 0.0483 164-AH 0.0000 0.0375 0.0500 0.1500 0.3000 0.0923 0.0862 0.1125 0.3000 0.9342 0.0119 0.0000 0.0686 0.0000 0.3000 0.0923 0.0862 165-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0500 0.1000 0.1500 0.1500 0.2000 0.1346 0.0376 0.0500 0.1500 0.2790 0.1283 0.1200 0.0290 0.0500 0.2000 0.1346 0.0376 168-AH 0.1000 0.4500 0.4500 0.5625 0.6000 0.4731 0.1317 0.1125 0.5000 0.2783 0.4414 0.3796 0.0864 0.4000 0.6000 0.5042 0.0722 169-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0423 0.0449 0.1000 0.1000 1.0621 0.0012 0.0000 0.0391 0.0000 0.1000 0.0423 0.0449 170-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0462 0.0139 0.0000 0.0500 0.3005 0.0260 0.0001 0.0071 0.0500 0.0500 0.0500 0.0000 171-AH 0.0500 0.0500 0.1000 0.1000 0.1500 0.0846 0.0315 0.0500 0.1000 0.3725 0.0790 0.0736 0.0266 0.0500 0.1500 0.0846 0.0315 172-AH 0.0000 0.0000 0.0000 0.0625 0.1000 0.0308 0.0435 0.0625 0.1000 1.4133 0.0003 0.0000 0.0379 0.0000 0.1000 0.0308 0.0435 173-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 174-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 175-AH 0.2500 0.3000 0.3000 0.3125 0.3500 0.3077 0.0277 0.0125 0.1000 0.0901 0.3065 0.3054 0.0195 0.3000 0.3000 0.3000 0.0000 176-AH 0.8500 0.8875 0.9500 0.9500 1.0000 0.9269 0.0525 0.0625 0.1500 0.0566 0.9255 0.9241 0.0438 0.8500 1.0000 0.9269 0.0525 177-AH 0.1500 0.2000 0.2500 0.3500 0.4000 0.2615 0.0870 0.1500 0.2500 0.3325 0.2481 0.2352 0.0757 0.1500 0.4000 0.2615 0.0870 178-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0269 0.0259 0.0500 0.0500 0.9636 0.0010 0.0000 0.0249 0.0000 0.0500 0.0269 0.0259 179-AH 0.0000 0.2875 0.3500 0.6375 0.8000 0.4192 0.2463 0.3500 0.8000 0.5874 0.1788 0.0001 0.2006 0.0000 0.8000 0.4192 0.2463 180-AH 0.0000 0.0000 0.0000 0.4625 0.6000 0.2077 0.2621 0.4625 0.6000 1.2619 0.0013 0.0000 0.2402 0.0000 0.6000 0.2077 0.2621 181-AH 0.4000 0.7375 0.7500 0.9625 1.0000 0.8115 0.1722 0.2250 0.6000 0.2122 0.7912 0.7660 0.1355 0.4000 1.0000 0.8115 0.1722 182-AH 0.0000 0.0500 0.1000 0.1500 0.1500 0.0962 0.0477 0.1000 0.1500 0.4961 0.0475 0.0001 0.0361 0.0000 0.1500 0.0962 0.0477 183-AH 0.0000 0.0375 0.1000 0.2000 0.2000 0.1115 0.0820 0.1625 0.2000 0.7355 0.0148 0.0000 0.0680 0.0000 0.2000 0.1115 0.0820 184-AH 0.0000 0.0500 0.1500 0.2500 0.2500 0.1538 0.0989 0.2000 0.2500 0.6427 0.0359 0.0001 0.0811 0.0000 0.2500 0.1538 0.0989 185-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0423 0.0188 0.0000 0.0500 0.4438 0.0135 0.0001 0.0130 0.0500 0.0500 0.0500 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0423 0.0188 0.0000 0.0500 0.4438 0.0135 0.0001 0.0130 0.0500 0.0500 0.0500 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.2500 0.3250 0.3500 0.3500 0.3500 0.3269 0.0439 0.0250 0.1000 0.1341 0.3239 0.3204 0.0355 0.3500 0.3500 0.3500 0.0000 190-AH 0.0000 0.0875 0.2500 0.2625 0.3000 0.1769 0.1111 0.1750 0.3000 0.6279 0.0756 0.0001 0.1018 0.0000 0.3000 0.1769 0.1111 198 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.2500 0.3000 0.3000 0.3000 0.2423 0.0997 0.0500 0.3000 0.4114 0.1118 0.0001 0.0669 0.2500 0.3000 0.2818 0.0252 193-AH 0.1000 0.1500 0.1500 0.2000 0.2500 0.1615 0.0416 0.0500 0.1500 0.2575 0.1566 0.1518 0.0314 0.1000 0.2500 0.1615 0.0416 194-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0346 0.0240 0.0500 0.0500 0.6939 0.0036 0.0000 0.0213 0.0000 0.0500 0.0346 0.0240 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 197-AH 0.6000 0.8500 0.9500 1.0000 1.0000 0.9000 0.1339 0.1500 0.4000 0.1487 0.8893 0.8768 0.1000 0.6500 1.0000 0.9250 0.1034 198-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0192 0.0253 0.0500 0.0500 1.3166 0.0003 0.0000 0.0237 0.0000 0.0500 0.0192 0.0253 199-AH 0.4000 0.4000 0.4500 0.4500 0.4500 0.4269 0.0259 0.0500 0.0500 0.0608 0.4262 0.4255 0.0249 0.4000 0.4500 0.4269 0.0259 200-AH 0.0000 0.1500 0.2500 0.3500 0.3500 0.2308 0.1146 0.2000 0.3500 0.4967 0.1065 0.0001 0.0976 0.0000 0.3500 0.2308 0.1146 251-AH 0.6000 0.7000 0.8000 0.8625 0.9000 0.7923 0.0954 0.1625 0.3000 0.1204 0.7867 0.7809 0.0787 0.6000 0.9000 0.7923 0.0954 252-AH 0.2000 0.2000 0.3500 0.4625 0.7000 0.3654 0.1599 0.2625 0.5000 0.4377 0.3354 0.3089 0.1213 0.2000 0.7000 0.3654 0.1599 253-AH 0.0000 0.4125 0.6500 0.7000 0.8500 0.5192 0.2854 0.2875 0.8500 0.5497 0.1058 0.0001 0.2225 0.0000 0.8500 0.5192 0.2854 254-AH 0.0500 0.1000 0.2000 0.4000 0.5000 0.2538 0.1726 0.3000 0.4500 0.6798 0.1942 0.1455 0.1580 0.0500 0.5000 0.2538 0.1726 255-AH 0.0500 0.1500 0.1500 0.1500 0.2000 0.1423 0.0344 0.0000 0.1500 0.2420 0.1366 0.1279 0.0207 0.1500 0.1500 0.1500 0.0000 256-AH 0.2000 0.6500 0.8500 1.0000 1.0000 0.7577 0.3252 0.3500 0.8000 0.4292 0.6479 0.5022 0.2574 0.2000 1.0000 0.7577 0.3252 257-AH 0.0500 0.2250 0.3000 0.3625 0.5000 0.2962 0.1249 0.1375 0.4500 0.4219 0.2602 0.2060 0.0899 0.0500 0.5000 0.2962 0.1249 258-AH 0.0000 0.0000 0.0000 0.0125 0.0500 0.0115 0.0219 0.0125 0.0500 1.9003 0.0001 0.0000 0.0178 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0731 0.0388 0.0500 0.1000 0.5311 0.0207 0.0001 0.0331 0.0000 0.1000 0.0731 0.0388 260-AH 0.4500 0.5000 0.6000 0.7000 0.7500 0.5923 0.1077 0.2000 0.3000 0.1819 0.5834 0.5748 0.0929 0.4500 0.7500 0.5923 0.1077 261-AH 0.0000 0.1000 0.2000 0.5625 0.7000 0.2885 0.2518 0.4625 0.7000 0.8729 0.1021 0.0001 0.2166 0.0000 0.7000 0.2885 0.2518 262-AH 0.0000 0.0500 0.3500 0.4000 0.6500 0.2885 0.2284 0.3500 0.6500 0.7916 0.0973 0.0001 0.1911 0.0000 0.6500 0.2885 0.2284 263-AH 0.0000 0.0000 0.0500 0.0500 0.1500 0.0385 0.0463 0.0500 0.1500 1.2049 0.0011 0.0000 0.0355 0.0000 0.1000 0.0292 0.0334 264-AH 0.3000 0.3000 0.4500 0.5250 0.7000 0.4500 0.1307 0.2250 0.4000 0.2905 0.4326 0.4158 0.1000 0.3000 0.7000 0.4500 0.1307 265-AH 0.0500 0.1000 0.2000 0.2125 0.3000 0.1769 0.0807 0.1125 0.2500 0.4559 0.1573 0.1359 0.0669 0.0500 0.3000 0.1769 0.0807 266-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0154 0.0240 0.0500 0.0500 1.5612 0.0001 0.0000 0.0213 0.0000 0.0500 0.0154 0.0240 267-AH 0.1500 0.1875 0.3000 0.4000 0.4500 0.2885 0.1064 0.2125 0.3000 0.3687 0.2688 0.2488 0.0893 0.1500 0.4500 0.2885 0.1064 268-AH 0.0500 0.1000 0.1000 0.1000 0.1500 0.1000 0.0204 0.0000 0.1000 0.2041 0.0978 0.0951 0.0077 0.1000 0.1000 0.1000 0.0000 269-AH 0.0500 0.1375 0.1500 0.2500 0.3000 0.1692 0.0778 0.1125 0.2500 0.4599 0.1490 0.1254 0.0621 0.0500 0.3000 0.1692 0.0778 270-AH 0.7000 0.9000 0.9500 1.0000 1.0000 0.9346 0.0801 0.1000 0.3000 0.0857 0.9310 0.9269 0.0521 0.9000 1.0000 0.9542 0.0396 271-AH 0.3500 0.3500 0.4500 0.5000 0.6000 0.4385 0.0870 0.1500 0.2500 0.1984 0.4307 0.4232 0.0740 0.3500 0.6000 0.4385 0.0870 272-AH 0.0000 0.2375 0.2500 0.3500 0.3500 0.2538 0.0946 0.1125 0.3500 0.3725 0.1229 0.0001 0.0592 0.2000 0.3500 0.2750 0.0584 273-AH 0.1500 0.8375 0.9000 0.9250 1.0000 0.8423 0.2188 0.0875 0.8500 0.2597 0.7821 0.6476 0.1195 0.8000 1.0000 0.9000 0.0707 274-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0346 0.0376 0.0500 0.1000 1.0849 0.0011 0.0000 0.0320 0.0000 0.1000 0.0346 0.0376 275-AH 0.2500 0.5000 0.6000 0.7500 0.8000 0.5962 0.1898 0.2500 0.5500 0.3184 0.5608 0.5184 0.1509 0.2500 0.8000 0.5962 0.1898 276-AH 0.0500 0.2750 0.5000 0.5750 0.8000 0.4385 0.2162 0.3000 0.7500 0.4930 0.3658 0.2563 0.1740 0.0500 0.8000 0.4385 0.2162 277-AH 0.1000 0.2000 0.2500 0.3000 0.3000 0.2346 0.0718 0.1000 0.2000 0.3062 0.2212 0.2042 0.0574 0.1000 0.3000 0.2346 0.0718 278-AH 0.0500 0.0500 0.0500 0.1500 0.2500 0.1000 0.0677 0.1000 0.2000 0.6770 0.0829 0.0713 0.0538 0.0500 0.2500 0.1000 0.0677 279-AH 0.0000 0.0000 0.0500 0.1500 0.1500 0.0654 0.0689 0.1500 0.1500 1.0534 0.0015 0.0000 0.0627 0.0000 0.1500 0.0654 0.0689 280-AH 0.0000 0.0375 0.1000 0.1500 0.2000 0.0885 0.0682 0.1125 0.2000 0.7706 0.0122 0.0000 0.0586 0.0000 0.2000 0.0885 0.0682 281-AH 0.4000 0.4375 0.4500 0.6000 0.6500 0.5077 0.0932 0.1625 0.2500 0.1836 0.4998 0.4922 0.0852 0.4000 0.6500 0.5077 0.0932 282-AH 0.0000 0.2500 0.2500 0.3000 0.4000 0.2654 0.0987 0.0500 0.4000 0.3719 0.1282 0.0001 0.0627 0.2000 0.3000 0.2650 0.0337 283-AH 0.1500 0.2500 0.5000 0.5000 0.5500 0.4000 0.1369 0.2500 0.4000 0.3423 0.3731 0.3417 0.1231 0.1500 0.5500 0.4000 0.1369 284-AH 0.0000 0.4500 0.6000 0.6000 0.7000 0.4769 0.2232 0.1500 0.7000 0.4681 0.1968 0.0001 0.1663 0.3000 0.7000 0.5591 0.1068 285-AH 0.0500 0.3875 0.4000 0.7125 0.9000 0.5077 0.2507 0.3250 0.8500 0.4938 0.4242 0.2859 0.2006 0.0500 0.9000 0.5077 0.2507 286-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0462 0.0431 0.1000 0.1000 0.9342 0.0023 0.0000 0.0355 0.0000 0.1000 0.0462 0.0431 287-AH 0.0000 0.2250 0.4000 0.5500 0.6500 0.3423 0.2216 0.3250 0.6500 0.6473 0.0367 0.0000 0.1710 0.0000 0.6500 0.3423 0.2216 288-AH 0.0500 0.2375 0.4000 0.5500 0.6000 0.3808 0.1843 0.3125 0.5500 0.4841 0.3194 0.2323 0.1592 0.0500 0.6000 0.3808 0.1843 289-AH 0.3000 0.6750 0.7000 0.7500 0.8000 0.6731 0.1252 0.0750 0.5000 0.1860 0.6575 0.6345 0.0799 0.6000 0.8000 0.7042 0.0582 290-AH 0.0500 0.0500 0.1000 0.2000 0.2500 0.1231 0.0725 0.1500 0.2000 0.5891 0.1027 0.0853 0.0633 0.0500 0.2500 0.1231 0.0725 199 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.1000 0.5375 0.6500 0.7375 0.8500 0.6077 0.2029 0.2000 0.7500 0.3340 0.5520 0.4444 0.1456 0.4500 0.8500 0.6500 0.1398 292-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1615 0.0650 0.1000 0.2000 0.4027 0.0796 0.0001 0.0533 0.0000 0.2000 0.1615 0.0650 293-AH 0.0500 0.5500 0.6500 0.6625 0.7500 0.5808 0.1750 0.1125 0.7000 0.3014 0.5114 0.3294 0.1083 0.5000 0.7500 0.6250 0.0754 294-AH 0.0000 0.2500 0.6000 0.6000 0.7000 0.4423 0.2197 0.3500 0.7000 0.4967 0.1940 0.0001 0.1929 0.0000 0.7000 0.4423 0.2197 295-AH 0.0000 0.4375 0.5000 0.5000 0.6000 0.4346 0.1688 0.0625 0.6000 0.3884 0.1975 0.0001 0.1160 0.4000 0.5500 0.4900 0.0394 296-AH 0.3000 0.4500 0.5000 0.5125 0.6500 0.4846 0.0922 0.0625 0.3500 0.1902 0.4758 0.4663 0.0651 0.4500 0.6000 0.5000 0.0471 297-AH 0.0000 0.0500 0.2000 0.2500 0.2500 0.1577 0.0954 0.2000 0.2500 0.6050 0.0685 0.0001 0.0840 0.0000 0.2500 0.1577 0.0954 298-AH 0.0000 0.2000 0.3000 0.3000 0.4000 0.2462 0.1070 0.1000 0.4000 0.4346 0.1159 0.0001 0.0817 0.1000 0.4000 0.2667 0.0807 299-AH 0.0000 0.1000 0.4000 0.4500 0.5000 0.2923 0.1913 0.3500 0.5000 0.6545 0.1140 0.0001 0.1710 0.0000 0.5000 0.2923 0.1913 300-AH 0.0000 0.0375 0.1500 0.2500 0.4500 0.1538 0.1346 0.2125 0.4500 0.8747 0.0179 0.0000 0.1047 0.0000 0.4500 0.1538 0.1346 301-AH 0.0500 0.1500 0.2500 0.4625 0.5000 0.2885 0.1734 0.3125 0.4500 0.6011 0.2260 0.1590 0.1491 0.0500 0.5000 0.2885 0.1734 302-AH 0.1500 0.3000 0.3500 0.4125 0.4500 0.3462 0.0828 0.1125 0.3000 0.2393 0.3348 0.3202 0.0586 0.1500 0.4500 0.3462 0.0828 303-AH 0.0000 0.0500 0.0500 0.1125 0.2000 0.0846 0.0658 0.0625 0.2000 0.7774 0.0213 0.0001 0.0527 0.0000 0.2000 0.0846 0.0658 304-AH 0.0000 0.1000 0.2000 0.2750 0.3500 0.2000 0.1155 0.1750 0.3500 0.5774 0.0884 0.0001 0.0923 0.0000 0.3500 0.2000 0.1155 305-AH 0.0000 0.0000 0.3500 0.4500 0.5500 0.2731 0.2214 0.4500 0.5500 0.8107 0.0142 0.0000 0.1982 0.0000 0.5500 0.2731 0.2214 306-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 307-AH 0.0000 0.0500 0.1500 0.2000 0.4000 0.1538 0.1198 0.1500 0.4000 0.7789 0.0347 0.0001 0.0822 0.0000 0.4000 0.1538 0.1198 308-AH 0.3000 0.3875 0.4000 0.4500 0.4500 0.4000 0.0456 0.0625 0.1500 0.1141 0.3974 0.3947 0.0308 0.3000 0.4500 0.4000 0.0456 309-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0462 0.0431 0.1000 0.1000 0.9342 0.0023 0.0000 0.0355 0.0000 0.1000 0.0462 0.0431 310-AH 0.0500 0.0500 0.1000 0.1625 0.3500 0.1385 0.1227 0.1125 0.3000 0.8864 0.1023 0.0820 0.0976 0.0500 0.1000 0.0750 0.0264 311-AH 0.0000 0.2875 0.3500 0.4500 0.4500 0.3346 0.1248 0.1625 0.4500 0.3730 0.1584 0.0001 0.0882 0.2500 0.4500 0.3625 0.0772 312-AH 0.0000 0.1500 0.4000 0.5000 0.7500 0.3577 0.2168 0.3500 0.7500 0.6062 0.1484 0.0001 0.1828 0.0000 0.7500 0.3577 0.2168 313-AH 0.0000 0.0000 0.0500 0.1125 0.2000 0.0615 0.0682 0.1125 0.2000 1.1078 0.0026 0.0000 0.0544 0.0000 0.2000 0.0615 0.0682 314-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0346 0.0376 0.0500 0.1000 1.0849 0.0011 0.0000 0.0320 0.0000 0.1000 0.0346 0.0376 315-AH 0.0000 0.5375 0.5500 0.6125 0.7500 0.5423 0.1847 0.0750 0.7500 0.3405 0.2500 0.0001 0.1041 0.4500 0.6500 0.5550 0.0550 316-AH 0.0000 0.0000 0.1500 0.2000 0.3000 0.1192 0.1032 0.2000 0.3000 0.8652 0.0079 0.0000 0.0870 0.0000 0.3000 0.1192 0.1032 317-AH 0.0000 0.1000 0.1500 0.2125 0.3000 0.1577 0.0838 0.1125 0.3000 0.5313 0.0737 0.0001 0.0633 0.0000 0.3000 0.1577 0.0838 318-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0846 0.0826 0.1500 0.2000 0.9765 0.0033 0.0000 0.0757 0.0000 0.2000 0.0846 0.0826 319-AH 0.1500 0.3500 0.4000 0.4500 0.5000 0.3808 0.1011 0.1000 0.3500 0.2656 0.3634 0.3397 0.0728 0.2000 0.5000 0.4000 0.0769 320-AH 0.0000 0.1000 0.1000 0.1500 0.1500 0.1000 0.0500 0.0500 0.1500 0.5000 0.0275 0.0001 0.0308 0.1000 0.1500 0.1182 0.0252 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0500 0.1000 0.1500 0.2000 0.2500 0.1500 0.0577 0.1000 0.2000 0.3849 0.1383 0.1250 0.0462 0.0500 0.2500 0.1500 0.0577 323-AH 0.0000 0.0500 0.1500 0.2125 0.2500 0.1308 0.0925 0.1625 0.2500 0.7074 0.0305 0.0001 0.0775 0.0000 0.2500 0.1308 0.0925 324-AH 0.0000 0.3500 0.5000 0.7125 0.7500 0.5038 0.2332 0.3625 0.7500 0.4627 0.2238 0.0001 0.1964 0.0000 0.7500 0.5038 0.2332 325-AH 0.0000 0.0375 0.0500 0.2375 0.5500 0.1577 0.2178 0.2000 0.5500 1.3812 0.0132 0.0000 0.1734 0.0000 0.5000 0.0864 0.1433 326-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 327-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0808 0.0723 0.1500 0.2000 0.8949 0.0060 0.0000 0.0639 0.0000 0.2000 0.0808 0.0723 328-AH 0.2000 0.4750 0.5500 0.6625 0.8000 0.5538 0.1613 0.1875 0.6000 0.2913 0.5262 0.4898 0.1272 0.2000 0.8000 0.5538 0.1613 329-AH 0.2000 0.4500 0.5500 0.6000 0.6000 0.5038 0.1181 0.1500 0.4000 0.2344 0.4859 0.4603 0.0876 0.3500 0.6000 0.5292 0.0782 330-AH 0.7500 0.8000 0.8000 0.8500 0.8500 0.8115 0.0363 0.0500 0.1000 0.0447 0.8108 0.8100 0.0296 0.7500 0.8500 0.8115 0.0363 331-AH 0.0500 0.0500 0.3000 0.4500 0.5000 0.2423 0.1869 0.4000 0.4500 0.7714 0.1599 0.1014 0.1698 0.0500 0.5000 0.2423 0.1869 332-AH 0.1500 0.2000 0.2000 0.2500 0.2500 0.2115 0.0363 0.0500 0.1000 0.1714 0.2085 0.2053 0.0296 0.1500 0.2500 0.2115 0.0363 333-AH 0.2000 0.2500 0.2500 0.2500 0.2500 0.2423 0.0188 0.0000 0.0500 0.0775 0.2416 0.2407 0.0130 0.2500 0.2500 0.2500 0.0000 334-AH 0.1000 0.1000 0.1000 0.1500 0.2000 0.1269 0.0330 0.0500 0.1000 0.2601 0.1233 0.1200 0.0290 0.1000 0.2000 0.1269 0.0330 335-AH 0.0000 0.1500 0.2000 0.2500 0.3000 0.1962 0.0803 0.1000 0.3000 0.4092 0.0958 0.0001 0.0586 0.1500 0.3000 0.2125 0.0569 336-AH 0.0000 0.0000 0.1000 0.2250 0.3000 0.1308 0.1234 0.2250 0.3000 0.9435 0.0080 0.0000 0.1101 0.0000 0.3000 0.1308 0.1234 337-AH 0.5500 0.6500 0.7000 0.8000 0.8500 0.7115 0.0916 0.1500 0.3000 0.1288 0.7061 0.7007 0.0757 0.5500 0.8500 0.7115 0.0916 338-AH 0.0000 0.3375 0.3500 0.4000 0.4500 0.3308 0.1164 0.0625 0.4500 0.3520 0.1574 0.0001 0.0757 0.3000 0.4500 0.3727 0.0410 339-AH 0.1500 0.3875 0.4500 0.6000 0.7000 0.4731 0.1438 0.2125 0.5500 0.3039 0.4463 0.4089 0.1095 0.1500 0.7000 0.4731 0.1438 340-AH 0.0000 0.0000 0.1000 0.1500 0.2500 0.0885 0.0768 0.1500 0.2500 0.8681 0.0066 0.0000 0.0604 0.0000 0.2500 0.0885 0.0768 200 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0500 0.1000 0.1625 0.2000 0.1154 0.0658 0.1125 0.2000 0.5701 0.0541 0.0001 0.0550 0.0000 0.2000 0.1154 0.0658 342-AH 0.3500 0.8000 0.8500 0.8500 0.9500 0.8077 0.1441 0.0500 0.6000 0.1784 0.7894 0.7611 0.0751 0.8000 0.9000 0.8364 0.0323 343-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0154 0.0240 0.0500 0.0500 1.5612 0.0001 0.0000 0.0213 0.0000 0.0500 0.0154 0.0240 344-AH 0.0500 0.6000 0.6500 0.6500 0.7000 0.5885 0.1660 0.0500 0.6500 0.2821 0.5201 0.3332 0.0888 0.5500 0.7000 0.6333 0.0389 345-AH 0.0000 0.0000 0.0500 0.1625 0.2000 0.0769 0.0881 0.1625 0.2000 1.1449 0.0016 0.0000 0.0793 0.0000 0.2000 0.0769 0.0881 346-AH 0.0000 0.0375 0.0500 0.0500 0.1000 0.0423 0.0277 0.0125 0.1000 0.6556 0.0074 0.0000 0.0195 0.0500 0.0500 0.0500 0.0000 347-AH 0.0000 0.0000 0.0500 0.1500 0.1500 0.0692 0.0663 0.1500 0.1500 0.9572 0.0029 0.0000 0.0592 0.0000 0.1500 0.0692 0.0663 348-AH 0.0500 0.0875 0.1000 0.1000 0.1000 0.0885 0.0219 0.0125 0.0500 0.2479 0.0852 0.0813 0.0178 0.1000 0.1000 0.1000 0.0000 349-AH 0.3000 0.3000 0.4000 0.4500 0.6000 0.4115 0.1024 0.1500 0.3000 0.2488 0.4004 0.3900 0.0757 0.3000 0.6000 0.4115 0.1024 350-AH 0.3000 0.3375 0.3500 0.3625 0.4000 0.3500 0.0354 0.0250 0.1000 0.1010 0.3483 0.3467 0.0231 0.3000 0.3500 0.3350 0.0242 201 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0250 0.0333 0.0333 0.0333 0.0256 0.0146 0.0083 0.0333 0.5701 0.0051 0.0000 0.0118 0.0333 0.0333 0.0333 0.0000 142-AH 0.2667 0.2667 0.2667 0.2667 0.2667 0.2667 0.0000 0.0000 0.0000 0.0000 0.2667 0.2667 0.0000 0.2667 0.2667 0.2667 0.0000 143-AH 0.0000 0.2833 0.3333 0.8333 1.0000 0.5026 0.3455 0.5500 1.0000 0.6874 0.0982 0.0001 0.3105 0.0000 1.0000 0.5026 0.3455 144-AH 0.0000 0.0333 0.1000 0.1000 0.1000 0.0744 0.0364 0.0667 0.1000 0.4895 0.0370 0.0001 0.0316 0.0000 0.1000 0.0744 0.0364 145-AH 0.0333 0.0667 0.6333 0.7333 0.7667 0.4949 0.3147 0.6667 0.7333 0.6360 0.3018 0.1260 0.2738 0.0333 0.7667 0.4949 0.3147 146-AH 0.0000 0.0250 0.0333 0.0333 0.0333 0.0256 0.0146 0.0083 0.0333 0.5701 0.0051 0.0000 0.0118 0.0333 0.0333 0.0333 0.0000 147-AH 0.0000 0.3583 0.6667 0.7167 0.8333 0.5410 0.2561 0.3583 0.8333 0.4733 0.2357 0.0001 0.2162 0.0000 0.8333 0.5410 0.2561 148-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0308 0.0092 0.0000 0.0333 0.3005 0.0179 0.0001 0.0047 0.0333 0.0333 0.0333 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.1333 0.1667 0.0513 0.0689 0.1333 0.1667 1.3430 0.0004 0.0000 0.0631 0.0000 0.1667 0.0513 0.0689 151-AH 0.0000 0.0250 0.0333 0.1417 0.1667 0.0641 0.0673 0.1167 0.1667 1.0500 0.0083 0.0000 0.0580 0.0000 0.1667 0.0641 0.0673 152-AH 0.0000 0.0667 0.1333 0.1667 0.3000 0.1308 0.0822 0.1000 0.3000 0.6284 0.0327 0.0001 0.0600 0.0000 0.3000 0.1308 0.0822 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1333 0.2333 0.2667 0.2667 0.3000 0.2462 0.0398 0.0333 0.1667 0.1615 0.2423 0.2374 0.0272 0.2333 0.3000 0.2556 0.0217 155-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0205 0.0320 0.0667 0.0667 1.5612 0.0002 0.0000 0.0284 0.0000 0.0667 0.0205 0.0320 156-AH 0.0333 0.0667 0.1000 0.1667 0.1667 0.1026 0.0480 0.1000 0.1333 0.4684 0.0920 0.0818 0.0394 0.0333 0.1667 0.1026 0.0480 157-AH 0.4667 0.6167 0.7000 0.7083 0.8667 0.6692 0.1067 0.0917 0.4000 0.1594 0.6611 0.6525 0.0793 0.5333 0.8000 0.6697 0.0752 158-AH 0.0333 0.2667 0.2667 0.5500 0.7000 0.3769 0.2101 0.2833 0.6667 0.5574 0.3075 0.1999 0.1680 0.0333 0.7000 0.3769 0.2101 159-AH 0.0000 0.3000 0.4000 0.5667 0.6667 0.4000 0.2095 0.2667 0.6667 0.5237 0.1696 0.0001 0.1538 0.0000 0.6667 0.4000 0.2095 160-AH 0.0000 0.0000 0.0333 0.0417 0.0667 0.0282 0.0267 0.0417 0.0667 0.9462 0.0017 0.0000 0.0217 0.0000 0.0667 0.0282 0.0267 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0308 0.0092 0.0000 0.0333 0.3005 0.0179 0.0001 0.0047 0.0333 0.0333 0.0333 0.0000 163-AH 0.7333 0.8667 0.9333 0.9750 1.0000 0.9154 0.0753 0.1083 0.2667 0.0823 0.9124 0.9091 0.0580 0.7333 1.0000 0.9154 0.0753 164-AH 0.0000 0.0333 0.0667 0.1083 0.2333 0.0769 0.0658 0.0750 0.2333 0.8555 0.0187 0.0001 0.0521 0.0000 0.1333 0.0639 0.0481 165-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0333 0.1000 0.1000 0.1333 0.1333 0.1026 0.0287 0.0333 0.1000 0.2803 0.0973 0.0897 0.0189 0.0667 0.1333 0.1083 0.0207 168-AH 0.1000 0.3667 0.4000 0.4417 0.5333 0.4000 0.1036 0.0750 0.4333 0.2591 0.3778 0.3366 0.0615 0.3667 0.5333 0.4250 0.0534 169-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0304 0.0667 0.0667 0.9129 0.0019 0.0000 0.0256 0.0000 0.0667 0.0333 0.0304 170-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0308 0.0092 0.0000 0.0333 0.3005 0.0179 0.0001 0.0047 0.0333 0.0333 0.0333 0.0000 171-AH 0.0333 0.0667 0.0667 0.1000 0.1000 0.0744 0.0200 0.0333 0.0667 0.2686 0.0716 0.0684 0.0158 0.0333 0.1000 0.0744 0.0200 172-AH 0.0000 0.0000 0.0333 0.0667 0.1000 0.0308 0.0346 0.0667 0.1000 1.1242 0.0010 0.0000 0.0284 0.0000 0.1000 0.0308 0.0346 173-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 174-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 175-AH 0.2000 0.2000 0.2000 0.2083 0.2333 0.2077 0.0146 0.0083 0.0333 0.0704 0.2072 0.2068 0.0118 0.2000 0.2000 0.2000 0.0000 176-AH 0.7000 0.7250 0.8333 0.9000 0.9333 0.8154 0.0919 0.1750 0.2333 0.1127 0.8106 0.8057 0.0809 0.7000 0.9333 0.8154 0.0919 177-AH 0.1000 0.2167 0.2333 0.2417 0.2667 0.2205 0.0482 0.0250 0.1667 0.2185 0.2141 0.2055 0.0351 0.2333 0.2667 0.2433 0.0161 178-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0205 0.0169 0.0333 0.0333 0.8229 0.0015 0.0000 0.0158 0.0000 0.0333 0.0205 0.0169 179-AH 0.0000 0.2500 0.3000 0.4583 0.6000 0.3333 0.1748 0.2083 0.6000 0.5244 0.1487 0.0001 0.1385 0.0000 0.6000 0.3333 0.1748 180-AH 0.0000 0.0000 0.0000 0.4750 0.6000 0.2026 0.2594 0.4750 0.6000 1.2808 0.0013 0.0000 0.2391 0.0000 0.6000 0.2026 0.2594 181-AH 0.4667 0.7917 0.8333 0.9333 0.9667 0.8333 0.1326 0.1417 0.5000 0.1592 0.8212 0.8057 0.0872 0.7667 0.9667 0.8639 0.0771 182-AH 0.0333 0.0667 0.0667 0.1333 0.1333 0.0872 0.0348 0.0667 0.1000 0.3991 0.0807 0.0743 0.0304 0.0333 0.1333 0.0872 0.0348 183-AH 0.0000 0.0500 0.1000 0.1333 0.1333 0.0872 0.0536 0.0833 0.1333 0.6153 0.0129 0.0000 0.0434 0.0000 0.1333 0.0872 0.0536 184-AH 0.0000 0.0917 0.1000 0.1667 0.2000 0.1179 0.0675 0.0750 0.2000 0.5724 0.0306 0.0001 0.0552 0.0000 0.2000 0.1179 0.0675 185-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0282 0.0125 0.0000 0.0333 0.4438 0.0096 0.0001 0.0087 0.0333 0.0333 0.0333 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0026 0.0092 0.0000 0.0333 3.6056 0.0000 0.0000 0.0047 0.0000 0.0000 0.0000 0.0000 189-AH 0.2333 0.2333 0.2333 0.2333 0.2333 0.2333 0.0000 0.0000 0.0000 0.0000 0.2333 0.2333 0.0000 0.2333 0.2333 0.2333 0.0000 190-AH 0.0000 0.0667 0.1667 0.1750 0.2000 0.1282 0.0650 0.1083 0.2000 0.5073 0.0616 0.0001 0.0568 0.0000 0.2000 0.1282 0.0650 202 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.1667 0.2000 0.2000 0.2000 0.1615 0.0665 0.0333 0.2000 0.4114 0.0769 0.0001 0.0446 0.1667 0.2000 0.1879 0.0168 193-AH 0.0667 0.1000 0.1333 0.1667 0.2000 0.1333 0.0430 0.0667 0.1333 0.3227 0.1261 0.1182 0.0359 0.0667 0.2000 0.1333 0.0430 194-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0231 0.0160 0.0333 0.0333 0.6939 0.0027 0.0000 0.0142 0.0000 0.0333 0.0231 0.0160 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 197-AH 0.5333 0.8250 0.9000 1.0000 1.0000 0.8769 0.1357 0.1750 0.4667 0.1547 0.8655 0.8519 0.1018 0.7333 1.0000 0.9056 0.0919 198-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0128 0.0169 0.0333 0.0333 1.3166 0.0002 0.0000 0.0158 0.0000 0.0333 0.0128 0.0169 199-AH 0.2667 0.3250 0.3333 0.3333 0.3333 0.3231 0.0210 0.0083 0.0667 0.0650 0.3224 0.3216 0.0158 0.3333 0.3333 0.3333 0.0000 200-AH 0.0000 0.1583 0.1667 0.2333 0.2667 0.1769 0.0712 0.0750 0.2667 0.4025 0.0870 0.0001 0.0521 0.1000 0.2667 0.1917 0.0495 251-AH 0.4667 0.5667 0.7000 0.7417 0.8333 0.6769 0.1075 0.1750 0.3667 0.1588 0.6685 0.6595 0.0864 0.4667 0.8333 0.6769 0.1075 252-AH 0.1667 0.2333 0.3333 0.3833 0.5000 0.3256 0.0983 0.1500 0.3333 0.3018 0.3117 0.2975 0.0750 0.1667 0.5000 0.3256 0.0983 253-AH 0.0000 0.3583 0.5667 0.6333 0.8000 0.4795 0.2544 0.2750 0.8000 0.5306 0.1923 0.0001 0.1976 0.0000 0.8000 0.4795 0.2544 254-AH 0.0667 0.2500 0.2667 0.3333 0.5667 0.2846 0.1365 0.0833 0.5000 0.4796 0.2455 0.1950 0.0939 0.2000 0.3333 0.2815 0.0444 255-AH 0.0333 0.1000 0.1000 0.1000 0.1333 0.1000 0.0236 0.0000 0.1000 0.2357 0.0961 0.0897 0.0103 0.1000 0.1000 0.1000 0.0000 256-AH 0.1333 0.5667 0.7333 0.8083 0.9000 0.6410 0.2887 0.2417 0.7667 0.4504 0.5318 0.3854 0.2292 0.7000 0.9000 0.7900 0.0649 257-AH 0.0333 0.2333 0.2667 0.3417 0.4000 0.2769 0.0927 0.1083 0.3667 0.3347 0.2471 0.1810 0.0639 0.2333 0.4000 0.2972 0.0594 258-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0128 0.0217 0.0333 0.0667 1.6912 0.0001 0.0000 0.0178 0.0000 0.0667 0.0128 0.0217 259-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0487 0.0259 0.0333 0.0667 0.5311 0.0147 0.0001 0.0221 0.0000 0.0667 0.0487 0.0259 260-AH 0.4333 0.4667 0.5000 0.5417 0.7333 0.5205 0.0845 0.0750 0.3000 0.1623 0.5148 0.5098 0.0611 0.4333 0.6333 0.5028 0.0577 261-AH 0.0000 0.0667 0.1667 0.4667 0.5000 0.2256 0.1920 0.4000 0.5000 0.8511 0.0812 0.0001 0.1649 0.0000 0.5000 0.2256 0.1920 262-AH 0.0000 0.0667 0.2667 0.3583 0.5000 0.2410 0.1754 0.2917 0.5000 0.7278 0.0895 0.0001 0.1495 0.0000 0.5000 0.2410 0.1754 263-AH 0.0000 0.0000 0.0333 0.0667 0.1667 0.0436 0.0479 0.0667 0.1667 1.0987 0.0038 0.0000 0.0347 0.0000 0.1667 0.0436 0.0479 264-AH 0.2000 0.2500 0.3000 0.3750 0.4667 0.3128 0.0834 0.1250 0.2667 0.2665 0.3022 0.2913 0.0651 0.2000 0.4667 0.3128 0.0834 265-AH 0.0667 0.0667 0.1333 0.1750 0.2000 0.1308 0.0569 0.1083 0.1333 0.4348 0.1181 0.1057 0.0493 0.0667 0.2000 0.1308 0.0569 266-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0128 0.0169 0.0333 0.0333 1.3166 0.0002 0.0000 0.0158 0.0000 0.0333 0.0128 0.0169 267-AH 0.1333 0.1333 0.2333 0.3000 0.3000 0.2179 0.0689 0.1667 0.1667 0.3160 0.2072 0.1964 0.0576 0.1333 0.3000 0.2179 0.0689 268-AH 0.0333 0.0667 0.0667 0.0750 0.1000 0.0718 0.0185 0.0083 0.0667 0.2575 0.0694 0.0667 0.0130 0.0667 0.0667 0.0667 0.0000 269-AH 0.0667 0.1000 0.1000 0.1750 0.2000 0.1308 0.0480 0.0750 0.1333 0.3674 0.1230 0.1161 0.0430 0.0667 0.2000 0.1308 0.0480 270-AH 0.6000 0.7833 0.8333 0.8667 0.9000 0.8077 0.0884 0.0833 0.3000 0.1094 0.8027 0.7972 0.0663 0.6667 0.9000 0.8250 0.0653 271-AH 0.2667 0.3000 0.4000 0.4667 0.5000 0.3795 0.0800 0.1667 0.2333 0.2107 0.3716 0.3637 0.0682 0.2667 0.5000 0.3795 0.0800 272-AH 0.0000 0.1667 0.2333 0.3000 0.3000 0.2154 0.0846 0.1333 0.3000 0.3926 0.1049 0.0001 0.0631 0.0000 0.3000 0.2154 0.0846 273-AH 0.1333 0.8000 0.8333 0.8750 0.9333 0.7897 0.2025 0.0750 0.8000 0.2564 0.7317 0.5977 0.1010 0.8000 0.9333 0.8444 0.0478 274-AH 0.0000 0.0000 0.0333 0.0333 0.0667 0.0256 0.0242 0.0333 0.0667 0.9425 0.0016 0.0000 0.0197 0.0000 0.0667 0.0256 0.0242 275-AH 0.2000 0.4250 0.5333 0.6833 0.7333 0.5333 0.1871 0.2583 0.5333 0.3508 0.4955 0.4508 0.1538 0.2000 0.7333 0.5333 0.1871 276-AH 0.0333 0.2583 0.5000 0.5417 0.6333 0.4103 0.1873 0.2833 0.6000 0.4565 0.3378 0.2089 0.1617 0.0333 0.6333 0.4103 0.1873 277-AH 0.1000 0.1667 0.2000 0.2417 0.3000 0.2051 0.0542 0.0750 0.2000 0.2641 0.1980 0.1900 0.0422 0.1000 0.3000 0.2051 0.0542 278-AH 0.0333 0.0333 0.0667 0.1333 0.2667 0.1000 0.0861 0.1000 0.2333 0.8607 0.0733 0.0572 0.0667 0.0333 0.2667 0.1000 0.0861 279-AH 0.0000 0.0000 0.0333 0.1000 0.1000 0.0513 0.0483 0.1000 0.1000 0.9425 0.0024 0.0000 0.0450 0.0000 0.1000 0.0513 0.0483 280-AH 0.0000 0.0250 0.1000 0.1333 0.2000 0.0795 0.0660 0.1083 0.2000 0.8306 0.0107 0.0000 0.0580 0.0000 0.2000 0.0795 0.0660 281-AH 0.3000 0.3583 0.4333 0.5333 0.6000 0.4359 0.1058 0.1750 0.3000 0.2427 0.4240 0.4124 0.0903 0.3000 0.6000 0.4359 0.1058 282-AH 0.0000 0.2250 0.2333 0.2750 0.4667 0.2462 0.1068 0.0500 0.4667 0.4337 0.1178 0.0001 0.0671 0.1667 0.3000 0.2367 0.0367 283-AH 0.1667 0.2000 0.3333 0.4083 0.4667 0.3128 0.1110 0.2083 0.3000 0.3548 0.2928 0.2725 0.0970 0.1667 0.4667 0.3128 0.1110 284-AH 0.0000 0.4333 0.5667 0.5667 0.5667 0.4513 0.2071 0.1333 0.5667 0.4589 0.1907 0.0001 0.1621 0.5000 0.5667 0.5567 0.0225 285-AH 0.0667 0.3500 0.3667 0.6167 0.9333 0.4538 0.2436 0.2667 0.8667 0.5368 0.3836 0.2922 0.1874 0.0667 0.9333 0.4538 0.2436 286-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0359 0.0287 0.0667 0.0667 0.8007 0.0036 0.0000 0.0237 0.0000 0.0667 0.0359 0.0287 287-AH 0.0333 0.2333 0.3667 0.5333 0.5667 0.3410 0.1977 0.3000 0.5333 0.5798 0.2349 0.1137 0.1507 0.0333 0.5667 0.3410 0.1977 288-AH 0.0667 0.2083 0.4000 0.4417 0.6333 0.3462 0.1724 0.2333 0.5667 0.4981 0.2908 0.2236 0.1400 0.0667 0.6333 0.3462 0.1724 289-AH 0.3333 0.5333 0.5333 0.5667 0.5667 0.5282 0.0606 0.0333 0.2333 0.1148 0.5241 0.5188 0.0300 0.5333 0.5667 0.5444 0.0164 290-AH 0.0333 0.0917 0.1667 0.2000 0.2333 0.1436 0.0712 0.1083 0.2000 0.4959 0.1210 0.0942 0.0607 0.0333 0.2333 0.1436 0.0712 203 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0667 0.4417 0.5000 0.6083 0.6333 0.4872 0.1596 0.1667 0.5667 0.3276 0.4378 0.3338 0.1132 0.3333 0.6333 0.5222 0.1018 292-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1179 0.0399 0.0000 0.1333 0.3386 0.0609 0.0001 0.0260 0.1333 0.1333 0.1333 0.0000 293-AH 0.0667 0.4917 0.5667 0.5750 0.6333 0.5128 0.1463 0.0833 0.5667 0.2852 0.4650 0.3506 0.0899 0.4333 0.6333 0.5500 0.0611 294-AH 0.0000 0.2667 0.5000 0.6333 0.6667 0.4410 0.2131 0.3667 0.6667 0.4831 0.1955 0.0001 0.1866 0.0000 0.6667 0.4410 0.2131 295-AH 0.0000 0.4000 0.4333 0.4667 0.5333 0.3821 0.1573 0.0667 0.5333 0.4117 0.1721 0.0001 0.1148 0.3000 0.5333 0.4424 0.0560 296-AH 0.2333 0.3667 0.4333 0.4750 0.5333 0.4128 0.0928 0.1083 0.3000 0.2249 0.4019 0.3896 0.0734 0.2333 0.5333 0.4128 0.0928 297-AH 0.0333 0.0333 0.1667 0.1667 0.1667 0.1154 0.0633 0.1333 0.1333 0.5483 0.0930 0.0705 0.0580 0.0333 0.1667 0.1154 0.0633 298-AH 0.0000 0.1833 0.2000 0.2417 0.2667 0.1923 0.0760 0.0583 0.2667 0.3950 0.0939 0.0001 0.0529 0.1000 0.2667 0.2083 0.0515 299-AH 0.0000 0.1333 0.3667 0.4083 0.4333 0.2795 0.1653 0.2750 0.4333 0.5914 0.1132 0.0001 0.1483 0.0000 0.4333 0.2795 0.1653 300-AH 0.0000 0.0500 0.1333 0.2000 0.4000 0.1410 0.1156 0.1500 0.4000 0.8197 0.0174 0.0000 0.0864 0.0000 0.4000 0.1410 0.1156 301-AH 0.0333 0.1000 0.1667 0.3333 0.3333 0.2026 0.1150 0.2333 0.3000 0.5679 0.1666 0.1275 0.1006 0.0333 0.3333 0.2026 0.1150 302-AH 0.1333 0.2667 0.3000 0.3333 0.4000 0.2974 0.0616 0.0667 0.2667 0.2070 0.2897 0.2791 0.0394 0.2667 0.4000 0.3111 0.0385 303-AH 0.0000 0.0333 0.0667 0.1333 0.1667 0.0821 0.0538 0.1000 0.1667 0.6554 0.0375 0.0001 0.0473 0.0000 0.1667 0.0821 0.0538 304-AH 0.0000 0.0667 0.1333 0.1917 0.2667 0.1462 0.0845 0.1250 0.2667 0.5780 0.0676 0.0001 0.0651 0.0000 0.2667 0.1462 0.0845 305-AH 0.0000 0.0000 0.3667 0.4083 0.4333 0.2385 0.1981 0.4083 0.4333 0.8306 0.0126 0.0000 0.1842 0.0000 0.4333 0.2385 0.1981 306-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 307-AH 0.0000 0.0333 0.1333 0.2500 0.3333 0.1513 0.1152 0.2167 0.3333 0.7612 0.0328 0.0001 0.0911 0.0000 0.3333 0.1513 0.1152 308-AH 0.2333 0.2667 0.2667 0.3000 0.3000 0.2769 0.0210 0.0333 0.0667 0.0759 0.2762 0.2754 0.0178 0.2333 0.3000 0.2769 0.0210 309-AH 0.0000 0.0250 0.0667 0.0667 0.0667 0.0436 0.0285 0.0417 0.0667 0.6537 0.0074 0.0000 0.0249 0.0000 0.0667 0.0436 0.0285 310-AH 0.0333 0.0333 0.0667 0.1750 0.3000 0.1179 0.1077 0.1417 0.2667 0.9130 0.0829 0.0627 0.0864 0.0333 0.3000 0.1179 0.1077 311-AH 0.0000 0.2667 0.3667 0.4333 0.4667 0.3256 0.1341 0.1667 0.4667 0.4119 0.1519 0.0001 0.1057 0.1667 0.4667 0.3528 0.0958 312-AH 0.0000 0.1833 0.3667 0.4750 0.6333 0.3385 0.1919 0.2917 0.6333 0.5670 0.1419 0.0001 0.1586 0.0000 0.6333 0.3385 0.1919 313-AH 0.0000 0.0000 0.0667 0.0833 0.1667 0.0590 0.0626 0.0833 0.1667 1.0613 0.0026 0.0000 0.0493 0.0000 0.1667 0.0590 0.0626 314-AH 0.0000 0.0333 0.0333 0.0750 0.1000 0.0538 0.0320 0.0417 0.1000 0.5948 0.0270 0.0001 0.0272 0.0000 0.1000 0.0538 0.0320 315-AH 0.0000 0.4000 0.4667 0.5667 0.7333 0.4667 0.1826 0.1667 0.7333 0.3912 0.2149 0.0001 0.1128 0.3667 0.7333 0.5056 0.1221 316-AH 0.0000 0.0000 0.1000 0.2000 0.2667 0.1077 0.0964 0.2000 0.2667 0.8949 0.0072 0.0000 0.0801 0.0000 0.2667 0.1077 0.0964 317-AH 0.0333 0.1000 0.2000 0.2083 0.2667 0.1641 0.0687 0.1083 0.2333 0.4184 0.1461 0.1211 0.0592 0.0333 0.2667 0.1641 0.0687 318-AH 0.0000 0.0333 0.0667 0.1333 0.2000 0.0872 0.0570 0.1000 0.2000 0.6537 0.0401 0.0001 0.0477 0.0000 0.2000 0.0872 0.0570 319-AH 0.1000 0.3000 0.3000 0.3333 0.3333 0.2897 0.0725 0.0333 0.2333 0.2502 0.2766 0.2566 0.0481 0.3000 0.3333 0.3182 0.0174 320-AH 0.0000 0.0667 0.1000 0.1000 0.1333 0.0769 0.0394 0.0333 0.1333 0.5123 0.0219 0.0001 0.0300 0.0667 0.1333 0.0909 0.0216 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0333 0.0917 0.1333 0.1667 0.1667 0.1231 0.0459 0.0750 0.1333 0.3731 0.1123 0.0981 0.0383 0.0333 0.1667 0.1231 0.0459 323-AH 0.0333 0.0333 0.1333 0.1500 0.2000 0.1103 0.0686 0.1167 0.1667 0.6218 0.0859 0.0642 0.0592 0.0333 0.2000 0.1103 0.0686 324-AH 0.0000 0.3000 0.3667 0.6500 0.7333 0.4487 0.2222 0.3500 0.7333 0.4952 0.1986 0.0001 0.1909 0.0000 0.7333 0.4487 0.2222 325-AH 0.0000 0.0250 0.0667 0.2167 0.5000 0.1487 0.1975 0.1917 0.5000 1.3280 0.0131 0.0000 0.1570 0.0000 0.5000 0.1487 0.1975 326-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 327-AH 0.0000 0.0333 0.0333 0.1083 0.1333 0.0641 0.0499 0.0750 0.1333 0.7789 0.0165 0.0001 0.0434 0.0000 0.1333 0.0641 0.0499 328-AH 0.1333 0.4583 0.5333 0.5667 0.6000 0.4923 0.1241 0.1083 0.4667 0.2521 0.4671 0.4219 0.0852 0.4333 0.6000 0.5222 0.0641 329-AH 0.2000 0.4000 0.4333 0.4333 0.4333 0.4026 0.0645 0.0333 0.2333 0.1602 0.3957 0.3859 0.0379 0.3667 0.4333 0.4194 0.0223 330-AH 0.7000 0.7333 0.8000 0.8000 0.9000 0.7769 0.0534 0.0667 0.2000 0.0687 0.7753 0.7736 0.0402 0.7000 0.9000 0.7769 0.0534 331-AH 0.0667 0.1333 0.2667 0.4000 0.5000 0.2641 0.1475 0.2667 0.4333 0.5584 0.2218 0.1812 0.1258 0.0667 0.5000 0.2641 0.1475 332-AH 0.1667 0.1667 0.2000 0.2333 0.2667 0.2051 0.0329 0.0667 0.1000 0.1604 0.2027 0.2003 0.0268 0.1667 0.2667 0.2051 0.0329 333-AH 0.1667 0.1667 0.1667 0.1667 0.1667 0.1667 0.0000 0.0000 0.0000 0.0000 0.1667 0.1667 0.0000 0.1667 0.1667 0.1667 0.0000 334-AH 0.0667 0.1000 0.1000 0.1333 0.1333 0.1077 0.0242 0.0333 0.0667 0.2244 0.1049 0.1020 0.0197 0.0667 0.1333 0.1077 0.0242 335-AH 0.0000 0.1000 0.1333 0.2083 0.2333 0.1487 0.0675 0.1083 0.2333 0.4540 0.0730 0.0001 0.0525 0.0000 0.2333 0.1487 0.0675 336-AH 0.0000 0.0000 0.0667 0.1750 0.2333 0.0974 0.0887 0.1750 0.2333 0.9101 0.0067 0.0000 0.0793 0.0000 0.2333 0.0974 0.0887 337-AH 0.5000 0.5333 0.5667 0.6000 0.6333 0.5667 0.0408 0.0667 0.1333 0.0720 0.5653 0.5639 0.0359 0.5000 0.6333 0.5667 0.0408 338-AH 0.0333 0.2250 0.2667 0.3000 0.3333 0.2410 0.0818 0.0750 0.3000 0.3395 0.2155 0.1642 0.0584 0.1333 0.3333 0.2583 0.0553 339-AH 0.1333 0.3250 0.3667 0.5333 0.5667 0.3974 0.1280 0.2083 0.4333 0.3220 0.3740 0.3441 0.1049 0.1333 0.5667 0.3974 0.1280 340-AH 0.0000 0.0250 0.1000 0.1000 0.1667 0.0769 0.0534 0.0750 0.1667 0.6939 0.0113 0.0000 0.0438 0.0000 0.1667 0.0769 0.0534 204 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0333 0.0667 0.1333 0.1333 0.0795 0.0462 0.1000 0.1333 0.5815 0.0380 0.0001 0.0394 0.0000 0.1333 0.0795 0.0462 342-AH 0.3667 0.8250 0.8333 0.8417 0.9000 0.8026 0.1337 0.0167 0.5333 0.1665 0.7868 0.7626 0.0679 0.8000 0.8333 0.8259 0.0147 343-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0103 0.0160 0.0333 0.0333 1.5612 0.0001 0.0000 0.0142 0.0000 0.0333 0.0103 0.0160 344-AH 0.0667 0.5000 0.5333 0.5750 0.6000 0.5128 0.1391 0.0750 0.5333 0.2713 0.4666 0.3521 0.0746 0.5000 0.6000 0.5500 0.0389 345-AH 0.0000 0.0000 0.0333 0.1333 0.1667 0.0615 0.0718 0.1333 0.1667 1.1669 0.0014 0.0000 0.0655 0.0000 0.1667 0.0615 0.0718 346-AH 0.0000 0.0250 0.0333 0.0667 0.1333 0.0462 0.0398 0.0417 0.1333 0.8616 0.0073 0.0000 0.0312 0.0000 0.1000 0.0389 0.0312 347-AH 0.0000 0.0000 0.0667 0.1000 0.1000 0.0538 0.0482 0.1000 0.1000 0.8949 0.0026 0.0000 0.0446 0.0000 0.1000 0.0538 0.0482 348-AH 0.0333 0.0583 0.0667 0.0667 0.0667 0.0590 0.0146 0.0083 0.0333 0.2479 0.0568 0.0542 0.0118 0.0667 0.0667 0.0667 0.0000 349-AH 0.2667 0.3333 0.3667 0.3667 0.5000 0.3641 0.0552 0.0333 0.2333 0.1516 0.3604 0.3569 0.0339 0.3333 0.3667 0.3533 0.0172 350-AH 0.2333 0.2583 0.2667 0.2667 0.2667 0.2590 0.0146 0.0083 0.0333 0.0564 0.2586 0.2582 0.0118 0.2667 0.2667 0.2667 0.0000 205 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0075 0.0100 0.0100 0.0100 0.0077 0.0044 0.0025 0.0100 0.5701 0.0020 0.0000 0.0036 0.0100 0.0100 0.0100 0.0000 142-AH 0.0800 0.0800 0.0800 0.0800 0.0800 0.0800 0.0000 0.0000 0.0000 0.0000 0.0800 0.0800 0.0000 0.0800 0.0800 0.0800 0.0000 143-AH 0.0000 0.1400 0.1800 0.3550 0.3900 0.2254 0.1434 0.2150 0.3900 0.6362 0.0513 0.0001 0.1273 0.0000 0.3900 0.2254 0.1434 144-AH 0.0100 0.0100 0.0300 0.0300 0.0300 0.0238 0.0096 0.0200 0.0200 0.4029 0.0214 0.0186 0.0085 0.0100 0.0300 0.0238 0.0096 145-AH 0.0600 0.0900 0.3000 0.3400 0.3600 0.2431 0.1169 0.2500 0.3000 0.4810 0.2061 0.1642 0.1024 0.0600 0.3600 0.2431 0.1169 146-AH 0.0100 0.0100 0.0100 0.0100 0.0200 0.0108 0.0028 0.0000 0.0100 0.2575 0.0105 0.0104 0.0014 0.0100 0.0100 0.0100 0.0000 147-AH 0.0000 0.3125 0.3800 0.3900 0.4300 0.3208 0.1276 0.0775 0.4300 0.3979 0.1490 0.0001 0.0942 0.2300 0.4300 0.3682 0.0525 148-AH 0.0000 0.0100 0.0300 0.0400 0.0400 0.0262 0.0150 0.0300 0.0400 0.5743 0.0135 0.0001 0.0134 0.0000 0.0400 0.0262 0.0150 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0100 0.0700 0.0800 0.0285 0.0341 0.0700 0.0800 1.1988 0.0015 0.0000 0.0304 0.0000 0.0800 0.0285 0.0341 151-AH 0.0000 0.0075 0.0100 0.0575 0.0800 0.0323 0.0324 0.0500 0.0800 1.0042 0.0047 0.0000 0.0286 0.0000 0.0800 0.0323 0.0324 152-AH 0.0000 0.0550 0.0600 0.0800 0.0900 0.0577 0.0286 0.0250 0.0900 0.4961 0.0172 0.0001 0.0205 0.0400 0.0900 0.0682 0.0140 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1000 0.1075 0.1200 0.1325 0.1500 0.1208 0.0161 0.0250 0.0500 0.1329 0.1198 0.1188 0.0118 0.1000 0.1500 0.1208 0.0161 155-AH 0.0000 0.0000 0.0000 0.0200 0.0300 0.0069 0.0111 0.0200 0.0300 1.6025 0.0001 0.0000 0.0096 0.0000 0.0300 0.0069 0.0111 156-AH 0.0200 0.0475 0.0700 0.0825 0.0900 0.0638 0.0233 0.0350 0.0700 0.3647 0.0587 0.0523 0.0189 0.0200 0.0900 0.0638 0.0233 157-AH 0.4600 0.5650 0.6000 0.6225 0.6800 0.5854 0.0644 0.0575 0.2200 0.1100 0.5819 0.5780 0.0472 0.5500 0.6800 0.6082 0.0354 158-AH 0.0100 0.1800 0.1900 0.2625 0.3300 0.2115 0.0857 0.0825 0.3200 0.4052 0.1744 0.0835 0.0591 0.1800 0.3300 0.2283 0.0634 159-AH 0.0000 0.2325 0.2600 0.3575 0.3800 0.2577 0.1168 0.1250 0.3800 0.4531 0.1185 0.0001 0.0840 0.0700 0.3800 0.2792 0.0913 160-AH 0.0100 0.0100 0.0200 0.0200 0.0200 0.0162 0.0051 0.0100 0.0100 0.3135 0.0153 0.0144 0.0047 0.0100 0.0200 0.0162 0.0051 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0092 0.0028 0.0000 0.0100 0.3005 0.0059 0.0001 0.0014 0.0100 0.0100 0.0100 0.0000 163-AH 0.4700 0.6750 0.7100 0.7925 0.8300 0.7162 0.0981 0.1175 0.3600 0.1370 0.7091 0.7012 0.0697 0.6400 0.8300 0.7367 0.0673 164-AH 0.0100 0.0400 0.0900 0.1325 0.1400 0.0854 0.0463 0.0925 0.1300 0.5422 0.0690 0.0478 0.0388 0.0100 0.1400 0.0854 0.0463 165-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0200 0.0400 0.0400 0.0400 0.0500 0.0392 0.0064 0.0000 0.0300 0.1633 0.0386 0.0377 0.0030 0.0400 0.0400 0.0400 0.0000 168-AH 0.0400 0.1600 0.1700 0.1800 0.1800 0.1615 0.0378 0.0200 0.1400 0.2342 0.1532 0.1366 0.0209 0.1500 0.1800 0.1717 0.0103 169-AH 0.0000 0.0100 0.0100 0.0325 0.0400 0.0192 0.0150 0.0225 0.0400 0.7789 0.0059 0.0001 0.0130 0.0000 0.0400 0.0192 0.0150 170-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0092 0.0028 0.0000 0.0100 0.3005 0.0059 0.0001 0.0014 0.0100 0.0100 0.0100 0.0000 171-AH 0.0500 0.0600 0.0600 0.0625 0.0800 0.0623 0.0073 0.0025 0.0300 0.1164 0.0619 0.0616 0.0051 0.0600 0.0600 0.0600 0.0000 172-AH 0.0000 0.0000 0.0200 0.0500 0.0500 0.0238 0.0210 0.0500 0.0500 0.8819 0.0026 0.0000 0.0180 0.0000 0.0500 0.0238 0.0210 173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 174-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 175-AH 0.0600 0.0700 0.0700 0.0700 0.0700 0.0685 0.0038 0.0000 0.0100 0.0549 0.0684 0.0682 0.0026 0.0700 0.0700 0.0700 0.0000 176-AH 0.3400 0.3675 0.3700 0.3900 0.3900 0.3738 0.0150 0.0225 0.0500 0.0402 0.3736 0.3733 0.0118 0.3400 0.3900 0.3738 0.0150 177-AH 0.0600 0.0900 0.0900 0.1025 0.1100 0.0923 0.0136 0.0125 0.0500 0.1477 0.0913 0.0901 0.0093 0.0800 0.1100 0.0950 0.0100 178-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0062 0.0051 0.0100 0.0100 0.8229 0.0007 0.0000 0.0047 0.0000 0.0100 0.0062 0.0051 179-AH 0.0000 0.1075 0.1200 0.1775 0.2100 0.1323 0.0582 0.0700 0.2100 0.4398 0.0659 0.0001 0.0428 0.0800 0.2100 0.1433 0.0444 180-AH 0.0000 0.0000 0.0300 0.2450 0.3400 0.1131 0.1383 0.2450 0.3400 1.2229 0.0032 0.0000 0.1253 0.0000 0.3400 0.1131 0.1383 181-AH 0.3900 0.6750 0.7100 0.7225 0.7600 0.6823 0.0922 0.0475 0.3700 0.1351 0.6746 0.6642 0.0522 0.6600 0.7600 0.7067 0.0293 182-AH 0.0200 0.0400 0.0400 0.0400 0.0400 0.0377 0.0060 0.0000 0.0200 0.1590 0.0371 0.0363 0.0039 0.0400 0.0400 0.0400 0.0000 183-AH 0.0000 0.0325 0.0400 0.0400 0.0400 0.0323 0.0148 0.0075 0.0400 0.4583 0.0171 0.0001 0.0118 0.0400 0.0400 0.0400 0.0000 184-AH 0.0000 0.0375 0.0500 0.0600 0.0700 0.0438 0.0206 0.0225 0.0700 0.4705 0.0227 0.0001 0.0159 0.0100 0.0700 0.0475 0.0166 185-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0092 0.0028 0.0000 0.0100 0.3005 0.0059 0.0001 0.0014 0.0100 0.0100 0.0100 0.0000 188-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0031 0.0048 0.0100 0.0100 1.5612 0.0001 0.0000 0.0043 0.0000 0.0100 0.0031 0.0048 189-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000 190-AH 0.0200 0.0400 0.0500 0.0625 0.0700 0.0500 0.0153 0.0225 0.0500 0.3055 0.0474 0.0444 0.0108 0.0200 0.0700 0.0500 0.0153 206 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0200 0.0500 0.0600 0.0600 0.0600 0.0523 0.0117 0.0100 0.0400 0.2229 0.0505 0.0479 0.0083 0.0400 0.0600 0.0550 0.0067 193-AH 0.0200 0.0500 0.0600 0.0600 0.0700 0.0546 0.0133 0.0100 0.0500 0.2435 0.0525 0.0493 0.0097 0.0400 0.0700 0.0575 0.0087 194-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0085 0.0038 0.0000 0.0100 0.4438 0.0035 0.0001 0.0026 0.0100 0.0100 0.0100 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 197-AH 0.3200 0.3950 0.4600 0.4825 0.5000 0.4315 0.0615 0.0875 0.1800 0.1425 0.4272 0.4225 0.0507 0.3200 0.5000 0.4315 0.0615 198-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0054 0.0052 0.0100 0.0100 0.9636 0.0004 0.0000 0.0050 0.0000 0.0100 0.0054 0.0052 199-AH 0.0900 0.1000 0.1000 0.1000 0.1000 0.0992 0.0028 0.0000 0.0100 0.0280 0.0992 0.0992 0.0014 0.1000 0.1000 0.1000 0.0000 200-AH 0.0100 0.0600 0.0700 0.0700 0.0800 0.0623 0.0174 0.0100 0.0700 0.2792 0.0573 0.0460 0.0110 0.0500 0.0800 0.0667 0.0078 251-AH 0.2100 0.2800 0.3400 0.3700 0.3900 0.3308 0.0541 0.0900 0.1800 0.1635 0.3262 0.3210 0.0437 0.2100 0.3900 0.3308 0.0541 252-AH 0.1000 0.1400 0.2000 0.2275 0.2700 0.1923 0.0517 0.0875 0.1700 0.2687 0.1853 0.1778 0.0406 0.1000 0.2700 0.1923 0.0517 253-AH 0.0200 0.2825 0.3900 0.4700 0.5800 0.3554 0.1837 0.1875 0.5600 0.5170 0.2494 0.0998 0.1402 0.0200 0.5800 0.3554 0.1837 254-AH 0.0800 0.1700 0.2600 0.2825 0.4200 0.2385 0.1038 0.1125 0.3400 0.4354 0.2143 0.1866 0.0786 0.0800 0.4200 0.2385 0.1038 255-AH 0.0100 0.0300 0.0400 0.0400 0.0400 0.0354 0.0088 0.0100 0.0300 0.2479 0.0336 0.0306 0.0064 0.0300 0.0400 0.0375 0.0045 256-AH 0.0400 0.3000 0.3200 0.3200 0.3200 0.2723 0.1034 0.0200 0.2800 0.3796 0.2290 0.1530 0.0715 0.3000 0.3200 0.3145 0.0082 257-AH 0.0300 0.2100 0.2200 0.2575 0.3000 0.2223 0.0677 0.0475 0.2700 0.3046 0.2012 0.1533 0.0425 0.1800 0.3000 0.2383 0.0369 258-AH 0.0000 0.0000 0.0100 0.0100 0.0200 0.0077 0.0073 0.0100 0.0200 0.9425 0.0008 0.0000 0.0059 0.0000 0.0200 0.0077 0.0073 259-AH 0.0000 0.0200 0.0200 0.0300 0.0300 0.0208 0.0086 0.0100 0.0300 0.4152 0.0120 0.0001 0.0057 0.0100 0.0300 0.0225 0.0062 260-AH 0.2800 0.3275 0.3400 0.3700 0.4500 0.3515 0.0452 0.0425 0.1700 0.1287 0.3490 0.3465 0.0342 0.2800 0.4200 0.3433 0.0358 261-AH 0.0000 0.0300 0.0700 0.1625 0.1700 0.0838 0.0632 0.1325 0.1700 0.7536 0.0363 0.0001 0.0540 0.0000 0.1700 0.0838 0.0632 262-AH 0.0400 0.0400 0.1200 0.1525 0.3300 0.1292 0.0997 0.1125 0.2900 0.7715 0.0979 0.0755 0.0742 0.0400 0.2900 0.1125 0.0829 263-AH 0.0000 0.0175 0.0300 0.0600 0.1500 0.0415 0.0402 0.0425 0.1500 0.9672 0.0108 0.0001 0.0283 0.0000 0.0800 0.0325 0.0245 264-AH 0.1200 0.1400 0.1400 0.1625 0.1900 0.1500 0.0200 0.0225 0.0700 0.1333 0.1488 0.1477 0.0154 0.1200 0.1900 0.1500 0.0200 265-AH 0.0300 0.0475 0.0600 0.0600 0.0600 0.0538 0.0104 0.0125 0.0300 0.1939 0.0527 0.0513 0.0085 0.0300 0.0600 0.0538 0.0104 266-AH 0.0000 0.0000 0.0000 0.0100 0.0200 0.0062 0.0077 0.0100 0.0200 1.2479 0.0003 0.0000 0.0066 0.0000 0.0200 0.0062 0.0077 267-AH 0.0500 0.0650 0.1000 0.1225 0.1400 0.0946 0.0323 0.0575 0.0900 0.3414 0.0889 0.0828 0.0273 0.0500 0.1400 0.0946 0.0323 268-AH 0.0200 0.0200 0.0200 0.0300 0.0300 0.0238 0.0051 0.0100 0.0100 0.2123 0.0234 0.0229 0.0047 0.0200 0.0300 0.0238 0.0051 269-AH 0.0400 0.0500 0.0600 0.0700 0.0800 0.0600 0.0135 0.0200 0.0400 0.2257 0.0585 0.0571 0.0108 0.0400 0.0800 0.0600 0.0135 270-AH 0.2600 0.4375 0.4500 0.4925 0.5200 0.4392 0.0787 0.0550 0.2600 0.1791 0.4312 0.4215 0.0520 0.4300 0.5200 0.4691 0.0318 271-AH 0.1200 0.1775 0.1900 0.2025 0.2100 0.1846 0.0250 0.0250 0.0900 0.1356 0.1828 0.1807 0.0181 0.1600 0.2100 0.1900 0.0165 272-AH 0.0000 0.1100 0.1200 0.1300 0.1300 0.1100 0.0344 0.0200 0.1300 0.3127 0.0577 0.0001 0.0185 0.1000 0.1300 0.1192 0.0100 273-AH 0.1200 0.5275 0.5500 0.5725 0.6000 0.5138 0.1241 0.0450 0.4800 0.2416 0.4854 0.4277 0.0704 0.5200 0.6000 0.5555 0.0258 274-AH 0.0000 0.0175 0.0200 0.0350 0.0600 0.0269 0.0197 0.0175 0.0600 0.7333 0.0082 0.0001 0.0151 0.0000 0.0600 0.0269 0.0197 275-AH 0.1400 0.2800 0.3500 0.4350 0.4500 0.3377 0.1099 0.1550 0.3100 0.3253 0.3166 0.2908 0.0875 0.1400 0.4500 0.3377 0.1099 276-AH 0.1300 0.2225 0.2600 0.3150 0.3500 0.2538 0.0702 0.0925 0.2200 0.2765 0.2436 0.2320 0.0543 0.1300 0.3500 0.2538 0.0702 277-AH 0.0600 0.0950 0.1000 0.1225 0.1300 0.1038 0.0218 0.0275 0.0700 0.2100 0.1015 0.0989 0.0170 0.0600 0.1300 0.1038 0.0218 278-AH 0.0200 0.0200 0.0400 0.0950 0.1500 0.0646 0.0508 0.0750 0.1300 0.7856 0.0485 0.0374 0.0411 0.0200 0.1500 0.0646 0.0508 279-AH 0.0000 0.0175 0.0200 0.0300 0.0400 0.0223 0.0109 0.0125 0.0400 0.4895 0.0124 0.0001 0.0086 0.0000 0.0400 0.0223 0.0109 280-AH 0.0100 0.0175 0.0600 0.0900 0.1000 0.0538 0.0369 0.0725 0.0900 0.6846 0.0389 0.0258 0.0328 0.0100 0.1000 0.0538 0.0369 281-AH 0.2100 0.2450 0.2700 0.2725 0.3000 0.2608 0.0281 0.0275 0.0900 0.1079 0.2593 0.2577 0.0220 0.2100 0.3000 0.2608 0.0281 282-AH 0.0100 0.1275 0.1500 0.2000 0.2200 0.1454 0.0567 0.0725 0.2100 0.3897 0.1230 0.0715 0.0404 0.0900 0.2200 0.1567 0.0412 283-AH 0.0800 0.1200 0.1500 0.1625 0.1800 0.1423 0.0309 0.0425 0.1000 0.2169 0.1388 0.1348 0.0252 0.0800 0.1800 0.1423 0.0309 284-AH 0.0200 0.2450 0.2900 0.3325 0.3500 0.2569 0.1160 0.0875 0.3300 0.4515 0.1993 0.1062 0.0893 0.1400 0.3500 0.2991 0.0586 285-AH 0.0200 0.1375 0.1800 0.3375 0.5700 0.2408 0.1535 0.2000 0.5500 0.6375 0.1890 0.1193 0.1180 0.0200 0.5700 0.2408 0.1535 286-AH 0.0000 0.0000 0.0200 0.0325 0.0400 0.0200 0.0158 0.0325 0.0400 0.7906 0.0024 0.0000 0.0123 0.0000 0.0400 0.0200 0.0158 287-AH 0.0200 0.1700 0.2900 0.3425 0.3600 0.2400 0.1334 0.1725 0.3400 0.5559 0.1613 0.0708 0.1062 0.0200 0.3600 0.2400 0.1334 288-AH 0.0500 0.1650 0.2200 0.2525 0.3300 0.2138 0.0776 0.0875 0.2800 0.3630 0.1955 0.1685 0.0574 0.0500 0.3300 0.2138 0.0776 289-AH 0.1700 0.1700 0.1700 0.1800 0.1800 0.1731 0.0048 0.0100 0.0100 0.0278 0.1730 0.1730 0.0043 0.1700 0.1800 0.1731 0.0048 290-AH 0.0100 0.0800 0.1000 0.1625 0.2100 0.1077 0.0602 0.0825 0.2000 0.5586 0.0845 0.0521 0.0460 0.0100 0.2100 0.1077 0.0602 207 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0500 0.1975 0.2100 0.2100 0.2200 0.1915 0.0451 0.0125 0.1700 0.2353 0.1820 0.1637 0.0269 0.1900 0.2200 0.2073 0.0079 292-AH 0.0100 0.0400 0.0400 0.0400 0.0400 0.0377 0.0083 0.0000 0.0300 0.2207 0.0360 0.0325 0.0043 0.0400 0.0400 0.0400 0.0000 293-AH 0.0300 0.2600 0.3000 0.3125 0.3300 0.2762 0.0786 0.0525 0.3000 0.2846 0.2478 0.1754 0.0469 0.2500 0.3300 0.2967 0.0277 294-AH 0.0000 0.0900 0.2600 0.2625 0.2700 0.1946 0.0954 0.1725 0.2700 0.4900 0.0902 0.0001 0.0836 0.0000 0.2700 0.1946 0.0954 295-AH 0.0200 0.2050 0.2300 0.2700 0.3000 0.2154 0.0829 0.0650 0.2800 0.3850 0.1829 0.1184 0.0572 0.1900 0.3000 0.2464 0.0356 296-AH 0.1200 0.1675 0.2100 0.2400 0.2400 0.1977 0.0459 0.0725 0.1200 0.2319 0.1923 0.1866 0.0409 0.1200 0.2400 0.1977 0.0459 297-AH 0.0300 0.0375 0.0500 0.0700 0.0800 0.0538 0.0180 0.0325 0.0500 0.3351 0.0509 0.0478 0.0149 0.0300 0.0800 0.0538 0.0180 298-AH 0.0600 0.1050 0.1200 0.1400 0.1600 0.1177 0.0292 0.0350 0.1000 0.2481 0.1137 0.1090 0.0217 0.0600 0.1600 0.1177 0.0292 299-AH 0.0100 0.1700 0.2200 0.2700 0.2900 0.1962 0.0899 0.1000 0.2800 0.4581 0.1507 0.0708 0.0688 0.0300 0.2900 0.2117 0.0735 300-AH 0.0000 0.0375 0.1400 0.1725 0.2000 0.1162 0.0754 0.1350 0.2000 0.6495 0.0157 0.0000 0.0638 0.0000 0.2000 0.1162 0.0754 301-AH 0.0100 0.0500 0.0500 0.1100 0.1400 0.0708 0.0386 0.0600 0.1300 0.5456 0.0590 0.0442 0.0333 0.0100 0.1400 0.0708 0.0386 302-AH 0.0500 0.1300 0.1500 0.1525 0.1600 0.1385 0.0288 0.0225 0.1100 0.2082 0.1339 0.1265 0.0175 0.1300 0.1600 0.1458 0.0116 303-AH 0.0000 0.0200 0.0500 0.0600 0.0600 0.0408 0.0218 0.0400 0.0600 0.5342 0.0209 0.0001 0.0192 0.0000 0.0600 0.0408 0.0218 304-AH 0.0000 0.0375 0.0600 0.0950 0.1100 0.0631 0.0361 0.0575 0.1100 0.5730 0.0309 0.0001 0.0295 0.0000 0.1100 0.0631 0.0361 305-AH 0.0000 0.0000 0.2200 0.2575 0.2900 0.1500 0.1262 0.2575 0.2900 0.8411 0.0092 0.0000 0.1169 0.0000 0.2900 0.1500 0.1262 306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 307-AH 0.0000 0.1075 0.1800 0.2050 0.2600 0.1577 0.0830 0.0975 0.2600 0.5262 0.0398 0.0001 0.0647 0.0000 0.2600 0.1577 0.0830 308-AH 0.0800 0.0900 0.0900 0.1000 0.1000 0.0923 0.0060 0.0100 0.0200 0.0649 0.0921 0.0919 0.0047 0.0800 0.1000 0.0923 0.0060 309-AH 0.0000 0.0300 0.0500 0.0525 0.0600 0.0408 0.0193 0.0225 0.0600 0.4746 0.0213 0.0001 0.0160 0.0000 0.0600 0.0408 0.0193 310-AH 0.0100 0.0275 0.0400 0.0975 0.1800 0.0700 0.0645 0.0700 0.1700 0.9221 0.0483 0.0343 0.0508 0.0100 0.1800 0.0700 0.0645 311-AH 0.0100 0.2100 0.2100 0.3025 0.3200 0.2231 0.0851 0.0925 0.3100 0.3814 0.1835 0.0850 0.0592 0.1300 0.3200 0.2408 0.0585 312-AH 0.0000 0.1750 0.2400 0.2500 0.2900 0.2008 0.0854 0.0750 0.2900 0.4253 0.0955 0.0001 0.0651 0.0800 0.2900 0.2175 0.0631 313-AH 0.0300 0.0300 0.0300 0.0600 0.0700 0.0446 0.0171 0.0300 0.0400 0.3840 0.0417 0.0392 0.0157 0.0300 0.0700 0.0446 0.0171 314-AH 0.0300 0.0375 0.0600 0.0700 0.0800 0.0562 0.0185 0.0325 0.0500 0.3295 0.0529 0.0495 0.0155 0.0300 0.0800 0.0562 0.0185 315-AH 0.0200 0.1975 0.2300 0.3625 0.4000 0.2577 0.1150 0.1650 0.3800 0.4465 0.2151 0.1318 0.0925 0.0200 0.4000 0.2577 0.1150 316-AH 0.0100 0.1125 0.1800 0.1800 0.2400 0.1477 0.0664 0.0675 0.2300 0.4493 0.1199 0.0681 0.0521 0.0600 0.2400 0.1592 0.0542 317-AH 0.0400 0.0500 0.1000 0.1425 0.1800 0.0992 0.0487 0.0925 0.1400 0.4911 0.0880 0.0778 0.0408 0.0400 0.1800 0.0992 0.0487 318-AH 0.0200 0.0500 0.0600 0.0700 0.0800 0.0592 0.0161 0.0200 0.0600 0.2710 0.0564 0.0522 0.0118 0.0400 0.0800 0.0625 0.0114 319-AH 0.0500 0.1200 0.1300 0.1300 0.1500 0.1215 0.0251 0.0100 0.1000 0.2066 0.1181 0.1129 0.0153 0.1200 0.1300 0.1256 0.0053 320-AH 0.0000 0.0275 0.0400 0.0600 0.0600 0.0385 0.0199 0.0325 0.0600 0.5183 0.0199 0.0001 0.0157 0.0000 0.0600 0.0385 0.0199 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0400 0.0600 0.0600 0.0625 0.0800 0.0600 0.0108 0.0025 0.0400 0.1800 0.0590 0.0579 0.0062 0.0600 0.0600 0.0600 0.0000 323-AH 0.0100 0.0350 0.0600 0.0725 0.1000 0.0546 0.0270 0.0375 0.0900 0.4937 0.0462 0.0358 0.0220 0.0100 0.1000 0.0546 0.0270 324-AH 0.0000 0.2075 0.2100 0.5775 0.6000 0.3277 0.2005 0.3700 0.6000 0.6120 0.1421 0.0001 0.1664 0.0000 0.6000 0.3277 0.2005 325-AH 0.0000 0.0425 0.0600 0.1900 0.4200 0.1354 0.1600 0.1475 0.4200 1.1821 0.0245 0.0001 0.1267 0.0000 0.4100 0.1117 0.1413 326-AH 0.0200 0.0200 0.0200 0.0300 0.0300 0.0238 0.0051 0.0100 0.0100 0.2123 0.0234 0.0229 0.0047 0.0200 0.0300 0.0238 0.0051 327-AH 0.0000 0.0100 0.0200 0.0400 0.0400 0.0238 0.0166 0.0300 0.0400 0.6962 0.0073 0.0001 0.0149 0.0000 0.0400 0.0238 0.0166 328-AH 0.1200 0.2000 0.2200 0.2300 0.2300 0.2100 0.0294 0.0300 0.1100 0.1402 0.2075 0.2042 0.0185 0.2000 0.2300 0.2175 0.0122 329-AH 0.1000 0.1550 0.1600 0.1625 0.1700 0.1538 0.0198 0.0075 0.0700 0.1287 0.1524 0.1508 0.0141 0.1600 0.1700 0.1630 0.0048 330-AH 0.4500 0.4600 0.4700 0.4900 0.5000 0.4746 0.0151 0.0300 0.0500 0.0317 0.4744 0.4742 0.0127 0.4500 0.5000 0.4746 0.0151 331-AH 0.1100 0.1250 0.1500 0.1700 0.1700 0.1431 0.0236 0.0450 0.0600 0.1649 0.1412 0.1393 0.0198 0.1100 0.1700 0.1431 0.0236 332-AH 0.0800 0.0800 0.0800 0.0800 0.0800 0.0800 0.0000 0.0000 0.0000 0.0000 0.0800 0.0800 0.0000 0.0800 0.0800 0.0800 0.0000 333-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 334-AH 0.0300 0.0300 0.0400 0.0400 0.0400 0.0369 0.0048 0.0100 0.0100 0.1301 0.0366 0.0363 0.0043 0.0300 0.0400 0.0369 0.0048 335-AH 0.0000 0.0650 0.0800 0.1000 0.1100 0.0738 0.0301 0.0350 0.1100 0.4083 0.0387 0.0001 0.0220 0.0400 0.1100 0.0800 0.0213 336-AH 0.0000 0.0075 0.0600 0.0800 0.1000 0.0515 0.0380 0.0725 0.1000 0.7382 0.0079 0.0000 0.0322 0.0000 0.1000 0.0515 0.0380 337-AH 0.1700 0.1775 0.1900 0.1900 0.2000 0.1862 0.0104 0.0125 0.0300 0.0561 0.1859 0.1856 0.0084 0.1700 0.2000 0.1862 0.0104 338-AH 0.0200 0.0775 0.0900 0.0925 0.1000 0.0815 0.0212 0.0150 0.0800 0.2594 0.0769 0.0682 0.0137 0.0700 0.1000 0.0867 0.0107 339-AH 0.1100 0.1600 0.1800 0.1800 0.1900 0.1700 0.0208 0.0200 0.0800 0.1225 0.1686 0.1669 0.0138 0.1600 0.1900 0.1750 0.0109 340-AH 0.0000 0.0150 0.0400 0.0500 0.0500 0.0315 0.0203 0.0350 0.0500 0.6452 0.0058 0.0000 0.0168 0.0000 0.0500 0.0315 0.0203 208 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0100 0.0400 0.0400 0.0500 0.0308 0.0171 0.0300 0.0500 0.5544 0.0155 0.0001 0.0144 0.0000 0.0500 0.0308 0.0171 342-AH 0.2800 0.5250 0.5600 0.6725 0.7500 0.5715 0.1179 0.1475 0.4700 0.2063 0.5578 0.5406 0.0847 0.5100 0.7500 0.5958 0.0824 343-AH 0.0000 0.0075 0.0100 0.0100 0.0100 0.0077 0.0044 0.0025 0.0100 0.5701 0.0020 0.0000 0.0036 0.0100 0.0100 0.0100 0.0000 344-AH 0.0500 0.2200 0.2300 0.2800 0.2800 0.2308 0.0598 0.0600 0.2300 0.2591 0.2165 0.1876 0.0331 0.2200 0.2800 0.2458 0.0261 345-AH 0.0000 0.0200 0.0400 0.0725 0.0900 0.0454 0.0299 0.0525 0.0900 0.6587 0.0130 0.0001 0.0243 0.0000 0.0900 0.0454 0.0299 346-AH 0.0000 0.0225 0.0600 0.0600 0.0600 0.0415 0.0254 0.0375 0.0600 0.6126 0.0073 0.0000 0.0212 0.0000 0.0600 0.0415 0.0254 347-AH 0.0000 0.0000 0.0400 0.0500 0.0500 0.0285 0.0215 0.0500 0.0500 0.7569 0.0031 0.0000 0.0188 0.0000 0.0500 0.0285 0.0215 348-AH 0.0100 0.0175 0.0200 0.0200 0.0200 0.0177 0.0044 0.0025 0.0100 0.2479 0.0170 0.0162 0.0036 0.0200 0.0200 0.0200 0.0000 349-AH 0.1200 0.2100 0.2300 0.2400 0.2500 0.2192 0.0338 0.0300 0.1300 0.1541 0.2161 0.2119 0.0225 0.2000 0.2500 0.2275 0.0166 350-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 209 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0037 0.0050 0.0050 0.0050 0.0038 0.0022 0.0012 0.0050 0.5701 0.0012 0.0000 0.0018 0.0050 0.0050 0.0050 0.0000 142-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000 143-AH 0.0000 0.0800 0.1250 0.1950 0.1950 0.1262 0.0741 0.1150 0.1950 0.5875 0.0515 0.0001 0.0636 0.0000 0.1950 0.1262 0.0741 144-AH 0.0050 0.0050 0.0150 0.0150 0.0150 0.0119 0.0048 0.0100 0.0100 0.4029 0.0107 0.0093 0.0043 0.0050 0.0150 0.0119 0.0048 145-AH 0.0450 0.0750 0.1700 0.1800 0.1850 0.1381 0.0539 0.1050 0.1400 0.3902 0.1253 0.1102 0.0478 0.0450 0.1850 0.1381 0.0539 146-AH 0.0050 0.0050 0.0050 0.0050 0.0100 0.0058 0.0019 0.0000 0.0050 0.3255 0.0056 0.0054 0.0013 0.0050 0.0050 0.0050 0.0000 147-AH 0.0000 0.1875 0.2150 0.2300 0.2350 0.1873 0.0722 0.0425 0.2350 0.3852 0.0914 0.0001 0.0534 0.1350 0.2350 0.2141 0.0283 148-AH 0.0000 0.0100 0.0250 0.0300 0.0300 0.0192 0.0104 0.0200 0.0300 0.5396 0.0105 0.0001 0.0093 0.0000 0.0300 0.0192 0.0104 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0050 0.0200 0.0400 0.0500 0.0219 0.0180 0.0350 0.0500 0.8199 0.0095 0.0001 0.0147 0.0000 0.0500 0.0219 0.0180 151-AH 0.0000 0.0037 0.0100 0.0375 0.0450 0.0196 0.0189 0.0338 0.0450 0.9620 0.0032 0.0000 0.0173 0.0000 0.0450 0.0196 0.0189 152-AH 0.0000 0.0300 0.0400 0.0450 0.0450 0.0342 0.0151 0.0150 0.0450 0.4416 0.0178 0.0001 0.0111 0.0300 0.0450 0.0400 0.0059 153-AH 0.0000 0.0000 0.0000 0.0012 0.0050 0.0012 0.0022 0.0012 0.0050 1.9003 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000 154-AH 0.0650 0.0700 0.0750 0.0800 0.0900 0.0762 0.0068 0.0100 0.0250 0.0895 0.0759 0.0756 0.0053 0.0650 0.0900 0.0762 0.0068 155-AH 0.0000 0.0000 0.0050 0.0100 0.0150 0.0050 0.0058 0.0100 0.0150 1.1547 0.0004 0.0000 0.0046 0.0000 0.0150 0.0050 0.0058 156-AH 0.0200 0.0400 0.0500 0.0550 0.0600 0.0477 0.0107 0.0150 0.0400 0.2249 0.0462 0.0441 0.0082 0.0200 0.0600 0.0477 0.0107 157-AH 0.3600 0.4312 0.4500 0.4712 0.5300 0.4462 0.0441 0.0400 0.1700 0.0988 0.4441 0.4419 0.0309 0.3750 0.5300 0.4533 0.0373 158-AH 0.0050 0.1150 0.1150 0.1400 0.1700 0.1200 0.0419 0.0250 0.1650 0.3494 0.0995 0.0440 0.0246 0.1100 0.1700 0.1296 0.0248 159-AH 0.0000 0.1525 0.1800 0.2100 0.2250 0.1654 0.0663 0.0575 0.2250 0.4006 0.0810 0.0001 0.0472 0.1450 0.2250 0.1895 0.0297 160-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0096 0.0014 0.0000 0.0050 0.1442 0.0095 0.0093 0.0007 0.0100 0.0100 0.0100 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0046 0.0014 0.0000 0.0050 0.3005 0.0031 0.0001 0.0007 0.0050 0.0050 0.0050 0.0000 163-AH 0.3400 0.4588 0.4850 0.5337 0.5450 0.4827 0.0578 0.0750 0.2050 0.1198 0.4792 0.4752 0.0433 0.4350 0.5450 0.4946 0.0405 164-AH 0.0050 0.0350 0.0700 0.0900 0.1000 0.0646 0.0302 0.0550 0.0950 0.4680 0.0526 0.0318 0.0251 0.0050 0.1000 0.0646 0.0302 165-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0100 0.0200 0.0250 0.0250 0.0250 0.0223 0.0044 0.0050 0.0150 0.1966 0.0218 0.0210 0.0033 0.0200 0.0250 0.0233 0.0025 168-AH 0.0750 0.0900 0.0900 0.0900 0.0900 0.0885 0.0043 0.0000 0.0150 0.0483 0.0884 0.0882 0.0026 0.0900 0.0900 0.0900 0.0000 169-AH 0.0050 0.0100 0.0100 0.0250 0.0250 0.0154 0.0080 0.0150 0.0200 0.5217 0.0133 0.0112 0.0073 0.0050 0.0250 0.0154 0.0080 170-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0046 0.0014 0.0000 0.0050 0.3005 0.0031 0.0001 0.0007 0.0050 0.0050 0.0050 0.0000 171-AH 0.0400 0.0438 0.0550 0.0625 0.0750 0.0550 0.0124 0.0187 0.0350 0.2258 0.0537 0.0525 0.0092 0.0400 0.0750 0.0550 0.0124 172-AH 0.0000 0.0050 0.0200 0.0300 0.0300 0.0177 0.0111 0.0250 0.0300 0.6279 0.0089 0.0001 0.0094 0.0000 0.0300 0.0177 0.0111 173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 174-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 175-AH 0.0300 0.0350 0.0350 0.0350 0.0350 0.0342 0.0019 0.0000 0.0050 0.0549 0.0342 0.0341 0.0013 0.0350 0.0350 0.0350 0.0000 176-AH 0.1750 0.1900 0.1950 0.1950 0.1950 0.1923 0.0056 0.0050 0.0200 0.0293 0.1922 0.1921 0.0037 0.1900 0.1950 0.1937 0.0023 177-AH 0.0400 0.0500 0.0500 0.0600 0.0600 0.0527 0.0063 0.0100 0.0200 0.1201 0.0523 0.0519 0.0052 0.0400 0.0600 0.0527 0.0063 178-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0035 0.0024 0.0050 0.0050 0.6939 0.0007 0.0000 0.0021 0.0000 0.0050 0.0035 0.0024 179-AH 0.0000 0.0700 0.0700 0.0938 0.1050 0.0742 0.0280 0.0238 0.1050 0.3769 0.0394 0.0001 0.0184 0.0500 0.1050 0.0804 0.0176 180-AH 0.0000 0.0000 0.0350 0.1588 0.1950 0.0735 0.0810 0.1588 0.1950 1.1029 0.0028 0.0000 0.0735 0.0000 0.1950 0.0735 0.0810 181-AH 0.2750 0.4137 0.4250 0.4300 0.4450 0.4135 0.0428 0.0163 0.1700 0.1035 0.4109 0.4077 0.0224 0.4100 0.4450 0.4250 0.0104 182-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0188 0.0030 0.0000 0.0100 0.1590 0.0185 0.0181 0.0020 0.0200 0.0200 0.0200 0.0000 183-AH 0.0050 0.0175 0.0200 0.0200 0.0200 0.0169 0.0060 0.0025 0.0150 0.3525 0.0153 0.0130 0.0047 0.0200 0.0200 0.0200 0.0000 184-AH 0.0000 0.0287 0.0300 0.0312 0.0350 0.0265 0.0111 0.0025 0.0350 0.4169 0.0144 0.0001 0.0076 0.0250 0.0300 0.0294 0.0018 185-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 188-AH 0.0000 0.0000 0.0000 0.0050 0.0050 0.0015 0.0024 0.0050 0.0050 1.5612 0.0001 0.0000 0.0021 0.0000 0.0050 0.0015 0.0024 189-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000 190-AH 0.0100 0.0250 0.0300 0.0350 0.0350 0.0273 0.0078 0.0100 0.0250 0.2858 0.0259 0.0240 0.0060 0.0150 0.0350 0.0287 0.0061 210 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0100 0.0287 0.0300 0.0300 0.0300 0.0273 0.0060 0.0012 0.0200 0.2194 0.0264 0.0248 0.0041 0.0300 0.0300 0.0300 0.0000 193-AH 0.0100 0.0250 0.0350 0.0350 0.0350 0.0292 0.0079 0.0100 0.0250 0.2691 0.0278 0.0258 0.0063 0.0200 0.0350 0.0308 0.0056 194-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0042 0.0019 0.0000 0.0050 0.4438 0.0019 0.0001 0.0013 0.0050 0.0050 0.0050 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 197-AH 0.2050 0.2263 0.2450 0.2500 0.2500 0.2362 0.0162 0.0237 0.0450 0.0687 0.2356 0.2351 0.0132 0.2050 0.2500 0.2362 0.0162 198-AH 0.0000 0.0037 0.0050 0.0050 0.0050 0.0038 0.0022 0.0012 0.0050 0.5701 0.0012 0.0000 0.0018 0.0050 0.0050 0.0050 0.0000 199-AH 0.0450 0.0500 0.0500 0.0500 0.0500 0.0496 0.0014 0.0000 0.0050 0.0280 0.0496 0.0496 0.0007 0.0500 0.0500 0.0500 0.0000 200-AH 0.0050 0.0350 0.0350 0.0350 0.0450 0.0331 0.0090 0.0000 0.0400 0.2728 0.0304 0.0240 0.0048 0.0350 0.0350 0.0350 0.0000 251-AH 0.1250 0.1700 0.1900 0.2087 0.2300 0.1908 0.0286 0.0387 0.1050 0.1497 0.1886 0.1862 0.0216 0.1250 0.2300 0.1908 0.0286 252-AH 0.0800 0.1050 0.1250 0.1450 0.1450 0.1246 0.0212 0.0400 0.0650 0.1698 0.1228 0.1208 0.0174 0.0800 0.1450 0.1246 0.0212 253-AH 0.0100 0.2225 0.2800 0.3850 0.4250 0.2719 0.1371 0.1625 0.4150 0.5042 0.1973 0.0777 0.1046 0.0100 0.4250 0.2719 0.1371 254-AH 0.0900 0.1612 0.2450 0.2550 0.3350 0.2123 0.0790 0.0937 0.2450 0.3722 0.1967 0.1798 0.0667 0.0900 0.3350 0.2123 0.0790 255-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0188 0.0030 0.0000 0.0100 0.1590 0.0185 0.0181 0.0020 0.0200 0.0200 0.0200 0.0000 256-AH 0.0200 0.1575 0.1600 0.1600 0.1700 0.1388 0.0529 0.0025 0.1500 0.3811 0.1164 0.0771 0.0366 0.1600 0.1600 0.1600 0.0000 257-AH 0.0350 0.1550 0.1650 0.1825 0.2100 0.1619 0.0442 0.0275 0.1750 0.2729 0.1514 0.1309 0.0269 0.1350 0.2100 0.1725 0.0233 258-AH 0.0000 0.0000 0.0050 0.0050 0.0100 0.0038 0.0036 0.0050 0.0100 0.9425 0.0005 0.0000 0.0030 0.0000 0.0100 0.0038 0.0036 259-AH 0.0050 0.0100 0.0150 0.0150 0.0150 0.0119 0.0038 0.0050 0.0100 0.3220 0.0112 0.0103 0.0033 0.0050 0.0150 0.0119 0.0038 260-AH 0.1900 0.2025 0.2250 0.2600 0.2850 0.2300 0.0338 0.0575 0.0950 0.1469 0.2278 0.2256 0.0269 0.1900 0.2850 0.2300 0.0338 261-AH 0.0000 0.0200 0.0350 0.0900 0.1000 0.0481 0.0347 0.0700 0.1000 0.7212 0.0224 0.0001 0.0299 0.0000 0.1000 0.0481 0.0347 262-AH 0.0300 0.0775 0.1000 0.1462 0.2350 0.1165 0.0691 0.0687 0.2050 0.5933 0.0980 0.0806 0.0521 0.0300 0.2350 0.1165 0.0691 263-AH 0.0000 0.0238 0.0250 0.0763 0.1350 0.0450 0.0394 0.0525 0.1350 0.8761 0.0119 0.0001 0.0315 0.0000 0.1350 0.0450 0.0394 264-AH 0.0700 0.0800 0.0900 0.0913 0.1050 0.0877 0.0088 0.0113 0.0350 0.1004 0.0873 0.0869 0.0067 0.0700 0.1050 0.0877 0.0088 265-AH 0.0150 0.0287 0.0300 0.0300 0.0300 0.0277 0.0048 0.0012 0.0150 0.1747 0.0272 0.0265 0.0036 0.0300 0.0300 0.0300 0.0000 266-AH 0.0000 0.0000 0.0050 0.0100 0.0200 0.0054 0.0063 0.0100 0.0200 1.1661 0.0004 0.0000 0.0051 0.0000 0.0200 0.0054 0.0063 267-AH 0.0450 0.0488 0.0750 0.0800 0.0850 0.0677 0.0160 0.0312 0.0400 0.2367 0.0657 0.0636 0.0144 0.0450 0.0850 0.0677 0.0160 268-AH 0.0100 0.0137 0.0150 0.0150 0.0150 0.0138 0.0022 0.0012 0.0050 0.1584 0.0137 0.0134 0.0018 0.0150 0.0150 0.0150 0.0000 269-AH 0.0250 0.0300 0.0300 0.0400 0.0400 0.0331 0.0060 0.0100 0.0150 0.1803 0.0326 0.0321 0.0053 0.0250 0.0400 0.0331 0.0060 270-AH 0.1400 0.2587 0.2700 0.2763 0.2800 0.2550 0.0411 0.0175 0.1400 0.1613 0.2510 0.2457 0.0269 0.2550 0.2800 0.2709 0.0083 271-AH 0.0850 0.0950 0.1050 0.1150 0.1150 0.1050 0.0098 0.0200 0.0300 0.0932 0.1046 0.1041 0.0077 0.0850 0.1150 0.1050 0.0098 272-AH 0.0050 0.0550 0.0650 0.0650 0.0650 0.0565 0.0164 0.0100 0.0600 0.2897 0.0500 0.0326 0.0096 0.0500 0.0650 0.0608 0.0056 273-AH 0.0800 0.3263 0.3500 0.3550 0.3600 0.3215 0.0756 0.0287 0.2800 0.2351 0.3050 0.2721 0.0438 0.2850 0.3600 0.3417 0.0221 274-AH 0.0000 0.0087 0.0200 0.0263 0.0350 0.0173 0.0120 0.0175 0.0350 0.6939 0.0056 0.0001 0.0106 0.0000 0.0350 0.0173 0.0120 275-AH 0.0950 0.1762 0.2300 0.2650 0.2800 0.2146 0.0628 0.0887 0.1850 0.2926 0.2042 0.1918 0.0512 0.0950 0.2800 0.2146 0.0628 276-AH 0.1100 0.1350 0.1550 0.2050 0.2350 0.1662 0.0425 0.0700 0.1250 0.2557 0.1614 0.1569 0.0360 0.1100 0.2350 0.1662 0.0425 277-AH 0.0450 0.0575 0.0600 0.0650 0.0700 0.0592 0.0081 0.0075 0.0250 0.1372 0.0587 0.0581 0.0058 0.0500 0.0700 0.0618 0.0056 278-AH 0.0100 0.0137 0.0350 0.0563 0.0900 0.0400 0.0308 0.0425 0.0800 0.7706 0.0298 0.0221 0.0238 0.0100 0.0900 0.0400 0.0308 279-AH 0.0050 0.0100 0.0150 0.0200 0.0200 0.0138 0.0051 0.0100 0.0150 0.3657 0.0129 0.0118 0.0043 0.0050 0.0200 0.0138 0.0051 280-AH 0.0050 0.0387 0.0450 0.0600 0.0750 0.0462 0.0196 0.0212 0.0700 0.4246 0.0395 0.0275 0.0151 0.0200 0.0750 0.0496 0.0159 281-AH 0.1650 0.1788 0.1850 0.1850 0.1900 0.1812 0.0074 0.0062 0.0250 0.0409 0.1810 0.1809 0.0057 0.1700 0.1900 0.1825 0.0058 282-AH 0.0350 0.0800 0.0950 0.1262 0.1350 0.0954 0.0289 0.0463 0.1000 0.3030 0.0905 0.0843 0.0213 0.0350 0.1350 0.0954 0.0289 283-AH 0.0400 0.0600 0.1050 0.1150 0.1400 0.0927 0.0301 0.0550 0.1000 0.3249 0.0874 0.0814 0.0251 0.0400 0.1400 0.0927 0.0301 284-AH 0.0100 0.1375 0.1750 0.1825 0.1900 0.1454 0.0648 0.0450 0.1800 0.4456 0.1143 0.0618 0.0509 0.0700 0.1900 0.1686 0.0341 285-AH 0.0150 0.0988 0.1050 0.2038 0.3200 0.1465 0.0862 0.1050 0.3050 0.5879 0.1192 0.0815 0.0696 0.0150 0.3200 0.1465 0.0862 286-AH 0.0000 0.0037 0.0100 0.0250 0.0300 0.0135 0.0113 0.0213 0.0300 0.8358 0.0028 0.0000 0.0096 0.0000 0.0300 0.0135 0.0113 287-AH 0.0250 0.1225 0.1850 0.1975 0.2200 0.1508 0.0738 0.0750 0.1950 0.4894 0.1178 0.0749 0.0580 0.0250 0.2200 0.1508 0.0738 288-AH 0.0300 0.1275 0.1500 0.1750 0.2450 0.1481 0.0546 0.0475 0.2150 0.3685 0.1347 0.1134 0.0370 0.0950 0.2450 0.1579 0.0433 289-AH 0.0850 0.0850 0.0900 0.0900 0.0900 0.0877 0.0026 0.0050 0.0050 0.0296 0.0877 0.0876 0.0025 0.0850 0.0900 0.0877 0.0026 290-AH 0.0100 0.0713 0.0900 0.1212 0.1550 0.0896 0.0407 0.0500 0.1450 0.4547 0.0754 0.0522 0.0305 0.0100 0.1550 0.0896 0.0407 211 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0550 0.1087 0.1100 0.1150 0.1200 0.1065 0.0172 0.0063 0.0650 0.1619 0.1048 0.1023 0.0107 0.1050 0.1200 0.1127 0.0047 292-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0192 0.0028 0.0000 0.0100 0.1442 0.0190 0.0186 0.0014 0.0200 0.0200 0.0200 0.0000 293-AH 0.0400 0.1450 0.1700 0.1700 0.1700 0.1519 0.0359 0.0250 0.1300 0.2360 0.1444 0.1301 0.0222 0.1400 0.1700 0.1613 0.0130 294-AH 0.0000 0.0450 0.1350 0.1350 0.1350 0.1012 0.0490 0.0900 0.1350 0.4848 0.0493 0.0001 0.0417 0.0000 0.1350 0.1012 0.0490 295-AH 0.0200 0.1237 0.1500 0.1650 0.1750 0.1323 0.0490 0.0413 0.1550 0.3705 0.1158 0.0872 0.0356 0.1200 0.1750 0.1509 0.0197 296-AH 0.0650 0.1012 0.1200 0.1200 0.1200 0.1069 0.0182 0.0187 0.0550 0.1703 0.1052 0.1033 0.0141 0.0800 0.1200 0.1104 0.0137 297-AH 0.0200 0.0287 0.0300 0.0400 0.0500 0.0338 0.0092 0.0112 0.0300 0.2707 0.0327 0.0317 0.0072 0.0200 0.0500 0.0338 0.0092 298-AH 0.0550 0.0700 0.0900 0.0962 0.1050 0.0827 0.0172 0.0262 0.0500 0.2074 0.0809 0.0790 0.0148 0.0550 0.1050 0.0827 0.0172 299-AH 0.0100 0.1475 0.1550 0.1863 0.1900 0.1442 0.0591 0.0387 0.1800 0.4099 0.1157 0.0629 0.0396 0.1400 0.1900 0.1673 0.0197 300-AH 0.0200 0.0388 0.1100 0.1200 0.1500 0.0888 0.0462 0.0812 0.1300 0.5205 0.0716 0.0518 0.0391 0.0200 0.1500 0.0888 0.0462 301-AH 0.0050 0.0250 0.0350 0.0562 0.0750 0.0396 0.0206 0.0312 0.0700 0.5190 0.0332 0.0242 0.0172 0.0050 0.0750 0.0396 0.0206 302-AH 0.0350 0.0700 0.0800 0.0812 0.0850 0.0742 0.0132 0.0112 0.0500 0.1779 0.0727 0.0705 0.0086 0.0700 0.0850 0.0775 0.0062 303-AH 0.0000 0.0200 0.0250 0.0337 0.0550 0.0288 0.0153 0.0138 0.0550 0.5303 0.0158 0.0001 0.0111 0.0000 0.0450 0.0241 0.0109 304-AH 0.0050 0.0200 0.0400 0.0475 0.0550 0.0350 0.0172 0.0275 0.0500 0.4914 0.0291 0.0212 0.0146 0.0050 0.0550 0.0350 0.0172 305-AH 0.0000 0.0000 0.1650 0.1863 0.2300 0.1115 0.0911 0.1863 0.2300 0.8167 0.0077 0.0000 0.0837 0.0000 0.2300 0.1115 0.0911 306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 307-AH 0.0000 0.1037 0.1500 0.1550 0.1700 0.1208 0.0560 0.0513 0.1700 0.4638 0.0547 0.0001 0.0429 0.1000 0.1700 0.1418 0.0243 308-AH 0.0450 0.0450 0.0500 0.0500 0.0550 0.0485 0.0032 0.0050 0.0100 0.0650 0.0484 0.0483 0.0027 0.0450 0.0550 0.0485 0.0032 309-AH 0.0100 0.0150 0.0400 0.0450 0.0450 0.0327 0.0142 0.0300 0.0350 0.4353 0.0290 0.0248 0.0125 0.0100 0.0450 0.0327 0.0142 310-AH 0.0050 0.0200 0.0300 0.0962 0.1300 0.0535 0.0474 0.0762 0.1250 0.8868 0.0364 0.0236 0.0402 0.0050 0.1300 0.0535 0.0474 311-AH 0.0450 0.1450 0.1500 0.2000 0.2100 0.1573 0.0463 0.0550 0.1650 0.2941 0.1481 0.1340 0.0344 0.1100 0.2100 0.1667 0.0331 312-AH 0.0000 0.1150 0.1350 0.1500 0.1500 0.1204 0.0464 0.0350 0.1500 0.3853 0.0609 0.0001 0.0340 0.0850 0.1500 0.1373 0.0198 313-AH 0.0150 0.0150 0.0200 0.0362 0.0400 0.0250 0.0110 0.0213 0.0250 0.4397 0.0228 0.0210 0.0100 0.0150 0.0400 0.0250 0.0110 314-AH 0.0300 0.0350 0.0400 0.0525 0.0650 0.0454 0.0113 0.0175 0.0350 0.2482 0.0441 0.0429 0.0096 0.0300 0.0650 0.0454 0.0113 315-AH 0.0300 0.1175 0.1300 0.2100 0.2400 0.1527 0.0637 0.0925 0.2100 0.4169 0.1363 0.1130 0.0525 0.0300 0.2400 0.1527 0.0637 316-AH 0.0550 0.0975 0.1250 0.2150 0.2300 0.1465 0.0661 0.1175 0.1750 0.4512 0.1301 0.1127 0.0578 0.0550 0.2300 0.1465 0.0661 317-AH 0.0400 0.0663 0.0700 0.1100 0.1200 0.0796 0.0263 0.0437 0.0800 0.3298 0.0756 0.0716 0.0218 0.0400 0.1200 0.0796 0.0263 318-AH 0.0150 0.0387 0.0450 0.0450 0.0450 0.0404 0.0085 0.0063 0.0300 0.2112 0.0391 0.0370 0.0057 0.0350 0.0450 0.0425 0.0040 319-AH 0.0300 0.0600 0.0700 0.0750 0.0750 0.0654 0.0123 0.0150 0.0450 0.1885 0.0639 0.0618 0.0088 0.0600 0.0750 0.0683 0.0065 320-AH 0.0050 0.0200 0.0350 0.0400 0.0450 0.0285 0.0131 0.0200 0.0400 0.4614 0.0245 0.0191 0.0117 0.0050 0.0450 0.0285 0.0131 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0300 0.0450 0.0450 0.0500 0.0500 0.0446 0.0069 0.0050 0.0200 0.1549 0.0440 0.0433 0.0045 0.0450 0.0500 0.0473 0.0026 323-AH 0.0100 0.0250 0.0400 0.0600 0.0650 0.0423 0.0179 0.0350 0.0550 0.4223 0.0377 0.0318 0.0148 0.0100 0.0650 0.0423 0.0179 324-AH 0.0200 0.1200 0.1500 0.3000 0.3100 0.1862 0.0956 0.1800 0.2900 0.5133 0.1548 0.1074 0.0820 0.0200 0.3100 0.1862 0.0956 325-AH 0.0000 0.0388 0.0550 0.1237 0.2650 0.0931 0.0942 0.0850 0.2650 1.0118 0.0348 0.0001 0.0740 0.0000 0.2400 0.0627 0.0637 326-AH 0.0100 0.0100 0.0150 0.0150 0.0150 0.0135 0.0024 0.0050 0.0050 0.1784 0.0132 0.0130 0.0021 0.0100 0.0150 0.0135 0.0024 327-AH 0.0000 0.0050 0.0200 0.0200 0.0200 0.0138 0.0082 0.0150 0.0200 0.5925 0.0073 0.0001 0.0076 0.0000 0.0200 0.0138 0.0082 328-AH 0.0750 0.1138 0.1150 0.1150 0.1150 0.1104 0.0114 0.0013 0.0400 0.1037 0.1097 0.1089 0.0071 0.1150 0.1150 0.1150 0.0000 329-AH 0.0650 0.0800 0.0850 0.0850 0.0850 0.0812 0.0065 0.0050 0.0200 0.0801 0.0809 0.0806 0.0047 0.0800 0.0850 0.0836 0.0023 330-AH 0.2500 0.2500 0.2550 0.2550 0.2550 0.2527 0.0026 0.0050 0.0050 0.0103 0.2527 0.2527 0.0025 0.2500 0.2550 0.2527 0.0026 331-AH 0.0800 0.0800 0.0850 0.0850 0.0850 0.0835 0.0024 0.0050 0.0050 0.0288 0.0834 0.0834 0.0021 0.0800 0.0850 0.0835 0.0024 332-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000 333-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000 334-AH 0.0150 0.0150 0.0200 0.0200 0.0250 0.0192 0.0034 0.0050 0.0100 0.1791 0.0189 0.0187 0.0026 0.0150 0.0250 0.0192 0.0034 335-AH 0.0050 0.0425 0.0450 0.0550 0.0650 0.0450 0.0159 0.0125 0.0600 0.3543 0.0396 0.0280 0.0108 0.0250 0.0650 0.0483 0.0109 336-AH 0.0050 0.0125 0.0450 0.0550 0.0650 0.0369 0.0222 0.0425 0.0600 0.6019 0.0264 0.0152 0.0187 0.0050 0.0650 0.0369 0.0222 337-AH 0.0850 0.0925 0.0950 0.1000 0.1000 0.0946 0.0059 0.0075 0.0150 0.0628 0.0944 0.0943 0.0044 0.0850 0.1000 0.0946 0.0059 338-AH 0.0200 0.0400 0.0450 0.0500 0.0500 0.0431 0.0083 0.0100 0.0300 0.1927 0.0421 0.0407 0.0059 0.0400 0.0500 0.0450 0.0048 339-AH 0.0800 0.0888 0.0950 0.0950 0.0950 0.0912 0.0058 0.0062 0.0150 0.0639 0.0910 0.0908 0.0047 0.0800 0.0950 0.0912 0.0058 340-AH 0.0000 0.0112 0.0250 0.0250 0.0250 0.0173 0.0105 0.0138 0.0250 0.6084 0.0037 0.0000 0.0087 0.0000 0.0250 0.0173 0.0105 212 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0100 0.0200 0.0200 0.0250 0.0169 0.0072 0.0100 0.0250 0.4271 0.0098 0.0001 0.0058 0.0000 0.0250 0.0169 0.0072 342-AH 0.2550 0.3900 0.4300 0.4625 0.4750 0.4142 0.0593 0.0725 0.2200 0.1432 0.4096 0.4039 0.0439 0.3800 0.4750 0.4275 0.0366 343-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0046 0.0014 0.0000 0.0050 0.3005 0.0031 0.0001 0.0007 0.0050 0.0050 0.0050 0.0000 344-AH 0.0350 0.1200 0.1400 0.1513 0.1550 0.1312 0.0319 0.0313 0.1200 0.2432 0.1246 0.1124 0.0201 0.1200 0.1550 0.1392 0.0141 345-AH 0.0000 0.0200 0.0350 0.0450 0.0450 0.0319 0.0168 0.0250 0.0450 0.5255 0.0103 0.0001 0.0135 0.0000 0.0450 0.0319 0.0168 346-AH 0.0000 0.0225 0.0350 0.0400 0.0450 0.0288 0.0169 0.0175 0.0450 0.5842 0.0056 0.0000 0.0133 0.0000 0.0450 0.0288 0.0169 347-AH 0.0050 0.0100 0.0300 0.0300 0.0350 0.0231 0.0111 0.0200 0.0300 0.4807 0.0197 0.0158 0.0101 0.0050 0.0350 0.0231 0.0111 348-AH 0.0050 0.0087 0.0100 0.0100 0.0100 0.0088 0.0022 0.0012 0.0050 0.2479 0.0085 0.0081 0.0018 0.0100 0.0100 0.0100 0.0000 349-AH 0.0800 0.1150 0.1250 0.1300 0.1350 0.1219 0.0142 0.0150 0.0550 0.1166 0.1210 0.1199 0.0096 0.1150 0.1350 0.1254 0.0069 350-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 213 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0015 0.0020 0.0020 0.0020 0.0015 0.0009 0.0005 0.0020 0.5701 0.0006 0.0000 0.0007 0.0020 0.0020 0.0020 0.0000 142-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000 143-AH 0.0000 0.0440 0.0580 0.0780 0.0780 0.0546 0.0277 0.0340 0.0780 0.5073 0.0257 0.0001 0.0221 0.0000 0.0780 0.0546 0.0277 144-AH 0.0020 0.0050 0.0060 0.0060 0.0060 0.0051 0.0018 0.0010 0.0040 0.3455 0.0047 0.0041 0.0014 0.0060 0.0060 0.0060 0.0000 145-AH 0.0360 0.0440 0.0720 0.0740 0.0740 0.0620 0.0150 0.0300 0.0380 0.2414 0.0601 0.0580 0.0135 0.0360 0.0740 0.0620 0.0150 146-AH 0.0020 0.0020 0.0020 0.0040 0.0040 0.0029 0.0010 0.0020 0.0020 0.3550 0.0028 0.0026 0.0010 0.0020 0.0040 0.0029 0.0010 147-AH 0.0000 0.0875 0.0960 0.1000 0.1000 0.0849 0.0288 0.0125 0.1000 0.3392 0.0450 0.0001 0.0195 0.0740 0.1000 0.0955 0.0075 148-AH 0.0000 0.0055 0.0120 0.0120 0.0120 0.0091 0.0042 0.0065 0.0120 0.4641 0.0054 0.0001 0.0036 0.0000 0.0120 0.0091 0.0042 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0020 0.0020 0.0120 0.0165 0.0200 0.0106 0.0073 0.0145 0.0180 0.6853 0.0074 0.0047 0.0063 0.0020 0.0200 0.0106 0.0073 151-AH 0.0020 0.0020 0.0100 0.0165 0.0180 0.0095 0.0066 0.0145 0.0160 0.6962 0.0068 0.0045 0.0057 0.0020 0.0180 0.0095 0.0066 152-AH 0.0000 0.0170 0.0180 0.0200 0.0200 0.0157 0.0067 0.0030 0.0200 0.4286 0.0087 0.0001 0.0048 0.0140 0.0200 0.0184 0.0017 153-AH 0.0000 0.0000 0.0000 0.0005 0.0020 0.0005 0.0009 0.0005 0.0020 1.9003 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000 154-AH 0.0300 0.0335 0.0380 0.0380 0.0400 0.0360 0.0032 0.0045 0.0100 0.0878 0.0359 0.0357 0.0028 0.0300 0.0400 0.0360 0.0032 155-AH 0.0000 0.0000 0.0020 0.0060 0.0060 0.0026 0.0025 0.0060 0.0060 0.9564 0.0005 0.0000 0.0021 0.0000 0.0060 0.0026 0.0025 156-AH 0.0140 0.0250 0.0280 0.0340 0.0340 0.0282 0.0060 0.0090 0.0200 0.2140 0.0274 0.0265 0.0045 0.0140 0.0340 0.0282 0.0060 157-AH 0.2220 0.2395 0.2520 0.2565 0.2680 0.2472 0.0138 0.0170 0.0460 0.0560 0.2469 0.2465 0.0108 0.2220 0.2680 0.2472 0.0138 158-AH 0.0040 0.0595 0.0640 0.0650 0.0680 0.0583 0.0169 0.0055 0.0640 0.2900 0.0507 0.0294 0.0094 0.0520 0.0680 0.0628 0.0046 159-AH 0.0020 0.0810 0.0900 0.0945 0.0960 0.0794 0.0265 0.0135 0.0940 0.3341 0.0634 0.0202 0.0169 0.0780 0.0960 0.0893 0.0063 160-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0038 0.0006 0.0000 0.0020 0.1442 0.0038 0.0037 0.0003 0.0040 0.0040 0.0040 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3005 0.0013 0.0001 0.0003 0.0020 0.0020 0.0020 0.0000 163-AH 0.1740 0.2175 0.2260 0.2400 0.2400 0.2231 0.0190 0.0225 0.0660 0.0853 0.2223 0.2214 0.0136 0.2000 0.2400 0.2272 0.0125 164-AH 0.0040 0.0375 0.0440 0.0480 0.0540 0.0395 0.0138 0.0105 0.0500 0.3481 0.0345 0.0234 0.0096 0.0360 0.0540 0.0447 0.0050 165-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0080 0.0100 0.0100 0.0100 0.0100 0.0098 0.0006 0.0000 0.0020 0.0563 0.0098 0.0098 0.0003 0.0100 0.0100 0.0100 0.0000 168-AH 0.0340 0.0360 0.0360 0.0360 0.0360 0.0358 0.0006 0.0000 0.0020 0.0155 0.0358 0.0358 0.0003 0.0360 0.0360 0.0360 0.0000 169-AH 0.0040 0.0060 0.0060 0.0100 0.0120 0.0080 0.0027 0.0040 0.0080 0.3385 0.0076 0.0072 0.0025 0.0040 0.0120 0.0080 0.0027 170-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3005 0.0013 0.0001 0.0003 0.0020 0.0020 0.0020 0.0000 171-AH 0.0280 0.0280 0.0320 0.0360 0.0360 0.0322 0.0036 0.0080 0.0080 0.1120 0.0320 0.0318 0.0032 0.0280 0.0360 0.0322 0.0036 172-AH 0.0020 0.0040 0.0120 0.0140 0.0140 0.0097 0.0050 0.0100 0.0120 0.5114 0.0079 0.0058 0.0044 0.0020 0.0140 0.0097 0.0050 173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 174-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 175-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000 176-AH 0.0720 0.0780 0.0780 0.0780 0.0780 0.0774 0.0017 0.0000 0.0060 0.0221 0.0774 0.0773 0.0010 0.0780 0.0780 0.0780 0.0000 177-AH 0.0220 0.0235 0.0260 0.0260 0.0260 0.0246 0.0017 0.0025 0.0040 0.0695 0.0246 0.0245 0.0015 0.0220 0.0260 0.0246 0.0017 178-AH 0.0000 0.0015 0.0020 0.0025 0.0040 0.0020 0.0014 0.0010 0.0040 0.7071 0.0007 0.0000 0.0009 0.0020 0.0020 0.0020 0.0000 179-AH 0.0000 0.0320 0.0360 0.0420 0.0420 0.0338 0.0113 0.0100 0.0420 0.3338 0.0193 0.0001 0.0070 0.0280 0.0420 0.0367 0.0051 180-AH 0.0000 0.0090 0.0540 0.0735 0.0800 0.0432 0.0324 0.0645 0.0800 0.7487 0.0069 0.0000 0.0288 0.0000 0.0800 0.0432 0.0324 181-AH 0.1580 0.1760 0.1800 0.1825 0.1840 0.1780 0.0068 0.0065 0.0260 0.0384 0.1779 0.1777 0.0043 0.1740 0.1840 0.1797 0.0034 182-AH 0.0040 0.0080 0.0080 0.0080 0.0080 0.0077 0.0011 0.0000 0.0040 0.1442 0.0076 0.0074 0.0006 0.0080 0.0080 0.0080 0.0000 183-AH 0.0020 0.0080 0.0080 0.0080 0.0080 0.0072 0.0019 0.0000 0.0060 0.2657 0.0068 0.0061 0.0013 0.0080 0.0080 0.0080 0.0000 184-AH 0.0020 0.0120 0.0140 0.0150 0.0180 0.0126 0.0049 0.0030 0.0160 0.3850 0.0111 0.0085 0.0033 0.0120 0.0180 0.0144 0.0025 185-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 188-AH 0.0000 0.0000 0.0000 0.0020 0.0020 0.0009 0.0010 0.0020 0.0020 1.1242 0.0001 0.0000 0.0010 0.0000 0.0020 0.0009 0.0010 189-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000 190-AH 0.0060 0.0120 0.0140 0.0140 0.0140 0.0123 0.0026 0.0020 0.0080 0.2082 0.0120 0.0116 0.0018 0.0120 0.0140 0.0133 0.0010 214 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0080 0.0115 0.0120 0.0120 0.0120 0.0112 0.0015 0.0005 0.0040 0.1368 0.0111 0.0110 0.0012 0.0120 0.0120 0.0120 0.0000 193-AH 0.0080 0.0100 0.0140 0.0140 0.0140 0.0123 0.0023 0.0040 0.0060 0.1858 0.0121 0.0119 0.0021 0.0080 0.0140 0.0123 0.0023 194-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3005 0.0013 0.0001 0.0003 0.0020 0.0020 0.0020 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 197-AH 0.0980 0.0980 0.1000 0.1000 0.1000 0.0992 0.0010 0.0020 0.0020 0.0102 0.0992 0.0992 0.0009 0.0980 0.1000 0.0992 0.0010 198-AH 0.0000 0.0015 0.0020 0.0020 0.0020 0.0015 0.0009 0.0005 0.0020 0.5701 0.0006 0.0000 0.0007 0.0020 0.0020 0.0020 0.0000 199-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 200-AH 0.0120 0.0160 0.0160 0.0180 0.0180 0.0165 0.0019 0.0020 0.0060 0.1126 0.0164 0.0162 0.0014 0.0140 0.0180 0.0168 0.0013 251-AH 0.0700 0.0900 0.0940 0.0970 0.1080 0.0932 0.0091 0.0070 0.0380 0.0973 0.0928 0.0923 0.0059 0.0880 0.1040 0.0940 0.0047 252-AH 0.0460 0.0540 0.0580 0.0580 0.0580 0.0554 0.0041 0.0040 0.0120 0.0743 0.0552 0.0551 0.0032 0.0540 0.0580 0.0569 0.0019 253-AH 0.0140 0.1340 0.1800 0.2200 0.2300 0.1575 0.0721 0.0860 0.2160 0.4574 0.1259 0.0747 0.0553 0.0140 0.2300 0.1575 0.0721 254-AH 0.0760 0.1435 0.2060 0.2195 0.2640 0.1822 0.0603 0.0760 0.1880 0.3310 0.1711 0.1584 0.0503 0.0760 0.2640 0.1822 0.0603 255-AH 0.0040 0.0080 0.0080 0.0080 0.0080 0.0077 0.0011 0.0000 0.0040 0.1442 0.0076 0.0074 0.0006 0.0080 0.0080 0.0080 0.0000 256-AH 0.0080 0.0630 0.0660 0.0660 0.0680 0.0565 0.0216 0.0030 0.0600 0.3826 0.0472 0.0310 0.0149 0.0600 0.0680 0.0653 0.0022 257-AH 0.0180 0.0840 0.0920 0.1065 0.1080 0.0891 0.0242 0.0225 0.0900 0.2720 0.0830 0.0707 0.0156 0.0740 0.1080 0.0950 0.0120 258-AH 0.0000 0.0035 0.0040 0.0040 0.0060 0.0035 0.0015 0.0005 0.0060 0.4098 0.0023 0.0001 0.0010 0.0040 0.0040 0.0040 0.0000 259-AH 0.0020 0.0055 0.0060 0.0060 0.0060 0.0054 0.0013 0.0005 0.0040 0.2342 0.0052 0.0049 0.0009 0.0060 0.0060 0.0060 0.0000 260-AH 0.0900 0.0920 0.1040 0.1220 0.1220 0.1066 0.0134 0.0300 0.0320 0.1255 0.1058 0.1051 0.0117 0.0900 0.1220 0.1066 0.0134 261-AH 0.0000 0.0180 0.0200 0.0380 0.0420 0.0240 0.0126 0.0200 0.0420 0.5270 0.0131 0.0001 0.0102 0.0000 0.0420 0.0240 0.0126 262-AH 0.0180 0.0655 0.0760 0.0960 0.1220 0.0768 0.0316 0.0305 0.1040 0.4114 0.0689 0.0584 0.0230 0.0320 0.1220 0.0817 0.0274 263-AH 0.0000 0.0200 0.0280 0.0600 0.0700 0.0340 0.0233 0.0400 0.0700 0.6847 0.0152 0.0001 0.0197 0.0000 0.0700 0.0340 0.0233 264-AH 0.0300 0.0320 0.0380 0.0420 0.0440 0.0377 0.0048 0.0100 0.0140 0.1279 0.0374 0.0371 0.0038 0.0300 0.0440 0.0377 0.0048 265-AH 0.0060 0.0120 0.0120 0.0120 0.0120 0.0112 0.0019 0.0000 0.0060 0.1711 0.0110 0.0108 0.0013 0.0120 0.0120 0.0120 0.0000 266-AH 0.0000 0.0000 0.0040 0.0040 0.0080 0.0028 0.0030 0.0040 0.0080 1.0849 0.0003 0.0000 0.0026 0.0000 0.0080 0.0028 0.0030 267-AH 0.0200 0.0245 0.0360 0.0360 0.0360 0.0305 0.0070 0.0115 0.0160 0.2293 0.0296 0.0287 0.0062 0.0200 0.0360 0.0305 0.0070 268-AH 0.0040 0.0060 0.0060 0.0060 0.0060 0.0057 0.0008 0.0000 0.0020 0.1319 0.0056 0.0056 0.0005 0.0060 0.0060 0.0060 0.0000 269-AH 0.0120 0.0120 0.0120 0.0160 0.0160 0.0135 0.0020 0.0040 0.0040 0.1496 0.0134 0.0133 0.0019 0.0120 0.0160 0.0135 0.0020 270-AH 0.0780 0.1120 0.1120 0.1120 0.1140 0.1077 0.0115 0.0000 0.0360 0.1072 0.1070 0.1063 0.0079 0.1120 0.1120 0.1120 0.0000 271-AH 0.0360 0.0430 0.0460 0.0460 0.0480 0.0442 0.0038 0.0030 0.0120 0.0857 0.0440 0.0438 0.0029 0.0400 0.0480 0.0455 0.0022 272-AH 0.0040 0.0240 0.0260 0.0260 0.0280 0.0237 0.0062 0.0020 0.0240 0.2598 0.0219 0.0179 0.0033 0.0220 0.0280 0.0253 0.0018 273-AH 0.0540 0.1485 0.1560 0.1585 0.1640 0.1469 0.0288 0.0100 0.1100 0.1961 0.1425 0.1350 0.0158 0.1400 0.1640 0.1547 0.0075 274-AH 0.0020 0.0060 0.0100 0.0150 0.0180 0.0105 0.0058 0.0090 0.0160 0.5527 0.0087 0.0069 0.0051 0.0020 0.0180 0.0105 0.0058 275-AH 0.0460 0.0965 0.1120 0.1180 0.1220 0.1020 0.0234 0.0215 0.0760 0.2298 0.0987 0.0944 0.0172 0.0680 0.1220 0.1067 0.0170 276-AH 0.0660 0.0815 0.0820 0.0975 0.1100 0.0880 0.0145 0.0160 0.0440 0.1644 0.0869 0.0858 0.0114 0.0660 0.1100 0.0880 0.0145 277-AH 0.0240 0.0240 0.0280 0.0320 0.0360 0.0285 0.0045 0.0080 0.0120 0.1575 0.0281 0.0278 0.0036 0.0240 0.0360 0.0285 0.0045 278-AH 0.0060 0.0080 0.0200 0.0285 0.0400 0.0202 0.0120 0.0205 0.0340 0.5974 0.0166 0.0134 0.0097 0.0060 0.0400 0.0202 0.0120 279-AH 0.0060 0.0075 0.0080 0.0080 0.0080 0.0075 0.0009 0.0005 0.0020 0.1163 0.0075 0.0074 0.0007 0.0080 0.0080 0.0080 0.0000 280-AH 0.0020 0.0260 0.0300 0.0360 0.0420 0.0285 0.0108 0.0100 0.0400 0.3797 0.0240 0.0140 0.0074 0.0120 0.0420 0.0307 0.0076 281-AH 0.0820 0.0835 0.0840 0.0840 0.0840 0.0835 0.0009 0.0005 0.0020 0.0105 0.0835 0.0835 0.0007 0.0840 0.0840 0.0840 0.0000 282-AH 0.0240 0.0455 0.0480 0.0545 0.0580 0.0475 0.0088 0.0090 0.0340 0.1859 0.0466 0.0453 0.0057 0.0420 0.0580 0.0495 0.0055 283-AH 0.0240 0.0440 0.0580 0.0640 0.0660 0.0528 0.0140 0.0200 0.0420 0.2655 0.0506 0.0480 0.0117 0.0240 0.0660 0.0528 0.0140 284-AH 0.0180 0.0615 0.0720 0.0760 0.0760 0.0623 0.0232 0.0145 0.0580 0.3727 0.0558 0.0466 0.0186 0.0720 0.0760 0.0744 0.0021 285-AH 0.0200 0.0500 0.0600 0.1050 0.1340 0.0745 0.0351 0.0550 0.1140 0.4720 0.0663 0.0576 0.0301 0.0200 0.1340 0.0745 0.0351 286-AH 0.0040 0.0060 0.0080 0.0145 0.0180 0.0098 0.0051 0.0085 0.0140 0.5143 0.0087 0.0077 0.0041 0.0040 0.0180 0.0098 0.0051 287-AH 0.0200 0.0620 0.0900 0.0925 0.0960 0.0729 0.0307 0.0305 0.0760 0.4213 0.0628 0.0494 0.0244 0.0200 0.0960 0.0729 0.0307 288-AH 0.0580 0.0670 0.0780 0.0950 0.1220 0.0845 0.0205 0.0280 0.0640 0.2431 0.0823 0.0803 0.0160 0.0580 0.1220 0.0845 0.0205 289-AH 0.0340 0.0355 0.0360 0.0360 0.0360 0.0355 0.0009 0.0005 0.0020 0.0247 0.0355 0.0355 0.0007 0.0360 0.0360 0.0360 0.0000 290-AH 0.0080 0.0545 0.0740 0.0760 0.0860 0.0618 0.0230 0.0215 0.0780 0.3721 0.0544 0.0403 0.0174 0.0320 0.0860 0.0663 0.0171 215 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0280 0.0520 0.0540 0.0540 0.0560 0.0514 0.0072 0.0020 0.0280 0.1407 0.0507 0.0498 0.0038 0.0500 0.0560 0.0533 0.0018 292-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000 293-AH 0.0260 0.0680 0.0680 0.0680 0.0680 0.0642 0.0117 0.0000 0.0420 0.1820 0.0625 0.0599 0.0065 0.0680 0.0680 0.0680 0.0000 294-AH 0.0000 0.0180 0.0540 0.0540 0.0540 0.0412 0.0198 0.0360 0.0540 0.4800 0.0215 0.0001 0.0171 0.0000 0.0540 0.0412 0.0198 295-AH 0.0120 0.0580 0.0720 0.0780 0.0780 0.0620 0.0220 0.0200 0.0660 0.3553 0.0554 0.0445 0.0157 0.0580 0.0780 0.0704 0.0089 296-AH 0.0340 0.0475 0.0480 0.0480 0.0480 0.0458 0.0049 0.0005 0.0140 0.1061 0.0456 0.0453 0.0033 0.0480 0.0480 0.0480 0.0000 297-AH 0.0100 0.0120 0.0160 0.0200 0.0220 0.0158 0.0044 0.0080 0.0120 0.2797 0.0153 0.0147 0.0039 0.0100 0.0220 0.0158 0.0044 298-AH 0.0300 0.0435 0.0440 0.0500 0.0520 0.0452 0.0060 0.0065 0.0220 0.1333 0.0448 0.0443 0.0044 0.0400 0.0520 0.0465 0.0041 299-AH 0.0100 0.0830 0.0940 0.1160 0.1360 0.0897 0.0368 0.0330 0.1260 0.4103 0.0752 0.0501 0.0259 0.0800 0.1360 0.1033 0.0174 300-AH 0.0180 0.0315 0.0580 0.0645 0.0780 0.0495 0.0208 0.0330 0.0600 0.4190 0.0441 0.0378 0.0171 0.0180 0.0780 0.0495 0.0208 301-AH 0.0040 0.0120 0.0180 0.0305 0.0320 0.0198 0.0098 0.0185 0.0280 0.4945 0.0171 0.0140 0.0084 0.0040 0.0320 0.0198 0.0098 302-AH 0.0140 0.0320 0.0340 0.0340 0.0340 0.0318 0.0054 0.0020 0.0200 0.1710 0.0312 0.0301 0.0027 0.0320 0.0340 0.0333 0.0010 303-AH 0.0020 0.0120 0.0140 0.0190 0.0240 0.0149 0.0063 0.0070 0.0220 0.4189 0.0130 0.0098 0.0047 0.0020 0.0240 0.0149 0.0063 304-AH 0.0020 0.0115 0.0200 0.0225 0.0240 0.0171 0.0073 0.0110 0.0220 0.4293 0.0146 0.0104 0.0064 0.0020 0.0240 0.0171 0.0073 305-AH 0.0000 0.0030 0.1060 0.1095 0.1200 0.0655 0.0526 0.1065 0.1200 0.8025 0.0084 0.0000 0.0488 0.0000 0.1200 0.0655 0.0526 306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 307-AH 0.0060 0.0620 0.0820 0.0860 0.1180 0.0700 0.0315 0.0240 0.1120 0.4493 0.0550 0.0302 0.0228 0.0620 0.1180 0.0815 0.0158 308-AH 0.0200 0.0200 0.0200 0.0220 0.0220 0.0206 0.0010 0.0020 0.0020 0.0466 0.0206 0.0206 0.0009 0.0200 0.0220 0.0206 0.0010 309-AH 0.0100 0.0115 0.0180 0.0200 0.0200 0.0160 0.0042 0.0085 0.0100 0.2652 0.0154 0.0148 0.0037 0.0100 0.0200 0.0160 0.0042 310-AH 0.0080 0.0165 0.0320 0.0580 0.0640 0.0369 0.0214 0.0415 0.0560 0.5807 0.0300 0.0231 0.0188 0.0080 0.0640 0.0369 0.0214 311-AH 0.0520 0.0715 0.0900 0.1005 0.1020 0.0851 0.0165 0.0290 0.0500 0.1935 0.0834 0.0816 0.0141 0.0520 0.1020 0.0851 0.0165 312-AH 0.0000 0.0550 0.0600 0.0600 0.0620 0.0525 0.0172 0.0050 0.0620 0.3276 0.0290 0.0001 0.0107 0.0520 0.0620 0.0587 0.0030 313-AH 0.0060 0.0120 0.0140 0.0185 0.0220 0.0148 0.0047 0.0065 0.0160 0.3154 0.0140 0.0132 0.0037 0.0060 0.0220 0.0148 0.0047 314-AH 0.0140 0.0200 0.0280 0.0305 0.0340 0.0263 0.0060 0.0105 0.0200 0.2277 0.0256 0.0247 0.0049 0.0140 0.0340 0.0263 0.0060 315-AH 0.0280 0.0585 0.0680 0.1005 0.1040 0.0731 0.0240 0.0420 0.0760 0.3282 0.0689 0.0642 0.0199 0.0280 0.1040 0.0731 0.0240 316-AH 0.0480 0.0895 0.1400 0.1640 0.1700 0.1225 0.0436 0.0745 0.1220 0.3558 0.1132 0.1021 0.0364 0.0480 0.1700 0.1225 0.0436 317-AH 0.0220 0.0380 0.0440 0.0560 0.0580 0.0435 0.0118 0.0180 0.0360 0.2706 0.0419 0.0400 0.0094 0.0220 0.0580 0.0435 0.0118 318-AH 0.0080 0.0180 0.0180 0.0180 0.0180 0.0172 0.0028 0.0000 0.0100 0.1610 0.0169 0.0164 0.0014 0.0180 0.0180 0.0180 0.0000 319-AH 0.0180 0.0260 0.0300 0.0300 0.0320 0.0277 0.0037 0.0040 0.0140 0.1346 0.0274 0.0271 0.0028 0.0240 0.0320 0.0285 0.0024 320-AH 0.0040 0.0120 0.0180 0.0200 0.0240 0.0155 0.0060 0.0080 0.0200 0.3831 0.0140 0.0120 0.0049 0.0040 0.0240 0.0155 0.0060 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0200 0.0215 0.0240 0.0260 0.0280 0.0237 0.0028 0.0045 0.0080 0.1186 0.0235 0.0234 0.0022 0.0200 0.0280 0.0237 0.0028 323-AH 0.0100 0.0190 0.0240 0.0325 0.0340 0.0246 0.0081 0.0135 0.0240 0.3273 0.0232 0.0216 0.0066 0.0100 0.0340 0.0246 0.0081 324-AH 0.0200 0.0620 0.0780 0.1240 0.1260 0.0848 0.0345 0.0620 0.1060 0.4073 0.0764 0.0654 0.0294 0.0200 0.1260 0.0848 0.0345 325-AH 0.0040 0.0205 0.0360 0.0735 0.1180 0.0502 0.0398 0.0530 0.1140 0.7941 0.0355 0.0215 0.0316 0.0040 0.1180 0.0502 0.0398 326-AH 0.0040 0.0060 0.0060 0.0065 0.0080 0.0062 0.0013 0.0005 0.0040 0.2082 0.0060 0.0059 0.0009 0.0060 0.0060 0.0060 0.0000 327-AH 0.0000 0.0020 0.0080 0.0080 0.0080 0.0058 0.0031 0.0060 0.0080 0.5311 0.0034 0.0001 0.0027 0.0000 0.0080 0.0058 0.0031 328-AH 0.0380 0.0460 0.0460 0.0460 0.0460 0.0452 0.0022 0.0000 0.0080 0.0496 0.0452 0.0451 0.0013 0.0460 0.0460 0.0460 0.0000 329-AH 0.0280 0.0320 0.0340 0.0340 0.0340 0.0329 0.0018 0.0020 0.0060 0.0533 0.0329 0.0328 0.0013 0.0320 0.0340 0.0333 0.0010 330-AH 0.1000 0.1020 0.1020 0.1020 0.1020 0.1017 0.0008 0.0000 0.0020 0.0074 0.1017 0.1017 0.0005 0.1020 0.1020 0.1020 0.0000 331-AH 0.0340 0.0340 0.0340 0.0340 0.0340 0.0340 0.0000 0.0000 0.0000 0.0000 0.0340 0.0340 0.0000 0.0340 0.0340 0.0340 0.0000 332-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000 333-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 334-AH 0.0060 0.0080 0.0080 0.0080 0.0100 0.0082 0.0010 0.0000 0.0040 0.1211 0.0081 0.0080 0.0006 0.0080 0.0080 0.0080 0.0000 335-AH 0.0060 0.0215 0.0260 0.0260 0.0300 0.0232 0.0061 0.0045 0.0240 0.2619 0.0219 0.0196 0.0041 0.0180 0.0300 0.0247 0.0033 336-AH 0.0040 0.0070 0.0240 0.0300 0.0340 0.0206 0.0117 0.0230 0.0300 0.5690 0.0158 0.0107 0.0100 0.0040 0.0340 0.0206 0.0117 337-AH 0.0360 0.0390 0.0400 0.0400 0.0400 0.0391 0.0018 0.0010 0.0040 0.0449 0.0390 0.0390 0.0014 0.0400 0.0400 0.0400 0.0000 338-AH 0.0080 0.0160 0.0180 0.0200 0.0200 0.0175 0.0034 0.0040 0.0120 0.1928 0.0171 0.0165 0.0024 0.0160 0.0200 0.0183 0.0019 339-AH 0.0360 0.0380 0.0380 0.0380 0.0380 0.0378 0.0006 0.0000 0.0020 0.0147 0.0378 0.0378 0.0003 0.0380 0.0380 0.0380 0.0000 340-AH 0.0000 0.0060 0.0100 0.0100 0.0100 0.0074 0.0043 0.0040 0.0100 0.5786 0.0020 0.0000 0.0034 0.0080 0.0100 0.0096 0.0008 216 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0020 0.0040 0.0080 0.0100 0.0120 0.0074 0.0030 0.0060 0.0100 0.4045 0.0067 0.0058 0.0024 0.0020 0.0120 0.0074 0.0030 342-AH 0.1680 0.1800 0.1920 0.1920 0.1920 0.1865 0.0079 0.0120 0.0240 0.0425 0.1863 0.1861 0.0068 0.1680 0.1920 0.1865 0.0079 343-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3005 0.0013 0.0001 0.0003 0.0020 0.0020 0.0020 0.0000 344-AH 0.0140 0.0560 0.0620 0.0640 0.0660 0.0575 0.0135 0.0080 0.0520 0.2350 0.0545 0.0485 0.0074 0.0560 0.0660 0.0612 0.0036 345-AH 0.0000 0.0140 0.0180 0.0180 0.0180 0.0151 0.0057 0.0040 0.0180 0.3776 0.0089 0.0001 0.0040 0.0140 0.0180 0.0173 0.0016 346-AH 0.0000 0.0155 0.0220 0.0220 0.0220 0.0171 0.0090 0.0065 0.0220 0.5273 0.0084 0.0001 0.0073 0.0200 0.0220 0.0218 0.0006 347-AH 0.0060 0.0080 0.0140 0.0160 0.0160 0.0128 0.0038 0.0080 0.0100 0.2968 0.0121 0.0114 0.0032 0.0060 0.0160 0.0128 0.0038 348-AH 0.0020 0.0035 0.0040 0.0040 0.0040 0.0035 0.0009 0.0005 0.0020 0.2479 0.0034 0.0033 0.0007 0.0040 0.0040 0.0040 0.0000 349-AH 0.0460 0.0480 0.0540 0.0540 0.0540 0.0520 0.0032 0.0060 0.0080 0.0608 0.0519 0.0518 0.0028 0.0460 0.0540 0.0520 0.0032 350-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 217 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0008 0.0010 0.0010 0.0010 0.0008 0.0004 0.0003 0.0010 0.5701 0.0003 0.0000 0.0004 0.0010 0.0010 0.0010 0.0000 142-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000 143-AH 0.0020 0.0258 0.0330 0.0390 0.0390 0.0288 0.0133 0.0133 0.0370 0.4616 0.0215 0.0097 0.0101 0.0250 0.0390 0.0336 0.0065 144-AH 0.0010 0.0028 0.0030 0.0030 0.0030 0.0027 0.0006 0.0002 0.0020 0.2342 0.0026 0.0024 0.0005 0.0030 0.0030 0.0030 0.0000 145-AH 0.0220 0.0260 0.0370 0.0370 0.0370 0.0328 0.0059 0.0110 0.0150 0.1793 0.0322 0.0316 0.0052 0.0220 0.0370 0.0328 0.0059 146-AH 0.0010 0.0010 0.0020 0.0020 0.0020 0.0015 0.0005 0.0010 0.0010 0.3373 0.0015 0.0014 0.0005 0.0010 0.0020 0.0015 0.0005 147-AH 0.0010 0.0472 0.0500 0.0500 0.0510 0.0445 0.0138 0.0028 0.0500 0.3093 0.0356 0.0104 0.0084 0.0490 0.0510 0.0500 0.0007 148-AH 0.0000 0.0038 0.0060 0.0060 0.0060 0.0048 0.0019 0.0022 0.0060 0.3937 0.0031 0.0001 0.0015 0.0030 0.0060 0.0052 0.0013 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0030 0.0047 0.0070 0.0100 0.0100 0.0072 0.0026 0.0052 0.0070 0.3692 0.0066 0.0061 0.0022 0.0030 0.0100 0.0072 0.0026 151-AH 0.0010 0.0020 0.0060 0.0083 0.0090 0.0055 0.0029 0.0063 0.0080 0.5370 0.0045 0.0034 0.0024 0.0010 0.0090 0.0055 0.0029 152-AH 0.0000 0.0090 0.0100 0.0110 0.0110 0.0088 0.0036 0.0020 0.0110 0.4072 0.0053 0.0001 0.0024 0.0090 0.0110 0.0103 0.0009 153-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0007 0.0005 0.0010 0.0010 0.6939 0.0002 0.0000 0.0004 0.0000 0.0010 0.0007 0.0005 154-AH 0.0160 0.0190 0.0200 0.0200 0.0200 0.0193 0.0011 0.0010 0.0040 0.0575 0.0193 0.0192 0.0007 0.0190 0.0200 0.0196 0.0005 155-AH 0.0000 0.0010 0.0010 0.0030 0.0030 0.0016 0.0010 0.0020 0.0030 0.6462 0.0010 0.0001 0.0009 0.0000 0.0030 0.0016 0.0010 156-AH 0.0120 0.0175 0.0180 0.0200 0.0200 0.0179 0.0024 0.0025 0.0080 0.1318 0.0178 0.0176 0.0017 0.0150 0.0200 0.0184 0.0016 157-AH 0.1180 0.1297 0.1320 0.1330 0.1370 0.1308 0.0049 0.0033 0.0190 0.0377 0.1307 0.1306 0.0032 0.1250 0.1370 0.1318 0.0032 158-AH 0.0040 0.0328 0.0330 0.0340 0.0340 0.0308 0.0082 0.0013 0.0300 0.2653 0.0281 0.0212 0.0044 0.0320 0.0340 0.0335 0.0007 159-AH 0.0010 0.0440 0.0480 0.0480 0.0490 0.0421 0.0135 0.0040 0.0480 0.3211 0.0336 0.0102 0.0085 0.0440 0.0490 0.0471 0.0017 160-AH 0.0010 0.0020 0.0020 0.0020 0.0020 0.0019 0.0003 0.0000 0.0010 0.1442 0.0019 0.0019 0.0001 0.0020 0.0020 0.0020 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0003 0.0000 0.0010 0.3005 0.0007 0.0001 0.0001 0.0010 0.0010 0.0010 0.0000 163-AH 0.0980 0.1140 0.1180 0.1210 0.1210 0.1164 0.0064 0.0070 0.0230 0.0551 0.1162 0.1160 0.0044 0.1110 0.1210 0.1179 0.0034 164-AH 0.0020 0.0248 0.0250 0.0250 0.0270 0.0224 0.0070 0.0003 0.0250 0.3130 0.0196 0.0128 0.0046 0.0250 0.0250 0.0250 0.0000 165-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0049 0.0003 0.0000 0.0010 0.0563 0.0049 0.0049 0.0001 0.0050 0.0050 0.0050 0.0000 168-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000 169-AH 0.0020 0.0040 0.0040 0.0052 0.0060 0.0045 0.0011 0.0012 0.0040 0.2482 0.0044 0.0042 0.0009 0.0040 0.0060 0.0048 0.0009 170-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0003 0.0000 0.0010 0.3005 0.0007 0.0001 0.0001 0.0010 0.0010 0.0010 0.0000 171-AH 0.0160 0.0177 0.0180 0.0190 0.0190 0.0180 0.0009 0.0012 0.0030 0.0507 0.0180 0.0180 0.0006 0.0160 0.0190 0.0180 0.0009 172-AH 0.0020 0.0030 0.0070 0.0070 0.0070 0.0056 0.0020 0.0040 0.0050 0.3601 0.0052 0.0046 0.0018 0.0020 0.0070 0.0056 0.0020 173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 174-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 175-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000 176-AH 0.0360 0.0390 0.0390 0.0390 0.0390 0.0388 0.0008 0.0000 0.0030 0.0215 0.0388 0.0388 0.0004 0.0390 0.0390 0.0390 0.0000 177-AH 0.0120 0.0120 0.0130 0.0130 0.0130 0.0125 0.0005 0.0010 0.0010 0.0414 0.0125 0.0125 0.0005 0.0120 0.0130 0.0125 0.0005 178-AH 0.0000 0.0008 0.0010 0.0020 0.0020 0.0012 0.0008 0.0013 0.0020 0.6760 0.0005 0.0000 0.0007 0.0000 0.0020 0.0012 0.0008 179-AH 0.0000 0.0160 0.0200 0.0210 0.0220 0.0178 0.0058 0.0050 0.0220 0.3266 0.0107 0.0001 0.0037 0.0160 0.0220 0.0193 0.0024 180-AH 0.0000 0.0203 0.0350 0.0393 0.0400 0.0277 0.0163 0.0190 0.0400 0.5879 0.0054 0.0000 0.0129 0.0000 0.0400 0.0277 0.0163 181-AH 0.0860 0.0917 0.0920 0.0920 0.0920 0.0914 0.0017 0.0003 0.0060 0.0182 0.0914 0.0914 0.0009 0.0920 0.0920 0.0920 0.0000 182-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0707 0.0039 0.0039 0.0001 0.0040 0.0040 0.0040 0.0000 183-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 184-AH 0.0010 0.0060 0.0070 0.0083 0.0090 0.0068 0.0022 0.0023 0.0080 0.3312 0.0061 0.0047 0.0016 0.0040 0.0090 0.0073 0.0015 185-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 188-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 0.9636 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005 189-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000 190-AH 0.0050 0.0060 0.0070 0.0073 0.0080 0.0066 0.0010 0.0013 0.0030 0.1578 0.0065 0.0065 0.0009 0.0050 0.0080 0.0066 0.0010 218 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0058 0.0004 0.0000 0.0010 0.0642 0.0058 0.0058 0.0003 0.0060 0.0060 0.0060 0.0000 193-AH 0.0050 0.0070 0.0070 0.0070 0.0070 0.0067 0.0008 0.0000 0.0020 0.1122 0.0066 0.0066 0.0005 0.0070 0.0070 0.0070 0.0000 194-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0003 0.0000 0.0010 0.3005 0.0007 0.0001 0.0001 0.0010 0.0010 0.0010 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 197-AH 0.0490 0.0500 0.0500 0.0500 0.0500 0.0499 0.0003 0.0000 0.0010 0.0056 0.0499 0.0499 0.0001 0.0500 0.0500 0.0500 0.0000 198-AH 0.0000 0.0008 0.0010 0.0010 0.0010 0.0008 0.0004 0.0003 0.0010 0.5701 0.0003 0.0000 0.0004 0.0010 0.0010 0.0010 0.0000 199-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 200-AH 0.0080 0.0080 0.0090 0.0090 0.0090 0.0085 0.0005 0.0010 0.0010 0.0608 0.0085 0.0085 0.0005 0.0080 0.0090 0.0085 0.0005 251-AH 0.0410 0.0490 0.0530 0.0553 0.0610 0.0529 0.0053 0.0063 0.0200 0.0998 0.0527 0.0524 0.0036 0.0410 0.0610 0.0529 0.0053 252-AH 0.0250 0.0280 0.0290 0.0290 0.0290 0.0282 0.0013 0.0010 0.0040 0.0461 0.0282 0.0282 0.0009 0.0280 0.0290 0.0287 0.0005 253-AH 0.0180 0.0845 0.1030 0.1300 0.1350 0.0968 0.0394 0.0455 0.1170 0.4072 0.0838 0.0640 0.0295 0.0180 0.1350 0.0968 0.0394 254-AH 0.0520 0.1210 0.1530 0.1633 0.1810 0.1382 0.0364 0.0423 0.1290 0.2635 0.1322 0.1240 0.0274 0.0890 0.1810 0.1454 0.0267 255-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0707 0.0039 0.0039 0.0001 0.0040 0.0040 0.0040 0.0000 256-AH 0.0040 0.0318 0.0330 0.0340 0.0340 0.0287 0.0110 0.0023 0.0300 0.3832 0.0240 0.0156 0.0076 0.0310 0.0340 0.0332 0.0010 257-AH 0.0100 0.0477 0.0530 0.0600 0.0620 0.0502 0.0134 0.0122 0.0520 0.2677 0.0468 0.0397 0.0084 0.0450 0.0620 0.0535 0.0062 258-AH 0.0000 0.0020 0.0020 0.0030 0.0040 0.0024 0.0011 0.0010 0.0040 0.4701 0.0016 0.0001 0.0009 0.0010 0.0040 0.0026 0.0009 259-AH 0.0010 0.0030 0.0030 0.0030 0.0030 0.0028 0.0006 0.0000 0.0020 0.2164 0.0027 0.0025 0.0004 0.0030 0.0030 0.0030 0.0000 260-AH 0.0460 0.0467 0.0570 0.0613 0.0620 0.0555 0.0067 0.0145 0.0160 0.1215 0.0551 0.0547 0.0057 0.0460 0.0620 0.0555 0.0067 261-AH 0.0000 0.0090 0.0120 0.0220 0.0240 0.0141 0.0075 0.0130 0.0240 0.5296 0.0080 0.0001 0.0064 0.0000 0.0240 0.0141 0.0075 262-AH 0.0180 0.0530 0.0560 0.0588 0.0660 0.0517 0.0153 0.0058 0.0480 0.2952 0.0484 0.0437 0.0101 0.0530 0.0660 0.0576 0.0052 263-AH 0.0010 0.0130 0.0220 0.0360 0.0390 0.0219 0.0129 0.0230 0.0380 0.5893 0.0153 0.0065 0.0105 0.0010 0.0390 0.0219 0.0129 264-AH 0.0170 0.0170 0.0200 0.0212 0.0220 0.0195 0.0020 0.0042 0.0050 0.1019 0.0194 0.0193 0.0017 0.0170 0.0220 0.0195 0.0020 265-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0058 0.0004 0.0000 0.0010 0.0642 0.0058 0.0058 0.0003 0.0060 0.0060 0.0060 0.0000 266-AH 0.0000 0.0000 0.0020 0.0040 0.0040 0.0018 0.0019 0.0040 0.0040 1.0336 0.0002 0.0000 0.0017 0.0000 0.0040 0.0018 0.0019 267-AH 0.0120 0.0135 0.0180 0.0200 0.0200 0.0168 0.0032 0.0065 0.0080 0.1921 0.0165 0.0162 0.0027 0.0120 0.0200 0.0168 0.0032 268-AH 0.0020 0.0030 0.0030 0.0030 0.0030 0.0029 0.0003 0.0000 0.0010 0.0949 0.0029 0.0029 0.0001 0.0030 0.0030 0.0030 0.0000 269-AH 0.0060 0.0068 0.0080 0.0080 0.0090 0.0076 0.0010 0.0013 0.0030 0.1371 0.0075 0.0075 0.0008 0.0060 0.0090 0.0076 0.0010 270-AH 0.0410 0.0570 0.0570 0.0570 0.0570 0.0553 0.0046 0.0000 0.0160 0.0833 0.0551 0.0549 0.0029 0.0570 0.0570 0.0570 0.0000 271-AH 0.0210 0.0225 0.0230 0.0233 0.0240 0.0228 0.0011 0.0008 0.0030 0.0480 0.0227 0.0227 0.0008 0.0230 0.0240 0.0233 0.0005 272-AH 0.0040 0.0128 0.0140 0.0140 0.0140 0.0127 0.0027 0.0013 0.0100 0.2143 0.0122 0.0113 0.0016 0.0120 0.0140 0.0134 0.0008 273-AH 0.0350 0.0778 0.0810 0.0815 0.0830 0.0767 0.0128 0.0037 0.0480 0.1668 0.0752 0.0729 0.0068 0.0740 0.0830 0.0802 0.0027 274-AH 0.0030 0.0040 0.0070 0.0105 0.0120 0.0075 0.0036 0.0065 0.0090 0.4709 0.0067 0.0059 0.0032 0.0030 0.0120 0.0075 0.0036 275-AH 0.0280 0.0523 0.0590 0.0610 0.0630 0.0545 0.0101 0.0088 0.0350 0.1858 0.0533 0.0519 0.0073 0.0420 0.0630 0.0567 0.0065 276-AH 0.0400 0.0450 0.0480 0.0557 0.0590 0.0495 0.0065 0.0107 0.0190 0.1309 0.0491 0.0487 0.0054 0.0400 0.0590 0.0495 0.0065 277-AH 0.0120 0.0120 0.0150 0.0185 0.0230 0.0162 0.0040 0.0065 0.0110 0.2441 0.0158 0.0154 0.0032 0.0120 0.0230 0.0162 0.0040 278-AH 0.0050 0.0060 0.0120 0.0170 0.0210 0.0120 0.0058 0.0110 0.0160 0.4859 0.0107 0.0094 0.0046 0.0050 0.0210 0.0120 0.0058 279-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0707 0.0039 0.0039 0.0001 0.0040 0.0040 0.0040 0.0000 280-AH 0.0020 0.0168 0.0180 0.0222 0.0230 0.0175 0.0059 0.0055 0.0210 0.3386 0.0155 0.0111 0.0040 0.0100 0.0230 0.0188 0.0038 281-AH 0.0410 0.0420 0.0420 0.0420 0.0420 0.0418 0.0004 0.0000 0.0010 0.0090 0.0418 0.0418 0.0003 0.0420 0.0420 0.0420 0.0000 282-AH 0.0190 0.0240 0.0270 0.0290 0.0300 0.0259 0.0033 0.0050 0.0110 0.1274 0.0257 0.0255 0.0027 0.0190 0.0300 0.0259 0.0033 283-AH 0.0120 0.0278 0.0330 0.0350 0.0380 0.0300 0.0074 0.0072 0.0260 0.2457 0.0288 0.0273 0.0055 0.0190 0.0380 0.0315 0.0052 284-AH 0.0140 0.0315 0.0370 0.0380 0.0380 0.0325 0.0096 0.0065 0.0240 0.2967 0.0306 0.0282 0.0078 0.0360 0.0380 0.0375 0.0007 285-AH 0.0180 0.0250 0.0350 0.0598 0.0670 0.0422 0.0175 0.0347 0.0490 0.4147 0.0387 0.0353 0.0154 0.0180 0.0670 0.0422 0.0175 286-AH 0.0020 0.0050 0.0080 0.0090 0.0100 0.0067 0.0027 0.0040 0.0080 0.3971 0.0060 0.0051 0.0022 0.0020 0.0100 0.0067 0.0027 287-AH 0.0120 0.0360 0.0470 0.0480 0.0490 0.0387 0.0153 0.0120 0.0370 0.3953 0.0341 0.0280 0.0123 0.0440 0.0490 0.0467 0.0018 288-AH 0.0390 0.0410 0.0510 0.0570 0.0650 0.0496 0.0097 0.0160 0.0260 0.1955 0.0488 0.0480 0.0081 0.0390 0.0650 0.0496 0.0097 289-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000 290-AH 0.0090 0.0350 0.0440 0.0443 0.0480 0.0376 0.0114 0.0093 0.0390 0.3024 0.0350 0.0306 0.0083 0.0240 0.0480 0.0400 0.0078 219 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0190 0.0285 0.0290 0.0300 0.0300 0.0282 0.0030 0.0015 0.0110 0.1064 0.0280 0.0278 0.0019 0.0270 0.0300 0.0292 0.0009 292-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 293-AH 0.0160 0.0340 0.0340 0.0340 0.0340 0.0324 0.0050 0.0000 0.0180 0.1542 0.0319 0.0311 0.0027 0.0340 0.0340 0.0340 0.0000 294-AH 0.0020 0.0090 0.0270 0.0270 0.0270 0.0208 0.0096 0.0180 0.0250 0.4605 0.0171 0.0111 0.0084 0.0020 0.0270 0.0208 0.0096 295-AH 0.0100 0.0307 0.0400 0.0418 0.0440 0.0344 0.0113 0.0110 0.0340 0.3276 0.0317 0.0278 0.0084 0.0300 0.0440 0.0385 0.0053 296-AH 0.0180 0.0240 0.0240 0.0240 0.0240 0.0233 0.0018 0.0000 0.0060 0.0771 0.0232 0.0232 0.0012 0.0240 0.0240 0.0240 0.0000 297-AH 0.0050 0.0090 0.0110 0.0120 0.0120 0.0098 0.0025 0.0030 0.0070 0.2513 0.0094 0.0090 0.0019 0.0050 0.0120 0.0098 0.0025 298-AH 0.0200 0.0250 0.0280 0.0280 0.0290 0.0264 0.0026 0.0030 0.0090 0.0997 0.0263 0.0261 0.0021 0.0230 0.0290 0.0269 0.0019 299-AH 0.0110 0.0498 0.0560 0.0680 0.0730 0.0547 0.0194 0.0183 0.0620 0.3546 0.0492 0.0403 0.0139 0.0490 0.0730 0.0618 0.0092 300-AH 0.0150 0.0255 0.0350 0.0365 0.0410 0.0308 0.0094 0.0110 0.0260 0.3069 0.0290 0.0269 0.0076 0.0150 0.0410 0.0308 0.0094 301-AH 0.0030 0.0060 0.0090 0.0160 0.0160 0.0104 0.0048 0.0100 0.0130 0.4577 0.0093 0.0081 0.0042 0.0030 0.0160 0.0104 0.0048 302-AH 0.0080 0.0160 0.0170 0.0170 0.0170 0.0161 0.0025 0.0010 0.0090 0.1533 0.0158 0.0154 0.0013 0.0160 0.0170 0.0168 0.0005 303-AH 0.0030 0.0080 0.0090 0.0112 0.0130 0.0093 0.0029 0.0032 0.0100 0.3144 0.0087 0.0079 0.0022 0.0050 0.0130 0.0098 0.0023 304-AH 0.0010 0.0085 0.0120 0.0130 0.0150 0.0105 0.0039 0.0045 0.0140 0.3735 0.0090 0.0060 0.0031 0.0060 0.0150 0.0113 0.0028 305-AH 0.0040 0.0065 0.0570 0.0610 0.0610 0.0380 0.0261 0.0545 0.0570 0.6879 0.0247 0.0131 0.0242 0.0040 0.0610 0.0380 0.0261 306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 307-AH 0.0030 0.0410 0.0500 0.0545 0.0720 0.0442 0.0194 0.0135 0.0690 0.4390 0.0346 0.0181 0.0135 0.0410 0.0720 0.0514 0.0089 308-AH 0.0100 0.0100 0.0110 0.0110 0.0110 0.0106 0.0005 0.0010 0.0010 0.0477 0.0106 0.0106 0.0005 0.0100 0.0110 0.0106 0.0005 309-AH 0.0080 0.0087 0.0100 0.0100 0.0100 0.0094 0.0009 0.0012 0.0020 0.0927 0.0093 0.0093 0.0008 0.0080 0.0100 0.0094 0.0009 310-AH 0.0050 0.0128 0.0280 0.0380 0.0390 0.0256 0.0139 0.0252 0.0340 0.5418 0.0207 0.0154 0.0122 0.0050 0.0390 0.0256 0.0139 311-AH 0.0360 0.0455 0.0510 0.0520 0.0520 0.0482 0.0052 0.0065 0.0160 0.1079 0.0479 0.0476 0.0043 0.0360 0.0520 0.0482 0.0052 312-AH 0.0000 0.0300 0.0300 0.0310 0.0310 0.0274 0.0087 0.0010 0.0310 0.3192 0.0159 0.0001 0.0053 0.0300 0.0310 0.0305 0.0005 313-AH 0.0060 0.0070 0.0090 0.0110 0.0110 0.0088 0.0020 0.0040 0.0050 0.2240 0.0086 0.0084 0.0018 0.0060 0.0110 0.0088 0.0020 314-AH 0.0120 0.0130 0.0150 0.0170 0.0170 0.0149 0.0018 0.0040 0.0050 0.1207 0.0148 0.0147 0.0015 0.0120 0.0170 0.0149 0.0018 315-AH 0.0190 0.0300 0.0420 0.0505 0.0530 0.0392 0.0113 0.0205 0.0340 0.2888 0.0376 0.0358 0.0101 0.0190 0.0530 0.0392 0.0113 316-AH 0.0370 0.0713 0.0960 0.0997 0.1060 0.0827 0.0250 0.0285 0.0690 0.3027 0.0780 0.0722 0.0198 0.0370 0.1060 0.0827 0.0250 317-AH 0.0150 0.0210 0.0230 0.0292 0.0300 0.0238 0.0054 0.0082 0.0150 0.2264 0.0232 0.0226 0.0044 0.0150 0.0300 0.0238 0.0054 318-AH 0.0060 0.0090 0.0090 0.0090 0.0090 0.0088 0.0008 0.0000 0.0030 0.0949 0.0087 0.0087 0.0004 0.0090 0.0090 0.0090 0.0000 319-AH 0.0120 0.0130 0.0150 0.0150 0.0160 0.0142 0.0013 0.0020 0.0040 0.0914 0.0142 0.0141 0.0011 0.0120 0.0160 0.0142 0.0013 320-AH 0.0020 0.0070 0.0110 0.0120 0.0140 0.0093 0.0038 0.0050 0.0120 0.4029 0.0082 0.0067 0.0032 0.0020 0.0140 0.0093 0.0038 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0100 0.0128 0.0140 0.0140 0.0140 0.0132 0.0013 0.0013 0.0040 0.1022 0.0131 0.0130 0.0010 0.0110 0.0140 0.0134 0.0010 323-AH 0.0070 0.0118 0.0140 0.0190 0.0200 0.0147 0.0042 0.0072 0.0130 0.2839 0.0141 0.0134 0.0035 0.0070 0.0200 0.0147 0.0042 324-AH 0.0150 0.0380 0.0430 0.0627 0.0670 0.0465 0.0162 0.0247 0.0520 0.3491 0.0432 0.0391 0.0134 0.0150 0.0670 0.0465 0.0162 325-AH 0.0030 0.0162 0.0360 0.0450 0.0600 0.0332 0.0192 0.0287 0.0570 0.5785 0.0258 0.0162 0.0148 0.0030 0.0600 0.0332 0.0192 326-AH 0.0030 0.0030 0.0030 0.0040 0.0040 0.0033 0.0005 0.0010 0.0010 0.1452 0.0033 0.0033 0.0004 0.0030 0.0040 0.0033 0.0005 327-AH 0.0000 0.0020 0.0040 0.0040 0.0040 0.0032 0.0013 0.0020 0.0040 0.4027 0.0021 0.0001 0.0011 0.0000 0.0040 0.0032 0.0013 328-AH 0.0200 0.0230 0.0230 0.0230 0.0230 0.0228 0.0008 0.0000 0.0030 0.0365 0.0228 0.0227 0.0004 0.0230 0.0230 0.0230 0.0000 329-AH 0.0140 0.0170 0.0170 0.0170 0.0170 0.0167 0.0009 0.0000 0.0030 0.0512 0.0167 0.0166 0.0005 0.0170 0.0170 0.0170 0.0000 330-AH 0.0510 0.0510 0.0510 0.0510 0.0510 0.0510 0.0000 0.0000 0.0000 0.0000 0.0510 0.0510 0.0000 0.0510 0.0510 0.0510 0.0000 331-AH 0.0170 0.0170 0.0170 0.0170 0.0170 0.0170 0.0000 0.0000 0.0000 0.0000 0.0170 0.0170 0.0000 0.0170 0.0170 0.0170 0.0000 332-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000 333-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 334-AH 0.0040 0.0040 0.0050 0.0050 0.0050 0.0045 0.0005 0.0010 0.0010 0.1143 0.0045 0.0045 0.0005 0.0040 0.0050 0.0045 0.0005 335-AH 0.0030 0.0125 0.0130 0.0140 0.0150 0.0123 0.0032 0.0015 0.0120 0.2620 0.0116 0.0103 0.0021 0.0110 0.0150 0.0135 0.0011 336-AH 0.0030 0.0093 0.0150 0.0170 0.0170 0.0124 0.0055 0.0078 0.0140 0.4466 0.0105 0.0082 0.0044 0.0030 0.0170 0.0124 0.0055 337-AH 0.0180 0.0195 0.0200 0.0200 0.0200 0.0195 0.0009 0.0005 0.0020 0.0449 0.0195 0.0195 0.0007 0.0200 0.0200 0.0200 0.0000 338-AH 0.0050 0.0090 0.0100 0.0100 0.0100 0.0093 0.0014 0.0010 0.0050 0.1544 0.0092 0.0090 0.0010 0.0080 0.0100 0.0097 0.0007 339-AH 0.0190 0.0190 0.0190 0.0190 0.0190 0.0190 0.0000 0.0000 0.0000 0.0000 0.0190 0.0190 0.0000 0.0190 0.0190 0.0190 0.0000 340-AH 0.0010 0.0033 0.0050 0.0050 0.0050 0.0040 0.0017 0.0017 0.0040 0.4330 0.0034 0.0026 0.0014 0.0010 0.0050 0.0040 0.0017 220 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0010 0.0020 0.0040 0.0052 0.0060 0.0040 0.0017 0.0032 0.0050 0.4330 0.0035 0.0030 0.0014 0.0010 0.0060 0.0040 0.0017 342-AH 0.0930 0.0960 0.0960 0.0960 0.0960 0.0956 0.0010 0.0000 0.0030 0.0100 0.0956 0.0956 0.0007 0.0960 0.0960 0.0960 0.0000 343-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 344-AH 0.0070 0.0300 0.0320 0.0330 0.0330 0.0300 0.0070 0.0030 0.0260 0.2337 0.0284 0.0250 0.0035 0.0300 0.0330 0.0319 0.0012 345-AH 0.0000 0.0070 0.0090 0.0090 0.0090 0.0078 0.0025 0.0020 0.0090 0.3201 0.0050 0.0001 0.0016 0.0070 0.0090 0.0085 0.0009 346-AH 0.0020 0.0087 0.0110 0.0110 0.0110 0.0089 0.0039 0.0022 0.0090 0.4423 0.0074 0.0054 0.0032 0.0110 0.0110 0.0110 0.0000 347-AH 0.0040 0.0070 0.0080 0.0080 0.0090 0.0075 0.0012 0.0010 0.0050 0.1590 0.0074 0.0073 0.0008 0.0070 0.0090 0.0078 0.0006 348-AH 0.0010 0.0018 0.0020 0.0020 0.0020 0.0018 0.0004 0.0003 0.0010 0.2479 0.0017 0.0016 0.0004 0.0020 0.0020 0.0020 0.0000 349-AH 0.0250 0.0270 0.0270 0.0270 0.0270 0.0268 0.0006 0.0000 0.0020 0.0207 0.0268 0.0268 0.0003 0.0270 0.0270 0.0270 0.0000 350-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 221 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] 90% know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] Difference 0.5 uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] 0 reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] −0.5 jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] 0 know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] 0 know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] 0 know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] 0 know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] 0 know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] Difference 0.5 uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] 0 reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] −0.5 jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 222 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Ad−Hoc Robust WSD Monolingual English Test Task − Box Plot of the Topics darmstadt [Experiment DA_WSD_4; MAP 45.00%; Not Pooled] darmstadt [Experiment DA_WSD_5; MAP 44.81%; Not Pooled] darmstadt [Experiment DA_WSD_2; MAP 44.58%; Not Pooled] darmstadt [Experiment DA_WSD_1; MAP 43.80%; Not Pooled] uniba [Experiment UNIBAKEYSYNRF; MAP 43.46%; Not Pooled] darmstadt [Experiment DA_WSD_3; MAP 43.30%; Not Pooled] know−center [Experiment ASSOWSD; MAP 42.22%; Not Pooled] uniba [Experiment UNIBAWSDNL0901; MAP 42.22%; Not Pooled] uniba [Experiment UNIBAWSDNL0802; MAP 42.18%; Not Pooled] reina [Experiment ROBWSD2; MAP 41.23%; Not Pooled] know−center [Experiment SYNONYMWSD; MAP 40.61%; Not Pooled] know−center [Experiment SYNSETWSD; MAP 40.47%; Not Pooled] reina [Experiment ROBWSD4; MAP 40.42%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; MAP 38.19%; Not Pooled] geneva [Experiment ISINUSLWTDN; MAP 38.11%; Not Pooled] reina [Experiment ROBWSD5; MAP 38.10%; Not Pooled] Experiments ixa [Experiment ENENBESTSENSE500DOCS; MAP 38.05%; Not Pooled] reina [Experiment ROBWSD1; MAP 37.70%; Not Pooled] alicante [Experiment ALI01WND; MAP 37.52%; Not Pooled] alicante [Experiment ALI02WSD; MAP 37.38%; Not Pooled] alicante [Experiment ALI03WNDWSD; MAP 37.32%; Not Pooled] jaen [Experiment SINAI2_NUS_FB_OKAPI; MAP 36.81%; Not Pooled] ixa [Experiment ENENBESTSENSE100DOCS; MAP 36.68%; Not Pooled] ixa [Experiment ENENALLSENSES100DOCS; MAP 36.54%; Not Pooled] reina [Experiment ROBWSD3; MAP 34.63%; Not Pooled] uniba [Experiment UNIBAWSDTDN; MAP 32.38%; Not Pooled] geneva [Experiment ISINUSWSDTD; MAP 29.35%; Not Pooled] uniba [Experiment UNIBAWSDTD; MAP 29.30%; Not Pooled] valencia [Experiment NLEL0902; MAP 27.14%; Not Pooled] valencia [Experiment NLEL0904; MAP 26.05%; Not Pooled] ufrgs [Experiment WSD_MONOLINGUAL; MAP 22.79%; Not Pooled] valencia [Experiment NLEL0905; MAP 17.53%; Not Pooled] valencia [Experiment NLEL0903; MAP 17.48%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Average Precision 223 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 10.2455/TUKEY_T_TEST.311AD77EACE44FA6B90D4E317F9FC32C Ad−Hoc Robust WSD Monolingual English Test Task − Tukey T test with "top group" highlighted DA_WSD_4 DA_WSD_5 DA_WSD_2 DA_WSD_1 UNIBAKEYSYNRF DA_WSD_3 ASSOWSD UNIBAWSDNL0802 UNIBAWSDNL0901 ROBWSD2 SYNONYMWSD SYNSETWSD ROBWSD4 ROBWSD5 ENENBESTSENSE500DOCS Experiments ISINUSLWTDN ROBWSD1 SINAI1_NOWSD_FB_OKAPI ALI01WND ALI02WSD ALI03WNDWSD ENENBESTSENSE100DOCS ENENALLSENSES100DOCS SINAI2_NUS_FB_OKAPI ROBWSD3 UNIBAWSDTDN ISINUSWSDTD UNIBAWSDTD NLEL0902 NLEL0904 WSD_MONOLINGUAL NLEL0903 NLEL0905 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 arcsin(sqrt(Average Precsion)) 224 225 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision 100% darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] 90% know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] Difference 0.5 uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] 0 reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] −0.5 jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] 0 know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] 0 know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] 0 know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] 0 know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] Difference uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] 0 know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] Difference 0.5 uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] 0 reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] −0.5 jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 226 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Ad−Hoc Robust WSD Monolingual English Test Task − Box Plot of the Topics darmstadt [Experiment DA_WSD_4; R−Prec 42.43%; Not Pooled] darmstadt [Experiment DA_WSD_5; R−Prec 42.01%; Not Pooled] darmstadt [Experiment DA_WSD_2; R−Prec 41.99%; Not Pooled] uniba [Experiment UNIBAKEYSYNRF; R−Prec 41.53%; Not Pooled] darmstadt [Experiment DA_WSD_3; R−Prec 40.76%; Not Pooled] know−center [Experiment ASSOWSD; R−Prec 40.61%; Not Pooled] darmstadt [Experiment DA_WSD_1; R−Prec 40.48%; Not Pooled] uniba [Experiment UNIBAWSDNL0802; R−Prec 40.32%; Not Pooled] reina [Experiment ROBWSD2; R−Prec 40.24%; Not Pooled] uniba [Experiment UNIBAWSDNL0901; R−Prec 40.19%; Not Pooled] reina [Experiment ROBWSD4; R−Prec 39.49%; Not Pooled] know−center [Experiment SYNONYMWSD; R−Prec 39.41%; Not Pooled] know−center [Experiment SYNSETWSD; R−Prec 38.77%; Not Pooled] reina [Experiment ROBWSD5; R−Prec 37.12%; Not Pooled] reina [Experiment ROBWSD1; R−Prec 36.89%; Not Pooled] geneva [Experiment ISINUSLWTDN; R−Prec 36.70%; Not Pooled] Experiments ixa [Experiment ENENBESTSENSE500DOCS; R−Prec 36.69%; Not Pooled] alicante [Experiment ALI02WSD; R−Prec 36.55%; Not Pooled] jaen [Experiment SINAI1_NOWSD_FB_OKAPI; R−Prec 36.51%; Not Pooled] alicante [Experiment ALI01WND; R−Prec 36.38%; Not Pooled] alicante [Experiment ALI03WNDWSD; R−Prec 36.25%; Not Pooled] ixa [Experiment ENENBESTSENSE100DOCS; R−Prec 35.64%; Not Pooled] jaen [Experiment SINAI2_NUS_FB_OKAPI; R−Prec 35.43%; Not Pooled] ixa [Experiment ENENALLSENSES100DOCS; R−Prec 35.28%; Not Pooled] reina [Experiment ROBWSD3; R−Prec 34.76%; Not Pooled] uniba [Experiment UNIBAWSDTDN; R−Prec 30.77%; Not Pooled] geneva [Experiment ISINUSWSDTD; R−Prec 29.53%; Not Pooled] uniba [Experiment UNIBAWSDTD; R−Prec 28.54%; Not Pooled] valencia [Experiment NLEL0902; R−Prec 26.57%; Not Pooled] valencia [Experiment NLEL0904; R−Prec 25.59%; Not Pooled] ufrgs [Experiment WSD_MONOLINGUAL; R−Prec 24.04%; Not Pooled] valencia [Experiment NLEL0905; R−Prec 18.67%; Not Pooled] valencia [Experiment NLEL0903; R−Prec 17.63%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% R−Precision 227 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Ad−Hoc Robust WSD Monolingual English Test Task − Tukey T test with "top group" highlighted DA_WSD_4 UNIBAKEYSYNRF DA_WSD_2 DA_WSD_5 ASSOWSD UNIBAWSDNL0802 UNIBAWSDNL0901 DA_WSD_3 DA_WSD_1 ROBWSD2 SYNONYMWSD ROBWSD4 SYNSETWSD ROBWSD5 ENENBESTSENSE500DOCS Experiments ROBWSD1 ISINUSLWTDN ALI02WSD ALI01WND ALI03WNDWSD ENENBESTSENSE100DOCS ENENALLSENSES100DOCS SINAI1_NOWSD_FB_OKAPI SINAI2_NUS_FB_OKAPI ROBWSD3 UNIBAWSDTDN ISINUSWSDTD UNIBAWSDTD NLEL0902 WSD_MONOLINGUAL NLEL0904 NLEL0905 NLEL0903 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 arcsin(sqrt(R−Precision)) 228 229 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 142-AH 7.00 7.75 8.00 8.00 8.00 7.76 0.44 0.25 1.00 0.06 7.75 7.73 0.37 8.00 8.00 8.00 0.00 143-AH 38.00 39.00 39.00 39.00 39.00 38.91 0.29 0.00 1.00 0.01 38.91 38.91 0.17 39.00 39.00 39.00 0.00 144-AH 1.00 3.00 3.00 3.00 3.00 2.73 0.67 0.00 2.00 0.25 2.59 2.39 0.46 3.00 3.00 3.00 0.00 145-AH 36.00 37.00 37.00 37.00 37.00 36.91 0.29 0.00 1.00 0.01 36.91 36.91 0.17 37.00 37.00 37.00 0.00 146-AH 1.00 2.00 2.00 2.00 2.00 1.79 0.42 0.00 1.00 0.23 1.73 1.65 0.33 2.00 2.00 2.00 0.00 147-AH 48.00 51.00 51.00 51.00 51.00 50.67 0.74 0.00 3.00 0.01 50.66 50.66 0.53 51.00 51.00 51.00 0.00 148-AH 1.00 3.75 5.00 6.00 6.00 4.70 1.42 2.25 5.00 0.30 4.42 4.02 1.28 1.00 6.00 4.70 1.42 149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 150-AH 0.00 8.00 9.00 10.00 10.00 8.27 2.21 2.00 10.00 0.27 5.51 0.00 1.52 6.00 10.00 8.83 1.21 151-AH 2.00 9.00 9.00 10.00 11.00 8.67 2.07 1.00 9.00 0.24 8.28 7.62 1.37 8.00 11.00 9.43 0.79 152-AH 4.00 10.00 11.00 11.00 11.00 10.33 1.57 1.00 7.00 0.15 10.15 9.85 0.89 10.00 11.00 10.71 0.46 153-AH 0.00 0.00 0.00 1.00 1.00 0.42 0.50 1.00 1.00 1.18 0.00 0.00 0.49 0.00 1.00 0.42 0.50 154-AH 18.00 20.00 21.00 21.00 21.00 20.33 0.89 1.00 3.00 0.04 20.31 20.29 0.69 20.00 21.00 20.57 0.50 155-AH 2.00 3.00 3.00 3.00 3.00 2.79 0.42 0.00 1.00 0.15 2.75 2.71 0.33 3.00 3.00 3.00 0.00 156-AH 7.00 16.00 20.00 20.00 21.00 17.67 3.76 4.00 14.00 0.21 17.15 16.47 2.93 10.00 21.00 18.29 2.89 157-AH 2.00 115.75 130.00 137.00 138.00 115.03 35.72 21.25 136.00 0.31 93.64 26.09 25.04 93.00 138.00 129.52 9.89 158-AH 1.00 33.00 34.00 34.00 34.00 32.27 5.74 1.00 33.00 0.18 29.88 16.80 2.28 32.00 34.00 33.50 0.68 159-AH 40.00 46.75 49.00 51.00 54.00 48.67 3.56 4.25 14.00 0.07 48.54 48.40 2.79 44.00 54.00 49.23 2.86 160-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 162-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 163-AH 117.00 121.00 121.00 121.00 121.00 120.76 0.75 0.00 4.00 0.01 120.76 120.75 0.41 121.00 121.00 121.00 0.00 164-AH 15.00 24.00 25.00 27.00 27.00 24.58 2.77 3.00 12.00 0.11 24.40 24.18 1.89 22.00 27.00 25.30 1.49 165-AH 0.00 1.00 1.00 1.00 1.00 0.94 0.24 0.00 1.00 0.26 0.50 0.00 0.11 1.00 1.00 1.00 0.00 166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 167-AH 0.00 5.00 5.00 5.00 5.00 4.67 1.22 0.00 5.00 0.26 2.24 0.00 0.61 5.00 5.00 5.00 0.00 168-AH 4.00 17.50 18.00 18.00 18.00 15.76 4.47 0.50 14.00 0.28 14.74 13.15 3.41 18.00 18.00 18.00 0.00 169-AH 1.00 3.75 6.00 6.00 6.00 4.64 1.90 2.25 5.00 0.41 3.99 3.07 1.61 1.00 6.00 4.64 1.90 170-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 171-AH 1.00 13.00 18.00 18.00 19.00 14.18 6.35 5.00 18.00 0.45 11.01 6.02 5.08 9.00 19.00 16.93 2.56 172-AH 4.00 7.00 7.00 7.00 7.00 6.82 0.64 0.00 3.00 0.09 6.78 6.73 0.33 7.00 7.00 7.00 0.00 173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 174-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 175-AH 6.00 7.00 7.00 7.00 7.00 6.91 0.29 0.00 1.00 0.04 6.90 6.90 0.17 7.00 7.00 7.00 0.00 176-AH 34.00 39.00 39.00 39.00 39.00 38.85 0.87 0.00 5.00 0.02 38.84 38.83 0.29 39.00 39.00 39.00 0.00 177-AH 8.00 13.00 13.00 13.00 13.00 12.58 1.12 0.00 5.00 0.09 12.52 12.44 0.67 13.00 13.00 13.00 0.00 178-AH 0.00 2.00 3.00 4.00 4.00 2.88 1.02 2.00 4.00 0.36 1.39 0.00 0.72 0.00 4.00 2.88 1.02 179-AH 10.00 21.00 22.00 22.00 22.00 21.36 2.10 1.00 12.00 0.10 21.21 20.96 0.93 20.00 22.00 21.72 0.52 180-AH 13.00 37.25 40.00 40.00 40.00 37.64 5.30 2.75 27.00 0.14 37.05 36.04 3.40 35.00 40.00 39.36 1.59 181-AH 85.00 90.00 92.00 92.00 92.00 90.88 1.71 2.00 7.00 0.02 90.86 90.85 1.26 87.00 92.00 91.06 1.37 182-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00 183-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00 184-AH 6.00 9.00 9.00 9.00 9.00 8.82 0.64 0.00 3.00 0.07 8.79 8.76 0.33 9.00 9.00 9.00 0.00 185-AH 0.00 1.00 1.00 1.00 1.00 0.91 0.29 0.00 1.00 0.32 0.35 0.00 0.17 1.00 1.00 1.00 0.00 186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 187-AH 0.00 1.00 1.00 1.00 1.00 0.97 0.17 0.00 1.00 0.18 0.71 0.00 0.06 1.00 1.00 1.00 0.00 188-AH 0.00 1.00 1.00 1.00 1.00 0.94 0.24 0.00 1.00 0.26 0.50 0.00 0.11 1.00 1.00 1.00 0.00 189-AH 4.00 7.00 7.00 7.00 7.00 6.88 0.55 0.00 3.00 0.08 6.85 6.81 0.23 7.00 7.00 7.00 0.00 190-AH 6.00 7.00 7.00 8.25 9.00 7.64 0.90 1.25 3.00 0.12 7.59 7.54 0.79 6.00 9.00 7.64 0.90 230 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 192-AH 5.00 6.00 6.00 6.00 6.00 5.85 0.36 0.00 1.00 0.06 5.84 5.82 0.26 6.00 6.00 6.00 0.00 193-AH 4.00 7.00 7.00 7.00 7.00 6.82 0.58 0.00 3.00 0.09 6.79 6.74 0.32 7.00 7.00 7.00 0.00 194-AH 0.00 1.00 1.00 1.00 1.00 0.94 0.24 0.00 1.00 0.26 0.50 0.00 0.11 1.00 1.00 1.00 0.00 195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 196-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 197-AH 13.00 50.00 50.00 50.00 50.00 47.55 7.95 0.00 37.00 0.17 46.35 44.04 4.02 50.00 50.00 50.00 0.00 198-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 199-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00 200-AH 7.00 9.00 9.00 9.00 9.00 8.73 0.57 0.00 2.00 0.07 8.71 8.69 0.43 9.00 9.00 9.00 0.00 251-AH 33.00 52.00 57.00 59.00 60.00 54.09 7.14 7.00 27.00 0.13 53.54 52.89 5.28 47.00 60.00 55.93 4.13 252-AH 20.00 29.00 29.00 29.00 29.00 28.61 1.64 0.00 9.00 0.06 28.55 28.48 0.72 29.00 29.00 29.00 0.00 253-AH 24.00 85.50 135.00 152.25 160.00 117.18 44.76 66.75 136.00 0.38 104.32 86.14 37.56 24.00 160.00 117.18 44.76 254-AH 74.00 156.00 173.00 183.00 198.00 166.73 23.89 27.00 124.00 0.14 164.55 161.55 17.13 132.00 198.00 169.62 17.41 255-AH 3.00 4.00 4.00 4.00 4.00 3.94 0.24 0.00 1.00 0.06 3.93 3.92 0.11 4.00 4.00 4.00 0.00 256-AH 1.00 29.75 34.00 34.00 34.00 29.70 8.16 4.25 33.00 0.27 26.46 14.90 5.49 29.00 34.00 33.00 1.62 257-AH 32.00 52.50 56.00 61.00 63.00 54.64 7.90 8.50 31.00 0.14 53.98 53.19 5.59 44.00 63.00 56.63 4.81 258-AH 1.00 2.00 4.00 4.00 4.00 3.09 1.16 2.00 3.00 0.37 2.79 2.41 0.99 1.00 4.00 3.09 1.16 259-AH 0.00 3.00 3.00 3.00 3.00 2.70 0.77 0.00 3.00 0.29 1.33 0.00 0.50 3.00 3.00 3.00 0.00 260-AH 1.00 62.00 62.00 62.00 63.00 58.15 14.75 0.00 62.00 0.25 48.16 13.19 6.93 62.00 62.00 62.00 0.00 261-AH 7.00 14.50 20.00 22.00 28.00 18.88 5.54 7.50 21.00 0.29 18.00 17.01 4.51 7.00 28.00 18.88 5.54 262-AH 20.00 44.75 64.00 73.50 80.00 59.15 17.80 28.75 60.00 0.30 55.69 51.22 14.64 20.00 80.00 59.15 17.80 263-AH 19.00 41.75 46.00 47.00 48.00 42.64 8.27 5.25 29.00 0.19 41.50 39.87 5.68 39.00 48.00 45.41 2.82 264-AH 13.00 20.00 21.00 21.00 22.00 20.24 1.98 1.00 9.00 0.10 20.13 20.00 1.33 19.00 22.00 20.86 0.83 265-AH 2.00 5.00 6.00 6.00 6.00 5.42 1.06 1.00 4.00 0.20 5.29 5.09 0.84 4.00 6.00 5.61 0.76 266-AH 2.00 4.00 4.00 4.00 4.00 3.58 0.83 0.00 2.00 0.23 3.45 3.30 0.67 4.00 4.00 4.00 0.00 267-AH 0.00 20.00 21.00 21.00 21.00 19.36 4.26 1.00 21.00 0.22 12.70 0.00 2.11 19.00 21.00 20.55 0.57 268-AH 0.00 3.00 3.00 3.00 3.00 2.67 0.78 0.00 3.00 0.29 1.31 0.00 0.53 3.00 3.00 3.00 0.00 269-AH 7.00 8.00 8.00 8.00 9.00 8.03 0.39 0.00 2.00 0.05 8.02 8.01 0.18 8.00 8.00 8.00 0.00 270-AH 8.00 54.75 56.00 57.00 57.00 50.91 13.43 2.25 49.00 0.26 47.48 40.65 8.58 52.00 57.00 56.15 1.20 271-AH 3.00 23.00 24.00 24.00 24.00 23.03 3.65 1.00 21.00 0.16 22.21 19.56 1.41 22.00 24.00 23.66 0.65 272-AH 4.00 8.75 13.00 14.00 14.00 11.48 3.24 5.25 10.00 0.28 10.86 10.00 2.69 4.00 14.00 11.48 3.24 273-AH 16.00 79.00 82.00 83.00 83.00 78.79 11.68 4.00 67.00 0.15 76.83 71.83 5.00 73.00 83.00 81.06 2.58 274-AH 6.00 13.00 15.00 16.00 16.00 14.48 2.27 3.00 10.00 0.16 14.25 13.92 1.66 10.00 16.00 14.75 1.70 275-AH 1.00 56.75 61.00 63.00 65.00 55.24 15.27 6.25 64.00 0.28 47.59 18.92 8.95 53.00 65.00 60.24 3.21 276-AH 44.00 58.00 59.00 59.00 59.00 57.55 3.03 1.00 15.00 0.05 57.46 57.36 1.87 57.00 59.00 58.67 0.55 277-AH 12.00 16.00 17.00 18.00 25.00 17.67 2.57 2.00 13.00 0.15 17.50 17.34 1.70 15.00 20.00 17.17 1.17 278-AH 4.00 14.00 16.00 20.00 21.00 16.52 4.05 6.00 17.00 0.25 15.85 14.81 3.29 10.00 21.00 16.91 3.42 279-AH 3.00 4.00 4.00 4.00 4.00 3.97 0.17 0.00 1.00 0.04 3.97 3.96 0.06 4.00 4.00 4.00 0.00 280-AH 1.00 17.00 19.00 22.00 24.00 18.12 5.78 5.00 23.00 0.32 16.02 10.58 4.01 15.00 24.00 20.00 2.60 281-AH 0.00 41.00 42.00 42.00 42.00 38.91 10.17 1.00 42.00 0.26 16.44 0.00 5.07 40.00 42.00 41.79 0.49 282-AH 1.00 23.00 25.00 29.00 31.00 24.06 7.56 6.00 30.00 0.31 20.35 9.83 4.66 21.00 31.00 26.23 2.99 283-AH 13.00 27.00 32.00 35.00 38.00 30.82 5.75 8.00 25.00 0.19 30.16 29.29 4.40 17.00 38.00 31.38 4.85 284-AH 38.00 38.00 38.00 38.00 38.00 38.00 0.00 0.00 0.00 0.00 38.00 38.00 0.00 38.00 38.00 38.00 0.00 285-AH 0.00 65.75 68.00 69.00 69.00 61.55 17.36 3.25 69.00 0.28 25.12 0.00 10.47 63.00 69.00 67.71 1.46 286-AH 1.00 7.75 9.00 10.00 11.00 8.36 2.26 2.25 10.00 0.27 7.78 6.44 1.62 6.00 11.00 8.81 1.45 287-AH 32.00 47.00 48.00 48.00 49.00 46.36 4.42 1.00 17.00 0.10 46.12 45.83 2.82 46.00 49.00 48.07 0.73 288-AH 43.00 55.50 58.00 66.25 74.00 58.91 7.88 10.75 31.00 0.13 58.38 57.83 6.45 43.00 74.00 58.91 7.88 289-AH 0.00 16.00 17.00 18.00 18.00 14.64 5.92 2.00 18.00 0.40 5.76 0.00 4.37 13.00 18.00 17.19 1.30 290-AH 39.00 45.00 48.00 49.00 49.00 46.94 2.32 4.00 10.00 0.05 46.88 46.82 1.84 39.00 49.00 46.94 2.32 231 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 17.00 27.75 28.00 29.00 30.00 27.33 2.77 1.25 13.00 0.10 27.17 26.96 1.74 27.00 30.00 28.32 0.72 292-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00 293-AH 18.00 34.00 34.00 34.00 34.00 33.03 3.88 0.00 16.00 0.12 32.71 32.26 1.82 34.00 34.00 34.00 0.00 294-AH 21.00 27.00 27.00 27.00 27.00 26.82 1.04 0.00 6.00 0.04 26.80 26.77 0.35 27.00 27.00 27.00 0.00 295-AH 17.00 33.00 39.00 44.00 47.00 38.15 6.42 11.00 30.00 0.17 37.52 36.73 5.24 17.00 47.00 38.15 6.42 296-AH 3.00 21.25 24.00 24.00 24.00 19.79 7.77 2.75 21.00 0.39 16.81 12.01 6.26 23.00 24.00 23.92 0.28 297-AH 10.00 11.00 12.00 12.00 12.00 11.45 0.75 1.00 2.00 0.07 11.43 11.40 0.66 10.00 12.00 11.45 0.75 298-AH 19.00 25.00 28.00 29.00 30.00 27.09 2.60 4.00 11.00 0.10 26.96 26.81 2.06 19.00 30.00 27.09 2.60 299-AH 51.00 73.00 74.00 75.00 76.00 73.15 4.43 2.00 25.00 0.06 72.99 72.80 2.18 71.00 76.00 74.23 1.30 300-AH 38.00 40.00 42.00 42.00 42.00 41.12 1.08 2.00 4.00 0.03 41.11 41.09 0.91 38.00 42.00 41.12 1.08 301-AH 1.00 5.00 5.00 11.25 16.00 7.58 4.39 6.25 15.00 0.58 6.45 5.31 3.71 1.00 16.00 7.58 4.39 302-AH 13.00 15.00 17.00 17.00 17.00 16.18 1.26 2.00 4.00 0.08 16.13 16.08 1.04 13.00 17.00 16.18 1.26 303-AH 7.00 12.00 13.00 14.00 14.00 12.76 1.68 2.00 7.00 0.13 12.62 12.45 1.17 10.00 14.00 13.10 1.01 304-AH 8.00 13.00 13.00 15.00 15.00 13.27 1.94 2.00 7.00 0.15 13.11 12.92 1.43 10.00 15.00 13.61 1.43 305-AH 40.00 48.00 60.00 61.00 61.00 55.64 6.47 13.00 21.00 0.12 55.25 54.83 5.77 40.00 61.00 55.64 6.47 306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 307-AH 17.00 63.75 71.00 72.25 76.00 66.39 11.54 8.50 59.00 0.17 64.71 61.44 7.49 53.00 76.00 68.77 5.91 308-AH 9.00 10.00 10.00 11.00 11.00 10.21 0.70 1.00 2.00 0.07 10.19 10.16 0.57 9.00 11.00 10.21 0.70 309-AH 1.00 10.00 10.00 10.00 10.00 9.27 2.08 0.00 9.00 0.22 8.68 7.05 1.15 10.00 10.00 10.00 0.00 310-AH 33.00 40.50 45.00 50.00 57.00 44.21 6.48 9.50 24.00 0.15 43.74 43.25 5.05 33.00 57.00 44.21 6.48 311-AH 42.00 47.75 50.00 52.00 53.00 49.33 3.35 4.25 11.00 0.07 49.22 49.10 2.67 42.00 53.00 49.33 3.35 312-AH 8.00 31.00 31.00 31.00 31.00 29.64 4.72 0.00 23.00 0.16 28.95 27.60 2.34 31.00 31.00 31.00 0.00 313-AH 5.00 9.00 13.00 16.00 18.00 12.39 3.84 7.00 13.00 0.31 11.73 10.99 3.29 5.00 18.00 12.39 3.84 314-AH 1.00 16.00 17.00 17.00 17.00 15.61 3.85 1.00 16.00 0.25 13.94 8.51 1.97 16.00 17.00 16.72 0.45 315-AH 26.00 37.75 52.00 56.00 59.00 47.24 10.48 18.25 33.00 0.22 45.98 44.59 9.34 26.00 59.00 47.24 10.48 316-AH 53.00 82.00 96.00 101.00 106.00 90.00 14.91 19.00 53.00 0.17 88.62 87.05 12.00 58.00 106.00 91.16 13.56 317-AH 0.00 28.00 29.00 29.00 30.00 26.55 7.00 1.00 30.00 0.26 16.22 0.00 3.86 27.00 30.00 28.82 0.82 318-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00 319-AH 10.00 13.00 13.00 16.00 17.00 14.03 1.86 3.00 7.00 0.13 13.91 13.78 1.61 10.00 17.00 14.03 1.86 320-AH 5.00 9.00 11.00 11.25 13.00 10.18 2.21 2.25 8.00 0.22 9.89 9.53 1.67 6.00 13.00 10.52 1.82 321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 322-AH 9.00 10.00 12.00 14.00 14.00 12.09 1.76 4.00 5.00 0.15 11.96 11.82 1.49 9.00 14.00 12.09 1.76 323-AH 4.00 22.00 24.00 25.00 26.00 22.48 4.66 3.00 22.00 0.21 21.56 19.50 2.84 20.00 26.00 23.77 1.68 324-AH 0.00 19.75 36.00 65.00 69.00 39.73 23.73 45.25 69.00 0.60 13.87 0.00 20.46 0.00 69.00 39.73 23.73 325-AH 31.00 59.00 61.00 61.00 61.00 59.09 5.36 2.00 30.00 0.09 58.75 58.26 2.36 56.00 61.00 60.23 1.15 326-AH 0.00 3.00 3.00 4.00 4.00 3.12 1.02 1.00 4.00 0.33 1.51 0.00 0.69 2.00 4.00 3.32 0.65 327-AH 1.00 4.00 4.00 4.00 4.00 3.64 0.93 0.00 3.00 0.26 3.42 3.05 0.62 4.00 4.00 4.00 0.00 328-AH 23.00 23.00 23.00 23.00 23.00 23.00 0.00 0.00 0.00 0.00 23.00 23.00 0.00 23.00 23.00 23.00 0.00 329-AH 17.00 17.00 17.00 17.00 17.00 17.00 0.00 0.00 0.00 0.00 17.00 17.00 0.00 17.00 17.00 17.00 0.00 330-AH 35.00 49.00 51.00 51.00 51.00 48.61 4.66 2.00 16.00 0.10 48.36 48.07 3.41 46.00 51.00 50.59 1.08 331-AH 0.00 17.00 17.00 17.00 17.00 15.61 4.06 0.00 17.00 0.26 10.08 0.00 2.39 17.00 17.00 17.00 0.00 332-AH 1.00 7.00 8.00 8.00 8.00 6.76 2.28 1.00 7.00 0.34 6.13 5.11 1.88 8.00 8.00 8.00 0.00 333-AH 0.00 5.00 5.00 5.00 5.00 4.70 1.05 0.00 5.00 0.22 3.22 0.00 0.55 5.00 5.00 5.00 0.00 334-AH 4.00 5.00 5.00 5.00 5.00 4.97 0.17 0.00 1.00 0.04 4.97 4.96 0.06 5.00 5.00 5.00 0.00 335-AH 13.00 14.75 15.00 15.00 15.00 14.70 0.59 0.25 2.00 0.04 14.69 14.67 0.46 15.00 15.00 15.00 0.00 336-AH 0.00 1.75 11.00 14.00 17.00 9.30 5.84 12.25 17.00 0.63 1.56 0.00 5.01 0.00 17.00 9.30 5.84 337-AH 18.00 19.75 20.00 20.00 20.00 19.73 0.52 0.25 2.00 0.03 19.72 19.71 0.41 20.00 20.00 20.00 0.00 338-AH 0.00 10.00 10.00 10.00 10.00 9.27 2.35 0.00 10.00 0.25 6.03 0.00 1.28 10.00 10.00 10.00 0.00 339-AH 0.00 19.00 19.00 19.00 19.00 16.67 6.29 0.00 19.00 0.38 3.29 0.00 4.04 19.00 19.00 19.00 0.00 340-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00 232 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 4.00 6.00 6.00 6.00 6.00 5.85 0.51 0.00 2.00 0.09 5.82 5.79 0.28 6.00 6.00 6.00 0.00 342-AH 5.00 92.75 96.00 96.00 96.00 89.42 18.40 3.25 91.00 0.21 83.46 59.25 9.61 91.00 96.00 95.30 1.32 343-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 344-AH 30.00 33.00 33.00 33.00 33.00 32.52 1.03 0.00 3.00 0.03 32.50 32.48 0.76 33.00 33.00 33.00 0.00 345-AH 1.00 8.75 9.00 9.00 9.00 8.36 1.62 0.25 8.00 0.19 7.99 6.89 0.96 9.00 9.00 9.00 0.00 346-AH 0.00 11.00 11.00 11.00 11.00 9.91 2.61 0.00 11.00 0.26 6.55 0.00 1.73 11.00 11.00 11.00 0.00 347-AH 7.00 8.00 8.00 8.00 9.00 7.97 0.64 0.00 2.00 0.08 7.94 7.92 0.41 8.00 8.00 8.00 0.00 348-AH 0.00 1.50 2.00 2.00 2.00 1.52 0.87 0.50 2.00 0.57 0.10 0.00 0.73 2.00 2.00 2.00 0.00 349-AH 19.00 27.00 27.00 27.00 27.00 26.76 1.39 0.00 8.00 0.05 26.71 26.66 0.47 27.00 27.00 27.00 0.00 350-AH 9.00 10.00 10.00 10.00 10.00 9.97 0.17 0.00 1.00 0.02 9.97 9.97 0.06 10.00 10.00 10.00 0.00 233 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.1521 0.8156 0.9226 0.9519 0.9705 0.8162 0.2250 0.1363 0.8184 0.2756 0.7680 0.6859 0.1802 0.6135 0.9705 0.9113 0.0887 143-AH 0.3954 0.7254 0.7866 0.9019 0.9433 0.7855 0.1305 0.1765 0.5479 0.1662 0.7733 0.7588 0.1001 0.5916 0.9433 0.7977 0.1119 144-AH 0.0061 0.2031 0.5826 0.7276 0.8333 0.4622 0.2975 0.5244 0.8273 0.6436 0.2389 0.0504 0.2652 0.0061 0.8333 0.4622 0.2975 145-AH 0.4607 0.5682 0.6304 0.6668 0.7003 0.6149 0.0610 0.0986 0.2396 0.0993 0.6118 0.6085 0.0512 0.4607 0.7003 0.6149 0.0610 146-AH 0.0057 0.2513 0.5000 0.5049 0.5217 0.3754 0.1724 0.2536 0.5161 0.4593 0.2966 0.1105 0.1571 0.0057 0.5217 0.3754 0.1724 147-AH 0.3327 0.6425 0.7460 0.8045 0.8569 0.7027 0.1234 0.1620 0.5242 0.1757 0.6903 0.6753 0.1011 0.5107 0.8569 0.7142 0.1057 148-AH 0.0017 0.0780 0.1070 0.1759 0.2160 0.1234 0.0590 0.0979 0.2143 0.4786 0.1008 0.0359 0.0532 0.0017 0.2160 0.1234 0.0590 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0387 0.0730 0.1867 0.2357 0.0986 0.0788 0.1481 0.2357 0.7995 0.0478 0.0003 0.0696 0.0000 0.2357 0.0986 0.0788 151-AH 0.0004 0.0552 0.1961 0.3273 0.5371 0.2039 0.1601 0.2721 0.5368 0.7852 0.0977 0.0086 0.1370 0.0004 0.5371 0.2039 0.1601 152-AH 0.0019 0.2174 0.4187 0.6094 0.7373 0.4041 0.2244 0.3920 0.7354 0.5553 0.2682 0.0285 0.1864 0.0019 0.7373 0.4041 0.2244 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0435 0.2323 0.3378 0.3687 0.4213 0.3006 0.1018 0.1364 0.3778 0.3386 0.2732 0.2257 0.0823 0.0435 0.4213 0.3006 0.1018 155-AH 0.0378 0.1118 0.1406 0.1895 0.5135 0.1710 0.1079 0.0777 0.4757 0.6311 0.1465 0.1258 0.0710 0.0378 0.2889 0.1384 0.0520 156-AH 0.0070 0.0563 0.1035 0.1593 0.4294 0.1182 0.0881 0.1031 0.4224 0.7452 0.0868 0.0535 0.0668 0.0070 0.2716 0.1085 0.0692 157-AH 0.0000 0.3337 0.4603 0.5382 0.7217 0.4045 0.1993 0.2044 0.7217 0.4928 0.2081 0.0005 0.1551 0.0479 0.7217 0.4306 0.1754 158-AH 0.0001 0.4023 0.4644 0.5590 0.7849 0.4654 0.1496 0.1568 0.7848 0.3215 0.3541 0.0025 0.1011 0.2613 0.7849 0.4907 0.1121 159-AH 0.0682 0.1780 0.2413 0.3612 0.7015 0.2790 0.1674 0.1832 0.6333 0.6002 0.2341 0.1936 0.1305 0.0682 0.6211 0.2658 0.1517 160-AH 0.0276 0.0363 0.0629 0.1175 0.5400 0.0981 0.1039 0.0812 0.5124 1.0600 0.0696 0.0550 0.0689 0.0276 0.2333 0.0770 0.0554 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.6175 0.8017 0.8509 0.8670 0.9121 0.8256 0.0667 0.0652 0.2947 0.0808 0.8227 0.8195 0.0489 0.7584 0.9121 0.8429 0.0377 164-AH 0.0323 0.0550 0.0915 0.1444 0.3257 0.1133 0.0728 0.0893 0.2934 0.6426 0.0940 0.0788 0.0577 0.0323 0.2677 0.1067 0.0630 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0604 0.2160 0.2714 0.3833 0.1744 0.1160 0.2110 0.3833 0.6651 0.0760 0.0002 0.1064 0.0000 0.3833 0.1744 0.1160 168-AH 0.0010 0.3022 0.3659 0.4052 0.7040 0.3208 0.1867 0.1030 0.7030 0.5821 0.1478 0.0094 0.1361 0.2726 0.5353 0.3828 0.0629 169-AH 0.0002 0.0182 0.0308 0.0687 0.1683 0.0433 0.0364 0.0504 0.1680 0.8400 0.0221 0.0025 0.0289 0.0002 0.0985 0.0394 0.0291 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0001 0.0249 0.1015 0.1333 0.2027 0.0844 0.0637 0.1083 0.2026 0.7551 0.0341 0.0019 0.0558 0.0001 0.2027 0.0844 0.0637 172-AH 0.0246 0.0769 0.0930 0.1349 0.1605 0.1009 0.0380 0.0580 0.1360 0.3770 0.0924 0.0819 0.0328 0.0246 0.1605 0.1009 0.0380 173-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9899 0.0580 0.0000 0.3333 0.0586 0.9878 0.9851 0.0196 1.0000 1.0000 1.0000 0.0000 174-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9747 0.0607 0.0000 0.1667 0.0623 0.9728 0.9706 0.0429 1.0000 1.0000 1.0000 0.0000 175-AH 0.4960 0.7303 0.7664 0.8263 0.8810 0.7621 0.0839 0.0960 0.3849 0.1101 0.7570 0.7512 0.0569 0.6634 0.8810 0.7780 0.0562 176-AH 0.2426 0.8191 0.9199 0.9280 0.9383 0.8602 0.1253 0.1089 0.6957 0.1456 0.8440 0.8113 0.0749 0.7675 0.9383 0.8795 0.0592 177-AH 0.0061 0.2191 0.2910 0.4160 0.6061 0.3174 0.1831 0.1969 0.5999 0.5769 0.2337 0.0905 0.1458 0.0061 0.6061 0.3174 0.1831 178-AH 0.0000 0.0170 0.0439 0.2672 0.5214 0.1343 0.1631 0.2502 0.5214 1.2153 0.0331 0.0002 0.1344 0.0000 0.5214 0.1343 0.1631 179-AH 0.1053 0.4056 0.5950 0.6946 0.9809 0.5448 0.1984 0.2889 0.8756 0.3641 0.4985 0.4350 0.1614 0.1053 0.9809 0.5448 0.1984 180-AH 0.0025 0.1696 0.5635 0.6891 0.7653 0.4551 0.2677 0.5194 0.7627 0.5882 0.3113 0.0612 0.2415 0.0025 0.7653 0.4551 0.2677 181-AH 0.4026 0.7635 0.8201 0.8454 0.8736 0.7663 0.1308 0.0819 0.4710 0.1708 0.7523 0.7345 0.0939 0.6470 0.8736 0.8098 0.0568 182-AH 0.0269 0.0888 0.1557 0.3727 0.5077 0.2230 0.1589 0.2839 0.4808 0.7125 0.1619 0.1109 0.1431 0.0269 0.5077 0.2230 0.1589 183-AH 0.0150 0.0580 0.1820 0.2640 0.6000 0.1971 0.1749 0.2060 0.5850 0.8876 0.1195 0.0621 0.1341 0.0150 0.5405 0.1719 0.1477 184-AH 0.0352 0.5392 0.5830 0.6168 0.6867 0.5486 0.1435 0.0776 0.6515 0.2616 0.4934 0.3244 0.0855 0.4232 0.6867 0.5812 0.0621 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0021 0.6903 0.9094 0.9821 1.0000 0.8078 0.2392 0.2919 0.9979 0.2960 0.6561 0.0639 0.1714 0.5828 1.0000 0.8574 0.1378 190-AH 0.2487 0.4590 0.6435 0.7103 0.8642 0.5879 0.1630 0.2514 0.6155 0.2773 0.5618 0.5314 0.1357 0.2487 0.8642 0.5879 0.1630 234 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1522 0.3865 0.5160 0.7049 0.9333 0.5407 0.2379 0.3184 0.7812 0.4399 0.4818 0.4155 0.1923 0.1522 0.9333 0.5407 0.2379 193-AH 0.1172 0.3637 0.4629 0.5164 0.6057 0.4441 0.1024 0.1527 0.4885 0.2306 0.4284 0.4041 0.0788 0.2582 0.6057 0.4543 0.0853 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0083 0.4349 0.6220 0.8420 0.9485 0.5828 0.3098 0.4071 0.9402 0.5316 0.4010 0.1207 0.2489 0.0083 0.9485 0.5828 0.3098 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.3123 0.4517 0.5716 0.6463 0.7808 0.5598 0.1158 0.1946 0.4685 0.2068 0.5473 0.5338 0.0920 0.3123 0.7808 0.5598 0.1158 200-AH 0.0229 0.3660 0.6088 0.7048 0.7712 0.5320 0.2157 0.3388 0.7482 0.4054 0.4539 0.2780 0.1860 0.0229 0.7712 0.5320 0.2157 251-AH 0.1330 0.4625 0.5108 0.5470 0.5977 0.4811 0.1147 0.0845 0.4647 0.2383 0.4588 0.4206 0.0755 0.4141 0.5977 0.5130 0.0526 252-AH 0.0180 0.3934 0.4216 0.4915 0.6327 0.4151 0.1351 0.0981 0.6147 0.3256 0.3591 0.1972 0.0881 0.2477 0.6327 0.4471 0.0860 253-AH 0.0084 0.1649 0.2780 0.4342 0.4698 0.2705 0.1601 0.2693 0.4614 0.5920 0.1849 0.0726 0.1372 0.0084 0.4698 0.2705 0.1601 254-AH 0.0435 0.1676 0.2352 0.2569 0.3488 0.2183 0.0704 0.0893 0.3053 0.3227 0.2037 0.1825 0.0549 0.0435 0.3488 0.2183 0.0704 255-AH 0.0428 0.2859 0.4216 0.5232 0.5911 0.3839 0.1573 0.2374 0.5482 0.4098 0.3355 0.2593 0.1279 0.0428 0.5911 0.3839 0.1573 256-AH 0.0000 0.4005 0.8306 0.8609 0.9014 0.6499 0.3210 0.4604 0.9013 0.4939 0.3404 0.0010 0.2719 0.0000 0.9014 0.6499 0.3210 257-AH 0.0353 0.1843 0.2129 0.2547 0.2950 0.2052 0.0674 0.0704 0.2597 0.3283 0.1870 0.1549 0.0495 0.0860 0.2950 0.2162 0.0529 258-AH 0.0008 0.0074 0.0402 0.1400 0.2143 0.0647 0.0694 0.1326 0.2136 1.0722 0.0236 0.0050 0.0602 0.0008 0.2143 0.0647 0.0694 259-AH 0.0000 0.3938 0.5737 0.6724 0.6911 0.5016 0.2316 0.2786 0.6911 0.4618 0.2179 0.0002 0.1870 0.0000 0.6911 0.5016 0.2316 260-AH 0.0000 0.5678 0.6407 0.6811 0.6986 0.5866 0.1645 0.1133 0.6986 0.2804 0.3356 0.0004 0.0960 0.4078 0.6986 0.6244 0.0666 261-AH 0.0099 0.1017 0.1381 0.2610 0.4969 0.1802 0.1237 0.1593 0.4870 0.6866 0.1404 0.0931 0.0992 0.0099 0.4969 0.1802 0.1237 262-AH 0.0326 0.1451 0.3095 0.3689 0.4647 0.2615 0.1376 0.2237 0.4320 0.5261 0.2099 0.1479 0.1207 0.0326 0.4647 0.2615 0.1376 263-AH 0.0360 0.1712 0.2049 0.2404 0.2997 0.1946 0.0729 0.0691 0.2637 0.3749 0.1732 0.1400 0.0557 0.0816 0.2997 0.2101 0.0558 264-AH 0.0111 0.4155 0.5200 0.5880 0.6662 0.4646 0.1729 0.1725 0.6551 0.3722 0.3783 0.1494 0.1311 0.2354 0.6662 0.5065 0.1131 265-AH 0.0018 0.1100 0.4574 0.5919 0.7189 0.3797 0.2459 0.4819 0.7171 0.6475 0.1864 0.0205 0.2099 0.0018 0.7189 0.3797 0.2459 266-AH 0.0036 0.0111 0.0268 0.1360 0.2678 0.0640 0.0741 0.1248 0.2641 1.1578 0.0300 0.0147 0.0617 0.0036 0.2678 0.0640 0.0741 267-AH 0.0000 0.2371 0.2994 0.3599 0.4958 0.2939 0.1115 0.1228 0.4958 0.3795 0.1942 0.0003 0.0849 0.1471 0.4958 0.3127 0.0851 268-AH 0.0000 0.3846 0.6679 0.6803 0.7011 0.4866 0.2496 0.2957 0.7011 0.5130 0.1978 0.0002 0.2085 0.0000 0.7011 0.4866 0.2496 269-AH 0.0665 0.1336 0.2127 0.2455 0.3886 0.1997 0.0802 0.1119 0.3221 0.4013 0.1816 0.1606 0.0634 0.0665 0.3886 0.1997 0.0802 270-AH 0.0029 0.4957 0.6361 0.7374 0.7770 0.5595 0.2535 0.2417 0.7742 0.4530 0.3670 0.0525 0.1988 0.2227 0.7770 0.6350 0.1571 271-AH 0.0421 0.4587 0.5253 0.5799 0.6415 0.4914 0.1466 0.1212 0.5995 0.2983 0.4442 0.3330 0.0991 0.3711 0.6415 0.5316 0.0720 272-AH 0.0096 0.0404 0.1731 0.2056 0.2676 0.1441 0.0881 0.1652 0.2580 0.6113 0.1000 0.0530 0.0775 0.0096 0.2676 0.1441 0.0881 273-AH 0.1335 0.6708 0.7418 0.7921 0.8718 0.7110 0.1396 0.1213 0.7384 0.1964 0.6865 0.6321 0.0924 0.5237 0.8718 0.7290 0.0950 274-AH 0.0139 0.1541 0.2817 0.3357 0.4980 0.2514 0.1267 0.1816 0.4841 0.5039 0.1973 0.1119 0.1038 0.0139 0.4980 0.2514 0.1267 275-AH 0.0000 0.2366 0.3120 0.4125 0.5743 0.3024 0.1479 0.1759 0.5743 0.4891 0.1692 0.0006 0.1141 0.0000 0.5743 0.3024 0.1479 276-AH 0.2355 0.4053 0.4823 0.5593 0.6398 0.4742 0.0985 0.1540 0.4043 0.2078 0.4633 0.4511 0.0844 0.2355 0.6398 0.4742 0.0985 277-AH 0.0481 0.1294 0.1574 0.1823 0.3154 0.1647 0.0639 0.0529 0.2672 0.3877 0.1525 0.1394 0.0472 0.0694 0.2564 0.1515 0.0437 278-AH 0.0311 0.1386 0.1953 0.3034 0.4134 0.2187 0.1128 0.1647 0.3823 0.5156 0.1835 0.1406 0.0950 0.0311 0.4134 0.2187 0.1128 279-AH 0.0213 0.0639 0.2268 0.4130 0.7333 0.2468 0.1958 0.3491 0.7120 0.7932 0.1592 0.0902 0.1677 0.0213 0.7333 0.2468 0.1958 280-AH 0.0001 0.0238 0.0388 0.0731 0.1352 0.0512 0.0373 0.0493 0.1351 0.7291 0.0303 0.0021 0.0306 0.0001 0.1352 0.0512 0.0373 281-AH 0.0000 0.3034 0.3934 0.4658 0.5951 0.3776 0.1442 0.1624 0.5951 0.3818 0.2042 0.0002 0.1050 0.2210 0.5951 0.4020 0.1098 282-AH 0.0001 0.1172 0.1590 0.2146 0.2712 0.1579 0.0715 0.0974 0.2711 0.4530 0.0915 0.0018 0.0538 0.0001 0.2712 0.1579 0.0715 283-AH 0.0044 0.1480 0.2575 0.3682 0.6042 0.2764 0.1703 0.2202 0.5998 0.6163 0.1976 0.0700 0.1338 0.0044 0.6042 0.2764 0.1703 284-AH 0.3243 0.5020 0.5265 0.5709 0.6359 0.5161 0.0745 0.0689 0.3116 0.1443 0.5101 0.5032 0.0542 0.4306 0.6359 0.5377 0.0469 285-AH 0.0000 0.3876 0.6967 0.7940 0.8544 0.5717 0.2689 0.4065 0.8544 0.4702 0.2713 0.0002 0.2285 0.0000 0.8544 0.5717 0.2689 286-AH 0.0001 0.0227 0.0348 0.0700 0.1473 0.0465 0.0351 0.0473 0.1472 0.7563 0.0272 0.0020 0.0285 0.0001 0.0977 0.0433 0.0306 287-AH 0.0208 0.3276 0.3837 0.4249 0.4635 0.3480 0.1133 0.0973 0.4428 0.3257 0.3014 0.1798 0.0800 0.2222 0.4635 0.3781 0.0613 288-AH 0.0372 0.1341 0.1900 0.2879 0.5276 0.2212 0.1227 0.1538 0.4904 0.5549 0.1883 0.1551 0.0995 0.0372 0.4567 0.2116 0.1115 289-AH 0.0000 0.4042 0.7114 0.7657 0.8296 0.5521 0.3205 0.3615 0.8296 0.5805 0.1259 0.0002 0.2664 0.0000 0.8296 0.5521 0.3205 290-AH 0.0930 0.1198 0.2020 0.2898 0.3843 0.2153 0.0929 0.1700 0.2913 0.4313 0.1950 0.1756 0.0807 0.0930 0.3843 0.2153 0.0929 235 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0057 0.3775 0.5392 0.6718 0.7744 0.4870 0.2298 0.2943 0.7687 0.4720 0.3278 0.0695 0.1768 0.0057 0.7744 0.4870 0.2298 292-AH 0.0058 0.6007 0.6659 0.8167 1.0000 0.6462 0.2740 0.2159 0.9942 0.4240 0.4849 0.1165 0.1984 0.4715 1.0000 0.7468 0.1380 293-AH 0.0719 0.5212 0.5998 0.6414 0.7409 0.5492 0.1560 0.1202 0.6690 0.2840 0.5034 0.3981 0.1086 0.3431 0.7409 0.5799 0.0993 294-AH 0.1146 0.6103 0.6516 0.6761 0.7504 0.6122 0.1274 0.0658 0.6358 0.2081 0.5875 0.5350 0.0776 0.5307 0.7504 0.6475 0.0473 295-AH 0.0865 0.2225 0.2866 0.3488 0.4605 0.2832 0.0844 0.1263 0.3741 0.2981 0.2693 0.2527 0.0681 0.0865 0.4605 0.2832 0.0844 296-AH 0.0009 0.2254 0.4203 0.5025 0.6561 0.3507 0.2124 0.2771 0.6553 0.6058 0.1545 0.0116 0.1747 0.0009 0.6561 0.3507 0.2124 297-AH 0.0100 0.3447 0.3819 0.4302 0.5305 0.3515 0.1257 0.0856 0.5205 0.3577 0.2867 0.1125 0.0882 0.2380 0.5305 0.3920 0.0607 298-AH 0.0391 0.1336 0.1976 0.2356 0.4265 0.1940 0.0884 0.1020 0.3874 0.4558 0.1731 0.1489 0.0679 0.0391 0.3564 0.1867 0.0792 299-AH 0.1518 0.3024 0.3684 0.4821 0.5644 0.3840 0.1097 0.1798 0.4126 0.2856 0.3668 0.3470 0.0867 0.1518 0.5644 0.3840 0.1097 300-AH 0.1027 0.2124 0.2401 0.2742 0.2954 0.2366 0.0437 0.0618 0.1927 0.1847 0.2318 0.2259 0.0336 0.1614 0.2954 0.2408 0.0371 301-AH 0.0001 0.0084 0.0114 0.3299 0.5282 0.1355 0.1972 0.3215 0.5281 1.4545 0.0255 0.0021 0.1748 0.0001 0.5282 0.1355 0.1972 302-AH 0.1663 0.2827 0.3406 0.4053 0.5091 0.3372 0.0937 0.1226 0.3427 0.2779 0.3230 0.3073 0.0751 0.1663 0.5091 0.3372 0.0937 303-AH 0.0462 0.2287 0.2993 0.3956 0.4714 0.2942 0.1281 0.1669 0.4253 0.4355 0.2530 0.1944 0.1011 0.0462 0.4714 0.2942 0.1281 304-AH 0.0429 0.2806 0.3227 0.3464 0.4169 0.3106 0.0747 0.0657 0.3739 0.2406 0.2936 0.2543 0.0491 0.2672 0.4169 0.3259 0.0434 305-AH 0.1699 0.2517 0.2912 0.3483 0.4324 0.3006 0.0753 0.0966 0.2625 0.2506 0.2912 0.2815 0.0612 0.1699 0.4324 0.3006 0.0753 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0183 0.2428 0.2807 0.3167 0.3783 0.2624 0.0843 0.0739 0.3600 0.3214 0.2377 0.1759 0.0622 0.1428 0.3783 0.2762 0.0655 308-AH 0.5228 0.6303 0.7424 0.7994 0.8344 0.7178 0.0886 0.1691 0.3116 0.1235 0.7122 0.7063 0.0755 0.5228 0.8344 0.7178 0.0886 309-AH 0.0002 0.0404 0.0485 0.0532 0.1225 0.0497 0.0254 0.0128 0.1223 0.5111 0.0357 0.0037 0.0162 0.0231 0.0610 0.0458 0.0090 310-AH 0.0265 0.0512 0.0732 0.1087 0.2519 0.0843 0.0451 0.0575 0.2253 0.5350 0.0741 0.0648 0.0343 0.0265 0.1410 0.0791 0.0342 311-AH 0.0841 0.2334 0.2782 0.3779 0.4424 0.2852 0.0967 0.1445 0.3584 0.3391 0.2657 0.2412 0.0779 0.0841 0.4424 0.2852 0.0967 312-AH 0.0372 0.4012 0.4925 0.6014 0.7577 0.4769 0.1573 0.2003 0.7205 0.3297 0.4334 0.3313 0.1227 0.1830 0.7577 0.4907 0.1382 313-AH 0.0033 0.0151 0.0498 0.1013 0.2693 0.0643 0.0661 0.0862 0.2660 1.0280 0.0375 0.0210 0.0490 0.0033 0.2199 0.0579 0.0558 314-AH 0.0001 0.0554 0.0655 0.0837 0.0991 0.0646 0.0239 0.0283 0.0990 0.3707 0.0450 0.0021 0.0172 0.0156 0.0991 0.0687 0.0178 315-AH 0.1376 0.2840 0.4044 0.4795 0.6023 0.3844 0.1370 0.1956 0.4647 0.3563 0.3571 0.3265 0.1100 0.1376 0.6023 0.3844 0.1370 316-AH 0.0257 0.0626 0.1338 0.1706 0.2414 0.1264 0.0617 0.1080 0.2157 0.4882 0.1085 0.0881 0.0525 0.0257 0.2414 0.1264 0.0617 317-AH 0.0000 0.1990 0.2192 0.2403 0.3027 0.2087 0.0646 0.0413 0.3027 0.3095 0.1254 0.0003 0.0399 0.1409 0.2895 0.2195 0.0343 318-AH 0.0269 0.0714 0.1607 0.2375 0.4258 0.1732 0.1173 0.1661 0.3989 0.6774 0.1359 0.1042 0.0926 0.0269 0.4258 0.1732 0.1173 319-AH 0.0683 0.2196 0.3197 0.4007 0.5478 0.3019 0.1306 0.1811 0.4795 0.4326 0.2670 0.2241 0.1046 0.0683 0.5478 0.3019 0.1306 320-AH 0.0025 0.0165 0.0275 0.0511 0.1155 0.0348 0.0263 0.0346 0.1130 0.7543 0.0243 0.0137 0.0210 0.0025 0.0917 0.0323 0.0223 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0179 0.0388 0.0513 0.0784 0.1687 0.0657 0.0411 0.0397 0.1507 0.6249 0.0560 0.0484 0.0307 0.0179 0.1079 0.0529 0.0225 323-AH 0.0450 0.2171 0.2672 0.3017 0.3789 0.2462 0.0776 0.0847 0.3339 0.3154 0.2268 0.1940 0.0592 0.0960 0.3789 0.2588 0.0609 324-AH 0.0000 0.0576 0.1880 0.4582 0.6989 0.2556 0.2229 0.4007 0.6989 0.8721 0.0662 0.0002 0.1958 0.0000 0.6989 0.2556 0.2229 325-AH 0.0506 0.4460 0.5234 0.6031 0.7297 0.5142 0.1284 0.1571 0.6791 0.2496 0.4838 0.3994 0.0901 0.2874 0.7297 0.5287 0.0993 326-AH 0.0000 0.2105 0.3788 0.5018 0.5410 0.3273 0.1819 0.2913 0.5410 0.5556 0.1469 0.0002 0.1551 0.0000 0.5410 0.3273 0.1819 327-AH 0.0003 0.0307 0.2070 0.4041 0.6778 0.2273 0.2077 0.3735 0.6775 0.9139 0.0769 0.0030 0.1796 0.0003 0.6778 0.2273 0.2077 328-AH 0.3525 0.4541 0.5193 0.6106 0.7948 0.5324 0.1127 0.1564 0.4423 0.2116 0.5213 0.5107 0.0921 0.3525 0.7948 0.5324 0.1127 329-AH 0.3537 0.5944 0.6433 0.6657 0.7984 0.6286 0.0817 0.0713 0.4447 0.1299 0.6227 0.6156 0.0566 0.5063 0.7236 0.6372 0.0536 330-AH 0.0480 0.5073 0.7789 0.8193 0.8510 0.6367 0.2769 0.3120 0.8030 0.4349 0.5068 0.2894 0.2276 0.0480 0.8510 0.6367 0.2769 331-AH 0.0000 0.1904 0.2586 0.3376 0.7367 0.2857 0.1791 0.1473 0.7367 0.6269 0.1538 0.0003 0.1258 0.0000 0.5574 0.2381 0.1294 332-AH 0.0004 0.2432 0.3816 0.4294 0.5438 0.3251 0.1579 0.1862 0.5434 0.4858 0.1874 0.0076 0.1275 0.0004 0.5438 0.3251 0.1579 333-AH 0.0000 0.9678 1.0000 1.0000 1.0000 0.8014 0.3852 0.0322 1.0000 0.4807 0.3350 0.0003 0.3051 1.0000 1.0000 1.0000 0.0000 334-AH 0.0899 0.1799 0.2328 0.3311 0.4735 0.2636 0.1109 0.1512 0.3836 0.4207 0.2407 0.2182 0.0937 0.0899 0.4735 0.2636 0.1109 335-AH 0.0490 0.1789 0.1959 0.2856 0.4612 0.2204 0.0894 0.1067 0.4122 0.4055 0.2019 0.1804 0.0685 0.0490 0.3992 0.2129 0.0795 336-AH 0.0000 0.0050 0.0180 0.1228 0.4912 0.0780 0.1098 0.1178 0.4912 1.4078 0.0106 0.0001 0.0834 0.0000 0.2626 0.0651 0.0822 337-AH 0.3846 0.7147 0.7966 0.8646 0.8942 0.7618 0.1288 0.1500 0.5096 0.1691 0.7488 0.7327 0.0975 0.5337 0.8942 0.7838 0.0968 338-AH 0.0000 0.4813 0.6742 0.7459 0.9558 0.5666 0.2571 0.2646 0.9558 0.4537 0.2810 0.0003 0.1996 0.1887 0.9558 0.6428 0.1607 339-AH 0.0000 0.4652 0.6254 0.7576 0.8205 0.5580 0.2677 0.2923 0.8205 0.4797 0.1538 0.0001 0.2065 0.0391 0.8205 0.6350 0.1769 340-AH 0.2295 0.3040 0.3711 0.5123 0.6833 0.4001 0.1162 0.2084 0.4538 0.2905 0.3848 0.3707 0.0947 0.2295 0.6833 0.4001 0.1162 236 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0325 0.7074 0.8490 0.9096 1.0000 0.7766 0.2470 0.2022 0.9675 0.3181 0.6582 0.3208 0.1663 0.6651 1.0000 0.8458 0.1107 342-AH 0.0002 0.3924 0.6441 0.7552 0.8167 0.5752 0.2176 0.3628 0.8165 0.3783 0.4079 0.0065 0.1773 0.0002 0.8167 0.5752 0.2176 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1087 0.4374 0.4643 0.5144 0.7158 0.4848 0.1256 0.0770 0.6071 0.2590 0.4648 0.4328 0.0857 0.3602 0.5603 0.4508 0.0503 345-AH 0.0004 0.0574 0.0902 0.2305 0.3698 0.1400 0.1053 0.1732 0.3694 0.7523 0.0859 0.0099 0.0909 0.0004 0.3698 0.1400 0.1053 346-AH 0.0000 0.0472 0.0721 0.0913 0.1627 0.0657 0.0383 0.0442 0.1627 0.5831 0.0362 0.0003 0.0310 0.0000 0.1126 0.0626 0.0346 347-AH 0.0116 0.0424 0.0559 0.1043 0.1841 0.0787 0.0510 0.0619 0.1724 0.6485 0.0644 0.0516 0.0415 0.0116 0.1841 0.0787 0.0510 348-AH 0.0000 0.4375 1.0000 1.0000 1.0000 0.7323 0.4324 0.5625 1.0000 0.5904 0.0594 0.0000 0.3731 0.0000 1.0000 0.7323 0.4324 349-AH 0.0760 0.2838 0.3883 0.4524 0.7948 0.4024 0.1823 0.1686 0.7189 0.4529 0.3628 0.3186 0.1369 0.0760 0.5775 0.3390 0.1085 350-AH 0.1578 0.5665 0.6459 0.6910 0.7226 0.6025 0.1264 0.1245 0.5648 0.2098 0.5827 0.5493 0.0927 0.4112 0.7226 0.6260 0.0848 237 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6970 0.4667 1.0000 1.0000 0.6696 0.0305 0.0000 0.4224 0.0000 1.0000 0.6970 0.4667 142-AH 0.1250 0.8125 0.8750 0.8750 0.8750 0.7765 0.1920 0.0625 0.7500 0.2473 0.7361 0.6543 0.1492 0.8750 0.8750 0.8750 0.0000 143-AH 0.4359 0.6410 0.7436 0.8205 0.8462 0.7102 0.1255 0.1795 0.4103 0.1768 0.6980 0.6843 0.1011 0.4359 0.8462 0.7102 0.1255 144-AH 0.0000 0.0000 0.3333 0.6667 0.6667 0.3838 0.2779 0.6667 0.6667 0.7240 0.0261 0.0000 0.2400 0.0000 0.6667 0.3838 0.2779 145-AH 0.4211 0.5263 0.5789 0.6579 0.6579 0.5821 0.0717 0.1316 0.2368 0.1232 0.5776 0.5728 0.0607 0.4211 0.6579 0.5821 0.0717 146-AH 0.0000 0.5000 0.5000 0.5000 0.5000 0.3939 0.2076 0.0000 0.5000 0.5269 0.0504 0.0000 0.1671 0.5000 0.5000 0.5000 0.0000 147-AH 0.3725 0.5882 0.6471 0.6912 0.8039 0.6399 0.1019 0.1029 0.4314 0.1592 0.6315 0.6223 0.0786 0.4902 0.8039 0.6483 0.0913 148-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1515 0.0487 0.0000 0.1667 0.3211 0.0689 0.0001 0.0275 0.1667 0.1667 0.1667 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.2250 0.4000 0.1152 0.1439 0.2250 0.4000 1.2495 0.0012 0.0000 0.1232 0.0000 0.4000 0.1152 0.1439 151-AH 0.0000 0.0000 0.3333 0.4167 0.5000 0.2273 0.1855 0.4167 0.5000 0.8162 0.0078 0.0000 0.1690 0.0000 0.5000 0.2273 0.1855 152-AH 0.0000 0.2727 0.3636 0.5455 0.7273 0.3912 0.2077 0.2727 0.7273 0.5308 0.1964 0.0002 0.1695 0.0000 0.7273 0.3912 0.2077 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.2381 0.3333 0.3929 0.5238 0.3117 0.1215 0.1548 0.5238 0.3897 0.2163 0.0003 0.0926 0.0476 0.5238 0.3214 0.1095 155-AH 0.0000 0.0000 0.0000 0.3333 0.3333 0.1111 0.1596 0.3333 0.3333 1.4361 0.0003 0.0000 0.1481 0.0000 0.3333 0.1111 0.1596 156-AH 0.0455 0.0795 0.1364 0.2273 0.4545 0.1639 0.1035 0.1477 0.4091 0.6314 0.1314 0.1019 0.0824 0.0455 0.3636 0.1548 0.0908 157-AH 0.0000 0.4191 0.5252 0.5629 0.6906 0.4521 0.1816 0.1439 0.6906 0.4017 0.2342 0.0002 0.1407 0.2518 0.6906 0.5177 0.0937 158-AH 0.0000 0.3824 0.4412 0.4706 0.7059 0.4394 0.1286 0.0882 0.7059 0.2927 0.3188 0.0003 0.0840 0.3235 0.5882 0.4401 0.0638 159-AH 0.0556 0.1991 0.2963 0.3935 0.6667 0.3019 0.1496 0.1944 0.6111 0.4954 0.2619 0.2161 0.1123 0.0556 0.6667 0.3019 0.1496 160-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0152 0.0870 0.0000 0.5000 5.7446 0.0000 0.0000 0.0294 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.2727 0.4523 1.0000 1.0000 1.6583 0.0002 0.0000 0.3967 0.0000 1.0000 0.2727 0.4523 163-AH 0.5820 0.7357 0.7705 0.7869 0.8443 0.7596 0.0569 0.0512 0.2623 0.0748 0.7573 0.7550 0.0389 0.7131 0.8443 0.7735 0.0355 164-AH 0.0000 0.0370 0.0741 0.1481 0.3704 0.1122 0.0960 0.1111 0.3704 0.8553 0.0333 0.0001 0.0711 0.0000 0.2963 0.0968 0.0757 165-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6970 0.4667 1.0000 1.0000 0.6696 0.0305 0.0000 0.4224 0.0000 1.0000 0.6970 0.4667 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1500 0.2000 0.2000 0.4000 0.1576 0.0969 0.0500 0.4000 0.6151 0.0185 0.0000 0.0764 0.2000 0.2000 0.2000 0.0000 168-AH 0.0000 0.3333 0.3889 0.4583 0.6111 0.3451 0.1847 0.1250 0.6111 0.5350 0.0752 0.0001 0.1418 0.3333 0.6111 0.4338 0.0703 169-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0303 0.0653 0.0000 0.1667 2.1542 0.0001 0.0000 0.0496 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8788 0.3314 0.0000 1.0000 0.3771 0.2477 0.0001 0.2130 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0000 0.1053 0.1579 0.2105 0.0893 0.0664 0.1579 0.2105 0.7437 0.0089 0.0000 0.0576 0.0000 0.2105 0.0893 0.0664 172-AH 0.0000 0.0000 0.1429 0.1429 0.2857 0.0952 0.0989 0.1429 0.2857 1.0383 0.0020 0.0000 0.0866 0.0000 0.2857 0.0952 0.0989 173-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9848 0.0870 0.0000 0.5000 0.0884 0.9792 0.9706 0.0294 1.0000 1.0000 1.0000 0.0000 174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9242 0.1821 0.0000 0.5000 0.1970 0.9003 0.8684 0.1286 1.0000 1.0000 1.0000 0.0000 175-AH 0.4286 0.5714 0.7143 0.7500 0.8571 0.6753 0.1301 0.1786 0.4286 0.1927 0.6629 0.6502 0.1118 0.4286 0.8571 0.6753 0.1301 176-AH 0.3333 0.6923 0.7949 0.8269 0.8718 0.7552 0.1036 0.1346 0.5385 0.1371 0.7461 0.7331 0.0767 0.6410 0.8718 0.7684 0.0718 177-AH 0.0000 0.2308 0.3846 0.4808 0.6923 0.3660 0.2116 0.2500 0.6923 0.5781 0.1328 0.0001 0.1601 0.0000 0.6923 0.3660 0.2116 178-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1288 0.1668 0.2500 0.5000 1.2950 0.0008 0.0000 0.1483 0.0000 0.5000 0.1288 0.1668 179-AH 0.0909 0.4091 0.5455 0.6364 0.9091 0.5138 0.1649 0.2273 0.8182 0.3209 0.4785 0.4231 0.1282 0.0909 0.9091 0.5138 0.1649 180-AH 0.0000 0.2250 0.5250 0.6312 0.7500 0.4447 0.2241 0.4062 0.7500 0.5040 0.2204 0.0002 0.1961 0.0000 0.7500 0.4447 0.2241 181-AH 0.4674 0.7364 0.7609 0.7935 0.8261 0.7302 0.0955 0.0571 0.3587 0.1307 0.7231 0.7147 0.0675 0.7174 0.8261 0.7709 0.0303 182-AH 0.0000 0.0000 0.2500 0.5000 0.7500 0.2121 0.2264 0.5000 0.7500 1.0673 0.0031 0.0000 0.1928 0.0000 0.7500 0.2121 0.2264 183-AH 0.0000 0.0000 0.0000 0.2500 0.2500 0.0758 0.1167 0.2500 0.2500 1.5401 0.0002 0.0000 0.1056 0.0000 0.2500 0.0758 0.1167 184-AH 0.1111 0.5556 0.5556 0.5556 0.6667 0.5219 0.1162 0.0000 0.5556 0.2226 0.4959 0.4400 0.0686 0.5556 0.5556 0.5556 0.0000 185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0909 0.2919 0.0000 1.0000 3.2113 0.0000 0.0000 0.1653 0.0000 0.0000 0.0000 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0606 0.2423 0.0000 1.0000 3.9980 0.0000 0.0000 0.1139 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.0000 0.6786 0.7143 0.8571 1.0000 0.7359 0.2372 0.1786 1.0000 0.3224 0.3893 0.0002 0.1621 0.5714 1.0000 0.7834 0.1469 190-AH 0.2222 0.4444 0.5556 0.6667 0.7778 0.5657 0.1426 0.2222 0.5556 0.2521 0.5458 0.5227 0.1133 0.2222 0.7778 0.5657 0.1426 238 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1667 0.3333 0.5000 0.6667 0.8333 0.5152 0.2139 0.3333 0.6667 0.4153 0.4643 0.4064 0.1708 0.1667 0.8333 0.5152 0.2139 193-AH 0.0000 0.2857 0.2857 0.4286 0.5714 0.3507 0.1077 0.1429 0.5714 0.3071 0.2562 0.0003 0.0882 0.2857 0.5714 0.3616 0.0888 194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1212 0.3314 0.0000 1.0000 2.7343 0.0000 0.0000 0.2130 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6364 0.4885 1.0000 1.0000 0.7676 0.0152 0.0000 0.4628 0.0000 1.0000 0.6364 0.4885 197-AH 0.0200 0.4100 0.5600 0.7650 0.8400 0.5273 0.2623 0.3550 0.8200 0.4974 0.3948 0.1857 0.2086 0.0200 0.8400 0.5273 0.2623 198-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6061 0.4962 1.0000 1.0000 0.8187 0.0107 0.0000 0.4775 0.0000 1.0000 0.6061 0.4962 199-AH 0.4000 0.4000 0.5000 0.6000 0.7000 0.5333 0.1164 0.2000 0.3000 0.2182 0.5210 0.5090 0.1030 0.4000 0.7000 0.5333 0.1164 200-AH 0.0000 0.4444 0.5556 0.6667 0.7778 0.5421 0.1920 0.2222 0.7778 0.3541 0.3734 0.0003 0.1400 0.1111 0.7778 0.5590 0.1681 251-AH 0.2000 0.4615 0.5077 0.5385 0.6000 0.4848 0.0962 0.0769 0.4000 0.1985 0.4719 0.4535 0.0650 0.4000 0.6000 0.5108 0.0500 252-AH 0.0000 0.3793 0.4483 0.4828 0.6207 0.4054 0.1198 0.1034 0.6207 0.2954 0.2895 0.0003 0.0796 0.3448 0.6207 0.4368 0.0623 253-AH 0.0474 0.2434 0.3474 0.4789 0.5211 0.3388 0.1523 0.2355 0.4737 0.4496 0.2874 0.2164 0.1245 0.0474 0.5211 0.3388 0.1523 254-AH 0.1441 0.2751 0.3144 0.3592 0.4148 0.3096 0.0677 0.0841 0.2707 0.2187 0.3013 0.2916 0.0510 0.1747 0.4148 0.3148 0.0618 255-AH 0.0000 0.2500 0.2500 0.3125 0.5000 0.2879 0.1414 0.0625 0.5000 0.4913 0.1178 0.0001 0.1028 0.2500 0.2500 0.2500 0.0000 256-AH 0.0000 0.4044 0.7059 0.7353 0.8235 0.5900 0.2636 0.3309 0.8235 0.4467 0.2223 0.0001 0.2184 0.0000 0.8235 0.5900 0.2636 257-AH 0.0317 0.2540 0.3016 0.3333 0.3810 0.2761 0.0928 0.0793 0.3492 0.3361 0.2447 0.1803 0.0661 0.2222 0.3810 0.3060 0.0459 258-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0303 0.0829 0.0000 0.2500 2.7343 0.0000 0.0000 0.0533 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.3333 0.6667 0.6667 0.6667 0.5152 0.2513 0.3333 0.6667 0.4877 0.1115 0.0001 0.2112 0.0000 0.6667 0.5152 0.2513 260-AH 0.0000 0.5556 0.5873 0.6190 0.6349 0.5512 0.1477 0.0635 0.6349 0.2679 0.3009 0.0002 0.0754 0.5238 0.6349 0.5910 0.0345 261-AH 0.0294 0.1765 0.2059 0.3529 0.5588 0.2576 0.1342 0.1765 0.5294 0.5209 0.2225 0.1791 0.1081 0.0294 0.5588 0.2576 0.1342 262-AH 0.0941 0.2206 0.3412 0.3882 0.5059 0.3030 0.1226 0.1676 0.4118 0.4045 0.2712 0.2334 0.1040 0.0941 0.5059 0.3030 0.1226 263-AH 0.0625 0.2240 0.2708 0.3125 0.3542 0.2494 0.0814 0.0885 0.2917 0.3266 0.2298 0.2006 0.0627 0.1250 0.3542 0.2674 0.0602 264-AH 0.0000 0.3636 0.5000 0.5455 0.5909 0.4353 0.1542 0.1818 0.5909 0.3542 0.2339 0.0002 0.1182 0.1818 0.5909 0.4633 0.1091 265-AH 0.0000 0.1667 0.5000 0.5417 0.6667 0.3737 0.2466 0.3750 0.6667 0.6598 0.0454 0.0000 0.2109 0.0000 0.6667 0.3737 0.2466 266-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0227 0.0730 0.0000 0.2500 3.2113 0.0000 0.0000 0.0413 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.2738 0.2857 0.3810 0.4286 0.2987 0.1012 0.1071 0.4286 0.3388 0.1658 0.0002 0.0740 0.1905 0.4286 0.3180 0.0678 268-AH 0.0000 0.3333 0.6667 0.6667 0.6667 0.4950 0.2651 0.3333 0.6667 0.5356 0.0797 0.0001 0.2290 0.0000 0.6667 0.4950 0.2651 269-AH 0.0000 0.1944 0.2222 0.3333 0.4444 0.2424 0.1092 0.1389 0.4444 0.4505 0.1685 0.0003 0.0863 0.0000 0.4444 0.2424 0.1092 270-AH 0.0175 0.4649 0.5789 0.6491 0.7193 0.5061 0.2018 0.1842 0.7018 0.3986 0.4065 0.1968 0.1524 0.2632 0.7193 0.5693 0.1112 271-AH 0.0417 0.4583 0.5000 0.5417 0.5833 0.4773 0.1220 0.0833 0.5417 0.2555 0.4422 0.3463 0.0794 0.4167 0.5833 0.5111 0.0512 272-AH 0.0000 0.1250 0.2143 0.2857 0.3571 0.1905 0.1021 0.1607 0.3571 0.5358 0.0599 0.0001 0.0808 0.0000 0.3571 0.1905 0.1021 273-AH 0.1687 0.5873 0.6747 0.7349 0.7831 0.6488 0.1204 0.1476 0.6145 0.1855 0.6316 0.6002 0.0857 0.5060 0.7831 0.6638 0.0854 274-AH 0.0000 0.2500 0.3125 0.3750 0.5000 0.2936 0.1293 0.1250 0.5000 0.4405 0.0925 0.0001 0.0946 0.1875 0.5000 0.3341 0.0714 275-AH 0.0000 0.3144 0.3939 0.4508 0.6212 0.3535 0.1582 0.1364 0.6212 0.4474 0.1731 0.0002 0.1163 0.1515 0.6212 0.4002 0.0996 276-AH 0.2712 0.4195 0.4746 0.5297 0.6102 0.4761 0.0778 0.1102 0.3390 0.1635 0.4694 0.4620 0.0612 0.2712 0.6102 0.4761 0.0778 277-AH 0.0769 0.2692 0.2692 0.3462 0.4615 0.2949 0.0825 0.0769 0.3846 0.2799 0.2810 0.2619 0.0637 0.1538 0.4615 0.3017 0.0738 278-AH 0.0952 0.1905 0.2381 0.3333 0.4286 0.2540 0.0986 0.1429 0.3333 0.3884 0.2332 0.2110 0.0856 0.0952 0.4286 0.2540 0.0986 279-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2652 0.1970 0.5000 0.5000 0.7431 0.0199 0.0000 0.1566 0.0000 0.5000 0.2652 0.1970 280-AH 0.0000 0.0000 0.0800 0.0900 0.2000 0.0655 0.0555 0.0900 0.2000 0.8481 0.0055 0.0000 0.0458 0.0000 0.2000 0.0655 0.0555 281-AH 0.0000 0.3274 0.3810 0.4643 0.6190 0.3766 0.1424 0.1369 0.6190 0.3781 0.2042 0.0002 0.1026 0.2381 0.6190 0.4009 0.1076 282-AH 0.0000 0.1855 0.2258 0.2903 0.3548 0.2239 0.0919 0.1048 0.3548 0.4107 0.0952 0.0001 0.0654 0.0968 0.3548 0.2462 0.0602 283-AH 0.0000 0.1842 0.3158 0.4276 0.6053 0.3174 0.1643 0.2434 0.6053 0.5178 0.1617 0.0002 0.1309 0.0000 0.6053 0.3174 0.1643 284-AH 0.3421 0.4408 0.4737 0.5263 0.6053 0.4793 0.0664 0.0855 0.2632 0.1385 0.4746 0.4696 0.0507 0.3421 0.6053 0.4793 0.0664 285-AH 0.0000 0.4239 0.6522 0.7283 0.7681 0.5529 0.2303 0.3043 0.7681 0.4166 0.2760 0.0002 0.1853 0.0000 0.7681 0.5529 0.2303 286-AH 0.0000 0.0000 0.0833 0.0833 0.1667 0.0556 0.0450 0.0833 0.1667 0.8101 0.0032 0.0000 0.0404 0.0000 0.1667 0.0556 0.0450 287-AH 0.0000 0.3673 0.4694 0.5102 0.5510 0.4143 0.1378 0.1429 0.5510 0.3326 0.2252 0.0002 0.0989 0.2041 0.5510 0.4411 0.0898 288-AH 0.0526 0.2303 0.3026 0.3750 0.5263 0.3002 0.1127 0.1447 0.4737 0.3755 0.2726 0.2333 0.0886 0.0526 0.5263 0.3002 0.1127 289-AH 0.0000 0.4306 0.6667 0.7222 0.7778 0.5185 0.2997 0.2917 0.7778 0.5780 0.0594 0.0000 0.2480 0.0000 0.7778 0.5185 0.2997 290-AH 0.0408 0.1582 0.3061 0.3724 0.4286 0.2696 0.1169 0.2143 0.3878 0.4335 0.2371 0.1951 0.1031 0.0408 0.4286 0.2696 0.1169 239 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.3667 0.5000 0.6167 0.7333 0.4657 0.2191 0.2500 0.7333 0.4706 0.1363 0.0001 0.1691 0.0000 0.7333 0.4657 0.2191 292-AH 0.0000 0.4375 0.5000 0.5000 1.0000 0.4773 0.2369 0.0625 1.0000 0.4963 0.1844 0.0001 0.1556 0.5000 0.5000 0.5000 0.0000 293-AH 0.1471 0.4632 0.5588 0.5882 0.7059 0.5294 0.1206 0.1250 0.5588 0.2278 0.5086 0.4738 0.0838 0.4118 0.7059 0.5531 0.0769 294-AH 0.2593 0.5833 0.6667 0.7037 0.7037 0.6218 0.1095 0.1204 0.4444 0.1760 0.6091 0.5915 0.0810 0.4444 0.7037 0.6428 0.0719 295-AH 0.1569 0.2892 0.3529 0.4314 0.4706 0.3500 0.0855 0.1422 0.3137 0.2443 0.3388 0.3266 0.0744 0.1569 0.4706 0.3500 0.0855 296-AH 0.0000 0.2708 0.4167 0.5000 0.5833 0.3548 0.2039 0.2292 0.5833 0.5747 0.0736 0.0001 0.1658 0.0000 0.5833 0.3548 0.2039 297-AH 0.0000 0.3333 0.4167 0.4167 0.5000 0.3485 0.1373 0.0833 0.5000 0.3941 0.1093 0.0001 0.0918 0.3333 0.5000 0.3966 0.0426 298-AH 0.0000 0.2000 0.2667 0.3000 0.4333 0.2556 0.0974 0.1000 0.4333 0.3812 0.1832 0.0003 0.0768 0.1000 0.4333 0.2635 0.0873 299-AH 0.2105 0.3388 0.3947 0.4737 0.5526 0.3951 0.0906 0.1349 0.3421 0.2293 0.3845 0.3732 0.0722 0.2105 0.5526 0.3951 0.0906 300-AH 0.0238 0.1905 0.2857 0.3155 0.3810 0.2612 0.0880 0.1250 0.3571 0.3369 0.2369 0.1856 0.0731 0.0238 0.3810 0.2612 0.0880 301-AH 0.0000 0.0000 0.0000 0.3125 0.5000 0.1383 0.2024 0.3125 0.5000 1.4638 0.0007 0.0000 0.1776 0.0000 0.5000 0.1383 0.2024 302-AH 0.2353 0.2941 0.3529 0.4118 0.5294 0.3512 0.0900 0.1176 0.2941 0.2564 0.3403 0.3298 0.0732 0.2353 0.5294 0.3512 0.0900 303-AH 0.0714 0.2143 0.3571 0.4286 0.5714 0.3225 0.1430 0.2143 0.5000 0.4434 0.2770 0.2158 0.1156 0.0714 0.5714 0.3225 0.1430 304-AH 0.0000 0.2667 0.3333 0.3333 0.4000 0.2970 0.0709 0.0667 0.4000 0.2387 0.2214 0.0003 0.0496 0.2000 0.4000 0.3062 0.0475 305-AH 0.2295 0.2951 0.3115 0.3648 0.4426 0.3338 0.0545 0.0697 0.2131 0.1632 0.3296 0.3254 0.0453 0.2295 0.4426 0.3338 0.0545 306-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6061 0.4962 1.0000 1.0000 0.8187 0.0107 0.0000 0.4775 0.0000 1.0000 0.6061 0.4962 307-AH 0.0909 0.2825 0.3766 0.4286 0.4675 0.3542 0.0970 0.1461 0.3766 0.2738 0.3357 0.3083 0.0787 0.0909 0.4675 0.3542 0.0970 308-AH 0.5455 0.6364 0.6364 0.7273 0.8182 0.6584 0.0788 0.0909 0.2727 0.1197 0.6538 0.6492 0.0653 0.5455 0.8182 0.6584 0.0788 309-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0273 0.0626 0.0000 0.2000 2.2958 0.0001 0.0000 0.0446 0.0000 0.0000 0.0000 0.0000 310-AH 0.0317 0.0635 0.1270 0.1587 0.3810 0.1222 0.0663 0.0952 0.3492 0.5430 0.1062 0.0907 0.0463 0.0317 0.2063 0.1141 0.0481 311-AH 0.1481 0.2778 0.3889 0.4259 0.5000 0.3608 0.0959 0.1481 0.3519 0.2658 0.3457 0.3271 0.0789 0.1481 0.5000 0.3608 0.0959 312-AH 0.0323 0.4113 0.4839 0.5887 0.6774 0.4829 0.1377 0.1774 0.6452 0.2851 0.4451 0.3320 0.1009 0.2581 0.6774 0.4970 0.1132 313-AH 0.0000 0.0000 0.0500 0.1625 0.2500 0.0848 0.0861 0.1625 0.2500 1.0152 0.0061 0.0000 0.0725 0.0000 0.2500 0.0848 0.0861 314-AH 0.0000 0.0000 0.0000 0.0556 0.1667 0.0253 0.0395 0.0556 0.1667 1.5644 0.0002 0.0000 0.0321 0.0000 0.1111 0.0208 0.0308 315-AH 0.2203 0.3729 0.4746 0.5636 0.6610 0.4643 0.1270 0.1907 0.4407 0.2736 0.4449 0.4229 0.0994 0.2203 0.6610 0.4643 0.1270 316-AH 0.0000 0.0678 0.1864 0.2267 0.3136 0.1638 0.0990 0.1589 0.3136 0.6045 0.0931 0.0003 0.0834 0.0000 0.3136 0.1638 0.0990 317-AH 0.0000 0.2333 0.3000 0.3333 0.4000 0.2758 0.0851 0.1000 0.4000 0.3086 0.1554 0.0002 0.0577 0.2000 0.4000 0.2935 0.0482 318-AH 0.0000 0.0000 0.1111 0.2222 0.4444 0.1448 0.1559 0.2222 0.4444 1.0766 0.0025 0.0000 0.1377 0.0000 0.4444 0.1448 0.1559 319-AH 0.0526 0.2500 0.3684 0.4211 0.5789 0.3222 0.1197 0.1711 0.5263 0.3715 0.2932 0.2510 0.0987 0.0526 0.5789 0.3222 0.1197 320-AH 0.0000 0.0000 0.0625 0.0625 0.1875 0.0549 0.0600 0.0625 0.1875 1.0929 0.0018 0.0000 0.0466 0.0000 0.1250 0.0417 0.0444 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0714 0.1429 0.2143 0.0693 0.0631 0.1429 0.2143 0.9110 0.0035 0.0000 0.0504 0.0000 0.2143 0.0693 0.0631 323-AH 0.0769 0.2308 0.2308 0.3077 0.4231 0.2483 0.0739 0.0769 0.3462 0.2977 0.2333 0.2114 0.0517 0.1538 0.4231 0.2654 0.0518 324-AH 0.0000 0.1047 0.2838 0.4628 0.6622 0.2998 0.2208 0.3581 0.6622 0.7366 0.0568 0.0001 0.1853 0.0000 0.6622 0.2998 0.2208 325-AH 0.1639 0.4385 0.5082 0.5574 0.7049 0.5027 0.0980 0.1189 0.5410 0.1949 0.4906 0.4726 0.0715 0.3934 0.7049 0.5133 0.0781 326-AH 0.0000 0.2500 0.5000 0.5000 0.5000 0.3485 0.1970 0.2500 0.5000 0.5654 0.0591 0.0001 0.1745 0.0000 0.5000 0.3485 0.1970 327-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1212 0.1668 0.2500 0.5000 1.3760 0.0006 0.0000 0.1469 0.0000 0.5000 0.1212 0.1668 328-AH 0.4348 0.5217 0.5652 0.6087 0.6957 0.5520 0.0549 0.0870 0.2609 0.0994 0.5494 0.5466 0.0434 0.4348 0.6957 0.5520 0.0549 329-AH 0.4118 0.5147 0.5882 0.6029 0.7647 0.5793 0.0954 0.0882 0.3529 0.1647 0.5719 0.5648 0.0714 0.4118 0.7059 0.5538 0.0695 330-AH 0.0588 0.5196 0.7059 0.7108 0.7647 0.5829 0.2272 0.1912 0.7059 0.3898 0.4866 0.3087 0.1801 0.2941 0.7647 0.6531 0.1293 331-AH 0.0000 0.1765 0.2353 0.3529 0.6471 0.2799 0.1783 0.1765 0.6471 0.6372 0.1363 0.0002 0.1350 0.0000 0.5882 0.2431 0.1405 332-AH 0.0000 0.2188 0.3750 0.3750 0.5000 0.2841 0.1508 0.1562 0.5000 0.5307 0.0859 0.0001 0.1240 0.0000 0.5000 0.2841 0.1508 333-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8000 0.3841 0.0500 1.0000 0.4801 0.1608 0.0001 0.3030 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2485 0.1326 0.2000 0.6000 0.5335 0.1015 0.0001 0.1039 0.0000 0.6000 0.2485 0.1326 335-AH 0.0000 0.2000 0.2000 0.2667 0.4667 0.2384 0.1054 0.0667 0.4667 0.4424 0.1667 0.0003 0.0759 0.1333 0.3333 0.2282 0.0468 336-AH 0.0000 0.0000 0.0588 0.1912 0.4706 0.0980 0.1210 0.1912 0.4706 1.2339 0.0024 0.0000 0.0998 0.0000 0.4706 0.0980 0.1210 337-AH 0.4500 0.6500 0.7500 0.8000 0.8000 0.7030 0.1075 0.1500 0.3500 0.1529 0.6939 0.6834 0.0844 0.4500 0.8000 0.7030 0.1075 338-AH 0.0000 0.4000 0.6000 0.7000 0.9000 0.5212 0.2329 0.3000 0.9000 0.4468 0.1528 0.0001 0.1756 0.0000 0.9000 0.5212 0.2329 339-AH 0.0000 0.4605 0.5789 0.6842 0.7895 0.5072 0.2382 0.2237 0.7895 0.4697 0.1114 0.0001 0.1786 0.3684 0.7895 0.5977 0.1055 340-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3818 0.1828 0.4000 0.6000 0.4787 0.1970 0.0002 0.1455 0.0000 0.6000 0.3818 0.1828 240 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1667 0.6667 0.8333 0.8333 1.0000 0.7424 0.2002 0.1667 0.8333 0.2697 0.6977 0.6168 0.1451 0.6667 1.0000 0.7944 0.1132 342-AH 0.0000 0.4453 0.6146 0.7292 0.7917 0.5578 0.1986 0.2839 0.7917 0.3561 0.2964 0.0002 0.1525 0.3542 0.7917 0.5937 0.1414 343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 344-AH 0.0303 0.4242 0.4848 0.5455 0.6667 0.4812 0.1190 0.1212 0.6364 0.2473 0.4484 0.3314 0.0848 0.3636 0.6667 0.4953 0.0886 345-AH 0.0000 0.0000 0.1111 0.2222 0.4444 0.1616 0.1524 0.2222 0.4444 0.9428 0.0077 0.0000 0.1292 0.0000 0.4444 0.1616 0.1524 346-AH 0.0000 0.0000 0.0000 0.0909 0.1818 0.0468 0.0606 0.0909 0.1818 1.2950 0.0005 0.0000 0.0539 0.0000 0.1818 0.0468 0.0606 347-AH 0.0000 0.0000 0.0000 0.1111 0.2222 0.0505 0.0627 0.1111 0.2222 1.2410 0.0005 0.0000 0.0582 0.0000 0.2222 0.0505 0.0627 348-AH 0.0000 0.3750 1.0000 1.0000 1.0000 0.7273 0.4346 0.6250 1.0000 0.5976 0.0588 0.0000 0.3802 0.0000 1.0000 0.7273 0.4346 349-AH 0.0741 0.2870 0.3704 0.4444 0.5926 0.3760 0.1320 0.1574 0.5185 0.3510 0.3473 0.3062 0.1007 0.0741 0.5926 0.3760 0.1320 350-AH 0.2000 0.5000 0.6000 0.7000 0.7000 0.5455 0.1438 0.2000 0.5000 0.2637 0.5217 0.4904 0.1168 0.3000 0.7000 0.5677 0.1166 241 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7273 0.4523 1.0000 1.0000 0.6219 0.0433 0.0000 0.3967 0.0000 1.0000 0.7273 0.4523 142-AH 0.1094 0.7891 0.8750 0.9219 0.9688 0.7846 0.2203 0.1328 0.8594 0.2808 0.7329 0.6314 0.1749 0.8594 0.9688 0.9000 0.0325 143-AH 0.5108 0.7124 0.8093 0.9224 0.9671 0.7921 0.1321 0.2101 0.4563 0.1668 0.7803 0.7673 0.1057 0.5108 0.9671 0.7921 0.1321 144-AH 0.0000 0.0000 0.4444 0.6667 0.6667 0.3670 0.2686 0.6667 0.6667 0.7318 0.0249 0.0000 0.2373 0.0000 0.6667 0.3670 0.2686 145-AH 0.4107 0.5324 0.5970 0.6331 0.6648 0.5792 0.0655 0.1008 0.2542 0.1131 0.5754 0.5713 0.0548 0.4107 0.6648 0.5792 0.0655 146-AH 0.0000 0.2500 0.5000 0.5000 0.5000 0.3561 0.2076 0.2500 0.5000 0.5830 0.0454 0.0000 0.1832 0.0000 0.5000 0.3561 0.2076 147-AH 0.3837 0.6277 0.7332 0.7779 0.8608 0.7028 0.1134 0.1501 0.4771 0.1614 0.6926 0.6808 0.0892 0.4825 0.8608 0.7128 0.0995 148-AH 0.0000 0.0833 0.1389 0.1667 0.2500 0.1221 0.0593 0.0833 0.2500 0.4859 0.0526 0.0001 0.0480 0.0000 0.2500 0.1221 0.0593 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0200 0.1450 0.2200 0.0658 0.0812 0.1450 0.2200 1.2355 0.0014 0.0000 0.0712 0.0000 0.2200 0.0658 0.0812 151-AH 0.0000 0.0000 0.2708 0.3455 0.4722 0.2077 0.1636 0.3455 0.4722 0.7878 0.0152 0.0000 0.1489 0.0000 0.4722 0.2077 0.1636 152-AH 0.0248 0.3099 0.3967 0.5496 0.7107 0.4097 0.1876 0.2397 0.6860 0.4579 0.3419 0.2122 0.1499 0.0248 0.7107 0.4097 0.1876 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.2211 0.3016 0.3498 0.4467 0.2764 0.1113 0.1287 0.4467 0.4029 0.1794 0.0003 0.0864 0.1043 0.4467 0.2941 0.0888 155-AH 0.0000 0.0000 0.0000 0.2222 0.4444 0.0909 0.1401 0.2222 0.4444 1.5416 0.0004 0.0000 0.1157 0.0000 0.4444 0.0909 0.1401 156-AH 0.0041 0.0806 0.1157 0.1885 0.4277 0.1404 0.0989 0.1080 0.4236 0.7046 0.1023 0.0503 0.0753 0.0041 0.3223 0.1314 0.0857 157-AH 0.0137 0.5733 0.5975 0.6533 0.7955 0.5697 0.1687 0.0800 0.7818 0.2962 0.4761 0.1675 0.1045 0.4799 0.7576 0.6203 0.0600 158-AH 0.0277 0.3501 0.4221 0.4913 0.8045 0.4310 0.1451 0.1412 0.7768 0.3367 0.3925 0.2887 0.1016 0.1981 0.6410 0.4220 0.0980 159-AH 0.0333 0.1481 0.2126 0.3392 0.8443 0.2657 0.1823 0.1912 0.8110 0.6863 0.2121 0.1605 0.1354 0.0333 0.5717 0.2476 0.1523 160-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0152 0.0870 0.0000 0.5000 5.7446 0.0000 0.0000 0.0294 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.2727 0.4523 1.0000 1.0000 1.6583 0.0002 0.0000 0.3967 0.0000 1.0000 0.2727 0.4523 163-AH 0.8688 0.9178 0.9268 0.9329 0.9496 0.9232 0.0159 0.0151 0.0808 0.0172 0.9231 0.9229 0.0115 0.8982 0.9496 0.9249 0.0128 164-AH 0.0000 0.0322 0.0727 0.1019 0.4321 0.0973 0.1125 0.0696 0.4321 1.1561 0.0302 0.0001 0.0764 0.0000 0.1385 0.0546 0.0373 165-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6970 0.4667 1.0000 1.0000 0.6696 0.0305 0.0000 0.4224 0.0000 1.0000 0.6970 0.4667 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0300 0.1600 0.2000 0.2800 0.1333 0.0876 0.1700 0.2800 0.6567 0.0158 0.0000 0.0743 0.0000 0.2800 0.1333 0.0876 168-AH 0.0278 0.2616 0.2932 0.4028 0.6389 0.2977 0.1562 0.1412 0.6111 0.5246 0.2353 0.1502 0.1148 0.0525 0.6019 0.3131 0.1268 169-AH 0.0000 0.0000 0.0000 0.0069 0.1667 0.0236 0.0492 0.0069 0.1667 2.0860 0.0001 0.0000 0.0357 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8788 0.3314 0.0000 1.0000 0.3771 0.2477 0.0001 0.2130 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0436 0.0720 0.0997 0.1551 0.0685 0.0390 0.0561 0.1551 0.5699 0.0295 0.0001 0.0325 0.0000 0.1551 0.0685 0.0390 172-AH 0.0000 0.0000 0.0408 0.1224 0.1837 0.0575 0.0609 0.1224 0.1837 1.0588 0.0023 0.0000 0.0541 0.0000 0.1837 0.0575 0.0609 173-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9848 0.0870 0.0000 0.5000 0.0884 0.9792 0.9706 0.0294 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.4694 0.6735 0.6939 0.8010 0.8571 0.7242 0.0897 0.1276 0.3878 0.1239 0.7185 0.7125 0.0726 0.6327 0.8571 0.7321 0.0784 176-AH 0.3346 0.7722 0.9047 0.9172 0.9375 0.8386 0.1169 0.1450 0.6029 0.1394 0.8273 0.8100 0.0848 0.7015 0.9375 0.8544 0.0753 177-AH 0.0059 0.2308 0.2722 0.4053 0.5858 0.3066 0.1709 0.1746 0.5799 0.5575 0.2361 0.1020 0.1347 0.0059 0.5858 0.3066 0.1709 178-AH 0.0000 0.0000 0.0625 0.3125 0.5000 0.1326 0.1696 0.3125 0.5000 1.2789 0.0017 0.0000 0.1431 0.0000 0.5000 0.1326 0.1696 179-AH 0.0620 0.3864 0.5496 0.6400 0.9897 0.5115 0.1967 0.2536 0.9277 0.3846 0.4599 0.3760 0.1537 0.0620 0.9897 0.5115 0.1967 180-AH 0.0000 0.1713 0.7063 0.8084 0.8406 0.5381 0.3233 0.6372 0.8406 0.6008 0.2330 0.0002 0.3010 0.0000 0.8406 0.5381 0.3233 181-AH 0.6576 0.8326 0.8608 0.8943 0.9203 0.8433 0.0739 0.0617 0.2626 0.0877 0.8398 0.8360 0.0523 0.8240 0.9203 0.8717 0.0287 182-AH 0.0000 0.0000 0.1250 0.2500 0.5625 0.1610 0.1782 0.2500 0.5625 1.1068 0.0026 0.0000 0.1529 0.0000 0.5625 0.1610 0.1782 183-AH 0.0000 0.0000 0.0000 0.1250 0.3750 0.0701 0.1218 0.1250 0.3750 1.7380 0.0002 0.0000 0.0981 0.0000 0.3125 0.0504 0.0960 184-AH 0.0741 0.4938 0.5432 0.5556 0.6173 0.5043 0.1193 0.0617 0.5432 0.2366 0.4720 0.3933 0.0701 0.4074 0.6173 0.5317 0.0493 185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0909 0.2919 0.0000 1.0000 3.2113 0.0000 0.0000 0.1653 0.0000 0.0000 0.0000 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0606 0.2423 0.0000 1.0000 3.9980 0.0000 0.0000 0.1139 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.3673 0.6480 0.8980 0.9796 1.0000 0.8052 0.1950 0.3316 0.6327 0.2421 0.7779 0.7459 0.1674 0.3673 1.0000 0.8052 0.1950 190-AH 0.2840 0.4568 0.5926 0.7160 0.8765 0.5937 0.1546 0.2593 0.5926 0.2605 0.5719 0.5477 0.1269 0.2840 0.8765 0.5937 0.1546 242 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1389 0.3333 0.5000 0.6667 0.9167 0.5210 0.2334 0.3333 0.7778 0.4480 0.4617 0.3951 0.1964 0.1389 0.9167 0.5210 0.2334 193-AH 0.0204 0.2857 0.2857 0.4286 0.5510 0.3426 0.1026 0.1429 0.5306 0.2996 0.3153 0.2285 0.0791 0.2653 0.5510 0.3527 0.0862 194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1212 0.3314 0.0000 1.0000 2.7343 0.0000 0.0000 0.2130 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6364 0.4885 1.0000 1.0000 0.7676 0.0152 0.0000 0.4628 0.0000 1.0000 0.6364 0.4885 197-AH 0.1136 0.4322 0.6616 0.8347 0.9516 0.6173 0.2519 0.4025 0.8380 0.4080 0.5479 0.4563 0.2115 0.1136 0.9516 0.6173 0.2519 198-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6061 0.4962 1.0000 1.0000 0.8187 0.0107 0.0000 0.4775 0.0000 1.0000 0.6061 0.4962 199-AH 0.3000 0.4450 0.5200 0.6625 0.7800 0.5406 0.1281 0.2175 0.4800 0.2370 0.5253 0.5095 0.1115 0.3000 0.7800 0.5406 0.1281 200-AH 0.0000 0.3796 0.5926 0.7037 0.7407 0.5271 0.2081 0.3241 0.7407 0.3948 0.3532 0.0003 0.1699 0.0000 0.7407 0.5271 0.2081 251-AH 0.2464 0.4974 0.5337 0.5583 0.5915 0.5160 0.0701 0.0609 0.3451 0.1358 0.5100 0.5019 0.0478 0.4348 0.5915 0.5335 0.0381 252-AH 0.1225 0.3335 0.3864 0.4700 0.6290 0.3896 0.0997 0.1364 0.5065 0.2559 0.3748 0.3555 0.0760 0.2033 0.6290 0.3979 0.0888 253-AH 0.1194 0.3994 0.5944 0.6676 0.6857 0.5208 0.1861 0.2682 0.5662 0.3574 0.4717 0.4022 0.1564 0.1194 0.6857 0.5208 0.1861 254-AH 0.2745 0.4895 0.5335 0.5900 0.6355 0.5314 0.0767 0.1005 0.3610 0.1443 0.5251 0.5174 0.0575 0.4110 0.6355 0.5394 0.0623 255-AH 0.0000 0.2500 0.2500 0.3281 0.5000 0.2765 0.1190 0.0781 0.5000 0.4305 0.1504 0.0002 0.0862 0.1875 0.4375 0.2857 0.0806 256-AH 0.0104 0.4552 0.8192 0.8452 0.8919 0.6620 0.2877 0.3899 0.8815 0.4347 0.4941 0.1396 0.2402 0.0104 0.8919 0.6620 0.2877 257-AH 0.1214 0.1982 0.2343 0.2655 0.3165 0.2314 0.0479 0.0673 0.1950 0.2069 0.2261 0.2203 0.0384 0.1214 0.3165 0.2314 0.0479 258-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0114 0.0290 0.0000 0.1250 2.5556 0.0000 0.0000 0.0193 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.4167 0.5556 0.6667 0.6667 0.4983 0.2242 0.2500 0.6667 0.4498 0.1895 0.0001 0.1806 0.1111 0.6667 0.5481 0.1649 260-AH 0.0146 0.6353 0.6715 0.6894 0.7223 0.6218 0.1622 0.0541 0.7077 0.2609 0.5235 0.1794 0.0862 0.5850 0.7223 0.6652 0.0374 261-AH 0.0588 0.1635 0.2189 0.3837 0.6099 0.2776 0.1502 0.2202 0.5510 0.5409 0.2409 0.2071 0.1235 0.0588 0.6099 0.2776 0.1502 262-AH 0.0926 0.2675 0.3841 0.4504 0.5430 0.3631 0.1178 0.1828 0.4504 0.3246 0.3391 0.3074 0.0994 0.0926 0.5430 0.3631 0.1178 263-AH 0.0773 0.1951 0.2170 0.2453 0.3016 0.2155 0.0558 0.0502 0.2244 0.2588 0.2061 0.1931 0.0388 0.1558 0.3016 0.2287 0.0378 264-AH 0.1901 0.3755 0.4917 0.5341 0.6198 0.4521 0.1090 0.1586 0.4298 0.2410 0.4368 0.4185 0.0910 0.1901 0.6198 0.4521 0.1090 265-AH 0.0000 0.1597 0.3333 0.5556 0.6667 0.3451 0.2232 0.3958 0.6667 0.6467 0.0934 0.0001 0.1956 0.0000 0.6667 0.3451 0.2232 266-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0189 0.0615 0.0000 0.2500 3.2464 0.0000 0.0000 0.0344 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.2239 0.2744 0.3367 0.4127 0.2639 0.0876 0.1128 0.4127 0.3318 0.1906 0.0003 0.0651 0.0726 0.4127 0.2722 0.0748 268-AH 0.0000 0.3333 0.6667 0.6667 0.6667 0.4714 0.2561 0.3333 0.6667 0.5434 0.0763 0.0001 0.2114 0.0000 0.6667 0.4714 0.2561 269-AH 0.0000 0.1204 0.1481 0.2469 0.3457 0.1766 0.0839 0.1265 0.3457 0.4753 0.1235 0.0003 0.0687 0.0000 0.3457 0.1766 0.0839 270-AH 0.1345 0.6486 0.6830 0.7188 0.7624 0.6397 0.1544 0.0702 0.6279 0.2413 0.6075 0.5490 0.0966 0.6147 0.7624 0.6935 0.0397 271-AH 0.0938 0.4392 0.4861 0.5299 0.5833 0.4602 0.1175 0.0907 0.4896 0.2554 0.4339 0.3854 0.0781 0.3854 0.5833 0.4930 0.0538 272-AH 0.0000 0.0765 0.1327 0.1480 0.2347 0.1141 0.0609 0.0714 0.2347 0.5339 0.0481 0.0001 0.0483 0.0000 0.2347 0.1141 0.0609 273-AH 0.1803 0.7432 0.7638 0.8015 0.9141 0.7532 0.1250 0.0583 0.7338 0.1660 0.7348 0.6962 0.0697 0.6566 0.8631 0.7646 0.0428 274-AH 0.0000 0.1699 0.2656 0.3164 0.4531 0.2341 0.1118 0.1465 0.4531 0.4774 0.0748 0.0001 0.0858 0.0000 0.4531 0.2341 0.1118 275-AH 0.0076 0.2926 0.3694 0.4559 0.6263 0.3560 0.1403 0.1632 0.6187 0.3942 0.2964 0.1310 0.1070 0.0725 0.6263 0.3773 0.1151 276-AH 0.3436 0.4208 0.4872 0.5613 0.6808 0.4893 0.0915 0.1405 0.3373 0.1870 0.4811 0.4730 0.0758 0.3436 0.6808 0.4893 0.0915 277-AH 0.0962 0.1686 0.1982 0.2615 0.4009 0.2140 0.0743 0.0928 0.3047 0.3472 0.2020 0.1904 0.0584 0.0962 0.3846 0.2082 0.0674 278-AH 0.1224 0.1678 0.2109 0.2817 0.4059 0.2288 0.0756 0.1139 0.2834 0.3304 0.2171 0.2061 0.0640 0.1224 0.4059 0.2288 0.0756 279-AH 0.0000 0.0625 0.1875 0.3750 0.6875 0.2292 0.1924 0.3125 0.6875 0.8397 0.0356 0.0001 0.1641 0.0000 0.6875 0.2292 0.1924 280-AH 0.0000 0.0144 0.0528 0.0668 0.1776 0.0470 0.0386 0.0524 0.1776 0.8206 0.0095 0.0001 0.0298 0.0000 0.0960 0.0429 0.0312 281-AH 0.0000 0.2754 0.3464 0.4393 0.5720 0.3454 0.1418 0.1640 0.5720 0.4107 0.1855 0.0002 0.1084 0.1769 0.5720 0.3677 0.1140 282-AH 0.0000 0.1642 0.1904 0.2315 0.4277 0.1896 0.0876 0.0674 0.4277 0.4618 0.0809 0.0001 0.0600 0.0791 0.2986 0.2010 0.0525 283-AH 0.0083 0.1645 0.2659 0.3911 0.5907 0.2937 0.1593 0.2266 0.5824 0.5424 0.2333 0.1200 0.1285 0.0083 0.5907 0.2937 0.1593 284-AH 0.3054 0.4138 0.4661 0.5161 0.5949 0.4613 0.0702 0.1023 0.2895 0.1522 0.4557 0.4499 0.0558 0.3054 0.5949 0.4613 0.0702 285-AH 0.0000 0.4669 0.7232 0.8238 0.8736 0.6223 0.2453 0.3569 0.8736 0.3943 0.3202 0.0002 0.2003 0.0000 0.8736 0.6223 0.2453 286-AH 0.0000 0.0052 0.0556 0.0764 0.1597 0.0495 0.0381 0.0712 0.1597 0.7705 0.0070 0.0000 0.0302 0.0000 0.1597 0.0495 0.0381 287-AH 0.1741 0.3476 0.3836 0.4344 0.4598 0.3707 0.0811 0.0868 0.2857 0.2188 0.3598 0.3462 0.0612 0.2199 0.4598 0.3884 0.0604 288-AH 0.1747 0.2124 0.2600 0.3659 0.5525 0.3016 0.1085 0.1535 0.3778 0.3597 0.2847 0.2702 0.0894 0.1747 0.5525 0.3016 0.1085 289-AH 0.0000 0.4321 0.7068 0.7778 0.8272 0.5521 0.3206 0.3457 0.8272 0.5807 0.0740 0.0001 0.2643 0.0000 0.8272 0.5521 0.3206 290-AH 0.0262 0.0957 0.2491 0.2981 0.4323 0.2265 0.1157 0.2024 0.4061 0.5109 0.1900 0.1461 0.0985 0.0262 0.4323 0.2265 0.1157 243 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.3719 0.5733 0.6383 0.8356 0.4897 0.2378 0.2664 0.8356 0.4856 0.1411 0.0001 0.1886 0.0000 0.8356 0.4897 0.2378 292-AH 0.0000 0.4062 0.5000 0.7500 1.0000 0.5473 0.2907 0.3438 1.0000 0.5310 0.1998 0.0001 0.2373 0.0000 1.0000 0.5473 0.2907 293-AH 0.3209 0.4818 0.5640 0.6066 0.7067 0.5409 0.0932 0.1248 0.3858 0.1722 0.5320 0.5219 0.0748 0.3209 0.7067 0.5409 0.0932 294-AH 0.2387 0.6235 0.6708 0.6934 0.7750 0.6265 0.1225 0.0700 0.5364 0.1955 0.6096 0.5848 0.0842 0.5364 0.7750 0.6713 0.0440 295-AH 0.1680 0.2928 0.3564 0.3850 0.4829 0.3389 0.0696 0.0923 0.3149 0.2054 0.3312 0.3226 0.0570 0.1680 0.4829 0.3389 0.0696 296-AH 0.0139 0.2335 0.4028 0.4679 0.6372 0.3446 0.1892 0.2344 0.6233 0.5489 0.2412 0.1079 0.1547 0.0139 0.6372 0.3446 0.1892 297-AH 0.0000 0.3177 0.4028 0.4115 0.4514 0.3396 0.1293 0.0938 0.4514 0.3807 0.1737 0.0002 0.0909 0.2917 0.4514 0.3841 0.0467 298-AH 0.0000 0.1303 0.2133 0.2464 0.4167 0.2070 0.0963 0.1161 0.4167 0.4653 0.1452 0.0003 0.0715 0.0000 0.4167 0.2070 0.0963 299-AH 0.1967 0.3076 0.4207 0.5176 0.5680 0.4050 0.1065 0.2100 0.3714 0.2630 0.3908 0.3763 0.0911 0.1967 0.5680 0.4050 0.1065 300-AH 0.0459 0.1373 0.2143 0.2904 0.3469 0.2127 0.0892 0.1531 0.3010 0.4194 0.1898 0.1619 0.0761 0.0459 0.3469 0.2127 0.0892 301-AH 0.0000 0.0000 0.0000 0.3086 0.5312 0.1325 0.1948 0.3086 0.5312 1.4706 0.0009 0.0000 0.1714 0.0000 0.5312 0.1325 0.1948 302-AH 0.2215 0.2604 0.3149 0.3538 0.4740 0.3175 0.0683 0.0934 0.2526 0.2153 0.3107 0.3041 0.0543 0.2215 0.4740 0.3175 0.0683 303-AH 0.0357 0.2079 0.2959 0.3686 0.4490 0.2788 0.1255 0.1607 0.4133 0.4501 0.2352 0.1704 0.1015 0.0357 0.4490 0.2788 0.1255 304-AH 0.1778 0.2656 0.2933 0.3122 0.3733 0.2892 0.0393 0.0467 0.1956 0.1358 0.2864 0.2835 0.0299 0.2489 0.3733 0.2926 0.0343 305-AH 0.2239 0.2638 0.2795 0.3192 0.3848 0.2941 0.0432 0.0554 0.1610 0.1470 0.2911 0.2882 0.0358 0.2239 0.3848 0.2941 0.0432 306-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6061 0.4962 1.0000 1.0000 0.8187 0.0107 0.0000 0.4775 0.0000 1.0000 0.6061 0.4962 307-AH 0.1734 0.3286 0.3584 0.3940 0.5689 0.3590 0.0831 0.0654 0.3955 0.2316 0.3493 0.3388 0.0591 0.2321 0.4299 0.3469 0.0550 308-AH 0.4876 0.6033 0.7025 0.7438 0.8182 0.6769 0.0883 0.1405 0.3306 0.1305 0.6711 0.6649 0.0745 0.4876 0.8182 0.6769 0.0883 309-AH 0.0000 0.0000 0.0000 0.0000 0.1300 0.0136 0.0340 0.0000 0.1300 2.4924 0.0000 0.0000 0.0223 0.0000 0.0000 0.0000 0.0000 310-AH 0.0317 0.0598 0.0965 0.1170 0.4172 0.0982 0.0662 0.0571 0.3855 0.6745 0.0847 0.0737 0.0370 0.0317 0.1413 0.0882 0.0337 311-AH 0.1553 0.2718 0.3316 0.3973 0.4455 0.3243 0.0844 0.1255 0.2901 0.2603 0.3124 0.2991 0.0675 0.1553 0.4455 0.3243 0.0844 312-AH 0.1519 0.4105 0.4641 0.5702 0.7357 0.4846 0.1257 0.1597 0.5838 0.2595 0.4655 0.4407 0.1010 0.2685 0.7357 0.4950 0.1124 313-AH 0.0000 0.0087 0.0300 0.1069 0.2425 0.0635 0.0709 0.0981 0.2425 1.1174 0.0086 0.0000 0.0577 0.0000 0.2425 0.0635 0.0709 314-AH 0.0000 0.0000 0.0000 0.0278 0.1111 0.0153 0.0237 0.0278 0.1111 1.5435 0.0003 0.0000 0.0177 0.0000 0.0494 0.0123 0.0165 315-AH 0.2025 0.3545 0.4499 0.5332 0.7371 0.4500 0.1511 0.1787 0.5346 0.3358 0.4237 0.3955 0.1135 0.2025 0.7371 0.4500 0.1511 316-AH 0.0014 0.1415 0.2211 0.2860 0.5147 0.2058 0.1072 0.1445 0.5132 0.5208 0.1548 0.0353 0.0828 0.0014 0.3123 0.1961 0.0932 317-AH 0.0000 0.1933 0.2244 0.2517 0.3178 0.2166 0.0658 0.0583 0.3178 0.3038 0.1558 0.0003 0.0438 0.1533 0.3178 0.2298 0.0402 318-AH 0.0000 0.0000 0.0494 0.1759 0.3704 0.1006 0.1185 0.1759 0.3704 1.1771 0.0019 0.0000 0.1018 0.0000 0.3704 0.1006 0.1185 319-AH 0.0997 0.2147 0.3158 0.3712 0.5014 0.3025 0.1007 0.1565 0.4017 0.3327 0.2842 0.2635 0.0828 0.0997 0.5014 0.3025 0.1007 320-AH 0.0000 0.0000 0.0195 0.0518 0.1680 0.0314 0.0371 0.0518 0.1680 1.1836 0.0024 0.0000 0.0278 0.0000 0.1016 0.0271 0.0283 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0408 0.1033 0.4286 0.0747 0.1054 0.1033 0.4286 1.4115 0.0038 0.0000 0.0708 0.0000 0.2041 0.0522 0.0567 323-AH 0.0444 0.1982 0.2249 0.2633 0.3728 0.2227 0.0636 0.0651 0.3284 0.2859 0.2098 0.1885 0.0434 0.1376 0.3062 0.2326 0.0371 324-AH 0.0000 0.1292 0.2538 0.4810 0.7750 0.3149 0.2260 0.3519 0.7750 0.7179 0.1394 0.0002 0.1894 0.0000 0.7750 0.3149 0.2260 325-AH 0.2696 0.4674 0.5351 0.5759 0.7165 0.5312 0.0924 0.1085 0.4469 0.1740 0.5228 0.5133 0.0688 0.4109 0.7165 0.5394 0.0808 326-AH 0.0000 0.2344 0.3750 0.5000 0.5000 0.3182 0.1851 0.2656 0.5000 0.5818 0.0544 0.0001 0.1567 0.0000 0.5000 0.3182 0.1851 327-AH 0.0000 0.0000 0.0000 0.2656 0.5625 0.1250 0.1616 0.2656 0.5625 1.2930 0.0010 0.0000 0.1364 0.0000 0.5625 0.1250 0.1616 328-AH 0.3384 0.4570 0.5236 0.5959 0.7769 0.5212 0.0978 0.1389 0.4386 0.1876 0.5123 0.5035 0.0779 0.3384 0.7769 0.5212 0.0978 329-AH 0.3529 0.5415 0.5779 0.6202 0.7612 0.5773 0.0889 0.0787 0.4083 0.1539 0.5700 0.5618 0.0626 0.4533 0.7197 0.5862 0.0632 330-AH 0.2926 0.7133 0.7901 0.8333 0.8443 0.7219 0.1612 0.1201 0.5517 0.2234 0.6982 0.6667 0.1235 0.5648 0.8443 0.7826 0.0710 331-AH 0.0000 0.1021 0.1765 0.3002 0.6609 0.2288 0.1819 0.1981 0.6609 0.7951 0.1350 0.0003 0.1453 0.0000 0.5813 0.2153 0.1672 332-AH 0.0625 0.1992 0.2656 0.3125 0.4531 0.2595 0.0917 0.1133 0.3906 0.3534 0.2397 0.2144 0.0719 0.0625 0.4531 0.2595 0.0917 333-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.7952 0.3928 0.0500 1.0000 0.4940 0.1531 0.0001 0.3107 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.1400 0.2000 0.2800 0.4400 0.1964 0.1246 0.1400 0.4400 0.6348 0.0745 0.0001 0.0937 0.0000 0.4400 0.1964 0.1246 335-AH 0.0000 0.1367 0.1689 0.2233 0.3511 0.1810 0.0870 0.0867 0.3511 0.4804 0.1264 0.0003 0.0663 0.0667 0.3511 0.1867 0.0819 336-AH 0.0000 0.0000 0.0346 0.1427 0.4602 0.0780 0.1039 0.1427 0.4602 1.3323 0.0031 0.0000 0.0815 0.0000 0.2353 0.0661 0.0793 337-AH 0.4050 0.6956 0.8075 0.8756 0.9075 0.7653 0.1285 0.1800 0.5025 0.1679 0.7526 0.7371 0.0999 0.4525 0.9075 0.7766 0.1128 338-AH 0.0000 0.4300 0.5800 0.6950 0.9500 0.5136 0.2443 0.2650 0.9500 0.4756 0.1486 0.0001 0.1904 0.1900 0.9500 0.5845 0.1591 339-AH 0.0000 0.4308 0.5928 0.6662 0.7812 0.5151 0.2295 0.2354 0.7812 0.4455 0.1512 0.0001 0.1743 0.2798 0.7812 0.5861 0.1306 340-AH 0.0000 0.1600 0.2800 0.4400 0.6400 0.2776 0.1571 0.2800 0.6400 0.5661 0.1409 0.0002 0.1287 0.0000 0.6400 0.2776 0.1571 244 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1667 0.6667 0.8333 0.8681 1.0000 0.7567 0.2170 0.2014 0.8333 0.2867 0.7038 0.6091 0.1568 0.6389 1.0000 0.8139 0.1212 342-AH 0.0442 0.4853 0.7076 0.8006 0.8563 0.6458 0.1921 0.3153 0.8122 0.2974 0.5923 0.4427 0.1525 0.0442 0.8563 0.6458 0.1921 343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 344-AH 0.0193 0.4017 0.4555 0.4927 0.6676 0.4572 0.1237 0.0909 0.6483 0.2705 0.4195 0.2696 0.0825 0.3205 0.5601 0.4367 0.0586 345-AH 0.0000 0.0000 0.1111 0.2130 0.3457 0.1149 0.1107 0.2130 0.3457 0.9635 0.0070 0.0000 0.0951 0.0000 0.3457 0.1149 0.1107 346-AH 0.0000 0.0000 0.0000 0.0372 0.1322 0.0223 0.0363 0.0372 0.1322 1.6281 0.0003 0.0000 0.0289 0.0000 0.0826 0.0163 0.0277 347-AH 0.0000 0.0000 0.0000 0.0988 0.1358 0.0412 0.0504 0.0988 0.1358 1.2247 0.0006 0.0000 0.0469 0.0000 0.1358 0.0412 0.0504 348-AH 0.0000 0.3750 1.0000 1.0000 1.0000 0.7273 0.4346 0.6250 1.0000 0.5976 0.0588 0.0000 0.3802 0.0000 1.0000 0.7273 0.4346 349-AH 0.0974 0.2270 0.3278 0.3762 0.7298 0.3401 0.1649 0.1492 0.6324 0.4848 0.3044 0.2713 0.1217 0.0974 0.4829 0.2820 0.0945 350-AH 0.1800 0.4950 0.5900 0.6400 0.6700 0.5415 0.1389 0.1450 0.4900 0.2566 0.5173 0.4835 0.1083 0.3300 0.6700 0.5740 0.0959 245 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.2727 1.0000 1.0000 1.0000 1.0000 0.9704 0.1326 0.0000 0.7273 0.1366 0.9530 0.9167 0.0556 1.0000 1.0000 1.0000 0.0000 143-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 144-AH 0.0092 0.2778 1.0000 1.0000 1.0000 0.6889 0.4159 0.7222 0.9908 0.6037 0.4064 0.1117 0.3771 0.0092 1.0000 0.6889 0.4159 145-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 146-AH 0.0114 0.5000 1.0000 1.0000 1.0000 0.7394 0.3460 0.5000 0.9886 0.4679 0.5796 0.2171 0.3159 0.0114 1.0000 0.7394 0.3460 147-AH 0.6897 1.0000 1.0000 1.0000 1.0000 0.9906 0.0540 0.0000 0.3103 0.0545 0.9888 0.9865 0.0182 1.0000 1.0000 1.0000 0.0000 148-AH 0.0099 0.2500 0.5000 1.0000 1.0000 0.5997 0.3650 0.7500 0.9901 0.6086 0.4487 0.1828 0.3397 0.0099 1.0000 0.5997 0.3650 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0675 0.1667 0.3409 0.5000 0.2020 0.1619 0.2734 0.5000 0.8015 0.0983 0.0003 0.1370 0.0000 0.5000 0.2020 0.1619 151-AH 0.0027 0.1136 0.5000 1.0000 1.0000 0.5622 0.4257 0.8864 0.9973 0.7571 0.2787 0.0487 0.3942 0.0027 1.0000 0.5622 0.4257 152-AH 0.0059 1.0000 1.0000 1.0000 1.0000 0.8655 0.3094 0.0000 0.9941 0.3576 0.6455 0.0922 0.2202 1.0000 1.0000 1.0000 0.0000 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0952 1.0000 1.0000 1.0000 1.0000 0.9301 0.2204 0.0000 0.9048 0.2370 0.8535 0.6304 0.1186 1.0000 1.0000 1.0000 0.0000 155-AH 0.0714 0.1667 0.2500 0.3750 1.0000 0.3070 0.2210 0.2083 0.9286 0.7197 0.2533 0.2150 0.1590 0.0714 0.5000 0.2623 0.1341 156-AH 0.0667 0.2135 0.3333 0.5250 1.0000 0.4209 0.2994 0.3115 0.9333 0.7113 0.3203 0.2344 0.2401 0.0667 0.6667 0.3175 0.1819 157-AH 0.0021 0.6833 1.0000 1.0000 1.0000 0.7554 0.3237 0.3167 0.9979 0.4285 0.5238 0.0433 0.2534 0.2857 1.0000 0.8485 0.2117 158-AH 0.0026 1.0000 1.0000 1.0000 1.0000 0.9460 0.1961 0.0000 0.9974 0.2073 0.8093 0.0789 0.0982 1.0000 1.0000 1.0000 0.0000 159-AH 0.1111 0.9187 1.0000 1.0000 1.0000 0.8427 0.3036 0.0813 0.8889 0.3602 0.7351 0.5441 0.2368 0.8889 1.0000 0.9930 0.0254 160-AH 0.0364 0.0588 0.0833 0.2000 1.0000 0.1423 0.1781 0.1412 0.9636 1.2514 0.0971 0.0767 0.1072 0.0364 0.3333 0.1155 0.0909 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.8750 1.0000 1.0000 1.0000 1.0000 0.9962 0.0218 0.0000 0.1250 0.0218 0.9960 0.9957 0.0073 1.0000 1.0000 1.0000 0.0000 164-AH 0.0610 0.1148 0.2000 0.4136 1.0000 0.3108 0.2908 0.2988 0.9390 0.9357 0.2193 0.1655 0.2184 0.0610 0.5000 0.2157 0.1393 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1917 0.5000 1.0000 1.0000 0.5683 0.4013 0.8083 1.0000 0.7062 0.2154 0.0002 0.3663 0.0000 1.0000 0.5683 0.4013 168-AH 0.0056 0.4436 0.4857 0.5402 1.0000 0.4817 0.2956 0.0966 0.9944 0.6137 0.2760 0.0459 0.1982 0.4412 0.6667 0.5052 0.0572 169-AH 0.0013 0.0495 0.0769 0.1335 1.0000 0.1183 0.1726 0.0841 0.9987 1.4593 0.0581 0.0132 0.0884 0.0013 0.2500 0.0907 0.0700 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0023 0.0358 0.3333 1.0000 1.0000 0.4740 0.4216 0.9642 0.9977 0.8893 0.1926 0.0273 0.3841 0.0023 1.0000 0.4740 0.4216 172-AH 0.0472 0.1250 0.2000 0.3083 0.5000 0.2271 0.1283 0.1833 0.4528 0.5648 0.1930 0.1613 0.1044 0.0472 0.5000 0.2271 0.1283 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9924 0.0435 0.0000 0.2500 0.0439 0.9913 0.9900 0.0147 1.0000 1.0000 1.0000 0.0000 176-AH 0.4167 1.0000 1.0000 1.0000 1.0000 0.9823 0.1015 0.0000 0.5833 0.1034 0.9738 0.9593 0.0343 1.0000 1.0000 1.0000 0.0000 177-AH 0.0153 0.4821 1.0000 1.0000 1.0000 0.7400 0.3274 0.5179 0.9847 0.4424 0.5772 0.2261 0.2837 0.0153 1.0000 0.7400 0.3274 178-AH 0.0000 0.0503 0.1667 0.6250 1.0000 0.3471 0.3949 0.5747 1.0000 1.1377 0.0887 0.0002 0.3258 0.0000 1.0000 0.3471 0.3949 179-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9697 0.1212 0.0000 0.5000 0.1249 0.9589 0.9429 0.0569 1.0000 1.0000 1.0000 0.0000 180-AH 0.0133 0.4643 1.0000 1.0000 1.0000 0.7271 0.3386 0.5357 0.9867 0.4657 0.5630 0.2157 0.2952 0.0133 1.0000 0.7271 0.3386 181-AH 0.6190 1.0000 1.0000 1.0000 1.0000 0.9631 0.1023 0.0000 0.3810 0.1062 0.9567 0.9489 0.0648 1.0000 1.0000 1.0000 0.0000 182-AH 0.0353 0.1313 0.3333 0.6667 1.0000 0.4050 0.3172 0.5354 0.9647 0.7832 0.2701 0.1614 0.2732 0.0353 1.0000 0.4050 0.3172 183-AH 0.0184 0.0683 0.2353 0.3500 1.0000 0.3061 0.3248 0.2817 0.9816 1.0610 0.1644 0.0780 0.2411 0.0184 0.5000 0.1822 0.1412 184-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9571 0.1719 0.0000 0.7500 0.1797 0.9275 0.8684 0.0807 1.0000 1.0000 1.0000 0.0000 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0054 1.0000 1.0000 1.0000 1.0000 0.9200 0.2262 0.0000 0.9946 0.2459 0.7873 0.1483 0.1309 1.0000 1.0000 1.0000 0.0000 190-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9924 0.0435 0.0000 0.2500 0.0439 0.9913 0.9900 0.0147 1.0000 1.0000 1.0000 0.0000 246 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9369 0.1573 0.0000 0.5000 0.1679 0.9194 0.8959 0.1071 1.0000 1.0000 1.0000 0.0000 193-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9488 0.1776 0.0000 0.8571 0.1872 0.9119 0.8148 0.0931 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0549 0.8571 1.0000 1.0000 1.0000 0.8076 0.3530 0.1429 0.9451 0.4371 0.6378 0.3609 0.2916 1.0000 1.0000 1.0000 0.0000 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.5000 0.6500 1.0000 1.0000 1.0000 0.8405 0.1995 0.3500 0.5000 0.2373 0.8146 0.7866 0.1836 0.5000 1.0000 0.8405 0.1995 200-AH 0.0441 0.7024 1.0000 1.0000 1.0000 0.8526 0.2593 0.2976 0.9559 0.3041 0.7647 0.5118 0.2055 0.3333 1.0000 0.8997 0.1828 251-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 252-AH 0.0285 0.9583 1.0000 1.0000 1.0000 0.8887 0.2530 0.0417 0.9715 0.2847 0.7783 0.4115 0.1687 1.0000 1.0000 1.0000 0.0000 253-AH 0.2500 0.6563 1.0000 1.0000 1.0000 0.8441 0.2165 0.3437 0.7500 0.2564 0.8079 0.7581 0.1854 0.2500 1.0000 0.8441 0.2165 254-AH 0.2258 0.4964 0.5000 0.7500 1.0000 0.5900 0.2235 0.2536 0.7742 0.3787 0.5506 0.5128 0.1798 0.2258 1.0000 0.5900 0.2235 255-AH 0.0833 0.6250 1.0000 1.0000 1.0000 0.8334 0.2927 0.3750 0.9167 0.3512 0.7379 0.5546 0.2423 0.0833 1.0000 0.8334 0.2927 256-AH 0.0011 1.0000 1.0000 1.0000 1.0000 0.8601 0.3061 0.0000 0.9989 0.3559 0.5936 0.0289 0.2205 1.0000 1.0000 1.0000 0.0000 257-AH 0.3250 0.5000 0.6667 1.0000 1.0000 0.6891 0.2318 0.5000 0.6750 0.3364 0.6510 0.6140 0.1989 0.3250 1.0000 0.6891 0.2318 258-AH 0.0030 0.0144 0.0769 0.2000 0.3333 0.1029 0.0983 0.1856 0.3303 0.9550 0.0484 0.0165 0.0821 0.0030 0.3333 0.1029 0.0983 259-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8056 0.3536 0.3333 1.0000 0.4389 0.3433 0.0002 0.2827 0.5000 1.0000 0.9405 0.1519 260-AH 0.0015 1.0000 1.0000 1.0000 1.0000 0.9259 0.2446 0.0000 0.9985 0.2642 0.6649 0.0247 0.1303 1.0000 1.0000 1.0000 0.0000 261-AH 0.2000 0.6667 0.7500 1.0000 1.0000 0.7922 0.2152 0.3333 0.8000 0.2716 0.7558 0.7041 0.1889 0.2000 1.0000 0.7922 0.2152 262-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9769 0.0858 0.0000 0.4286 0.0878 0.9721 0.9656 0.0420 1.0000 1.0000 1.0000 0.0000 263-AH 0.2857 0.4594 1.0000 1.0000 1.0000 0.7315 0.2916 0.5406 0.7143 0.3987 0.6666 0.5999 0.2767 0.2857 1.0000 0.7315 0.2916 264-AH 0.0241 1.0000 1.0000 1.0000 1.0000 0.9264 0.2456 0.0000 0.9759 0.2651 0.7975 0.3489 0.1338 1.0000 1.0000 1.0000 0.0000 265-AH 0.0044 0.3235 1.0000 1.0000 1.0000 0.7079 0.4133 0.6765 0.9956 0.5838 0.3844 0.0529 0.3722 0.0044 1.0000 0.7079 0.4133 266-AH 0.0044 0.0205 0.0714 0.1899 1.0000 0.1379 0.1997 0.1694 0.9956 1.4485 0.0629 0.0293 0.1291 0.0044 0.2500 0.0850 0.0804 267-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9198 0.2481 0.0000 1.0000 0.2697 0.6118 0.0003 0.1409 1.0000 1.0000 1.0000 0.0000 268-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.7822 0.3722 0.3333 1.0000 0.4758 0.3218 0.0002 0.3036 0.5000 1.0000 0.9444 0.1387 269-AH 0.1579 0.3333 0.4286 0.5000 1.0000 0.4636 0.2106 0.1667 0.8421 0.4543 0.4255 0.3932 0.1543 0.1579 0.6667 0.4099 0.1273 270-AH 0.0297 0.9643 1.0000 1.0000 1.0000 0.8730 0.2907 0.0357 0.9703 0.3329 0.7305 0.3647 0.1924 1.0000 1.0000 1.0000 0.0000 271-AH 0.2727 1.0000 1.0000 1.0000 1.0000 0.9477 0.1713 0.0000 0.7273 0.1807 0.9218 0.8761 0.0952 1.0000 1.0000 1.0000 0.0000 272-AH 0.0323 0.2452 0.2941 0.4071 1.0000 0.3256 0.2192 0.1620 0.9677 0.6732 0.2544 0.1744 0.1433 0.0323 0.5000 0.2821 0.1378 273-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 274-AH 0.0209 0.4821 0.6667 0.7500 1.0000 0.5663 0.2409 0.2679 0.9791 0.4254 0.4478 0.2097 0.1859 0.3125 1.0000 0.6374 0.1516 275-AH 0.0013 0.5000 1.0000 1.0000 1.0000 0.7489 0.3403 0.5000 0.9987 0.4544 0.4981 0.0329 0.2913 0.0013 1.0000 0.7489 0.3403 276-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9749 0.0784 0.0000 0.3333 0.0804 0.9712 0.9667 0.0441 1.0000 1.0000 1.0000 0.0000 277-AH 0.1333 0.3122 0.3750 0.5000 1.0000 0.4772 0.2657 0.1878 0.8667 0.5569 0.4205 0.3762 0.2026 0.1333 0.6154 0.3610 0.0990 278-AH 0.1667 1.0000 1.0000 1.0000 1.0000 0.8919 0.2450 0.0000 0.8333 0.2746 0.8310 0.7174 0.1769 1.0000 1.0000 1.0000 0.0000 279-AH 0.0312 0.2000 0.5000 1.0000 1.0000 0.5357 0.3670 0.8000 0.9688 0.6851 0.3597 0.1797 0.3250 0.0312 1.0000 0.5357 0.3670 280-AH 0.0019 0.0607 0.1250 0.2500 0.5000 0.1661 0.1329 0.1893 0.4981 0.8004 0.1062 0.0336 0.1057 0.0019 0.5000 0.1661 0.1329 281-AH 0.0000 0.8125 1.0000 1.0000 1.0000 0.8565 0.2835 0.1875 1.0000 0.3310 0.4444 0.0002 0.2087 0.5385 1.0000 0.9463 0.1290 282-AH 0.0037 0.5000 1.0000 1.0000 1.0000 0.6908 0.3571 0.5000 0.9963 0.5170 0.4342 0.0459 0.3186 0.0037 1.0000 0.6908 0.3571 283-AH 0.0148 1.0000 1.0000 1.0000 1.0000 0.8884 0.2812 0.0000 0.9852 0.3166 0.7231 0.2355 0.1826 1.0000 1.0000 1.0000 0.0000 284-AH 0.4762 1.0000 1.0000 1.0000 1.0000 0.9589 0.1346 0.0000 0.5238 0.1404 0.9458 0.9270 0.0748 1.0000 1.0000 1.0000 0.0000 285-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8798 0.2837 0.0000 1.0000 0.3224 0.4556 0.0002 0.1967 1.0000 1.0000 1.0000 0.0000 286-AH 0.0010 0.0608 0.2000 0.3750 1.0000 0.2880 0.3079 0.3142 0.9990 1.0692 0.1355 0.0185 0.2323 0.0010 0.5000 0.1898 0.1611 287-AH 0.0446 0.7292 1.0000 1.0000 1.0000 0.8292 0.2642 0.2708 0.9554 0.3186 0.7190 0.4043 0.2071 0.5000 1.0000 0.8798 0.1755 288-AH 0.1250 0.3235 0.5000 1.0000 1.0000 0.6338 0.3373 0.6765 0.8750 0.5322 0.5297 0.4222 0.3107 0.1250 1.0000 0.6338 0.3373 289-AH 0.0000 0.6942 1.0000 1.0000 1.0000 0.7515 0.4234 0.3058 1.0000 0.5633 0.2169 0.0002 0.3564 0.9000 1.0000 0.9868 0.0312 290-AH 0.1341 0.2273 0.3684 0.5744 1.0000 0.4268 0.2431 0.3471 0.8659 0.5695 0.3668 0.3164 0.1940 0.1341 1.0000 0.4268 0.2431 247 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0171 1.0000 1.0000 1.0000 1.0000 0.8816 0.3238 0.0000 0.9829 0.3673 0.6321 0.1588 0.2081 1.0000 1.0000 1.0000 0.0000 292-AH 0.0081 1.0000 1.0000 1.0000 1.0000 0.8787 0.2972 0.0000 0.9919 0.3383 0.7036 0.1744 0.2059 1.0000 1.0000 1.0000 0.0000 293-AH 0.2667 0.8333 1.0000 1.0000 1.0000 0.8941 0.1995 0.1667 0.7333 0.2232 0.8585 0.7989 0.1412 0.7143 1.0000 0.9494 0.0908 294-AH 0.3889 1.0000 1.0000 1.0000 1.0000 0.9427 0.1668 0.0000 0.6111 0.1769 0.9207 0.8872 0.1007 1.0000 1.0000 1.0000 0.0000 295-AH 0.3810 0.8512 1.0000 1.0000 1.0000 0.9226 0.1472 0.1488 0.6190 0.1595 0.9072 0.8854 0.1125 0.6667 1.0000 0.9396 0.1123 296-AH 0.0081 0.5312 0.6667 0.7778 1.0000 0.5819 0.3098 0.2465 0.9919 0.5325 0.3609 0.0906 0.2506 0.2500 1.0000 0.7281 0.1333 297-AH 0.0164 1.0000 1.0000 1.0000 1.0000 0.8698 0.2964 0.0000 0.9836 0.3408 0.6934 0.2149 0.2052 1.0000 1.0000 1.0000 0.0000 298-AH 0.0796 0.3281 0.5556 0.6667 1.0000 0.5472 0.2591 0.3386 0.9204 0.4735 0.4785 0.3943 0.2094 0.0796 1.0000 0.5472 0.2591 299-AH 0.4667 1.0000 1.0000 1.0000 1.0000 0.9460 0.1532 0.0000 0.5333 0.1619 0.9288 0.9047 0.0950 1.0000 1.0000 1.0000 0.0000 300-AH 0.2500 0.5000 0.6667 1.0000 1.0000 0.6976 0.2700 0.5000 0.7500 0.3870 0.6396 0.5760 0.2383 0.2500 1.0000 0.6976 0.2700 301-AH 0.0012 0.0392 0.0714 1.0000 1.0000 0.3468 0.4406 0.9608 0.9988 1.2705 0.1113 0.0233 0.3959 0.0012 1.0000 0.3468 0.4406 302-AH 0.5000 0.6667 0.8333 1.0000 1.0000 0.8113 0.1800 0.3333 0.5000 0.2218 0.7910 0.7701 0.1642 0.5000 1.0000 0.8113 0.1800 303-AH 0.0714 1.0000 1.0000 1.0000 1.0000 0.8780 0.2624 0.0000 0.9286 0.2988 0.7846 0.5477 0.1922 1.0000 1.0000 1.0000 0.0000 304-AH 0.1111 1.0000 1.0000 1.0000 1.0000 0.9557 0.1813 0.0000 0.8889 0.1897 0.9119 0.7795 0.0831 1.0000 1.0000 1.0000 0.0000 305-AH 0.4545 0.7708 1.0000 1.0000 1.0000 0.8913 0.1905 0.2292 0.5455 0.2137 0.8662 0.8355 0.1582 0.4545 1.0000 0.8913 0.1905 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.2000 0.4811 0.6000 1.0000 1.0000 0.6533 0.2376 0.5189 0.8000 0.3637 0.6105 0.5655 0.1939 0.2000 1.0000 0.6533 0.2376 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0020 0.0714 0.0769 0.0942 0.3333 0.0997 0.0746 0.0227 0.3314 0.7479 0.0731 0.0244 0.0471 0.0417 0.1143 0.0783 0.0160 310-AH 0.0483 0.2500 0.5000 0.5000 1.0000 0.4532 0.2857 0.2500 0.9517 0.6304 0.3537 0.2451 0.2154 0.0483 0.6667 0.3556 0.1775 311-AH 0.3333 0.5178 0.6000 0.8762 1.0000 0.6714 0.2050 0.3583 0.6667 0.3053 0.6429 0.6165 0.1665 0.3333 1.0000 0.6714 0.2050 312-AH 0.5000 0.8000 1.0000 1.0000 1.0000 0.9022 0.1555 0.2000 0.5000 0.1723 0.8865 0.8679 0.1304 0.5556 1.0000 0.9147 0.1399 313-AH 0.0206 0.0578 0.1235 0.3333 1.0000 0.2480 0.3045 0.2756 0.9794 1.2278 0.1362 0.0829 0.2214 0.0206 0.4000 0.1443 0.1185 314-AH 0.0023 0.0955 0.1167 0.1429 0.3333 0.1184 0.0562 0.0474 0.3310 0.4746 0.0926 0.0287 0.0359 0.0272 0.1667 0.1190 0.0310 315-AH 0.7273 1.0000 1.0000 1.0000 1.0000 0.9495 0.0994 0.0000 0.2727 0.1047 0.9438 0.9376 0.0796 1.0000 1.0000 1.0000 0.0000 316-AH 0.0732 0.2460 0.5000 1.0000 1.0000 0.5575 0.3609 0.7540 0.9268 0.6473 0.4250 0.2998 0.3226 0.0732 1.0000 0.5575 0.3609 317-AH 0.0000 0.5000 0.6250 1.0000 1.0000 0.6728 0.2905 0.5000 1.0000 0.4318 0.4007 0.0003 0.2380 0.0000 1.0000 0.6728 0.2905 318-AH 0.0373 0.1009 0.2143 0.5000 1.0000 0.3567 0.3264 0.3991 0.9627 0.9150 0.2322 0.1533 0.2672 0.0373 1.0000 0.3567 0.3264 319-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9848 0.0870 0.0000 0.5000 0.0884 0.9792 0.9706 0.0294 1.0000 1.0000 1.0000 0.0000 320-AH 0.0094 0.0588 0.1163 0.1797 0.5000 0.1360 0.1122 0.1209 0.4906 0.8249 0.0915 0.0512 0.0862 0.0094 0.3333 0.1246 0.0926 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0463 0.1031 0.1429 0.3333 1.0000 0.2775 0.2955 0.2302 0.9537 1.0649 0.1812 0.1310 0.2130 0.0463 0.5000 0.1779 0.1224 323-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9798 0.1161 0.0000 0.6667 0.1184 0.9673 0.9429 0.0392 1.0000 1.0000 1.0000 0.0000 324-AH 0.0000 0.6458 1.0000 1.0000 1.0000 0.7521 0.3911 0.3542 1.0000 0.5200 0.2795 0.0002 0.3208 0.3125 1.0000 0.9161 0.1857 325-AH 0.2258 1.0000 1.0000 1.0000 1.0000 0.9558 0.1499 0.0000 0.7742 0.1568 0.9331 0.8830 0.0776 1.0000 1.0000 1.0000 0.0000 326-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7329 0.3821 0.5000 1.0000 0.5214 0.3153 0.0002 0.3400 0.0000 1.0000 0.7329 0.3821 327-AH 0.0012 0.0582 0.3333 0.5000 1.0000 0.3767 0.3639 0.4418 0.9988 0.9659 0.1409 0.0107 0.2900 0.0012 1.0000 0.3767 0.3639 328-AH 0.5000 0.6250 0.7000 1.0000 1.0000 0.7928 0.1905 0.3750 0.5000 0.2403 0.7704 0.7484 0.1816 0.5000 1.0000 0.7928 0.1905 329-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9721 0.1120 0.0000 0.5000 0.1152 0.9631 0.9503 0.0524 1.0000 1.0000 1.0000 0.0000 330-AH 0.0813 0.9808 1.0000 1.0000 1.0000 0.8664 0.2819 0.0192 0.9187 0.3254 0.7558 0.5103 0.2059 1.0000 1.0000 1.0000 0.0000 331-AH 0.0000 0.3250 0.4000 1.0000 1.0000 0.5061 0.3261 0.6750 1.0000 0.6443 0.2875 0.0003 0.2694 0.0000 1.0000 0.5061 0.3261 332-AH 0.0028 0.9167 1.0000 1.0000 1.0000 0.8370 0.3296 0.0833 0.9972 0.3938 0.5441 0.0426 0.2470 1.0000 1.0000 1.0000 0.0000 333-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8123 0.3765 0.0000 1.0000 0.4635 0.3754 0.0003 0.2957 1.0000 1.0000 1.0000 0.0000 334-AH 0.1667 0.3750 0.5000 1.0000 1.0000 0.6267 0.3239 0.6250 0.8333 0.5168 0.5359 0.4470 0.2965 0.1667 1.0000 0.6267 0.3239 335-AH 0.0909 0.5000 1.0000 1.0000 1.0000 0.8007 0.2865 0.5000 0.9091 0.3578 0.7213 0.5841 0.2536 0.0909 1.0000 0.8007 0.2865 336-AH 0.0000 0.0282 0.0909 0.5417 1.0000 0.3212 0.3820 0.5135 1.0000 1.1891 0.0441 0.0001 0.3320 0.0000 1.0000 0.3212 0.3820 337-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 338-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8666 0.3294 0.0000 1.0000 0.3801 0.4683 0.0003 0.2264 1.0000 1.0000 1.0000 0.0000 339-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8353 0.3635 0.0000 1.0000 0.4352 0.2233 0.0001 0.2695 1.0000 1.0000 1.0000 0.0000 340-AH 0.2857 0.4000 0.5000 0.8125 1.0000 0.5899 0.2511 0.4125 0.7143 0.4256 0.5447 0.5076 0.2091 0.2857 1.0000 0.5899 0.2511 248 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1667 1.0000 1.0000 1.0000 1.0000 0.9343 0.2163 0.0000 0.8333 0.2315 0.8785 0.7500 0.1194 1.0000 1.0000 1.0000 0.0000 342-AH 0.0053 1.0000 1.0000 1.0000 1.0000 0.9324 0.2370 0.0000 0.9947 0.2542 0.7678 0.1359 0.1188 1.0000 1.0000 1.0000 0.0000 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1494 1.0000 1.0000 1.0000 1.0000 0.9742 0.1481 0.0000 0.8506 0.1520 0.9440 0.8529 0.0500 1.0000 1.0000 1.0000 0.0000 345-AH 0.0033 0.1111 0.2222 0.5179 1.0000 0.3828 0.3424 0.4067 0.9967 0.8944 0.2150 0.0548 0.2883 0.0033 1.0000 0.3828 0.3424 346-AH 0.0000 0.0629 0.0952 0.1705 0.5000 0.1286 0.1114 0.1075 0.5000 0.8657 0.0642 0.0003 0.0836 0.0000 0.2500 0.1026 0.0731 347-AH 0.0233 0.0751 0.1026 0.5000 1.0000 0.3122 0.3576 0.4249 0.9767 1.1457 0.1665 0.1010 0.2957 0.0233 1.0000 0.3122 0.3576 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.2778 0.4662 1.0000 1.0000 1.0000 0.8022 0.2843 0.5338 0.7222 0.3544 0.7354 0.6536 0.2518 0.2778 1.0000 0.8022 0.2843 350-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9798 0.0808 0.0000 0.3333 0.0824 0.9757 0.9706 0.0380 1.0000 1.0000 1.0000 0.0000 249 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.2727 1.0000 1.0000 1.0000 1.0000 0.9704 0.1326 0.0000 0.7273 0.1366 0.9530 0.9167 0.0556 1.0000 1.0000 1.0000 0.0000 143-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9939 0.0348 0.0000 0.2000 0.0350 0.9933 0.9925 0.0118 1.0000 1.0000 1.0000 0.0000 144-AH 0.0092 0.2778 1.0000 1.0000 1.0000 0.6889 0.4159 0.7222 0.9908 0.6037 0.4064 0.1117 0.3771 0.0092 1.0000 0.6889 0.4159 145-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9949 0.0290 0.0000 0.1667 0.0292 0.9945 0.9940 0.0098 1.0000 1.0000 1.0000 0.0000 146-AH 0.0114 0.5000 1.0000 1.0000 1.0000 0.7394 0.3460 0.5000 0.9886 0.4679 0.5796 0.2171 0.3159 0.0114 1.0000 0.7394 0.3460 147-AH 0.6897 0.8750 1.0000 1.0000 1.0000 0.9507 0.0872 0.1250 0.3103 0.0918 0.9464 0.9416 0.0718 0.6897 1.0000 0.9507 0.0872 148-AH 0.0099 0.2500 0.5000 1.0000 1.0000 0.5997 0.3650 0.7500 0.9901 0.6086 0.4487 0.1828 0.3397 0.0099 1.0000 0.5997 0.3650 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0675 0.1667 0.3409 0.5000 0.2020 0.1619 0.2734 0.5000 0.8015 0.0983 0.0003 0.1370 0.0000 0.5000 0.2020 0.1619 151-AH 0.0027 0.1136 0.5000 0.8125 1.0000 0.4865 0.3800 0.6989 0.9973 0.7811 0.2506 0.0484 0.3331 0.0027 1.0000 0.4865 0.3800 152-AH 0.0048 0.4000 1.0000 1.0000 1.0000 0.7589 0.3527 0.6000 0.9952 0.4648 0.5290 0.0754 0.3068 0.0048 1.0000 0.7589 0.3527 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0952 0.4792 0.8333 1.0000 1.0000 0.7154 0.3121 0.5208 0.9048 0.4362 0.6060 0.4438 0.2656 0.0952 1.0000 0.7154 0.3121 155-AH 0.0714 0.1667 0.2500 0.3750 1.0000 0.3070 0.2210 0.2083 0.9286 0.7197 0.2533 0.2150 0.1590 0.0714 0.5000 0.2623 0.1341 156-AH 0.0192 0.0961 0.2381 0.3141 1.0000 0.2350 0.1919 0.2180 0.9808 0.8168 0.1656 0.0985 0.1307 0.0192 0.6000 0.2110 0.1362 157-AH 0.0000 0.5747 0.6792 0.7530 1.0000 0.6093 0.2568 0.1782 1.0000 0.4215 0.3058 0.0002 0.1928 0.3333 1.0000 0.7009 0.1401 158-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.9012 0.2090 0.2000 1.0000 0.2319 0.6483 0.0003 0.1377 0.7143 1.0000 0.9464 0.0950 159-AH 0.0920 0.2660 0.3750 0.7500 1.0000 0.4821 0.2934 0.4840 0.9080 0.6085 0.3951 0.3167 0.2565 0.0920 1.0000 0.4821 0.2934 160-AH 0.0364 0.0588 0.0833 0.2000 1.0000 0.1423 0.1781 0.1412 0.9636 1.2514 0.0971 0.0767 0.1072 0.0364 0.3333 0.1155 0.0909 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.8182 1.0000 1.0000 1.0000 1.0000 0.9867 0.0442 0.0000 0.1818 0.0448 0.9857 0.9845 0.0233 1.0000 1.0000 1.0000 0.0000 164-AH 0.0255 0.0947 0.1579 0.2191 1.0000 0.2124 0.2026 0.1243 0.9745 0.9541 0.1571 0.1204 0.1297 0.0255 0.4000 0.1509 0.0823 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1917 0.5000 1.0000 1.0000 0.5683 0.4013 0.8083 1.0000 0.7062 0.2154 0.0002 0.3663 0.0000 1.0000 0.5683 0.4013 168-AH 0.0056 0.4380 0.4857 0.5385 1.0000 0.4400 0.2593 0.1004 0.9944 0.5894 0.2413 0.0425 0.1807 0.4286 0.6667 0.5171 0.0726 169-AH 0.0013 0.0495 0.0769 0.1335 1.0000 0.1183 0.1726 0.0841 0.9987 1.4593 0.0581 0.0132 0.0884 0.0013 0.2500 0.0907 0.0700 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0352 0.1538 0.2292 0.6667 0.1770 0.1711 0.1939 0.6667 0.9668 0.0625 0.0002 0.1213 0.0000 0.5000 0.1454 0.1192 172-AH 0.0472 0.1250 0.2000 0.3083 0.5000 0.2271 0.1283 0.1833 0.4528 0.5648 0.1930 0.1613 0.1044 0.0472 0.5000 0.2271 0.1283 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9924 0.0435 0.0000 0.2500 0.0439 0.9913 0.9900 0.0147 1.0000 1.0000 1.0000 0.0000 176-AH 0.4167 1.0000 1.0000 1.0000 1.0000 0.9823 0.1015 0.0000 0.5833 0.1034 0.9738 0.9593 0.0343 1.0000 1.0000 1.0000 0.0000 177-AH 0.0153 0.3846 0.5833 1.0000 1.0000 0.5799 0.3418 0.6154 0.9847 0.5894 0.4135 0.1809 0.2874 0.0153 1.0000 0.5799 0.3418 178-AH 0.0000 0.0503 0.1667 0.6250 1.0000 0.3471 0.3949 0.5747 1.0000 1.1377 0.0887 0.0002 0.3258 0.0000 1.0000 0.3471 0.3949 179-AH 0.1765 0.9063 1.0000 1.0000 1.0000 0.9029 0.2099 0.0937 0.8235 0.2325 0.8605 0.7795 0.1420 0.8333 1.0000 0.9756 0.0563 180-AH 0.0133 0.3620 0.8000 1.0000 1.0000 0.6617 0.3261 0.6380 0.9867 0.4929 0.5087 0.2063 0.2819 0.0133 1.0000 0.6617 0.3261 181-AH 0.6190 0.9111 0.9600 1.0000 1.0000 0.9268 0.0988 0.0889 0.3810 0.1066 0.9209 0.9140 0.0683 0.8776 1.0000 0.9596 0.0415 182-AH 0.0353 0.1313 0.3333 0.6667 1.0000 0.4050 0.3172 0.5354 0.9647 0.7832 0.2701 0.1614 0.2732 0.0353 1.0000 0.4050 0.3172 183-AH 0.0184 0.0683 0.2353 0.3500 1.0000 0.3061 0.3248 0.2817 0.9816 1.0610 0.1644 0.0780 0.2411 0.0184 0.5000 0.1822 0.1412 184-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9571 0.1719 0.0000 0.7500 0.1797 0.9275 0.8684 0.0807 1.0000 1.0000 1.0000 0.0000 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0054 1.0000 1.0000 1.0000 1.0000 0.9200 0.2262 0.0000 0.9946 0.2459 0.7873 0.1483 0.1309 1.0000 1.0000 1.0000 0.0000 190-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9924 0.0435 0.0000 0.2500 0.0439 0.9913 0.9900 0.0147 1.0000 1.0000 1.0000 0.0000 250 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9369 0.1573 0.0000 0.5000 0.1679 0.9194 0.8959 0.1071 1.0000 1.0000 1.0000 0.0000 193-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9488 0.1776 0.0000 0.8571 0.1872 0.9119 0.8148 0.0931 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0459 0.7946 1.0000 1.0000 1.0000 0.8035 0.3550 0.2054 0.9541 0.4418 0.6228 0.3233 0.2926 0.9167 1.0000 0.9967 0.0167 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.5000 0.6500 1.0000 1.0000 1.0000 0.8405 0.1995 0.3500 0.5000 0.2373 0.8146 0.7866 0.1836 0.5000 1.0000 0.8405 0.1995 200-AH 0.0441 0.7024 1.0000 1.0000 1.0000 0.8526 0.2593 0.2976 0.9559 0.3041 0.7647 0.5118 0.2055 0.3333 1.0000 0.8997 0.1828 251-AH 0.4000 0.9444 1.0000 1.0000 1.0000 0.9471 0.1446 0.0556 0.6000 0.1527 0.9299 0.9019 0.0737 0.8750 1.0000 0.9824 0.0326 252-AH 0.0285 0.5958 0.7500 1.0000 1.0000 0.7145 0.2707 0.4042 0.9715 0.3789 0.6018 0.3185 0.2120 0.0285 1.0000 0.7145 0.2707 253-AH 0.0335 0.4324 0.6897 0.8279 0.8800 0.5919 0.2833 0.3955 0.8465 0.4787 0.4579 0.2421 0.2361 0.0335 0.8800 0.5919 0.2833 254-AH 0.1795 0.3233 0.4227 0.4817 0.6970 0.4076 0.1182 0.1584 0.5175 0.2899 0.3891 0.3684 0.0907 0.1795 0.6970 0.4076 0.1182 255-AH 0.0833 0.6250 1.0000 1.0000 1.0000 0.8334 0.2927 0.3750 0.9167 0.3512 0.7379 0.5546 0.2423 0.0833 1.0000 0.8334 0.2927 256-AH 0.0000 0.9583 1.0000 1.0000 1.0000 0.8363 0.3274 0.0417 1.0000 0.3915 0.4908 0.0003 0.2480 1.0000 1.0000 1.0000 0.0000 257-AH 0.0455 0.3313 0.4118 0.4706 0.5385 0.3812 0.1318 0.1393 0.4930 0.3458 0.3374 0.2508 0.0972 0.1273 0.5385 0.4127 0.0884 258-AH 0.0030 0.0144 0.0769 0.2000 0.3333 0.1029 0.0983 0.1856 0.3303 0.9550 0.0484 0.0165 0.0821 0.0030 0.3333 0.1029 0.0983 259-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8056 0.3536 0.3333 1.0000 0.4389 0.3433 0.0002 0.2827 0.5000 1.0000 0.9405 0.1519 260-AH 0.0000 0.7865 1.0000 1.0000 1.0000 0.8547 0.2498 0.2135 1.0000 0.2922 0.4512 0.0002 0.1619 0.5238 1.0000 0.9099 0.1213 261-AH 0.0134 0.4444 0.6667 0.7273 1.0000 0.5788 0.2434 0.2828 0.9866 0.4205 0.4715 0.2042 0.1936 0.0357 1.0000 0.5965 0.2247 262-AH 0.0833 0.4135 0.7692 0.8750 0.9333 0.6153 0.3045 0.4615 0.8500 0.4949 0.4958 0.3460 0.2663 0.0833 0.9333 0.6153 0.3045 263-AH 0.0500 0.2849 0.3571 0.4308 0.5455 0.3450 0.1248 0.1459 0.4955 0.3618 0.3060 0.2343 0.0973 0.2245 0.5455 0.3742 0.0867 264-AH 0.0241 0.9500 1.0000 1.0000 1.0000 0.8725 0.2737 0.0500 0.9759 0.3137 0.7372 0.3311 0.1932 1.0000 1.0000 1.0000 0.0000 265-AH 0.0044 0.3235 1.0000 1.0000 1.0000 0.7079 0.4133 0.6765 0.9956 0.5838 0.3844 0.0529 0.3722 0.0044 1.0000 0.7079 0.4133 266-AH 0.0044 0.0205 0.0714 0.1899 1.0000 0.1379 0.1997 0.1694 0.9956 1.4485 0.0629 0.0293 0.1291 0.0044 0.2500 0.0850 0.0804 267-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7950 0.2971 0.4000 1.0000 0.3737 0.5126 0.0003 0.2485 0.0186 1.0000 0.8199 0.2647 268-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.7822 0.3722 0.3333 1.0000 0.4758 0.3218 0.0002 0.3036 0.5000 1.0000 0.9444 0.1387 269-AH 0.1579 0.3333 0.4286 0.5000 1.0000 0.4636 0.2106 0.1667 0.8421 0.4543 0.4255 0.3932 0.1543 0.1579 0.6667 0.4099 0.1273 270-AH 0.0178 0.9643 1.0000 1.0000 1.0000 0.8608 0.3179 0.0357 0.9822 0.3693 0.6427 0.2002 0.2109 1.0000 1.0000 1.0000 0.0000 271-AH 0.1765 0.8250 1.0000 1.0000 1.0000 0.8711 0.2429 0.1750 0.8235 0.2788 0.8092 0.6940 0.1797 0.6000 1.0000 0.9371 0.1233 272-AH 0.0323 0.1583 0.2857 0.3089 0.4286 0.2470 0.1167 0.1506 0.3963 0.4724 0.2044 0.1481 0.0929 0.0323 0.4286 0.2470 0.1167 273-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9904 0.0273 0.0000 0.1000 0.0276 0.9901 0.9897 0.0168 1.0000 1.0000 1.0000 0.0000 274-AH 0.0209 0.4286 0.6667 0.7500 0.8571 0.5526 0.2347 0.3214 0.8362 0.4248 0.4371 0.2075 0.1881 0.0209 0.8571 0.5526 0.2347 275-AH 0.0000 0.4118 0.5417 0.6731 0.8000 0.5048 0.2216 0.2613 0.8000 0.4389 0.2514 0.0002 0.1670 0.0530 0.8000 0.5374 0.1851 276-AH 0.6364 0.7708 0.8000 0.8571 1.0000 0.8063 0.0794 0.0863 0.3636 0.0985 0.8025 0.7985 0.0599 0.6429 0.9333 0.8055 0.0672 277-AH 0.1087 0.2935 0.3684 0.4193 0.7778 0.3821 0.1240 0.1258 0.6691 0.3245 0.3623 0.3392 0.0867 0.1087 0.5294 0.3618 0.0946 278-AH 0.0455 0.3250 0.6000 0.7500 1.0000 0.5305 0.2515 0.4250 0.9545 0.4741 0.4457 0.3196 0.2165 0.0455 1.0000 0.5305 0.2515 279-AH 0.0312 0.2000 0.5000 1.0000 1.0000 0.5357 0.3670 0.8000 0.9688 0.6851 0.3597 0.1797 0.3250 0.0312 1.0000 0.5357 0.3670 280-AH 0.0000 0.0593 0.0702 0.1521 0.3636 0.1018 0.0737 0.0928 0.3636 0.7235 0.0589 0.0003 0.0588 0.0000 0.2000 0.0937 0.0576 281-AH 0.0000 0.6188 0.7143 0.8333 1.0000 0.6830 0.2463 0.2146 1.0000 0.3607 0.3578 0.0002 0.1768 0.3478 1.0000 0.7270 0.1778 282-AH 0.0000 0.2658 0.3500 0.5139 1.0000 0.3825 0.2178 0.2481 1.0000 0.5693 0.1788 0.0002 0.1630 0.0000 0.8000 0.3632 0.1904 283-AH 0.0148 0.3333 0.6667 0.8679 1.0000 0.6163 0.3129 0.5345 0.9852 0.5078 0.4662 0.1911 0.2613 0.0148 1.0000 0.6163 0.3129 284-AH 0.4118 0.7024 1.0000 1.0000 1.0000 0.8511 0.1966 0.2976 0.5882 0.2310 0.8244 0.7927 0.1715 0.4118 1.0000 0.8511 0.1966 285-AH 0.0000 0.6591 1.0000 1.0000 1.0000 0.7855 0.3145 0.3409 1.0000 0.4004 0.3842 0.0002 0.2467 0.2075 1.0000 0.8620 0.2059 286-AH 0.0000 0.0348 0.0588 0.1160 0.6667 0.0846 0.1139 0.0812 0.6667 1.3462 0.0436 0.0003 0.0608 0.0000 0.1538 0.0664 0.0461 287-AH 0.0446 0.5262 0.5667 0.6354 0.7778 0.5531 0.1638 0.1093 0.7332 0.2961 0.4943 0.3326 0.1044 0.4500 0.7778 0.5944 0.0914 288-AH 0.0763 0.2796 0.4000 0.6098 1.0000 0.4714 0.2652 0.3303 0.9237 0.5626 0.3967 0.3213 0.2172 0.0763 1.0000 0.4714 0.2652 289-AH 0.0000 0.5836 1.0000 1.0000 1.0000 0.7367 0.4216 0.4164 1.0000 0.5723 0.1460 0.0001 0.3528 0.0000 1.0000 0.7367 0.4216 290-AH 0.1341 0.2273 0.3421 0.5497 0.7143 0.3811 0.1809 0.3224 0.5801 0.4747 0.3389 0.2995 0.1559 0.1341 0.7143 0.3811 0.1809 251 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0171 0.9808 1.0000 1.0000 1.0000 0.8548 0.3250 0.0192 0.9829 0.3802 0.6122 0.1578 0.2241 1.0000 1.0000 1.0000 0.0000 292-AH 0.0081 1.0000 1.0000 1.0000 1.0000 0.8787 0.2972 0.0000 0.9919 0.3383 0.7036 0.1744 0.2059 1.0000 1.0000 1.0000 0.0000 293-AH 0.2667 0.8182 0.8750 1.0000 1.0000 0.8600 0.1989 0.1818 0.7333 0.2312 0.8255 0.7706 0.1403 0.6000 1.0000 0.9119 0.1101 294-AH 0.3889 0.7128 0.8000 1.0000 1.0000 0.8301 0.1786 0.2872 0.6111 0.2152 0.8078 0.7809 0.1485 0.3889 1.0000 0.8301 0.1786 295-AH 0.3529 0.5455 0.7500 0.7569 1.0000 0.6793 0.1588 0.2115 0.6471 0.2338 0.6589 0.6363 0.1306 0.3529 1.0000 0.6793 0.1588 296-AH 0.0071 0.4884 0.6667 0.7778 0.8750 0.5685 0.3184 0.2894 0.8679 0.5600 0.3126 0.0642 0.2621 0.0784 0.8750 0.7160 0.1518 297-AH 0.0164 0.9375 1.0000 1.0000 1.0000 0.8622 0.2962 0.0625 0.9836 0.3435 0.6874 0.2144 0.2088 1.0000 1.0000 1.0000 0.0000 298-AH 0.0796 0.3094 0.5000 0.6063 1.0000 0.4767 0.2007 0.2969 0.9204 0.4211 0.4268 0.3614 0.1628 0.0796 1.0000 0.4767 0.2007 299-AH 0.3077 0.5879 0.8000 0.8889 0.9231 0.7205 0.1853 0.3010 0.6154 0.2571 0.6932 0.6613 0.1606 0.3077 0.9231 0.7205 0.1853 300-AH 0.1077 0.2844 0.3684 0.5364 0.6250 0.3872 0.1388 0.2519 0.5173 0.3586 0.3603 0.3298 0.1190 0.1077 0.6250 0.3872 0.1388 301-AH 0.0000 0.0280 0.0536 1.0000 1.0000 0.3313 0.4483 0.9720 1.0000 1.3530 0.0744 0.0003 0.4053 0.0000 1.0000 0.3313 0.4483 302-AH 0.5000 0.6667 0.6667 0.7500 1.0000 0.6913 0.1150 0.0833 0.5000 0.1664 0.6825 0.6742 0.0810 0.5714 0.8333 0.6898 0.0674 303-AH 0.0123 0.4286 0.6000 1.0000 1.0000 0.6251 0.3257 0.5714 0.9877 0.5210 0.4534 0.1626 0.2550 0.0123 1.0000 0.6251 0.3257 304-AH 0.1111 1.0000 1.0000 1.0000 1.0000 0.9557 0.1813 0.0000 0.8889 0.1897 0.9119 0.7795 0.0831 1.0000 1.0000 1.0000 0.0000 305-AH 0.3684 0.5221 0.6875 0.7833 1.0000 0.6697 0.1849 0.2613 0.6316 0.2760 0.6440 0.6179 0.1482 0.3684 1.0000 0.6697 0.1849 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0889 0.4534 0.5000 0.5429 0.6667 0.4677 0.1343 0.0894 0.5778 0.2871 0.4380 0.3874 0.0921 0.3261 0.6667 0.5145 0.0725 308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 309-AH 0.0020 0.0714 0.0769 0.0942 0.3333 0.0997 0.0746 0.0227 0.3314 0.7479 0.0731 0.0244 0.0471 0.0417 0.1143 0.0783 0.0160 310-AH 0.0483 0.0908 0.1463 0.2059 0.4000 0.1576 0.0764 0.1151 0.3517 0.4846 0.1396 0.1218 0.0612 0.0483 0.2917 0.1501 0.0638 311-AH 0.1628 0.3620 0.5455 0.6038 0.9333 0.5074 0.1822 0.2418 0.7705 0.3592 0.4696 0.4243 0.1410 0.1628 0.9333 0.5074 0.1822 312-AH 0.0165 0.5675 0.7500 1.0000 1.0000 0.7320 0.2334 0.4325 0.9835 0.3188 0.6486 0.3103 0.1851 0.0165 1.0000 0.7320 0.2334 313-AH 0.0206 0.0467 0.1235 0.3333 1.0000 0.2372 0.3084 0.2866 0.9794 1.3003 0.1192 0.0690 0.2221 0.0206 0.4000 0.1319 0.1187 314-AH 0.0000 0.0854 0.1148 0.1394 0.2222 0.1091 0.0458 0.0541 0.2222 0.4199 0.0622 0.0002 0.0342 0.0272 0.1613 0.1126 0.0323 315-AH 0.5625 0.6265 0.7500 0.7807 1.0000 0.7251 0.1010 0.1542 0.4375 0.1394 0.7183 0.7116 0.0825 0.5625 1.0000 0.7251 0.1010 316-AH 0.0535 0.1141 0.2273 0.3258 0.4516 0.2278 0.1183 0.2117 0.3981 0.5193 0.1948 0.1612 0.0947 0.0535 0.4516 0.2278 0.1183 317-AH 0.0000 0.3593 0.5000 0.5786 0.7500 0.4523 0.1651 0.2193 0.7500 0.3650 0.2433 0.0002 0.1259 0.2778 0.7500 0.4815 0.1206 318-AH 0.0373 0.1009 0.2143 0.5000 1.0000 0.3567 0.3264 0.3991 0.9627 0.9150 0.2322 0.1533 0.2672 0.0373 1.0000 0.3567 0.3264 319-AH 0.0645 1.0000 1.0000 1.0000 1.0000 0.8767 0.2771 0.0000 0.9355 0.3161 0.7777 0.5509 0.1943 1.0000 1.0000 1.0000 0.0000 320-AH 0.0094 0.0281 0.0588 0.1478 0.2857 0.0866 0.0716 0.1197 0.2763 0.8264 0.0583 0.0369 0.0612 0.0094 0.2857 0.0866 0.0716 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0463 0.0770 0.1071 0.1778 0.6667 0.1540 0.1266 0.1008 0.6204 0.8223 0.1232 0.1039 0.0861 0.0463 0.3000 0.1227 0.0665 323-AH 0.0091 0.7125 1.0000 1.0000 1.0000 0.8057 0.2879 0.2875 0.9909 0.3573 0.6594 0.1992 0.2170 0.4444 1.0000 0.8780 0.1778 324-AH 0.0000 0.1128 0.7333 0.8889 1.0000 0.5724 0.3720 0.7761 1.0000 0.6499 0.1478 0.0001 0.3242 0.0000 1.0000 0.5724 0.3720 325-AH 0.2258 0.7537 0.8000 0.8750 1.0000 0.8003 0.1479 0.1213 0.7742 0.1848 0.7803 0.7460 0.0989 0.6000 1.0000 0.8182 0.1078 326-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7329 0.3821 0.5000 1.0000 0.5214 0.3153 0.0002 0.3400 0.0000 1.0000 0.7329 0.3821 327-AH 0.0012 0.0582 0.3333 0.5000 1.0000 0.3767 0.3639 0.4418 0.9988 0.9659 0.1409 0.0107 0.2900 0.0012 1.0000 0.3767 0.3639 328-AH 0.5000 0.6250 0.6667 1.0000 1.0000 0.7606 0.1735 0.3750 0.5000 0.2281 0.7420 0.7244 0.1552 0.5000 1.0000 0.7606 0.1735 329-AH 0.4615 1.0000 1.0000 1.0000 1.0000 0.9633 0.1232 0.0000 0.5385 0.1278 0.9525 0.9368 0.0666 1.0000 1.0000 1.0000 0.0000 330-AH 0.0813 0.8530 1.0000 1.0000 1.0000 0.8295 0.3105 0.1470 0.9187 0.3744 0.7035 0.4691 0.2432 0.6429 1.0000 0.9766 0.0719 331-AH 0.0000 0.2908 0.3846 0.5000 1.0000 0.4455 0.3056 0.2092 1.0000 0.6860 0.2379 0.0003 0.2304 0.0000 0.7000 0.3223 0.1681 332-AH 0.0028 0.9167 1.0000 1.0000 1.0000 0.8370 0.3296 0.0833 0.9972 0.3938 0.5441 0.0426 0.2470 1.0000 1.0000 1.0000 0.0000 333-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8123 0.3765 0.0000 1.0000 0.4635 0.3754 0.0003 0.2957 1.0000 1.0000 1.0000 0.0000 334-AH 0.1667 0.3750 0.5000 1.0000 1.0000 0.6267 0.3239 0.6250 0.8333 0.5168 0.5359 0.4470 0.2965 0.1667 1.0000 0.6267 0.3239 335-AH 0.0909 0.2500 0.3333 0.6667 1.0000 0.4819 0.3119 0.4167 0.9091 0.6472 0.3890 0.3111 0.2589 0.0909 1.0000 0.4819 0.3119 336-AH 0.0000 0.0020 0.0465 0.5000 1.0000 0.2591 0.3570 0.4980 1.0000 1.3779 0.0128 0.0000 0.3060 0.0000 1.0000 0.2591 0.3570 337-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9906 0.0376 0.0000 0.1667 0.0380 0.9899 0.9890 0.0176 1.0000 1.0000 1.0000 0.0000 338-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8666 0.3294 0.0000 1.0000 0.3801 0.4683 0.0003 0.2264 1.0000 1.0000 1.0000 0.0000 339-AH 0.0000 0.9583 1.0000 1.0000 1.0000 0.8227 0.3613 0.0417 1.0000 0.4391 0.2201 0.0001 0.2693 1.0000 1.0000 1.0000 0.0000 340-AH 0.2857 0.4000 0.5000 0.8125 1.0000 0.5899 0.2511 0.4125 0.7143 0.4256 0.5447 0.5076 0.2091 0.2857 1.0000 0.5899 0.2511 252 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1667 1.0000 1.0000 1.0000 1.0000 0.9343 0.2163 0.0000 0.8333 0.2315 0.8785 0.7500 0.1194 1.0000 1.0000 1.0000 0.0000 342-AH 0.0000 0.8309 0.9000 0.9266 0.9615 0.8276 0.2172 0.0957 0.9615 0.2624 0.5664 0.0003 0.1176 0.7222 0.9615 0.8796 0.0637 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1494 0.6667 0.8333 1.0000 1.0000 0.8146 0.1925 0.3333 0.8506 0.2363 0.7797 0.7114 0.1498 0.5714 1.0000 0.8353 0.1534 345-AH 0.0033 0.1111 0.2222 0.5179 1.0000 0.3828 0.3424 0.4067 0.9967 0.8944 0.2150 0.0548 0.2883 0.0033 1.0000 0.3828 0.3424 346-AH 0.0000 0.0629 0.0917 0.1250 0.2500 0.0974 0.0643 0.0621 0.2500 0.6599 0.0550 0.0003 0.0481 0.0000 0.1818 0.0834 0.0483 347-AH 0.0233 0.0751 0.1026 0.5000 1.0000 0.3122 0.3576 0.4249 0.9767 1.1457 0.1665 0.1010 0.2957 0.0233 1.0000 0.3122 0.3576 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.1190 0.3956 0.7500 1.0000 1.0000 0.6867 0.2835 0.6044 0.8810 0.4129 0.6107 0.5132 0.2432 0.1190 1.0000 0.6867 0.2835 350-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9798 0.0808 0.0000 0.3333 0.0824 0.9757 0.9706 0.0380 1.0000 1.0000 1.0000 0.0000 253 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.2727 1.0000 1.0000 1.0000 1.0000 0.9441 0.1532 0.0000 0.7273 0.1622 0.9236 0.8859 0.0948 1.0000 1.0000 1.0000 0.0000 143-AH 0.6316 1.0000 1.0000 1.0000 1.0000 0.9797 0.0673 0.0000 0.3684 0.0687 0.9768 0.9732 0.0345 1.0000 1.0000 1.0000 0.0000 144-AH 0.0092 0.2778 1.0000 1.0000 1.0000 0.6889 0.4159 0.7222 0.9908 0.6037 0.4064 0.1117 0.3771 0.0092 1.0000 0.6889 0.4159 145-AH 0.8182 0.9821 1.0000 1.0000 1.0000 0.9704 0.0569 0.0179 0.1818 0.0587 0.9687 0.9668 0.0448 1.0000 1.0000 1.0000 0.0000 146-AH 0.0114 0.5000 1.0000 1.0000 1.0000 0.7394 0.3460 0.5000 0.9886 0.4679 0.5796 0.2171 0.3159 0.0114 1.0000 0.7394 0.3460 147-AH 0.5238 0.7974 1.0000 1.0000 1.0000 0.9012 0.1344 0.2026 0.4762 0.1491 0.8898 0.8764 0.1097 0.5238 1.0000 0.9012 0.1344 148-AH 0.0000 0.0281 0.0444 0.0671 0.2857 0.0648 0.0651 0.0390 0.2857 1.0055 0.0378 0.0003 0.0408 0.0000 0.0833 0.0430 0.0212 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0649 0.1667 0.3409 0.5000 0.1977 0.1639 0.2759 0.5000 0.8290 0.0928 0.0003 0.1404 0.0000 0.5000 0.1977 0.1639 151-AH 0.0000 0.1136 0.5000 0.7500 1.0000 0.4504 0.3531 0.6364 1.0000 0.7840 0.1998 0.0003 0.3097 0.0000 1.0000 0.4504 0.3531 152-AH 0.0048 0.3750 1.0000 1.0000 1.0000 0.7221 0.3658 0.6250 0.9952 0.5066 0.4808 0.0731 0.3130 0.0048 1.0000 0.7221 0.3658 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0833 0.3460 0.5556 0.7175 1.0000 0.5343 0.2604 0.3716 0.9167 0.4874 0.4431 0.3264 0.2139 0.0833 1.0000 0.5343 0.2604 155-AH 0.0714 0.1667 0.2500 0.3750 1.0000 0.3070 0.2210 0.2083 0.9286 0.7197 0.2533 0.2150 0.1590 0.0714 0.5000 0.2623 0.1341 156-AH 0.0188 0.0857 0.1481 0.2647 0.6667 0.1833 0.1405 0.1789 0.6479 0.7661 0.1304 0.0813 0.1115 0.0188 0.3889 0.1682 0.1122 157-AH 0.0000 0.5500 0.6744 0.7273 0.8837 0.5782 0.2441 0.1773 0.8837 0.4221 0.2895 0.0002 0.1875 0.2857 0.8837 0.6659 0.1305 158-AH 0.0000 0.7240 0.8000 0.8958 1.0000 0.7845 0.2220 0.1718 1.0000 0.2830 0.5564 0.0003 0.1476 0.5385 1.0000 0.8422 0.1182 159-AH 0.0920 0.2291 0.3220 0.5779 1.0000 0.4161 0.2814 0.3488 0.9080 0.6763 0.3393 0.2801 0.2264 0.0920 1.0000 0.4161 0.2814 160-AH 0.0364 0.0588 0.0833 0.2000 1.0000 0.1423 0.1781 0.1412 0.9636 1.2514 0.0971 0.0767 0.1072 0.0364 0.3333 0.1155 0.0909 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.7500 0.9572 1.0000 1.0000 1.0000 0.9690 0.0604 0.0428 0.2500 0.0623 0.9670 0.9647 0.0397 0.9070 1.0000 0.9825 0.0281 164-AH 0.0255 0.0773 0.1250 0.2024 0.5455 0.1714 0.1289 0.1252 0.5200 0.7522 0.1344 0.1062 0.0957 0.0255 0.3750 0.1330 0.0767 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1917 0.5000 1.0000 1.0000 0.5683 0.4013 0.8083 1.0000 0.7062 0.2154 0.0002 0.3663 0.0000 1.0000 0.5683 0.4013 168-AH 0.0045 0.4103 0.4800 0.5364 1.0000 0.4156 0.2362 0.1260 0.9955 0.5683 0.2305 0.0402 0.1708 0.4000 0.6250 0.4949 0.0566 169-AH 0.0000 0.0169 0.0541 0.0875 0.2000 0.0596 0.0549 0.0705 0.2000 0.9216 0.0132 0.0001 0.0433 0.0000 0.1818 0.0552 0.0496 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0352 0.1111 0.1502 0.2857 0.0981 0.0714 0.1149 0.2857 0.7274 0.0190 0.0001 0.0600 0.0000 0.2857 0.0981 0.0714 172-AH 0.0472 0.0884 0.1429 0.2292 0.4000 0.1674 0.0958 0.1408 0.3528 0.5723 0.1436 0.1235 0.0756 0.0472 0.4000 0.1674 0.0958 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9747 0.0820 0.0000 0.3333 0.0841 0.9707 0.9659 0.0459 1.0000 1.0000 1.0000 0.0000 176-AH 0.4167 1.0000 1.0000 1.0000 1.0000 0.9823 0.1015 0.0000 0.5833 0.1034 0.9738 0.9593 0.0343 1.0000 1.0000 1.0000 0.0000 177-AH 0.0153 0.3718 0.5000 1.0000 1.0000 0.5472 0.3338 0.6282 0.9847 0.6099 0.3918 0.1779 0.2715 0.0153 1.0000 0.5472 0.3338 178-AH 0.0000 0.0503 0.1667 0.6250 1.0000 0.3471 0.3949 0.5747 1.0000 1.1377 0.0887 0.0002 0.3258 0.0000 1.0000 0.3471 0.3949 179-AH 0.1765 0.8462 1.0000 1.0000 1.0000 0.8711 0.2300 0.1538 0.8235 0.2641 0.8173 0.7199 0.1517 0.8333 1.0000 0.9508 0.0706 180-AH 0.0133 0.2349 0.7273 0.9183 1.0000 0.6081 0.3408 0.6833 0.9867 0.5605 0.4482 0.1909 0.3053 0.0133 1.0000 0.6081 0.3408 181-AH 0.6000 0.8794 0.9474 1.0000 1.0000 0.9096 0.1045 0.1206 0.4000 0.1149 0.9029 0.8953 0.0775 0.7250 1.0000 0.9350 0.0674 182-AH 0.0353 0.1313 0.3333 0.6667 1.0000 0.4050 0.3172 0.5354 0.9647 0.7832 0.2701 0.1614 0.2732 0.0353 1.0000 0.4050 0.3172 183-AH 0.0184 0.0683 0.2353 0.3500 1.0000 0.3061 0.3248 0.2817 0.9816 1.0610 0.1644 0.0780 0.2411 0.0184 0.5000 0.1822 0.1412 184-AH 0.0202 1.0000 1.0000 1.0000 1.0000 0.9268 0.2377 0.0000 0.9798 0.2564 0.7977 0.3262 0.1286 1.0000 1.0000 1.0000 0.0000 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0054 1.0000 1.0000 1.0000 1.0000 0.9200 0.2262 0.0000 0.9946 0.2459 0.7873 0.1483 0.1309 1.0000 1.0000 1.0000 0.0000 190-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9520 0.1160 0.0000 0.3333 0.1219 0.9438 0.9340 0.0814 1.0000 1.0000 1.0000 0.0000 254 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1429 0.6250 1.0000 1.0000 1.0000 0.8048 0.2901 0.3750 0.8571 0.3604 0.7218 0.5946 0.2485 0.1429 1.0000 0.8048 0.2901 193-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9286 0.1895 0.0000 0.8571 0.2041 0.8897 0.7952 0.1212 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0268 0.7298 1.0000 1.0000 1.0000 0.7811 0.3616 0.2702 0.9732 0.4629 0.5833 0.2622 0.2974 0.3611 1.0000 0.9339 0.1642 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.4286 0.5929 0.6667 1.0000 1.0000 0.7490 0.1965 0.4071 0.5714 0.2624 0.7242 0.7003 0.1737 0.4286 1.0000 0.7490 0.1965 200-AH 0.0441 0.6667 0.8333 1.0000 1.0000 0.7935 0.2565 0.3333 0.9559 0.3232 0.7087 0.4839 0.1978 0.2000 1.0000 0.8169 0.2219 251-AH 0.2121 0.9333 0.9412 0.9444 1.0000 0.8699 0.2069 0.0111 0.7879 0.2378 0.8225 0.7322 0.1208 0.9333 0.9500 0.9411 0.0056 252-AH 0.0285 0.4831 0.5833 0.7778 0.8750 0.5887 0.2147 0.2947 0.8465 0.3647 0.5060 0.2949 0.1579 0.0437 0.8750 0.6062 0.1927 253-AH 0.0000 0.3188 0.5429 0.7227 0.7917 0.4742 0.2620 0.4039 0.7917 0.5524 0.2125 0.0002 0.2166 0.0000 0.7917 0.4742 0.2620 254-AH 0.1116 0.3001 0.3833 0.4285 0.5663 0.3666 0.1027 0.1284 0.4546 0.2802 0.3493 0.3271 0.0794 0.1116 0.5663 0.3666 0.1027 255-AH 0.0833 0.6250 1.0000 1.0000 1.0000 0.8334 0.2927 0.3750 0.9167 0.3512 0.7379 0.5546 0.2423 0.0833 1.0000 0.8334 0.2927 256-AH 0.0000 0.8958 1.0000 1.0000 1.0000 0.8165 0.3470 0.1042 1.0000 0.4250 0.3829 0.0002 0.2780 1.0000 1.0000 1.0000 0.0000 257-AH 0.0455 0.3105 0.3611 0.4048 0.5000 0.3320 0.1088 0.0942 0.4545 0.3278 0.2984 0.2325 0.0775 0.2414 0.5000 0.3665 0.0563 258-AH 0.0030 0.0144 0.0769 0.2000 0.3333 0.1029 0.0983 0.1856 0.3303 0.9550 0.0484 0.0165 0.0821 0.0030 0.3333 0.1029 0.0983 259-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8056 0.3536 0.3333 1.0000 0.4389 0.3433 0.0002 0.2827 0.5000 1.0000 0.9405 0.1519 260-AH 0.0000 0.7681 0.8421 0.9286 1.0000 0.7969 0.2309 0.1605 1.0000 0.2898 0.4228 0.0002 0.1386 0.6944 1.0000 0.8599 0.0889 261-AH 0.0106 0.1239 0.2857 0.6818 0.8462 0.3702 0.2802 0.5579 0.8356 0.7568 0.2354 0.0966 0.2413 0.0106 0.8462 0.3702 0.2802 262-AH 0.0294 0.2780 0.5758 0.6923 0.8095 0.4889 0.2610 0.4143 0.7801 0.5339 0.3646 0.2003 0.2271 0.0294 0.8095 0.4889 0.2610 263-AH 0.0326 0.2361 0.2963 0.3774 0.4762 0.2929 0.1196 0.1413 0.4436 0.4085 0.2505 0.1757 0.0930 0.0326 0.4762 0.2929 0.1196 264-AH 0.0241 0.7750 1.0000 1.0000 1.0000 0.8243 0.3080 0.2250 0.9759 0.3736 0.6688 0.2892 0.2367 0.4545 1.0000 0.9396 0.1318 265-AH 0.0035 0.2398 0.5000 0.7500 1.0000 0.5101 0.3487 0.5102 0.9965 0.6836 0.2682 0.0444 0.2887 0.0035 1.0000 0.5101 0.3487 266-AH 0.0044 0.0205 0.0714 0.1899 1.0000 0.1379 0.1997 0.1694 0.9956 1.4485 0.0629 0.0293 0.1291 0.0044 0.2500 0.0850 0.0804 267-AH 0.0000 0.3571 0.6250 0.7500 1.0000 0.5624 0.2615 0.3929 1.0000 0.4649 0.3547 0.0003 0.2183 0.0000 1.0000 0.5624 0.2615 268-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.7822 0.3722 0.3333 1.0000 0.4758 0.3218 0.0002 0.3036 0.5000 1.0000 0.9444 0.1387 269-AH 0.0192 0.2712 0.3333 0.4464 1.0000 0.3584 0.2009 0.1752 0.9808 0.5606 0.2786 0.1427 0.1445 0.0192 0.6667 0.3384 0.1673 270-AH 0.0000 0.8625 1.0000 1.0000 1.0000 0.8129 0.3518 0.1375 1.0000 0.4327 0.4572 0.0003 0.2804 0.9500 1.0000 0.9980 0.0100 271-AH 0.0000 0.7240 0.8333 1.0000 1.0000 0.7891 0.2372 0.2760 1.0000 0.3006 0.5522 0.0003 0.1601 0.6000 1.0000 0.8529 0.1203 272-AH 0.0246 0.0524 0.2727 0.3000 0.4286 0.2261 0.1225 0.2476 0.4040 0.5419 0.1692 0.1031 0.1011 0.0246 0.4286 0.2261 0.1225 273-AH 0.0000 0.9607 1.0000 1.0000 1.0000 0.9466 0.1730 0.0393 1.0000 0.1827 0.6888 0.0003 0.0670 0.9130 1.0000 0.9795 0.0275 274-AH 0.0209 0.3113 0.4167 0.5179 0.8571 0.4081 0.1938 0.2066 0.8362 0.4748 0.3286 0.1842 0.1470 0.0209 0.6667 0.3941 0.1791 275-AH 0.0000 0.3681 0.4839 0.6007 0.8000 0.4559 0.2081 0.2326 0.8000 0.4564 0.2278 0.0002 0.1590 0.0530 0.8000 0.4854 0.1773 276-AH 0.4615 0.6829 0.7500 0.8000 0.9333 0.7329 0.1142 0.1171 0.4718 0.1558 0.7235 0.7133 0.0881 0.5152 0.9333 0.7414 0.1049 277-AH 0.1017 0.2911 0.3684 0.4193 0.7778 0.3773 0.1241 0.1282 0.6761 0.3289 0.3572 0.3333 0.0856 0.1017 0.5294 0.3567 0.0936 278-AH 0.0000 0.1767 0.3571 0.6473 0.8571 0.3953 0.2720 0.4706 0.8571 0.6879 0.2209 0.0003 0.2408 0.0000 0.8571 0.3953 0.2720 279-AH 0.0312 0.2000 0.5000 1.0000 1.0000 0.5357 0.3670 0.8000 0.9688 0.6851 0.3597 0.1797 0.3250 0.0312 1.0000 0.5357 0.3670 280-AH 0.0000 0.0543 0.0667 0.1367 0.2424 0.0890 0.0585 0.0823 0.2424 0.6577 0.0441 0.0002 0.0474 0.0000 0.2424 0.0890 0.0585 281-AH 0.0000 0.4664 0.6000 0.8220 0.8824 0.5758 0.2355 0.3556 0.8824 0.4090 0.2994 0.0002 0.1869 0.0000 0.8824 0.5758 0.2355 282-AH 0.0000 0.1993 0.2917 0.3735 0.5833 0.2918 0.1471 0.1742 0.5833 0.5041 0.1169 0.0001 0.1132 0.0000 0.5833 0.2918 0.1471 283-AH 0.0148 0.2163 0.4500 0.7232 0.9167 0.4743 0.2846 0.5069 0.9019 0.6000 0.3395 0.1498 0.2384 0.0148 0.9167 0.4743 0.2846 284-AH 0.4118 0.5226 0.6500 0.6942 0.9091 0.6247 0.1218 0.1716 0.4973 0.1950 0.6129 0.6008 0.0971 0.4118 0.9091 0.6247 0.1218 285-AH 0.0000 0.6226 0.8824 0.9420 1.0000 0.7362 0.2988 0.3194 1.0000 0.4058 0.3598 0.0002 0.2310 0.1505 1.0000 0.8078 0.2001 286-AH 0.0000 0.0223 0.0423 0.0746 0.1500 0.0582 0.0448 0.0523 0.1500 0.7696 0.0289 0.0002 0.0359 0.0000 0.1500 0.0582 0.0448 287-AH 0.0446 0.4833 0.5429 0.5656 0.6667 0.4917 0.1432 0.0822 0.6221 0.2913 0.4413 0.3097 0.0967 0.4348 0.6667 0.5445 0.0484 288-AH 0.0749 0.2512 0.3289 0.5125 0.9474 0.4095 0.2287 0.2614 0.8725 0.5584 0.3486 0.2888 0.1822 0.0749 0.8947 0.3927 0.2106 289-AH 0.0000 0.5409 0.8750 1.0000 1.0000 0.6925 0.4007 0.4591 1.0000 0.5786 0.1368 0.0001 0.3321 0.0000 1.0000 0.6925 0.4007 290-AH 0.1341 0.1638 0.3421 0.4564 0.6000 0.3398 0.1543 0.2926 0.4659 0.4540 0.3026 0.2662 0.1347 0.1341 0.6000 0.3398 0.1543 255 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0171 0.7583 0.9412 1.0000 1.0000 0.7880 0.3415 0.2417 0.9829 0.4333 0.5517 0.1530 0.2634 0.4000 1.0000 0.9186 0.1441 292-AH 0.0081 1.0000 1.0000 1.0000 1.0000 0.8787 0.2972 0.0000 0.9919 0.3383 0.7036 0.1744 0.2059 1.0000 1.0000 1.0000 0.0000 293-AH 0.1951 0.7286 0.8182 0.8889 1.0000 0.7856 0.1947 0.1603 0.8049 0.2479 0.7462 0.6758 0.1314 0.5385 1.0000 0.8353 0.1096 294-AH 0.3889 0.6916 0.7083 0.7548 0.8750 0.6999 0.1144 0.0632 0.4861 0.1635 0.6894 0.6768 0.0750 0.6061 0.8000 0.7173 0.0431 295-AH 0.1150 0.4193 0.5000 0.5944 0.9231 0.4991 0.1659 0.1752 0.8080 0.3323 0.4670 0.4247 0.1238 0.2679 0.7500 0.4979 0.1358 296-AH 0.0000 0.4618 0.6667 0.7569 0.8750 0.5565 0.3202 0.2952 0.8750 0.5753 0.1232 0.0001 0.2625 0.0337 0.8750 0.6557 0.2327 297-AH 0.0164 0.7500 1.0000 1.0000 1.0000 0.8400 0.2947 0.2500 0.9836 0.3509 0.6699 0.2130 0.2134 0.6667 1.0000 0.9402 0.1098 298-AH 0.0714 0.2124 0.3636 0.5000 1.0000 0.3712 0.1928 0.2876 0.9286 0.5195 0.3219 0.2683 0.1528 0.0714 0.6667 0.3515 0.1588 299-AH 0.2162 0.4323 0.5714 0.7139 0.8500 0.5693 0.1699 0.2817 0.6338 0.2984 0.5414 0.5096 0.1402 0.2162 0.8500 0.5693 0.1699 300-AH 0.1025 0.2675 0.3214 0.4420 0.5294 0.3436 0.1143 0.1745 0.4270 0.3326 0.3234 0.3004 0.0939 0.1025 0.5294 0.3436 0.1143 301-AH 0.0000 0.0236 0.0506 0.8083 1.0000 0.3027 0.4144 0.7847 1.0000 1.3689 0.0679 0.0003 0.3701 0.0000 1.0000 0.3027 0.4144 302-AH 0.3333 0.4444 0.5714 0.6667 0.8333 0.5741 0.1491 0.2222 0.5000 0.2597 0.5554 0.5372 0.1234 0.3333 0.8333 0.5741 0.1491 303-AH 0.0123 0.4286 0.6000 1.0000 1.0000 0.6187 0.3209 0.5714 0.9877 0.5186 0.4437 0.1446 0.2482 0.0123 1.0000 0.6187 0.3209 304-AH 0.1000 1.0000 1.0000 1.0000 1.0000 0.9554 0.1829 0.0000 0.9000 0.1915 0.9090 0.7615 0.0838 1.0000 1.0000 1.0000 0.0000 305-AH 0.2642 0.3387 0.4688 0.5317 0.6500 0.4460 0.1000 0.1930 0.3858 0.2242 0.4346 0.4226 0.0839 0.2642 0.6500 0.4460 0.1000 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0295 0.3593 0.4595 0.5000 0.5750 0.4136 0.1258 0.1407 0.5455 0.3042 0.3768 0.2813 0.0976 0.2190 0.5750 0.4352 0.0937 308-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9939 0.0348 0.0000 0.2000 0.0350 0.9933 0.9925 0.0118 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0706 0.0769 0.0942 0.2857 0.0917 0.0619 0.0235 0.2857 0.6744 0.0585 0.0003 0.0381 0.0417 0.1176 0.0796 0.0175 310-AH 0.0483 0.0908 0.1294 0.1859 0.4000 0.1403 0.0702 0.0951 0.3517 0.5002 0.1253 0.1118 0.0534 0.0483 0.2278 0.1322 0.0533 311-AH 0.1600 0.3223 0.5455 0.6032 0.9333 0.4915 0.1834 0.2809 0.7733 0.3730 0.4531 0.4090 0.1464 0.1600 0.9333 0.4915 0.1834 312-AH 0.0151 0.5197 0.7200 0.8688 1.0000 0.6787 0.2092 0.3490 0.9849 0.3082 0.6026 0.2859 0.1685 0.0151 1.0000 0.6787 0.2092 313-AH 0.0127 0.0358 0.0909 0.1838 1.0000 0.1604 0.2064 0.1480 0.9873 1.2866 0.0875 0.0519 0.1344 0.0127 0.4000 0.1170 0.1070 314-AH 0.0000 0.0827 0.1148 0.1394 0.2000 0.1073 0.0442 0.0568 0.2000 0.4124 0.0613 0.0002 0.0338 0.0000 0.2000 0.1073 0.0442 315-AH 0.2449 0.5862 0.6316 0.7169 0.8000 0.6090 0.1523 0.1307 0.5551 0.2502 0.5844 0.5520 0.1107 0.4000 0.8000 0.6542 0.0942 316-AH 0.0535 0.1141 0.1846 0.2499 0.4516 0.2007 0.1020 0.1358 0.3981 0.5083 0.1753 0.1505 0.0797 0.0535 0.4516 0.2007 0.1020 317-AH 0.0000 0.3295 0.3529 0.5000 0.7500 0.3936 0.1600 0.1705 0.7500 0.4066 0.2115 0.0002 0.1171 0.2308 0.7500 0.4190 0.1278 318-AH 0.0373 0.1009 0.2143 0.3812 1.0000 0.2820 0.2326 0.2804 0.9627 0.8249 0.2039 0.1472 0.1824 0.0373 0.6667 0.2596 0.1968 319-AH 0.0272 0.3269 0.6667 0.8333 1.0000 0.6079 0.3103 0.5064 0.9728 0.5105 0.4802 0.2745 0.2573 0.0272 1.0000 0.6079 0.3103 320-AH 0.0061 0.0261 0.0420 0.1170 0.2188 0.0696 0.0586 0.0909 0.2126 0.8410 0.0471 0.0304 0.0501 0.0061 0.2188 0.0696 0.0586 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0234 0.0639 0.0968 0.1160 0.3000 0.1012 0.0523 0.0520 0.2766 0.5166 0.0902 0.0799 0.0367 0.0234 0.1818 0.0950 0.0388 323-AH 0.0000 0.3289 0.5455 0.7500 1.0000 0.5275 0.2517 0.4211 1.0000 0.4772 0.3395 0.0003 0.2064 0.0000 1.0000 0.5275 0.2517 324-AH 0.0000 0.0570 0.4324 0.8355 0.9412 0.4423 0.3544 0.7785 0.9412 0.8013 0.0452 0.0000 0.3172 0.0000 0.9412 0.4423 0.3544 325-AH 0.1238 0.6568 0.7500 0.7980 0.9375 0.7101 0.1517 0.1411 0.8137 0.2137 0.6820 0.6203 0.1056 0.5185 0.9375 0.7376 0.0998 326-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7329 0.3821 0.5000 1.0000 0.5214 0.3153 0.0002 0.3400 0.0000 1.0000 0.7329 0.3821 327-AH 0.0012 0.0582 0.3333 0.5000 1.0000 0.3767 0.3639 0.4418 0.9988 0.9659 0.1409 0.0107 0.2900 0.0012 1.0000 0.3767 0.3639 328-AH 0.4737 0.6250 0.6667 0.7455 1.0000 0.6979 0.1477 0.1205 0.5263 0.2116 0.6837 0.6705 0.1146 0.4737 0.9091 0.6677 0.1170 329-AH 0.4615 0.7411 1.0000 1.0000 1.0000 0.8796 0.1765 0.2589 0.5385 0.2007 0.8589 0.8342 0.1533 0.4615 1.0000 0.8796 0.1765 330-AH 0.0778 0.8233 0.9500 1.0000 1.0000 0.8068 0.3216 0.1767 0.9222 0.3987 0.6697 0.4292 0.2590 0.9231 1.0000 0.9777 0.0309 331-AH 0.0000 0.2599 0.3421 0.4470 1.0000 0.3630 0.2200 0.1871 1.0000 0.6059 0.1697 0.0002 0.1548 0.0000 0.7000 0.3431 0.1909 332-AH 0.0000 0.3250 0.6667 1.0000 1.0000 0.5878 0.3641 0.6750 1.0000 0.6195 0.2212 0.0003 0.2918 0.0000 1.0000 0.5878 0.3641 333-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8123 0.3765 0.0000 1.0000 0.4635 0.3754 0.0003 0.2957 1.0000 1.0000 1.0000 0.0000 334-AH 0.1667 0.3750 0.5000 1.0000 1.0000 0.6267 0.3239 0.6250 0.8333 0.5168 0.5359 0.4470 0.2965 0.1667 1.0000 0.6267 0.3239 335-AH 0.0909 0.2452 0.3077 0.5427 1.0000 0.4013 0.2639 0.2975 0.9091 0.6575 0.3332 0.2790 0.2039 0.0909 0.6000 0.3187 0.1459 336-AH 0.0000 0.0000 0.0305 0.2204 0.5714 0.1153 0.1599 0.2204 0.5714 1.3867 0.0070 0.0000 0.1294 0.0000 0.5000 0.1011 0.1396 337-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9637 0.0751 0.0000 0.2500 0.0779 0.9606 0.9571 0.0571 1.0000 1.0000 1.0000 0.0000 338-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8440 0.3351 0.0000 1.0000 0.3970 0.3929 0.0002 0.2458 1.0000 1.0000 1.0000 0.0000 339-AH 0.0000 0.5536 0.8333 1.0000 1.0000 0.7142 0.3501 0.4464 1.0000 0.4901 0.1916 0.0001 0.2795 0.0000 1.0000 0.7142 0.3501 340-AH 0.2857 0.4000 0.5000 0.8125 1.0000 0.5899 0.2511 0.4125 0.7143 0.4256 0.5447 0.5076 0.2091 0.2857 1.0000 0.5899 0.2511 256 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0138 1.0000 1.0000 1.0000 1.0000 0.9221 0.2564 0.0000 0.9862 0.2781 0.7510 0.1886 0.1417 1.0000 1.0000 1.0000 0.0000 342-AH 0.0000 0.6891 0.8056 0.8908 0.9615 0.7569 0.2194 0.2017 0.9615 0.2899 0.5170 0.0003 0.1440 0.5526 0.9615 0.8044 0.1134 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1494 0.5803 0.7000 0.8889 1.0000 0.7205 0.2042 0.3085 0.8506 0.2834 0.6844 0.6281 0.1678 0.1494 1.0000 0.7205 0.2042 345-AH 0.0000 0.1000 0.1875 0.3333 0.6000 0.2282 0.1748 0.2333 0.6000 0.7660 0.1229 0.0003 0.1404 0.0000 0.6000 0.2282 0.1748 346-AH 0.0000 0.0629 0.0917 0.1250 0.2308 0.0955 0.0616 0.0621 0.2308 0.6452 0.0543 0.0003 0.0468 0.0000 0.2143 0.0868 0.0525 347-AH 0.0224 0.0751 0.0909 0.1176 0.2222 0.0988 0.0433 0.0425 0.1998 0.4381 0.0898 0.0795 0.0317 0.0224 0.1429 0.0886 0.0291 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.1127 0.3777 0.5000 0.6667 1.0000 0.5562 0.2524 0.2890 0.8873 0.4537 0.4994 0.4374 0.1996 0.1127 1.0000 0.5562 0.2524 350-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9798 0.0808 0.0000 0.3333 0.0824 0.9757 0.9706 0.0380 1.0000 1.0000 1.0000 0.0000 257 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.2727 1.0000 1.0000 1.0000 1.0000 0.9291 0.1696 0.0000 0.7273 0.1825 0.9052 0.8646 0.1160 1.0000 1.0000 1.0000 0.0000 143-AH 0.6316 0.9333 1.0000 1.0000 1.0000 0.9692 0.0687 0.0667 0.3684 0.0709 0.9663 0.9627 0.0429 0.9231 1.0000 0.9798 0.0329 144-AH 0.0092 0.2778 1.0000 1.0000 1.0000 0.6889 0.4159 0.7222 0.9908 0.6037 0.4064 0.1117 0.3771 0.0092 1.0000 0.6889 0.4159 145-AH 0.5652 0.8309 0.8571 0.9286 1.0000 0.8710 0.0888 0.0977 0.4348 0.1019 0.8662 0.8608 0.0634 0.7647 1.0000 0.8805 0.0709 146-AH 0.0114 0.5000 1.0000 1.0000 1.0000 0.7394 0.3460 0.5000 0.9886 0.4679 0.5796 0.2171 0.3159 0.0114 1.0000 0.7394 0.3460 147-AH 0.4359 0.7412 0.8889 0.9516 1.0000 0.8503 0.1450 0.2104 0.5641 0.1706 0.8364 0.8201 0.1209 0.4359 1.0000 0.8503 0.1450 148-AH 0.0000 0.0281 0.0444 0.0671 0.2857 0.0648 0.0651 0.0390 0.2857 1.0055 0.0378 0.0003 0.0408 0.0000 0.0833 0.0430 0.0212 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0510 0.1379 0.3220 0.4286 0.1768 0.1473 0.2710 0.4286 0.8332 0.0820 0.0003 0.1316 0.0000 0.4286 0.1768 0.1473 151-AH 0.0000 0.1040 0.4000 0.6667 1.0000 0.3907 0.3149 0.5627 1.0000 0.8059 0.1712 0.0003 0.2793 0.0000 1.0000 0.3907 0.3149 152-AH 0.0047 0.1704 0.4000 1.0000 1.0000 0.5314 0.3785 0.8296 0.9953 0.7124 0.3231 0.0669 0.3485 0.0047 1.0000 0.5314 0.3785 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0603 0.1972 0.3500 0.5497 0.7273 0.3795 0.1999 0.3525 0.6669 0.5266 0.3154 0.2435 0.1649 0.0603 0.7273 0.3795 0.1999 155-AH 0.0714 0.1667 0.2500 0.3750 1.0000 0.3070 0.2210 0.2083 0.9286 0.7197 0.2533 0.2150 0.1590 0.0714 0.5000 0.2623 0.1341 156-AH 0.0093 0.0648 0.1136 0.2454 0.6364 0.1641 0.1354 0.1807 0.6271 0.8252 0.1101 0.0601 0.1048 0.0093 0.3889 0.1493 0.1073 157-AH 0.0000 0.5173 0.6400 0.6949 0.8600 0.5467 0.2413 0.1775 0.8600 0.4414 0.2692 0.0002 0.1895 0.4330 0.8600 0.6626 0.0809 158-AH 0.0000 0.5000 0.6316 0.7250 1.0000 0.6120 0.2109 0.2250 1.0000 0.3446 0.4285 0.0003 0.1528 0.3793 1.0000 0.6473 0.1610 159-AH 0.0920 0.2177 0.3000 0.4971 0.9130 0.3699 0.2407 0.2794 0.8210 0.6509 0.3056 0.2539 0.1874 0.0920 0.9130 0.3699 0.2407 160-AH 0.0364 0.0588 0.0833 0.2000 1.0000 0.1423 0.1781 0.1412 0.9636 1.2514 0.0971 0.0767 0.1072 0.0364 0.3333 0.1155 0.0909 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.7470 0.9288 0.9500 0.9770 1.0000 0.9413 0.0581 0.0482 0.2530 0.0617 0.9394 0.9373 0.0391 0.8605 1.0000 0.9530 0.0351 164-AH 0.0236 0.0744 0.1250 0.2024 0.4545 0.1556 0.1026 0.1281 0.4309 0.6596 0.1261 0.1004 0.0803 0.0236 0.3750 0.1462 0.0889 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0379 0.1250 0.2500 0.4286 0.1533 0.1342 0.2121 0.4286 0.8751 0.0601 0.0002 0.1153 0.0000 0.4286 0.1533 0.1342 168-AH 0.0000 0.4076 0.4800 0.5364 1.0000 0.4114 0.2349 0.1288 1.0000 0.5710 0.1546 0.0002 0.1705 0.3889 0.7273 0.4996 0.0682 169-AH 0.0000 0.0169 0.0541 0.0875 0.2000 0.0596 0.0549 0.0705 0.2000 0.9216 0.0132 0.0001 0.0433 0.0000 0.1818 0.0552 0.0496 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0337 0.0909 0.1156 0.2333 0.0811 0.0589 0.0819 0.2333 0.7262 0.0164 0.0001 0.0473 0.0000 0.2333 0.0811 0.0589 172-AH 0.0083 0.0797 0.1304 0.1584 0.3000 0.1312 0.0687 0.0787 0.2917 0.5235 0.1078 0.0681 0.0511 0.0083 0.2667 0.1259 0.0626 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5556 0.8000 1.0000 1.0000 1.0000 0.9335 0.1171 0.2000 0.4444 0.1255 0.9252 0.9154 0.0967 0.5556 1.0000 0.9335 0.1171 176-AH 0.3542 1.0000 1.0000 1.0000 1.0000 0.9804 0.1124 0.0000 0.6458 0.1147 0.9690 0.9476 0.0380 1.0000 1.0000 1.0000 0.0000 177-AH 0.0153 0.3235 0.4286 0.6667 1.0000 0.4532 0.2529 0.3431 0.9847 0.5581 0.3412 0.1710 0.1993 0.0153 1.0000 0.4532 0.2529 178-AH 0.0000 0.0059 0.0247 0.2381 1.0000 0.1364 0.2242 0.2322 1.0000 1.6442 0.0225 0.0002 0.1599 0.0000 0.5000 0.0914 0.1315 179-AH 0.1556 0.6243 0.8750 1.0000 1.0000 0.7918 0.2633 0.3757 0.8444 0.3325 0.7248 0.6219 0.2118 0.1556 1.0000 0.7918 0.2633 180-AH 0.0133 0.1874 0.6667 0.8667 1.0000 0.5713 0.3495 0.6793 0.9867 0.6116 0.3970 0.1705 0.3133 0.0133 1.0000 0.5713 0.3495 181-AH 0.5763 0.8701 0.9375 0.9680 1.0000 0.8961 0.1019 0.0979 0.4237 0.1138 0.8896 0.8820 0.0754 0.7250 1.0000 0.9212 0.0633 182-AH 0.0353 0.0972 0.1212 0.5000 0.7500 0.2543 0.2395 0.4028 0.7147 0.9416 0.1664 0.1163 0.2045 0.0353 0.7500 0.2543 0.2395 183-AH 0.0184 0.0567 0.2353 0.3333 0.5000 0.2131 0.1585 0.2766 0.4816 0.7436 0.1382 0.0743 0.1345 0.0184 0.5000 0.2131 0.1585 184-AH 0.0145 0.8000 1.0000 1.0000 1.0000 0.8895 0.2457 0.2000 0.9855 0.2763 0.7409 0.2293 0.1608 0.7143 1.0000 0.9456 0.1033 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0054 1.0000 1.0000 1.0000 1.0000 0.9099 0.2300 0.0000 0.9946 0.2527 0.7777 0.1479 0.1420 1.0000 1.0000 1.0000 0.0000 190-AH 0.0833 0.7500 1.0000 1.0000 1.0000 0.8716 0.2283 0.2500 0.9167 0.2619 0.8132 0.6613 0.1790 0.4286 1.0000 0.8962 0.1820 258 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1429 0.6250 1.0000 1.0000 1.0000 0.8048 0.2901 0.3750 0.8571 0.3604 0.7218 0.5946 0.2485 0.1429 1.0000 0.8048 0.2901 193-AH 0.1364 0.3000 0.3750 1.0000 1.0000 0.5248 0.3138 0.7000 0.8636 0.5980 0.4415 0.3729 0.2724 0.1364 1.0000 0.5248 0.3138 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.6441 0.9375 1.0000 1.0000 0.7502 0.3693 0.3559 1.0000 0.4923 0.4299 0.0003 0.3033 0.1515 1.0000 0.8466 0.2762 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.4286 0.5714 0.6667 0.7500 0.8571 0.6529 0.1038 0.1786 0.4286 0.1590 0.6447 0.6364 0.0886 0.4286 0.8571 0.6529 0.1038 200-AH 0.0441 0.6188 0.8333 1.0000 1.0000 0.7662 0.2462 0.3812 0.9559 0.3213 0.6863 0.4749 0.1861 0.2000 1.0000 0.7888 0.2127 251-AH 0.1075 0.7306 0.8000 0.8889 0.9200 0.7562 0.2047 0.1583 0.8125 0.2707 0.6999 0.5788 0.1336 0.6250 0.9200 0.8140 0.0872 252-AH 0.0285 0.4315 0.5625 0.6520 0.8182 0.5482 0.1929 0.2205 0.7896 0.3519 0.4743 0.2811 0.1369 0.2400 0.8182 0.5813 0.1447 253-AH 0.0000 0.2026 0.3694 0.6685 0.7215 0.4001 0.2565 0.4659 0.7215 0.6412 0.0816 0.0001 0.2200 0.0000 0.7215 0.4001 0.2565 254-AH 0.0788 0.2641 0.3364 0.3803 0.4965 0.3246 0.0931 0.1162 0.4177 0.2869 0.3083 0.2854 0.0706 0.1737 0.4965 0.3323 0.0833 255-AH 0.0400 0.2121 0.3333 0.4583 1.0000 0.3699 0.2479 0.2462 0.9600 0.6702 0.2860 0.1999 0.1901 0.0400 0.6667 0.3293 0.1934 256-AH 0.0000 0.7188 1.0000 1.0000 1.0000 0.7859 0.3747 0.2812 1.0000 0.4767 0.3495 0.0002 0.3112 0.8667 1.0000 0.9913 0.0309 257-AH 0.0455 0.2542 0.3167 0.3532 0.4130 0.2855 0.1003 0.0990 0.3676 0.3514 0.2561 0.2055 0.0755 0.1087 0.4130 0.3010 0.0816 258-AH 0.0000 0.0089 0.0303 0.2000 0.3000 0.0833 0.0941 0.1911 0.3000 1.1299 0.0140 0.0001 0.0819 0.0000 0.3000 0.0833 0.0941 259-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8056 0.3536 0.3333 1.0000 0.4389 0.3433 0.0002 0.2827 0.5000 1.0000 0.9405 0.1519 260-AH 0.0000 0.7245 0.8000 0.8333 0.8800 0.7360 0.2052 0.1088 0.8800 0.2788 0.3936 0.0002 0.1189 0.6750 0.8800 0.7929 0.0619 261-AH 0.0000 0.0331 0.0957 0.5500 0.8462 0.2422 0.2656 0.5169 0.8462 1.0966 0.0876 0.0003 0.2340 0.0000 0.8462 0.2422 0.2656 262-AH 0.0000 0.1978 0.4219 0.4982 0.6429 0.3506 0.2107 0.3004 0.6429 0.6010 0.1223 0.0001 0.1831 0.0000 0.6429 0.3506 0.2107 263-AH 0.0223 0.2184 0.2769 0.3324 0.4211 0.2589 0.1054 0.1140 0.3988 0.4072 0.2169 0.1368 0.0791 0.1119 0.4211 0.2824 0.0775 264-AH 0.0241 0.5721 0.8889 1.0000 1.0000 0.7355 0.3025 0.4279 0.9759 0.4112 0.5908 0.2659 0.2435 0.0241 1.0000 0.7355 0.3025 265-AH 0.0035 0.2398 0.5000 0.7500 1.0000 0.5101 0.3487 0.5102 0.9965 0.6836 0.2682 0.0444 0.2887 0.0035 1.0000 0.5101 0.3487 266-AH 0.0020 0.0082 0.0196 0.0711 0.2500 0.0603 0.0827 0.0628 0.2480 1.3708 0.0237 0.0107 0.0648 0.0020 0.1250 0.0240 0.0276 267-AH 0.0000 0.2242 0.3043 0.5833 1.0000 0.3808 0.2224 0.3591 1.0000 0.5840 0.2338 0.0003 0.1837 0.0000 1.0000 0.3808 0.2224 268-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.7822 0.3722 0.3333 1.0000 0.4758 0.3218 0.0002 0.3036 0.5000 1.0000 0.9444 0.1387 269-AH 0.0185 0.2270 0.3000 0.3799 0.7500 0.3057 0.1645 0.1529 0.7315 0.5380 0.2363 0.1226 0.1174 0.0185 0.5714 0.2918 0.1461 270-AH 0.0000 0.8326 0.9600 1.0000 1.0000 0.7927 0.3572 0.1674 1.0000 0.4506 0.3466 0.0002 0.2884 0.9474 1.0000 0.9830 0.0232 271-AH 0.0000 0.6000 0.6667 0.7500 0.8889 0.6359 0.1967 0.1500 0.8889 0.3094 0.4455 0.0003 0.1300 0.4762 0.8889 0.6886 0.1020 272-AH 0.0000 0.0316 0.2273 0.2941 0.4167 0.1882 0.1301 0.2625 0.4167 0.6912 0.0720 0.0002 0.1127 0.0000 0.4167 0.1882 0.1301 273-AH 0.0000 0.8788 0.9375 0.9655 1.0000 0.8994 0.1702 0.0867 1.0000 0.1893 0.6547 0.0003 0.0797 0.7879 1.0000 0.9275 0.0548 274-AH 0.0117 0.2831 0.3750 0.4563 0.8571 0.3435 0.1880 0.1732 0.8455 0.5472 0.2487 0.1116 0.1389 0.0289 0.6250 0.3482 0.1499 275-AH 0.0000 0.3228 0.4490 0.5205 0.7143 0.4052 0.1875 0.1976 0.7143 0.4628 0.2018 0.0002 0.1463 0.0350 0.7143 0.4314 0.1608 276-AH 0.2791 0.5348 0.6774 0.7440 0.9000 0.6344 0.1406 0.2092 0.6209 0.2216 0.6169 0.5964 0.1186 0.2791 0.9000 0.6344 0.1406 277-AH 0.0920 0.2759 0.3077 0.3638 0.7273 0.3376 0.1276 0.0879 0.6353 0.3780 0.3150 0.2900 0.0902 0.2286 0.4500 0.3084 0.0513 278-AH 0.0000 0.0963 0.2593 0.3735 0.7778 0.2592 0.1976 0.2773 0.7778 0.7623 0.1435 0.0003 0.1554 0.0000 0.7778 0.2592 0.1976 279-AH 0.0191 0.0290 0.0690 0.6000 0.6667 0.2579 0.2769 0.5710 0.6476 1.0739 0.1100 0.0515 0.2545 0.0191 0.6667 0.2579 0.2769 280-AH 0.0000 0.0432 0.0593 0.1181 0.2424 0.0748 0.0559 0.0748 0.2424 0.7471 0.0304 0.0001 0.0442 0.0000 0.1667 0.0696 0.0479 281-AH 0.0000 0.3425 0.4643 0.7163 0.8824 0.4972 0.2293 0.3738 0.8824 0.4612 0.2570 0.0002 0.1813 0.0000 0.8824 0.4972 0.2293 282-AH 0.0000 0.1276 0.1562 0.2952 0.3667 0.1917 0.1067 0.1676 0.3667 0.5569 0.0780 0.0001 0.0890 0.0000 0.3667 0.1917 0.1067 283-AH 0.0145 0.1286 0.3333 0.5284 0.8750 0.3724 0.2527 0.3998 0.8605 0.6785 0.2590 0.1272 0.2075 0.0145 0.8750 0.3724 0.2527 284-AH 0.3600 0.5071 0.6154 0.6558 0.7059 0.5813 0.0960 0.1487 0.3459 0.1651 0.5729 0.5636 0.0818 0.3600 0.7059 0.5813 0.0960 285-AH 0.0000 0.5475 0.8438 0.9215 1.0000 0.6978 0.3043 0.3740 1.0000 0.4361 0.3353 0.0002 0.2468 0.0000 1.0000 0.6978 0.3043 286-AH 0.0000 0.0160 0.0392 0.0620 0.0976 0.0412 0.0287 0.0460 0.0976 0.6963 0.0219 0.0002 0.0230 0.0000 0.0976 0.0412 0.0287 287-AH 0.0446 0.4144 0.5135 0.5522 0.5926 0.4534 0.1491 0.1378 0.5480 0.3288 0.3986 0.2773 0.1088 0.2807 0.5926 0.4928 0.0825 288-AH 0.0749 0.2298 0.3194 0.4668 0.7667 0.3527 0.1755 0.2370 0.6918 0.4977 0.3096 0.2658 0.1419 0.0749 0.7667 0.3527 0.1755 289-AH 0.0000 0.5207 0.7778 0.9091 1.0000 0.6456 0.3766 0.3884 1.0000 0.5834 0.1069 0.0001 0.3096 0.0000 1.0000 0.6456 0.3766 290-AH 0.1293 0.1613 0.3333 0.4343 0.5714 0.3261 0.1457 0.2730 0.4422 0.4467 0.2916 0.2575 0.1265 0.1293 0.5714 0.3261 0.1457 259 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0171 0.6931 0.9231 1.0000 1.0000 0.7539 0.3536 0.3069 0.9829 0.4690 0.5166 0.1491 0.2851 0.2368 1.0000 0.8800 0.1970 292-AH 0.0081 0.5536 1.0000 1.0000 1.0000 0.7806 0.3438 0.4464 0.9919 0.4404 0.5778 0.1509 0.2925 0.0081 1.0000 0.7806 0.3438 293-AH 0.1642 0.6381 0.7333 0.7857 0.8571 0.6863 0.1689 0.1476 0.6930 0.2461 0.6512 0.5868 0.1200 0.4286 0.8571 0.7198 0.1061 294-AH 0.1636 0.6429 0.7000 0.7200 0.8182 0.6686 0.1281 0.0771 0.6545 0.1916 0.6487 0.6114 0.0820 0.5833 0.8182 0.7068 0.0576 295-AH 0.0298 0.2977 0.3600 0.5028 0.7273 0.3942 0.1489 0.2051 0.6975 0.3779 0.3543 0.2693 0.1224 0.0298 0.7273 0.3942 0.1489 296-AH 0.0000 0.2946 0.5000 0.6667 0.8000 0.4422 0.2674 0.3721 0.8000 0.6047 0.0817 0.0001 0.2169 0.0000 0.8000 0.4422 0.2674 297-AH 0.0164 0.5714 0.8000 1.0000 1.0000 0.7329 0.3009 0.4286 0.9836 0.4106 0.5792 0.2040 0.2429 0.0164 1.0000 0.7329 0.3009 298-AH 0.0634 0.1800 0.2727 0.3780 0.6429 0.2856 0.1464 0.1980 0.5795 0.5126 0.2497 0.2140 0.1148 0.0634 0.6429 0.2856 0.1464 299-AH 0.1863 0.3578 0.5000 0.6490 0.7714 0.4994 0.1693 0.2912 0.5851 0.3391 0.4680 0.4334 0.1408 0.1863 0.7714 0.4994 0.1693 300-AH 0.1025 0.2569 0.3171 0.3840 0.5000 0.3203 0.0925 0.1270 0.3975 0.2887 0.3057 0.2881 0.0732 0.1025 0.5000 0.3203 0.0925 301-AH 0.0000 0.0055 0.0094 0.7333 0.8333 0.2482 0.3733 0.7278 0.8333 1.5036 0.0084 0.0000 0.3364 0.0000 0.8333 0.2482 0.3733 302-AH 0.0396 0.3083 0.4000 0.5875 0.7500 0.4224 0.2093 0.2792 0.7104 0.4956 0.3481 0.2349 0.1653 0.0396 0.7500 0.4224 0.2093 303-AH 0.0123 0.2315 0.4545 0.5875 0.7143 0.3915 0.2169 0.3560 0.7020 0.5541 0.2840 0.1219 0.1872 0.0123 0.7143 0.3915 0.2169 304-AH 0.0508 0.2443 0.3333 0.4659 0.6250 0.3371 0.1591 0.2216 0.5742 0.4719 0.2919 0.2342 0.1301 0.0508 0.6250 0.3371 0.1591 305-AH 0.2000 0.3016 0.3333 0.4303 0.5278 0.3609 0.0849 0.1287 0.3278 0.2353 0.3511 0.3411 0.0718 0.2000 0.5278 0.3609 0.0849 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.2756 0.4407 0.4842 0.5455 0.3839 0.1385 0.2087 0.5455 0.3607 0.2695 0.0003 0.1135 0.0000 0.5455 0.3839 0.1385 308-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9939 0.0348 0.0000 0.2000 0.0350 0.9933 0.9925 0.0118 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0586 0.0750 0.0916 0.1905 0.0790 0.0414 0.0330 0.1905 0.5237 0.0448 0.0002 0.0281 0.0275 0.1250 0.0747 0.0233 310-AH 0.0483 0.0723 0.1124 0.1728 0.4000 0.1305 0.0710 0.1005 0.3517 0.5442 0.1151 0.1025 0.0543 0.0483 0.2088 0.1220 0.0528 311-AH 0.1161 0.2901 0.4146 0.5737 0.8500 0.4475 0.1822 0.2836 0.7339 0.4072 0.4070 0.3610 0.1503 0.1161 0.8500 0.4475 0.1822 312-AH 0.0000 0.4736 0.6667 0.7798 0.9091 0.6069 0.2079 0.3061 0.9091 0.3425 0.4272 0.0003 0.1694 0.2083 0.9091 0.6259 0.1799 313-AH 0.0000 0.0271 0.0556 0.1284 0.2609 0.0902 0.0757 0.1012 0.2609 0.8388 0.0484 0.0003 0.0644 0.0000 0.2609 0.0902 0.0757 314-AH 0.0000 0.0787 0.1071 0.1329 0.1556 0.1004 0.0399 0.0542 0.1556 0.3969 0.0580 0.0002 0.0310 0.0000 0.1556 0.1004 0.0399 315-AH 0.0950 0.5127 0.5758 0.6618 0.8000 0.5494 0.1896 0.1492 0.7050 0.3451 0.4973 0.4143 0.1362 0.4286 0.8000 0.6183 0.0988 316-AH 0.0535 0.1141 0.1568 0.2331 0.3462 0.1798 0.0824 0.1190 0.2927 0.4583 0.1608 0.1418 0.0698 0.0535 0.3462 0.1798 0.0824 317-AH 0.0000 0.2552 0.3333 0.3489 0.5625 0.3004 0.1135 0.0937 0.5625 0.3778 0.1639 0.0002 0.0805 0.1695 0.4167 0.3191 0.0632 318-AH 0.0373 0.1009 0.1667 0.3333 0.6000 0.2146 0.1446 0.2325 0.5627 0.6739 0.1718 0.1363 0.1178 0.0373 0.6000 0.2146 0.1446 319-AH 0.0272 0.1893 0.3889 0.6000 1.0000 0.4197 0.2757 0.4107 0.9728 0.6567 0.2999 0.1714 0.2297 0.0272 1.0000 0.4197 0.2757 320-AH 0.0061 0.0251 0.0420 0.0987 0.2188 0.0621 0.0535 0.0736 0.2126 0.8623 0.0417 0.0266 0.0437 0.0061 0.1562 0.0572 0.0463 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0234 0.0409 0.0641 0.1020 0.1818 0.0740 0.0429 0.0611 0.1584 0.5801 0.0640 0.0562 0.0344 0.0234 0.1818 0.0740 0.0429 323-AH 0.0000 0.1605 0.2222 0.3077 0.4783 0.2307 0.1078 0.1472 0.4783 0.4672 0.1549 0.0003 0.0863 0.0000 0.4783 0.2307 0.1078 324-AH 0.0000 0.0000 0.2347 0.6951 0.8000 0.3434 0.3220 0.6951 0.8000 0.9376 0.0204 0.0000 0.2972 0.0000 0.8000 0.3434 0.3220 325-AH 0.0511 0.5626 0.6786 0.7461 0.8667 0.6448 0.1574 0.1835 0.8156 0.2441 0.6041 0.4749 0.1170 0.4068 0.8667 0.6634 0.1176 326-AH 0.0000 0.2260 0.5000 1.0000 1.0000 0.5396 0.3649 0.7740 1.0000 0.6763 0.2102 0.0002 0.3098 0.0000 1.0000 0.5396 0.3649 327-AH 0.0000 0.0417 0.2857 0.4286 0.6667 0.2448 0.2078 0.3869 0.6667 0.8487 0.0642 0.0001 0.1911 0.0000 0.6667 0.2448 0.2078 328-AH 0.4737 0.5417 0.6364 0.7455 1.0000 0.6677 0.1484 0.2038 0.5263 0.2223 0.6527 0.6389 0.1210 0.4737 1.0000 0.6677 0.1484 329-AH 0.4615 0.6364 0.7500 0.8571 1.0000 0.7571 0.1535 0.2208 0.5385 0.2028 0.7415 0.7252 0.1244 0.4615 1.0000 0.7571 0.1535 330-AH 0.0778 0.7290 0.9048 0.9444 1.0000 0.7619 0.3151 0.2154 0.9222 0.4135 0.6254 0.3966 0.2536 0.4773 1.0000 0.8972 0.1250 331-AH 0.0000 0.2485 0.3333 0.4042 1.0000 0.3461 0.2162 0.1557 1.0000 0.6246 0.1578 0.0002 0.1453 0.0642 0.5833 0.3214 0.1192 332-AH 0.0000 0.1900 0.3750 0.4286 0.7500 0.3192 0.2066 0.2385 0.7500 0.6474 0.1012 0.0002 0.1640 0.0000 0.7500 0.3192 0.2066 333-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8115 0.3783 0.0000 1.0000 0.4662 0.3609 0.0003 0.2970 1.0000 1.0000 1.0000 0.0000 334-AH 0.1600 0.2107 0.3333 0.4286 1.0000 0.3964 0.2582 0.2179 0.8400 0.6513 0.3367 0.2955 0.1857 0.1600 0.6667 0.3132 0.1302 335-AH 0.0909 0.1786 0.2400 0.3011 0.7143 0.2675 0.1444 0.1225 0.6234 0.5400 0.2377 0.2140 0.1017 0.0909 0.4667 0.2228 0.0781 336-AH 0.0000 0.0000 0.0217 0.1135 0.5455 0.0759 0.1145 0.1135 0.5455 1.5079 0.0054 0.0000 0.0809 0.0000 0.2609 0.0613 0.0787 337-AH 0.7000 0.8182 0.8889 1.0000 1.0000 0.8946 0.1003 0.1818 0.3000 0.1121 0.8890 0.8832 0.0871 0.7000 1.0000 0.8946 0.1003 338-AH 0.0000 0.6920 1.0000 1.0000 1.0000 0.8108 0.3447 0.3080 1.0000 0.4251 0.3746 0.0002 0.2753 0.3750 1.0000 0.9193 0.1873 339-AH 0.0000 0.5375 0.7500 1.0000 1.0000 0.7006 0.3459 0.4625 1.0000 0.4937 0.1883 0.0001 0.2734 0.0000 1.0000 0.7006 0.3459 340-AH 0.2857 0.4000 0.5000 0.6000 0.7500 0.4862 0.1240 0.2000 0.4643 0.2551 0.4708 0.4556 0.1013 0.2857 0.7500 0.4862 0.1240 260 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0138 1.0000 1.0000 1.0000 1.0000 0.9221 0.2564 0.0000 0.9862 0.2781 0.7510 0.1886 0.1417 1.0000 1.0000 1.0000 0.0000 342-AH 0.0000 0.4946 0.7755 0.8345 0.9062 0.6713 0.2322 0.3399 0.9062 0.3458 0.4528 0.0003 0.1865 0.0000 0.9062 0.6713 0.2322 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1494 0.5445 0.6111 0.7857 1.0000 0.6680 0.1988 0.2412 0.8506 0.2977 0.6339 0.5851 0.1501 0.4138 1.0000 0.6842 0.1785 345-AH 0.0000 0.0936 0.1364 0.2123 0.6000 0.1927 0.1703 0.1187 0.6000 0.8837 0.1000 0.0003 0.1306 0.0000 0.3750 0.1228 0.0829 346-AH 0.0000 0.0629 0.0857 0.1038 0.1818 0.0817 0.0449 0.0409 0.1818 0.5498 0.0492 0.0003 0.0336 0.0041 0.1379 0.0778 0.0359 347-AH 0.0224 0.0639 0.0833 0.1074 0.1429 0.0859 0.0293 0.0435 0.1205 0.3409 0.0800 0.0725 0.0235 0.0224 0.1429 0.0859 0.0293 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0709 0.3304 0.4828 0.6063 1.0000 0.5122 0.2516 0.2759 0.9291 0.4913 0.4507 0.3770 0.1907 0.0709 1.0000 0.5122 0.2516 350-AH 0.0822 0.8000 1.0000 1.0000 1.0000 0.8779 0.2379 0.2000 0.9178 0.2710 0.8134 0.6522 0.1776 0.6000 1.0000 0.9552 0.1047 261 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.2222 0.9500 1.0000 1.0000 1.0000 0.9022 0.2016 0.0500 0.7778 0.2234 0.8668 0.8063 0.1482 1.0000 1.0000 1.0000 0.0000 143-AH 0.5000 0.8889 1.0000 1.0000 1.0000 0.9305 0.1042 0.1111 0.5000 0.1120 0.9234 0.9141 0.0775 0.8000 1.0000 0.9439 0.0710 144-AH 0.0000 0.1093 0.5000 0.6667 1.0000 0.4698 0.3414 0.5574 1.0000 0.7267 0.0901 0.0001 0.2808 0.0000 1.0000 0.4698 0.3414 145-AH 0.4848 0.6400 0.7826 0.8072 0.9048 0.7362 0.1124 0.1672 0.4199 0.1527 0.7271 0.7171 0.0936 0.4848 0.9048 0.7362 0.1124 146-AH 0.0114 0.5000 1.0000 1.0000 1.0000 0.7394 0.3460 0.5000 0.9886 0.4679 0.5796 0.2171 0.3159 0.0114 1.0000 0.7394 0.3460 147-AH 0.3134 0.7044 0.8462 0.9200 1.0000 0.7987 0.1552 0.2156 0.6866 0.1943 0.7806 0.7569 0.1274 0.5750 1.0000 0.8139 0.1305 148-AH 0.0000 0.0133 0.0337 0.0432 0.0833 0.0309 0.0226 0.0299 0.0833 0.7328 0.0190 0.0003 0.0184 0.0000 0.0833 0.0309 0.0226 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0510 0.1379 0.2761 0.4000 0.1631 0.1338 0.2251 0.4000 0.8201 0.0780 0.0003 0.1170 0.0000 0.4000 0.1631 0.1338 151-AH 0.0000 0.1040 0.2083 0.5000 0.7500 0.2729 0.2339 0.3960 0.7500 0.8570 0.0832 0.0001 0.2011 0.0000 0.7500 0.2729 0.2339 152-AH 0.0000 0.1529 0.3846 0.8571 1.0000 0.4715 0.3608 0.7042 1.0000 0.7653 0.2313 0.0003 0.3199 0.0000 1.0000 0.4715 0.3608 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0518 0.1685 0.2778 0.4155 0.6429 0.2910 0.1489 0.2470 0.5910 0.5117 0.2478 0.1993 0.1200 0.0518 0.6429 0.2910 0.1489 155-AH 0.0024 0.0817 0.1667 0.2500 0.5000 0.1803 0.1270 0.1683 0.4976 0.7041 0.1229 0.0377 0.0946 0.0024 0.5000 0.1803 0.1270 156-AH 0.0000 0.0562 0.0968 0.2314 0.6000 0.1407 0.1244 0.1752 0.6000 0.8842 0.0763 0.0003 0.0933 0.0000 0.3333 0.1263 0.0946 157-AH 0.0000 0.4688 0.5980 0.6590 0.8235 0.5048 0.2365 0.1902 0.8235 0.4685 0.2426 0.0002 0.1876 0.1924 0.8235 0.6020 0.1194 158-AH 0.0000 0.3803 0.5161 0.6558 0.9474 0.5102 0.2018 0.2755 0.9474 0.3955 0.3521 0.0003 0.1584 0.0000 0.9474 0.5102 0.2018 159-AH 0.0920 0.1848 0.2807 0.4002 0.8800 0.3329 0.2177 0.2154 0.7880 0.6538 0.2788 0.2371 0.1594 0.0920 0.7097 0.2801 0.1433 160-AH 0.0364 0.0588 0.0833 0.2000 1.0000 0.1423 0.1781 0.1412 0.9636 1.2514 0.0971 0.0767 0.1072 0.0364 0.3333 0.1155 0.0909 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.7206 0.9075 0.9322 0.9459 1.0000 0.9182 0.0628 0.0384 0.2794 0.0684 0.9159 0.9134 0.0419 0.8621 1.0000 0.9349 0.0330 164-AH 0.0210 0.0687 0.1161 0.2009 0.3438 0.1385 0.0836 0.1322 0.3227 0.6041 0.1142 0.0914 0.0692 0.0210 0.3438 0.1385 0.0836 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0379 0.1250 0.2500 0.4286 0.1533 0.1342 0.2121 0.4286 0.8751 0.0601 0.0002 0.1153 0.0000 0.4286 0.1533 0.1342 168-AH 0.0000 0.3837 0.4706 0.5060 0.7273 0.3892 0.2095 0.1223 0.7273 0.5384 0.0997 0.0001 0.1616 0.3810 0.6154 0.4818 0.0539 169-AH 0.0000 0.0164 0.0385 0.0684 0.1500 0.0464 0.0404 0.0520 0.1500 0.8699 0.0095 0.0001 0.0320 0.0000 0.1304 0.0432 0.0364 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0328 0.0756 0.1039 0.1571 0.0708 0.0507 0.0711 0.1571 0.7161 0.0146 0.0001 0.0422 0.0000 0.1571 0.0708 0.0507 172-AH 0.0083 0.0797 0.1304 0.1584 0.3000 0.1312 0.0687 0.0787 0.2917 0.5235 0.1078 0.0681 0.0511 0.0083 0.2667 0.1259 0.0626 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5556 0.8000 1.0000 1.0000 1.0000 0.9335 0.1171 0.2000 0.4444 0.1255 0.9252 0.9154 0.0967 0.5556 1.0000 0.9335 0.1171 176-AH 0.3542 1.0000 1.0000 1.0000 1.0000 0.9771 0.1126 0.0000 0.6458 0.1152 0.9658 0.9445 0.0416 1.0000 1.0000 1.0000 0.0000 177-AH 0.0099 0.2342 0.3750 0.6167 0.7000 0.3931 0.2312 0.3825 0.6901 0.5882 0.2798 0.1223 0.1851 0.0099 0.7000 0.3931 0.2312 178-AH 0.0000 0.0059 0.0247 0.2381 1.0000 0.1364 0.2242 0.2322 1.0000 1.6442 0.0225 0.0002 0.1599 0.0000 0.5000 0.0914 0.1315 179-AH 0.0141 0.5469 0.7692 0.9110 1.0000 0.6944 0.2958 0.3641 0.9859 0.4259 0.5643 0.2453 0.2400 0.0141 1.0000 0.6944 0.2958 180-AH 0.0000 0.1499 0.5667 0.7637 0.8421 0.4952 0.2957 0.6138 0.8421 0.5971 0.2807 0.0003 0.2631 0.0000 0.8421 0.4952 0.2957 181-AH 0.5522 0.8701 0.9091 0.9333 0.9800 0.8716 0.1125 0.0632 0.4278 0.1290 0.8631 0.8529 0.0770 0.8182 0.9800 0.9097 0.0433 182-AH 0.0353 0.0972 0.1212 0.5000 0.7500 0.2543 0.2395 0.4028 0.7147 0.9416 0.1664 0.1163 0.2045 0.0353 0.7500 0.2543 0.2395 183-AH 0.0184 0.0567 0.2353 0.3333 0.5000 0.2131 0.1585 0.2766 0.4816 0.7436 0.1382 0.0743 0.1345 0.0184 0.5000 0.2131 0.1585 184-AH 0.0140 0.8000 1.0000 1.0000 1.0000 0.8432 0.2432 0.2000 0.9860 0.2884 0.6952 0.2004 0.1616 0.6667 1.0000 0.8965 0.1203 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0054 1.0000 1.0000 1.0000 1.0000 0.9099 0.2300 0.0000 0.9946 0.2527 0.7777 0.1479 0.1420 1.0000 1.0000 1.0000 0.0000 190-AH 0.0482 0.7292 1.0000 1.0000 1.0000 0.8455 0.2515 0.2708 0.9518 0.2975 0.7662 0.5367 0.1967 0.3333 1.0000 0.8885 0.1863 262 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0380 0.3646 0.7500 1.0000 1.0000 0.6562 0.3465 0.6354 0.9620 0.5280 0.5090 0.3028 0.3056 0.0380 1.0000 0.6562 0.3465 193-AH 0.1364 0.3000 0.3750 1.0000 1.0000 0.5248 0.3138 0.7000 0.8636 0.5980 0.4415 0.3729 0.2724 0.1364 1.0000 0.5248 0.3138 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.5050 0.7500 1.0000 1.0000 0.6829 0.3603 0.4950 1.0000 0.5276 0.3854 0.0003 0.2969 0.0000 1.0000 0.6829 0.3603 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.4167 0.5714 0.6667 0.7273 0.8571 0.6402 0.1025 0.1559 0.4405 0.1602 0.6322 0.6242 0.0872 0.4167 0.8571 0.6402 0.1025 200-AH 0.0441 0.5536 0.8333 0.8571 1.0000 0.7059 0.2607 0.3036 0.9559 0.3693 0.6158 0.4218 0.2097 0.1429 1.0000 0.7266 0.2358 251-AH 0.0591 0.6209 0.7222 0.8112 0.8966 0.6658 0.2111 0.1903 0.8375 0.3170 0.5936 0.4292 0.1476 0.4815 0.8966 0.7218 0.1148 252-AH 0.0285 0.4047 0.4800 0.5629 0.7059 0.4634 0.1566 0.1582 0.6773 0.3379 0.4065 0.2589 0.1128 0.2400 0.7059 0.4911 0.1143 253-AH 0.0000 0.0958 0.3305 0.5363 0.6441 0.3214 0.2341 0.4405 0.6441 0.7282 0.0298 0.0000 0.2035 0.0000 0.6441 0.3214 0.2341 254-AH 0.0000 0.2257 0.2857 0.3268 0.4319 0.2835 0.0857 0.1011 0.4319 0.3022 0.2082 0.0003 0.0623 0.1707 0.4319 0.2923 0.0700 255-AH 0.0400 0.2121 0.3333 0.4583 1.0000 0.3699 0.2479 0.2462 0.9600 0.6702 0.2860 0.1999 0.1901 0.0400 0.6667 0.3293 0.1934 256-AH 0.0000 0.5827 1.0000 1.0000 1.0000 0.7539 0.3741 0.4173 1.0000 0.4961 0.3306 0.0002 0.3113 0.0000 1.0000 0.7539 0.3741 257-AH 0.0455 0.2164 0.2393 0.2938 0.3768 0.2361 0.0860 0.0774 0.3314 0.3642 0.2124 0.1754 0.0615 0.1008 0.3768 0.2545 0.0655 258-AH 0.0000 0.0089 0.0303 0.2000 0.3000 0.0833 0.0941 0.1911 0.3000 1.1299 0.0140 0.0001 0.0819 0.0000 0.3000 0.0833 0.0941 259-AH 0.0000 0.5000 0.6667 1.0000 1.0000 0.6916 0.3625 0.5000 1.0000 0.5241 0.2841 0.0002 0.2990 0.0000 1.0000 0.6916 0.3625 260-AH 0.0000 0.6667 0.7105 0.7473 0.8667 0.6735 0.1856 0.0807 0.8667 0.2755 0.3625 0.0002 0.0971 0.6512 0.8667 0.7245 0.0536 261-AH 0.0000 0.0170 0.0711 0.1921 0.7368 0.1543 0.2124 0.1751 0.7368 1.3762 0.0123 0.0000 0.1580 0.0000 0.2545 0.0727 0.0790 262-AH 0.0000 0.0995 0.3302 0.3886 0.5862 0.2680 0.1750 0.2891 0.5862 0.6529 0.0738 0.0001 0.1522 0.0000 0.5862 0.2680 0.1750 263-AH 0.0000 0.1883 0.2500 0.2798 0.3509 0.2203 0.0943 0.0914 0.3509 0.4278 0.1162 0.0002 0.0710 0.0722 0.3509 0.2416 0.0683 264-AH 0.0220 0.3750 0.7143 0.9000 1.0000 0.6256 0.2998 0.5250 0.9780 0.4792 0.4902 0.2237 0.2611 0.0220 1.0000 0.6256 0.2998 265-AH 0.0000 0.0244 0.5000 0.7232 1.0000 0.4539 0.3363 0.6988 1.0000 0.7410 0.1664 0.0003 0.2828 0.0000 1.0000 0.4539 0.3363 266-AH 0.0020 0.0082 0.0196 0.0711 0.2500 0.0603 0.0827 0.0628 0.2480 1.3708 0.0237 0.0107 0.0648 0.0020 0.1250 0.0240 0.0276 267-AH 0.0000 0.1519 0.1957 0.2195 0.6000 0.1994 0.1076 0.0676 0.6000 0.5392 0.1075 0.0002 0.0682 0.0849 0.3103 0.1889 0.0555 268-AH 0.0000 0.3455 1.0000 1.0000 1.0000 0.6717 0.3970 0.6545 1.0000 0.5911 0.2378 0.0002 0.3382 0.0000 1.0000 0.6717 0.3970 269-AH 0.0149 0.1542 0.2857 0.3217 0.5714 0.2593 0.1457 0.1675 0.5566 0.5616 0.1972 0.1056 0.1146 0.0149 0.5714 0.2593 0.1457 270-AH 0.0000 0.6702 0.8846 0.9231 1.0000 0.7221 0.3332 0.2528 1.0000 0.4614 0.2530 0.0001 0.2692 0.3651 1.0000 0.8435 0.1727 271-AH 0.0000 0.5556 0.6250 0.7143 0.8000 0.5911 0.1865 0.1587 0.8000 0.3155 0.4130 0.0003 0.1257 0.4167 0.8000 0.6409 0.0982 272-AH 0.0000 0.0219 0.2188 0.2727 0.3333 0.1653 0.1154 0.2508 0.3333 0.6979 0.0518 0.0001 0.1051 0.0000 0.3333 0.1653 0.1154 273-AH 0.0000 0.8404 0.8889 0.9444 1.0000 0.8508 0.1746 0.1040 1.0000 0.2052 0.6184 0.0003 0.0967 0.6852 1.0000 0.8842 0.0782 274-AH 0.0000 0.2250 0.3077 0.3895 0.5833 0.2816 0.1510 0.1645 0.5833 0.5364 0.1649 0.0003 0.1186 0.0000 0.5833 0.2816 0.1510 275-AH 0.0000 0.2842 0.3976 0.4933 0.6905 0.3644 0.1811 0.2090 0.6905 0.4968 0.1408 0.0001 0.1381 0.0000 0.6905 0.3644 0.1811 276-AH 0.2791 0.4732 0.5581 0.6532 0.7500 0.5593 0.1157 0.1799 0.4709 0.2069 0.5464 0.5320 0.0967 0.2791 0.7500 0.5593 0.1157 277-AH 0.0588 0.1747 0.2292 0.2895 0.5500 0.2411 0.1180 0.1147 0.4912 0.4894 0.2109 0.1769 0.0869 0.0588 0.4400 0.2220 0.0929 278-AH 0.0000 0.0593 0.1875 0.2278 0.5625 0.1744 0.1372 0.1685 0.5625 0.7865 0.0945 0.0003 0.1077 0.0000 0.4091 0.1623 0.1200 279-AH 0.0191 0.0290 0.0690 0.6000 0.6667 0.2579 0.2769 0.5710 0.6476 1.0739 0.1100 0.0515 0.2545 0.0191 0.6667 0.2579 0.2769 280-AH 0.0000 0.0368 0.0441 0.0901 0.1754 0.0634 0.0498 0.0534 0.1754 0.7858 0.0211 0.0001 0.0397 0.0000 0.1667 0.0599 0.0463 281-AH 0.0000 0.3148 0.3878 0.6161 0.8571 0.4365 0.2115 0.3013 0.8571 0.4847 0.2268 0.0002 0.1647 0.0000 0.8571 0.4365 0.2115 282-AH 0.0000 0.0855 0.1102 0.1708 0.3421 0.1342 0.0851 0.0853 0.3421 0.6342 0.0557 0.0001 0.0634 0.0000 0.2727 0.1208 0.0683 283-AH 0.0000 0.0930 0.2368 0.4820 0.7619 0.2967 0.2460 0.3890 0.7619 0.8291 0.1501 0.0003 0.2037 0.0000 0.7619 0.2967 0.2460 284-AH 0.3600 0.5016 0.5294 0.6154 0.6667 0.5351 0.0785 0.1137 0.3067 0.1467 0.5291 0.5226 0.0609 0.3600 0.6667 0.5351 0.0785 285-AH 0.0000 0.4267 0.8286 0.8824 0.9697 0.6611 0.3069 0.4556 0.9697 0.4642 0.3125 0.0002 0.2576 0.0000 0.9697 0.6611 0.3069 286-AH 0.0000 0.0127 0.0239 0.0446 0.0926 0.0313 0.0256 0.0319 0.0926 0.8176 0.0161 0.0002 0.0203 0.0000 0.0877 0.0294 0.0235 287-AH 0.0446 0.4014 0.5000 0.5385 0.5610 0.4354 0.1481 0.1371 0.5164 0.3402 0.3802 0.2626 0.1103 0.2561 0.5610 0.4737 0.0865 288-AH 0.0633 0.1495 0.2480 0.3507 0.6226 0.2697 0.1338 0.2012 0.5593 0.4961 0.2370 0.2044 0.1073 0.0633 0.6226 0.2697 0.1338 289-AH 0.0000 0.4666 0.7500 0.9023 1.0000 0.6159 0.3630 0.4356 1.0000 0.5894 0.1029 0.0001 0.2953 0.0000 1.0000 0.6159 0.3630 290-AH 0.1078 0.1474 0.2743 0.3732 0.4565 0.2723 0.1171 0.2258 0.3487 0.4302 0.2456 0.2194 0.1012 0.1078 0.4565 0.2723 0.1171 263 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0171 0.3459 0.8571 0.9384 1.0000 0.6816 0.3540 0.5925 0.9829 0.5194 0.4585 0.1437 0.3022 0.0171 1.0000 0.6816 0.3540 292-AH 0.0081 0.5536 1.0000 1.0000 1.0000 0.7806 0.3438 0.4464 0.9919 0.4404 0.5778 0.1509 0.2925 0.0081 1.0000 0.7806 0.3438 293-AH 0.0833 0.5182 0.7143 0.7374 0.8333 0.6312 0.1804 0.2192 0.7500 0.2858 0.5788 0.4581 0.1351 0.4286 0.8333 0.6665 0.1160 294-AH 0.0809 0.6375 0.7000 0.7200 0.8000 0.6579 0.1427 0.0825 0.7191 0.2169 0.6257 0.5394 0.0920 0.5263 0.8000 0.6946 0.0677 295-AH 0.0000 0.2231 0.2973 0.4549 0.5833 0.3301 0.1376 0.2318 0.5833 0.4168 0.2317 0.0003 0.1204 0.0000 0.5833 0.3301 0.1376 296-AH 0.0000 0.1910 0.4595 0.5595 0.7692 0.3886 0.2478 0.3686 0.7692 0.6378 0.0715 0.0001 0.2091 0.0000 0.7692 0.3886 0.2478 297-AH 0.0164 0.2274 0.5000 0.7440 1.0000 0.5334 0.2982 0.5166 0.9836 0.5590 0.4014 0.1747 0.2530 0.0164 1.0000 0.5334 0.2982 298-AH 0.0606 0.1549 0.2069 0.2489 0.5000 0.2233 0.1192 0.0940 0.4394 0.5340 0.1951 0.1683 0.0867 0.0606 0.3871 0.1877 0.0733 299-AH 0.1553 0.2839 0.3667 0.5337 0.6957 0.4033 0.1533 0.2498 0.5403 0.3801 0.3752 0.3477 0.1270 0.1553 0.6957 0.4033 0.1533 300-AH 0.1025 0.2344 0.2742 0.2996 0.3400 0.2640 0.0529 0.0652 0.2375 0.2005 0.2577 0.2496 0.0416 0.1835 0.3400 0.2690 0.0450 301-AH 0.0000 0.0000 0.0000 0.1151 0.8000 0.1446 0.2652 0.1151 0.8000 1.8344 0.0004 0.0000 0.2084 0.0000 0.1373 0.0123 0.0343 302-AH 0.0396 0.2843 0.3333 0.4392 0.7273 0.3564 0.1749 0.1550 0.6877 0.4909 0.2957 0.2064 0.1297 0.0800 0.6667 0.3536 0.1367 303-AH 0.0086 0.2120 0.3750 0.5114 0.6667 0.3430 0.1966 0.2993 0.6580 0.5733 0.2449 0.0966 0.1623 0.0086 0.6667 0.3430 0.1966 304-AH 0.0508 0.1130 0.1765 0.2857 0.5455 0.2106 0.1290 0.1727 0.4946 0.6123 0.1772 0.1491 0.1015 0.0508 0.4615 0.1890 0.0989 305-AH 0.1724 0.2538 0.2990 0.3427 0.4727 0.3076 0.0820 0.0888 0.3003 0.2665 0.2969 0.2862 0.0640 0.1724 0.4727 0.3076 0.0820 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.2403 0.3827 0.4436 0.5000 0.3478 0.1326 0.2034 0.5000 0.3811 0.2424 0.0003 0.1089 0.0000 0.5000 0.3478 0.1326 308-AH 0.7143 1.0000 1.0000 1.0000 1.0000 0.9863 0.0568 0.0000 0.2857 0.0576 0.9844 0.9821 0.0258 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0499 0.0597 0.0889 0.1905 0.0697 0.0414 0.0390 0.1905 0.5933 0.0391 0.0002 0.0294 0.0000 0.1176 0.0622 0.0294 310-AH 0.0483 0.0668 0.0878 0.1414 0.3803 0.1076 0.0623 0.0746 0.3320 0.5793 0.0955 0.0863 0.0439 0.0483 0.1667 0.0991 0.0392 311-AH 0.1050 0.2869 0.3793 0.4706 0.6471 0.3705 0.1350 0.1838 0.5420 0.3644 0.3404 0.3026 0.1073 0.1050 0.6471 0.3705 0.1350 312-AH 0.0000 0.4347 0.5556 0.7206 0.8667 0.5604 0.2047 0.2859 0.8667 0.3653 0.3868 0.0003 0.1593 0.0839 0.8667 0.5779 0.1811 313-AH 0.0000 0.0179 0.0556 0.1066 0.1569 0.0636 0.0479 0.0888 0.1569 0.7536 0.0193 0.0001 0.0434 0.0000 0.1569 0.0636 0.0479 314-AH 0.0000 0.0697 0.0879 0.1284 0.1538 0.0906 0.0394 0.0587 0.1538 0.4347 0.0521 0.0002 0.0304 0.0000 0.1538 0.0906 0.0394 315-AH 0.0334 0.3540 0.5625 0.6422 0.7429 0.4827 0.2190 0.2881 0.7094 0.4538 0.3868 0.2292 0.1788 0.0334 0.7429 0.4827 0.2190 316-AH 0.0535 0.1048 0.1412 0.2118 0.2963 0.1583 0.0670 0.1069 0.2428 0.4231 0.1439 0.1296 0.0577 0.0535 0.2963 0.1583 0.0670 317-AH 0.0000 0.2128 0.2500 0.3158 0.4000 0.2425 0.0953 0.1030 0.4000 0.3927 0.1332 0.0002 0.0702 0.0843 0.4000 0.2582 0.0742 318-AH 0.0373 0.1009 0.1628 0.3141 0.4545 0.1992 0.1234 0.2132 0.4172 0.6193 0.1641 0.1333 0.1031 0.0373 0.4545 0.1992 0.1234 319-AH 0.0253 0.0990 0.2500 0.4500 0.7273 0.2768 0.1903 0.3510 0.7020 0.6877 0.1974 0.1213 0.1607 0.0253 0.7273 0.2768 0.1903 320-AH 0.0000 0.0174 0.0266 0.0527 0.2188 0.0401 0.0433 0.0353 0.2188 1.0810 0.0128 0.0001 0.0281 0.0000 0.0854 0.0310 0.0223 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0234 0.0365 0.0513 0.0789 0.1818 0.0635 0.0393 0.0424 0.1584 0.6191 0.0548 0.0486 0.0287 0.0234 0.1176 0.0560 0.0264 323-AH 0.0000 0.0991 0.1358 0.1742 0.4783 0.1407 0.0809 0.0751 0.4783 0.5753 0.0769 0.0002 0.0515 0.0000 0.2245 0.1301 0.0545 324-AH 0.0000 0.0000 0.0809 0.5660 0.7500 0.2535 0.2844 0.5660 0.7500 1.1217 0.0107 0.0000 0.2664 0.0000 0.7500 0.2535 0.2844 325-AH 0.0405 0.4987 0.6047 0.7047 0.8667 0.5897 0.1687 0.2059 0.8261 0.2860 0.5443 0.4095 0.1286 0.3012 0.8667 0.6069 0.1390 326-AH 0.0000 0.2260 0.5000 1.0000 1.0000 0.5396 0.3649 0.7740 1.0000 0.6763 0.2102 0.0002 0.3098 0.0000 1.0000 0.5396 0.3649 327-AH 0.0000 0.0417 0.2857 0.4286 0.6667 0.2448 0.2078 0.3869 0.6667 0.8487 0.0642 0.0001 0.1911 0.0000 0.6667 0.2448 0.2078 328-AH 0.4583 0.5417 0.5909 0.6786 0.9091 0.6239 0.1163 0.1369 0.4508 0.1865 0.6141 0.6050 0.0934 0.4583 0.8462 0.6150 0.1062 329-AH 0.4615 0.5833 0.6429 0.7778 1.0000 0.6777 0.1269 0.1944 0.5385 0.1872 0.6668 0.6565 0.0984 0.4615 1.0000 0.6777 0.1269 330-AH 0.0735 0.5968 0.8400 0.9139 1.0000 0.7069 0.3015 0.3171 0.9265 0.4266 0.5739 0.3609 0.2441 0.1667 1.0000 0.7927 0.2023 331-AH 0.0000 0.2485 0.3333 0.3716 0.8750 0.3361 0.2047 0.1231 0.8750 0.6090 0.1540 0.0002 0.1379 0.0642 0.5417 0.3028 0.1049 332-AH 0.0000 0.1514 0.2500 0.3333 0.6667 0.2418 0.1686 0.1819 0.6667 0.6970 0.0363 0.0001 0.1223 0.0000 0.5000 0.2286 0.1527 333-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8115 0.3783 0.0000 1.0000 0.4662 0.3609 0.0003 0.2970 1.0000 1.0000 1.0000 0.0000 334-AH 0.1600 0.2107 0.3333 0.4286 1.0000 0.3964 0.2582 0.2179 0.8400 0.6513 0.3367 0.2955 0.1857 0.1600 0.6667 0.3132 0.1302 335-AH 0.0851 0.1313 0.2121 0.2972 0.5385 0.2286 0.1189 0.1660 0.4534 0.5203 0.2014 0.1776 0.0899 0.0851 0.5385 0.2286 0.1189 336-AH 0.0000 0.0000 0.0209 0.1135 0.5333 0.0723 0.1105 0.1135 0.5333 1.5273 0.0051 0.0000 0.0784 0.0000 0.2368 0.0579 0.0743 337-AH 0.5333 0.7711 0.8462 0.9000 1.0000 0.8338 0.1038 0.1289 0.4667 0.1244 0.8271 0.8196 0.0809 0.6667 1.0000 0.8432 0.0900 338-AH 0.0000 0.6920 1.0000 1.0000 1.0000 0.7770 0.3406 0.3080 1.0000 0.4384 0.3518 0.0002 0.2656 0.2500 1.0000 0.8815 0.1980 339-AH 0.0000 0.5000 0.7222 0.9318 1.0000 0.6644 0.3297 0.4318 1.0000 0.4962 0.1800 0.0001 0.2597 0.0000 1.0000 0.6644 0.3297 340-AH 0.2857 0.4000 0.5000 0.6000 0.7500 0.4862 0.1240 0.2000 0.4643 0.2551 0.4708 0.4556 0.1013 0.2857 0.7500 0.4862 0.1240 264 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0083 1.0000 1.0000 1.0000 1.0000 0.9123 0.2817 0.0000 0.9917 0.3088 0.6955 0.1170 0.1594 1.0000 1.0000 1.0000 0.0000 342-AH 0.0000 0.4781 0.7193 0.7740 0.8421 0.6198 0.2263 0.2959 0.8421 0.3651 0.4152 0.0003 0.1823 0.0393 0.8421 0.6392 0.2002 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1443 0.4516 0.5385 0.6473 0.9333 0.5608 0.1647 0.1957 0.7890 0.2936 0.5341 0.4989 0.1239 0.3415 0.9333 0.5739 0.1491 345-AH 0.0000 0.0643 0.1111 0.2110 0.5714 0.1613 0.1486 0.1468 0.5714 0.9212 0.0824 0.0003 0.1132 0.0000 0.3000 0.1159 0.0853 346-AH 0.0000 0.0629 0.0857 0.1036 0.1818 0.0812 0.0453 0.0407 0.1818 0.5579 0.0407 0.0002 0.0339 0.0061 0.1364 0.0799 0.0339 347-AH 0.0141 0.0603 0.0794 0.0914 0.1379 0.0772 0.0251 0.0312 0.1238 0.3253 0.0720 0.0641 0.0188 0.0141 0.1379 0.0772 0.0251 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0425 0.3100 0.3929 0.5304 1.0000 0.4639 0.2473 0.2203 0.9575 0.5331 0.4022 0.3169 0.1840 0.0425 0.8571 0.3900 0.1523 350-AH 0.0822 0.6429 0.8000 1.0000 1.0000 0.7840 0.2410 0.3571 0.9178 0.3075 0.7227 0.5921 0.1860 0.3750 1.0000 0.8059 0.2088 265 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.2222 0.9500 1.0000 1.0000 1.0000 0.9022 0.2016 0.0500 0.7778 0.2234 0.8668 0.8063 0.1482 1.0000 1.0000 1.0000 0.0000 143-AH 0.3636 0.7750 0.8696 1.0000 1.0000 0.8425 0.1867 0.2250 0.6364 0.2217 0.8171 0.7851 0.1438 0.4667 1.0000 0.8575 0.1684 144-AH 0.0000 0.1093 0.5000 0.6667 1.0000 0.4698 0.3414 0.5574 1.0000 0.7267 0.0901 0.0001 0.2808 0.0000 1.0000 0.4698 0.3414 145-AH 0.3455 0.5851 0.7600 0.7813 0.9048 0.6951 0.1327 0.1961 0.5593 0.1910 0.6804 0.6628 0.1087 0.3455 0.9048 0.6951 0.1327 146-AH 0.0114 0.5000 1.0000 1.0000 1.0000 0.7394 0.3460 0.5000 0.9886 0.4679 0.5796 0.2171 0.3159 0.0114 1.0000 0.7394 0.3460 147-AH 0.2162 0.6591 0.7500 0.8677 0.9189 0.7353 0.1578 0.2087 0.7027 0.2145 0.7130 0.6793 0.1274 0.5000 0.9189 0.7516 0.1293 148-AH 0.0000 0.0133 0.0337 0.0432 0.0833 0.0309 0.0226 0.0299 0.0833 0.7328 0.0190 0.0003 0.0184 0.0000 0.0833 0.0309 0.0226 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0410 0.0769 0.1887 0.3333 0.1176 0.1049 0.1477 0.3333 0.8919 0.0382 0.0001 0.0894 0.0000 0.3333 0.1176 0.1049 151-AH 0.0000 0.0551 0.0968 0.1976 0.7500 0.1397 0.1531 0.1424 0.7500 1.0958 0.0355 0.0001 0.1063 0.0000 0.3333 0.1104 0.0935 152-AH 0.0000 0.0769 0.2857 0.8571 1.0000 0.4095 0.3563 0.7802 1.0000 0.8702 0.1530 0.0002 0.3048 0.0000 1.0000 0.4095 0.3563 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0506 0.1253 0.2292 0.3015 0.5789 0.2289 0.1181 0.1763 0.5284 0.5161 0.1979 0.1658 0.0920 0.0506 0.4074 0.2180 0.1016 155-AH 0.0024 0.0817 0.1667 0.2500 0.5000 0.1803 0.1270 0.1683 0.4976 0.7041 0.1229 0.0377 0.0946 0.0024 0.5000 0.1803 0.1270 156-AH 0.0000 0.0525 0.0889 0.1480 0.4000 0.1092 0.0939 0.0956 0.4000 0.8601 0.0402 0.0001 0.0693 0.0000 0.2683 0.0932 0.0702 157-AH 0.0000 0.3658 0.5469 0.5895 0.8046 0.4563 0.2267 0.2236 0.8046 0.4968 0.1677 0.0001 0.1808 0.0826 0.8046 0.5019 0.1817 158-AH 0.0000 0.2968 0.4250 0.4760 0.9474 0.4188 0.1862 0.1792 0.9474 0.4445 0.2894 0.0003 0.1350 0.1049 0.7391 0.4153 0.1476 159-AH 0.0800 0.1385 0.2797 0.3351 0.8710 0.2888 0.1797 0.1966 0.7910 0.6223 0.2437 0.2065 0.1265 0.0800 0.6279 0.2706 0.1486 160-AH 0.0364 0.0588 0.0833 0.2000 1.0000 0.1423 0.1781 0.1412 0.9636 1.2514 0.0971 0.0767 0.1072 0.0364 0.3333 0.1155 0.0909 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.6854 0.8982 0.9143 0.9265 0.9844 0.8928 0.0677 0.0283 0.2990 0.0758 0.8901 0.8871 0.0479 0.8971 0.9538 0.9208 0.0166 164-AH 0.0210 0.0621 0.0966 0.1644 0.2800 0.1153 0.0708 0.1023 0.2590 0.6141 0.0948 0.0756 0.0576 0.0210 0.2800 0.1153 0.0708 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0233 0.0429 0.1442 0.4286 0.1032 0.1199 0.1209 0.4286 1.1610 0.0369 0.0002 0.0894 0.0000 0.2143 0.0649 0.0596 168-AH 0.0000 0.3785 0.4444 0.5000 0.6923 0.3830 0.2058 0.1215 0.6923 0.5373 0.0974 0.0001 0.1599 0.3600 0.6000 0.4752 0.0538 169-AH 0.0000 0.0164 0.0385 0.0684 0.1500 0.0464 0.0404 0.0520 0.1500 0.8699 0.0095 0.0001 0.0320 0.0000 0.1304 0.0432 0.0364 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0290 0.0685 0.1022 0.1571 0.0665 0.0510 0.0732 0.1571 0.7666 0.0110 0.0000 0.0422 0.0000 0.1571 0.0665 0.0510 172-AH 0.0053 0.0715 0.0896 0.1392 0.2667 0.1069 0.0629 0.0676 0.2614 0.5890 0.0847 0.0465 0.0475 0.0053 0.1905 0.0920 0.0430 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.5556 0.8000 1.0000 1.0000 1.0000 0.8815 0.1366 0.2000 0.4444 0.1550 0.8701 0.8575 0.1221 0.5556 1.0000 0.8815 0.1366 176-AH 0.3500 0.9130 1.0000 1.0000 1.0000 0.9416 0.1220 0.0870 0.6500 0.1296 0.9293 0.9082 0.0706 0.8333 1.0000 0.9669 0.0483 177-AH 0.0085 0.1437 0.2917 0.4958 0.7000 0.3391 0.2281 0.3521 0.6915 0.6726 0.2353 0.1003 0.1813 0.0085 0.7000 0.3391 0.2281 178-AH 0.0000 0.0059 0.0247 0.2381 1.0000 0.1364 0.2242 0.2322 1.0000 1.6442 0.0225 0.0002 0.1599 0.0000 0.5000 0.0914 0.1315 179-AH 0.0000 0.2903 0.6471 0.8008 1.0000 0.5657 0.2926 0.5105 1.0000 0.5173 0.3542 0.0003 0.2487 0.0000 1.0000 0.5657 0.2926 180-AH 0.0000 0.1311 0.5500 0.7201 0.7778 0.4648 0.2823 0.5890 0.7778 0.6074 0.2599 0.0003 0.2513 0.0000 0.7778 0.4648 0.2823 181-AH 0.4563 0.8326 0.8868 0.9118 0.9800 0.8448 0.1243 0.0792 0.5237 0.1472 0.8335 0.8191 0.0843 0.7797 0.9800 0.8871 0.0441 182-AH 0.0353 0.0972 0.1212 0.5000 0.7500 0.2543 0.2395 0.4028 0.7147 0.9416 0.1664 0.1163 0.2045 0.0353 0.7500 0.2543 0.2395 183-AH 0.0184 0.0567 0.2353 0.3333 0.5000 0.2131 0.1585 0.2766 0.4816 0.7436 0.1382 0.0743 0.1345 0.0184 0.5000 0.2131 0.1585 184-AH 0.0108 0.6076 0.7500 1.0000 1.0000 0.7166 0.2758 0.3924 0.9892 0.3849 0.5712 0.1685 0.2112 0.3333 1.0000 0.7619 0.2147 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0054 0.8333 1.0000 1.0000 1.0000 0.8856 0.2315 0.1667 0.9946 0.2614 0.7564 0.1472 0.1525 0.6667 1.0000 0.9370 0.1084 190-AH 0.0311 0.3428 0.8333 1.0000 1.0000 0.6790 0.3661 0.6572 0.9689 0.5392 0.5069 0.2739 0.3257 0.0311 1.0000 0.6790 0.3661 266 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0380 0.3646 0.7500 1.0000 1.0000 0.6562 0.3465 0.6354 0.9620 0.5280 0.5090 0.3028 0.3056 0.0380 1.0000 0.6562 0.3465 193-AH 0.0047 0.1721 0.2941 0.3636 0.8000 0.2889 0.1655 0.1915 0.7953 0.5728 0.2267 0.0904 0.1184 0.0047 0.5000 0.2603 0.1221 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.3926 0.6410 0.9692 1.0000 0.6326 0.3645 0.5766 1.0000 0.5763 0.2761 0.0002 0.3166 0.0000 1.0000 0.6326 0.3645 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.4167 0.5530 0.6000 0.6923 0.8571 0.6200 0.0916 0.1393 0.4405 0.1478 0.6135 0.6071 0.0754 0.4167 0.8571 0.6200 0.0916 200-AH 0.0441 0.4370 0.8333 0.8333 1.0000 0.6513 0.2741 0.3963 0.9559 0.4209 0.5485 0.3682 0.2333 0.0441 1.0000 0.6513 0.2741 251-AH 0.0375 0.3649 0.5278 0.6875 0.7857 0.4951 0.2033 0.3226 0.7483 0.4106 0.4157 0.2584 0.1577 0.0375 0.7857 0.4951 0.2033 252-AH 0.0285 0.3497 0.4167 0.4739 0.6818 0.3963 0.1364 0.1242 0.6533 0.3442 0.3490 0.2349 0.0956 0.1905 0.6000 0.4109 0.0917 253-AH 0.0000 0.0000 0.2493 0.4618 0.5549 0.2573 0.2040 0.4618 0.5549 0.7928 0.0145 0.0000 0.1785 0.0000 0.5549 0.2573 0.2040 254-AH 0.0000 0.1954 0.2484 0.2964 0.3402 0.2440 0.0706 0.1011 0.3402 0.2894 0.1805 0.0003 0.0527 0.1480 0.3402 0.2516 0.0563 255-AH 0.0400 0.2121 0.3333 0.4583 1.0000 0.3699 0.2479 0.2462 0.9600 0.6702 0.2860 0.1999 0.1901 0.0400 0.6667 0.3293 0.1934 256-AH 0.0000 0.3399 0.8571 1.0000 1.0000 0.7119 0.3859 0.6601 1.0000 0.5421 0.2927 0.0002 0.3295 0.0000 1.0000 0.7119 0.3859 257-AH 0.0337 0.1859 0.2166 0.2636 0.3299 0.2075 0.0771 0.0777 0.2962 0.3714 0.1851 0.1496 0.0568 0.0891 0.3299 0.2241 0.0585 258-AH 0.0000 0.0089 0.0303 0.2000 0.3000 0.0833 0.0941 0.1911 0.3000 1.1299 0.0140 0.0001 0.0819 0.0000 0.3000 0.0833 0.0941 259-AH 0.0000 0.5000 0.6667 1.0000 1.0000 0.6916 0.3625 0.5000 1.0000 0.5241 0.2841 0.0002 0.2990 0.0000 1.0000 0.6916 0.3625 260-AH 0.0000 0.6054 0.6471 0.6957 0.7442 0.6094 0.1688 0.0903 0.7442 0.2769 0.3299 0.0002 0.0921 0.5593 0.7442 0.6547 0.0549 261-AH 0.0000 0.0000 0.0311 0.0985 0.6296 0.1056 0.1818 0.0985 0.6296 1.7210 0.0032 0.0000 0.1265 0.0000 0.1308 0.0328 0.0397 262-AH 0.0000 0.0463 0.2183 0.3295 0.5119 0.2061 0.1562 0.2832 0.5119 0.7579 0.0209 0.0000 0.1339 0.0000 0.5119 0.2061 0.1562 263-AH 0.0000 0.1608 0.2301 0.2513 0.3077 0.1956 0.0882 0.0905 0.3077 0.4506 0.0819 0.0001 0.0698 0.0573 0.3077 0.2152 0.0650 264-AH 0.0193 0.2842 0.5500 0.6875 0.9167 0.4958 0.2571 0.4033 0.8973 0.5185 0.3862 0.1912 0.2173 0.0193 0.9167 0.4958 0.2571 265-AH 0.0000 0.0244 0.5000 0.7232 1.0000 0.4539 0.3363 0.6988 1.0000 0.7410 0.1664 0.0003 0.2828 0.0000 1.0000 0.4539 0.3363 266-AH 0.0020 0.0082 0.0196 0.0711 0.2500 0.0603 0.0827 0.0628 0.2480 1.3708 0.0237 0.0107 0.0648 0.0020 0.1250 0.0240 0.0276 267-AH 0.0000 0.1063 0.1358 0.1805 0.3077 0.1427 0.0679 0.0742 0.3077 0.4758 0.0788 0.0002 0.0512 0.0000 0.2444 0.1375 0.0621 268-AH 0.0000 0.3455 1.0000 1.0000 1.0000 0.6717 0.3970 0.6545 1.0000 0.5911 0.2378 0.0002 0.3382 0.0000 1.0000 0.6717 0.3970 269-AH 0.0136 0.0945 0.1935 0.2609 0.4167 0.1868 0.1057 0.1664 0.4030 0.5659 0.1448 0.0878 0.0869 0.0136 0.4167 0.1868 0.1057 270-AH 0.0000 0.4119 0.7073 0.7975 0.8788 0.5773 0.2883 0.3856 0.8788 0.4994 0.1613 0.0001 0.2375 0.0000 0.8788 0.5773 0.2883 271-AH 0.0000 0.4811 0.5600 0.6316 0.8000 0.5141 0.1754 0.1505 0.8000 0.3411 0.3569 0.0003 0.1227 0.3158 0.8000 0.5581 0.1078 272-AH 0.0000 0.0213 0.1915 0.2308 0.2800 0.1469 0.1076 0.2095 0.2800 0.7328 0.0367 0.0001 0.0979 0.0000 0.2800 0.1469 0.1076 273-AH 0.0000 0.7375 0.8654 0.8942 0.9767 0.7981 0.1858 0.1567 0.9767 0.2328 0.5775 0.0003 0.1243 0.5385 0.9767 0.8230 0.1202 274-AH 0.0000 0.1536 0.2581 0.3546 0.5333 0.2524 0.1424 0.2010 0.5333 0.5641 0.1475 0.0003 0.1133 0.0000 0.5333 0.2524 0.1424 275-AH 0.0000 0.2255 0.3511 0.4640 0.6735 0.3289 0.1756 0.2385 0.6735 0.5338 0.1257 0.0001 0.1406 0.0000 0.6735 0.3289 0.1756 276-AH 0.1796 0.4066 0.4533 0.5789 0.6939 0.4747 0.1253 0.1723 0.5142 0.2640 0.4564 0.4350 0.0989 0.1796 0.6939 0.4747 0.1253 277-AH 0.0000 0.1146 0.1970 0.2301 0.4194 0.1832 0.0908 0.1155 0.4194 0.4955 0.1213 0.0003 0.0673 0.0000 0.3421 0.1758 0.0815 278-AH 0.0000 0.0452 0.1019 0.2264 0.4615 0.1292 0.1157 0.1812 0.4615 0.8956 0.0540 0.0002 0.0935 0.0000 0.4615 0.1292 0.1157 279-AH 0.0191 0.0290 0.0690 0.6000 0.6667 0.2579 0.2769 0.5710 0.6476 1.0739 0.1100 0.0515 0.2545 0.0191 0.6667 0.2579 0.2769 280-AH 0.0000 0.0299 0.0383 0.0680 0.1667 0.0516 0.0422 0.0380 0.1667 0.8173 0.0177 0.0001 0.0305 0.0000 0.0935 0.0407 0.0245 281-AH 0.0000 0.2727 0.3676 0.4819 0.7500 0.3818 0.1811 0.2092 0.7500 0.4743 0.2005 0.0002 0.1362 0.0000 0.7500 0.3818 0.1811 282-AH 0.0000 0.0651 0.0777 0.1105 0.3404 0.1075 0.0856 0.0454 0.3404 0.7962 0.0430 0.0001 0.0613 0.0000 0.1495 0.0721 0.0340 283-AH 0.0000 0.0706 0.1959 0.2313 0.6667 0.2234 0.2026 0.1608 0.6667 0.9067 0.0909 0.0002 0.1527 0.0000 0.2468 0.1275 0.0807 284-AH 0.3585 0.4747 0.5122 0.5564 0.6216 0.5079 0.0722 0.0817 0.2631 0.1421 0.5025 0.4968 0.0549 0.3585 0.6216 0.5079 0.0722 285-AH 0.0000 0.4102 0.7679 0.8407 0.9459 0.6183 0.3042 0.4305 0.9459 0.4919 0.2885 0.0002 0.2614 0.0000 0.9459 0.6183 0.3042 286-AH 0.0000 0.0116 0.0161 0.0357 0.0789 0.0237 0.0199 0.0241 0.0789 0.8387 0.0124 0.0002 0.0156 0.0000 0.0706 0.0220 0.0175 287-AH 0.0385 0.3684 0.4386 0.5230 0.5510 0.4042 0.1471 0.1546 0.5125 0.3640 0.3489 0.2367 0.1112 0.1970 0.5510 0.4400 0.0964 288-AH 0.0563 0.1152 0.1810 0.2542 0.5429 0.2026 0.1133 0.1390 0.4866 0.5593 0.1762 0.1541 0.0866 0.0563 0.4270 0.1920 0.0970 289-AH 0.0000 0.4463 0.7500 0.9023 0.9231 0.6062 0.3569 0.4560 0.9231 0.5888 0.1016 0.0001 0.2917 0.0000 0.9231 0.6062 0.3569 290-AH 0.1078 0.1371 0.2437 0.3097 0.3857 0.2324 0.0899 0.1726 0.2779 0.3868 0.2140 0.1957 0.0799 0.1078 0.3857 0.2324 0.0899 267 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0171 0.2475 0.7895 0.8355 1.0000 0.5881 0.3385 0.5880 0.9829 0.5755 0.3927 0.1375 0.3022 0.0171 1.0000 0.5881 0.3385 292-AH 0.0081 0.5536 1.0000 1.0000 1.0000 0.7806 0.3438 0.4464 0.9919 0.4404 0.5778 0.1509 0.2925 0.0081 1.0000 0.7806 0.3438 293-AH 0.0231 0.4615 0.6538 0.7083 0.8095 0.5900 0.1913 0.2468 0.7865 0.3242 0.5014 0.2379 0.1437 0.3148 0.8095 0.6265 0.1273 294-AH 0.0433 0.6375 0.7000 0.7200 0.7895 0.6490 0.1482 0.0825 0.7461 0.2284 0.6056 0.4533 0.0950 0.5185 0.7895 0.6883 0.0631 295-AH 0.0000 0.1494 0.2167 0.3949 0.4762 0.2409 0.1353 0.2455 0.4762 0.5617 0.1576 0.0003 0.1110 0.0000 0.4762 0.2409 0.1353 296-AH 0.0000 0.1752 0.4483 0.5455 0.7222 0.3730 0.2418 0.3702 0.7222 0.6484 0.0439 0.0000 0.2043 0.0000 0.7222 0.3730 0.2418 297-AH 0.0164 0.0415 0.1333 0.2413 0.6667 0.1656 0.1478 0.1998 0.6502 0.8929 0.1089 0.0675 0.1130 0.0164 0.4615 0.1499 0.1192 298-AH 0.0533 0.1066 0.1481 0.1893 0.4848 0.1793 0.1115 0.0827 0.4315 0.6219 0.1529 0.1322 0.0781 0.0533 0.2500 0.1379 0.0495 299-AH 0.1368 0.2493 0.3077 0.4826 0.6333 0.3540 0.1439 0.2333 0.4965 0.4065 0.3272 0.3026 0.1208 0.1368 0.6333 0.3540 0.1439 300-AH 0.1025 0.1972 0.2188 0.2593 0.2877 0.2234 0.0408 0.0620 0.1852 0.1825 0.2193 0.2144 0.0312 0.1641 0.2877 0.2272 0.0351 301-AH 0.0000 0.0000 0.0000 0.0528 0.8000 0.1264 0.2450 0.0528 0.8000 1.9385 0.0002 0.0000 0.1903 0.0000 0.0611 0.0056 0.0162 302-AH 0.0191 0.2281 0.3000 0.3381 0.6429 0.2949 0.1512 0.1100 0.6237 0.5130 0.2296 0.1242 0.1045 0.0978 0.4762 0.3022 0.0833 303-AH 0.0086 0.2018 0.3182 0.4182 0.5833 0.3031 0.1676 0.2164 0.5747 0.5530 0.2180 0.0886 0.1349 0.0086 0.5833 0.3031 0.1676 304-AH 0.0220 0.0508 0.0640 0.1032 0.1951 0.0803 0.0474 0.0524 0.1731 0.5911 0.0690 0.0599 0.0372 0.0220 0.1667 0.0731 0.0392 305-AH 0.1183 0.1781 0.2462 0.3025 0.4444 0.2472 0.0838 0.1244 0.3261 0.3392 0.2337 0.2207 0.0682 0.1183 0.4444 0.2472 0.0838 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.1931 0.2963 0.4025 0.4756 0.2907 0.1215 0.2094 0.4756 0.4179 0.2008 0.0003 0.1016 0.0000 0.4756 0.2907 0.1215 308-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9613 0.0944 0.0000 0.3333 0.0982 0.9560 0.9500 0.0657 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0444 0.0538 0.0606 0.0980 0.0519 0.0204 0.0162 0.0980 0.3924 0.0316 0.0002 0.0139 0.0275 0.0769 0.0527 0.0126 310-AH 0.0398 0.0538 0.0668 0.1114 0.2857 0.0848 0.0484 0.0576 0.2460 0.5700 0.0755 0.0688 0.0349 0.0398 0.1447 0.0786 0.0327 311-AH 0.0750 0.2365 0.3182 0.3901 0.5094 0.3056 0.1186 0.1536 0.4344 0.3882 0.2772 0.2406 0.0967 0.0750 0.5094 0.3056 0.1186 312-AH 0.0000 0.3540 0.5161 0.6700 0.7619 0.4905 0.1985 0.3160 0.7619 0.4048 0.3211 0.0003 0.1501 0.0000 0.7619 0.4905 0.1985 313-AH 0.0000 0.0000 0.0366 0.0874 0.1333 0.0454 0.0421 0.0874 0.1333 0.9280 0.0040 0.0000 0.0371 0.0000 0.1333 0.0454 0.0421 314-AH 0.0000 0.0638 0.0863 0.1232 0.1429 0.0874 0.0384 0.0594 0.1429 0.4391 0.0503 0.0002 0.0299 0.0000 0.1429 0.0874 0.0384 315-AH 0.0000 0.1854 0.4615 0.6264 0.7317 0.4059 0.2360 0.4410 0.7317 0.5814 0.1825 0.0002 0.1972 0.0000 0.7317 0.4059 0.2360 316-AH 0.0000 0.0899 0.1332 0.1942 0.2646 0.1410 0.0673 0.1043 0.2646 0.4777 0.0777 0.0002 0.0555 0.0000 0.2646 0.1410 0.0673 317-AH 0.0000 0.1320 0.2055 0.2333 0.3333 0.1901 0.0832 0.1013 0.3333 0.4374 0.1040 0.0002 0.0656 0.0000 0.3333 0.1901 0.0832 318-AH 0.0373 0.0980 0.1628 0.2202 0.4545 0.1724 0.1007 0.1223 0.4172 0.5843 0.1464 0.1234 0.0784 0.0373 0.3750 0.1636 0.0885 319-AH 0.0195 0.0599 0.1613 0.4167 0.6250 0.2214 0.1743 0.3568 0.6055 0.7874 0.1452 0.0856 0.1514 0.0195 0.6250 0.2214 0.1743 320-AH 0.0000 0.0168 0.0240 0.0350 0.0860 0.0252 0.0176 0.0182 0.0860 0.6967 0.0081 0.0001 0.0122 0.0000 0.0544 0.0233 0.0140 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0234 0.0354 0.0405 0.0704 0.1228 0.0546 0.0276 0.0350 0.0994 0.5060 0.0488 0.0442 0.0224 0.0234 0.1228 0.0546 0.0276 323-AH 0.0000 0.0659 0.0897 0.1398 0.1757 0.0992 0.0493 0.0739 0.1757 0.4973 0.0552 0.0002 0.0406 0.0000 0.1757 0.0992 0.0493 324-AH 0.0000 0.0000 0.0000 0.4368 0.7500 0.2045 0.2721 0.4368 0.7500 1.3306 0.0012 0.0000 0.2425 0.0000 0.7500 0.2045 0.2721 325-AH 0.0325 0.4508 0.5167 0.6140 0.8158 0.5224 0.1558 0.1632 0.7833 0.2983 0.4787 0.3485 0.1128 0.2123 0.8158 0.5377 0.1307 326-AH 0.0000 0.2260 0.5000 1.0000 1.0000 0.5396 0.3649 0.7740 1.0000 0.6763 0.2102 0.0002 0.3098 0.0000 1.0000 0.5396 0.3649 327-AH 0.0000 0.0417 0.2857 0.4286 0.6667 0.2448 0.2078 0.3869 0.6667 0.8487 0.0642 0.0001 0.1911 0.0000 0.6667 0.2448 0.2078 328-AH 0.4138 0.5417 0.5909 0.6262 0.8421 0.5845 0.0838 0.0845 0.4283 0.1434 0.5788 0.5730 0.0613 0.4167 0.7500 0.5817 0.0656 329-AH 0.4074 0.5699 0.6250 0.7143 1.0000 0.6396 0.1114 0.1444 0.5926 0.1742 0.6305 0.6215 0.0829 0.4074 0.7778 0.6283 0.0922 330-AH 0.0599 0.5435 0.8000 0.8387 0.9355 0.6606 0.2879 0.2952 0.8756 0.4358 0.5295 0.3223 0.2346 0.1209 0.9355 0.7410 0.1986 331-AH 0.0000 0.2439 0.3143 0.3571 0.6875 0.3157 0.1862 0.1132 0.6875 0.5899 0.1176 0.0001 0.1302 0.0800 0.4167 0.2996 0.0670 332-AH 0.0000 0.1514 0.2500 0.3333 0.6667 0.2418 0.1686 0.1819 0.6667 0.6970 0.0363 0.0001 0.1223 0.0000 0.5000 0.2286 0.1527 333-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8084 0.3835 0.0000 1.0000 0.4743 0.3008 0.0002 0.3019 1.0000 1.0000 1.0000 0.0000 334-AH 0.0395 0.1291 0.1905 0.2308 0.6000 0.2105 0.1287 0.1016 0.5605 0.6113 0.1751 0.1413 0.0937 0.0395 0.3750 0.1830 0.0948 335-AH 0.0552 0.0865 0.1600 0.2011 0.4211 0.1591 0.0854 0.1146 0.3659 0.5367 0.1394 0.1224 0.0636 0.0552 0.3333 0.1509 0.0724 336-AH 0.0000 0.0000 0.0189 0.0771 0.5263 0.0621 0.1062 0.0771 0.5263 1.7095 0.0029 0.0000 0.0710 0.0000 0.1695 0.0362 0.0512 337-AH 0.4000 0.7127 0.8333 0.8768 1.0000 0.7825 0.1399 0.1641 0.6000 0.1787 0.7677 0.7492 0.1053 0.5238 1.0000 0.8067 0.1045 338-AH 0.0000 0.4371 0.7778 0.8571 1.0000 0.6595 0.3275 0.4201 1.0000 0.4965 0.2948 0.0002 0.2719 0.0000 1.0000 0.6595 0.3275 339-AH 0.0000 0.5000 0.6667 0.8333 1.0000 0.5855 0.2893 0.3333 1.0000 0.4942 0.1616 0.0001 0.2238 0.0651 1.0000 0.6662 0.1999 340-AH 0.2381 0.3333 0.4444 0.6000 0.7500 0.4568 0.1437 0.2667 0.5119 0.3145 0.4343 0.4117 0.1215 0.2381 0.7500 0.4568 0.1437 268 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0083 1.0000 1.0000 1.0000 1.0000 0.9123 0.2817 0.0000 0.9917 0.3088 0.6955 0.1170 0.1594 1.0000 1.0000 1.0000 0.0000 342-AH 0.0000 0.4054 0.6712 0.7508 0.8421 0.5784 0.2400 0.3454 0.8421 0.4150 0.2960 0.0002 0.1924 0.0000 0.8421 0.5784 0.2400 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1328 0.3864 0.5000 0.5721 0.8500 0.5005 0.1683 0.1857 0.7172 0.3364 0.4700 0.4335 0.1332 0.1328 0.8500 0.5005 0.1683 345-AH 0.0000 0.0486 0.1042 0.1473 0.4167 0.1201 0.1009 0.0987 0.4167 0.8400 0.0652 0.0003 0.0748 0.0000 0.2857 0.1047 0.0812 346-AH 0.0000 0.0618 0.0857 0.1036 0.1818 0.0803 0.0455 0.0418 0.1818 0.5662 0.0331 0.0001 0.0342 0.0000 0.1364 0.0737 0.0384 347-AH 0.0141 0.0585 0.0658 0.0717 0.0862 0.0634 0.0151 0.0132 0.0721 0.2383 0.0607 0.0561 0.0106 0.0459 0.0862 0.0661 0.0106 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0203 0.2711 0.3415 0.4160 0.8750 0.3753 0.1737 0.1449 0.8547 0.4627 0.3288 0.2283 0.1237 0.1829 0.4828 0.3255 0.0790 350-AH 0.0822 0.5556 0.7143 1.0000 1.0000 0.7356 0.2416 0.4444 0.9178 0.3284 0.6763 0.5604 0.1924 0.0822 1.0000 0.7356 0.2416 269 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.0602 0.9286 1.0000 1.0000 1.0000 0.8494 0.2930 0.0714 0.9398 0.3450 0.7445 0.5203 0.2282 1.0000 1.0000 1.0000 0.0000 143-AH 0.2632 0.6622 0.8276 1.0000 1.0000 0.7908 0.2292 0.3378 0.7368 0.2899 0.7474 0.6905 0.1838 0.2632 1.0000 0.7908 0.2292 144-AH 0.0000 0.1093 0.5000 0.6667 1.0000 0.4698 0.3414 0.5574 1.0000 0.7267 0.0901 0.0001 0.2808 0.0000 1.0000 0.4698 0.3414 145-AH 0.2738 0.3770 0.5750 0.7175 0.8065 0.5700 0.1746 0.3405 0.5326 0.3063 0.5405 0.5084 0.1478 0.2738 0.8065 0.5700 0.1746 146-AH 0.0000 0.0026 0.0072 0.0129 0.0435 0.0113 0.0130 0.0104 0.0435 1.1424 0.0023 0.0000 0.0096 0.0000 0.0132 0.0057 0.0047 147-AH 0.2162 0.5849 0.6889 0.8205 0.9189 0.6820 0.1638 0.2356 0.7027 0.2402 0.6582 0.6261 0.1324 0.4189 0.9189 0.6966 0.1431 148-AH 0.0000 0.0031 0.0148 0.0395 0.0667 0.0211 0.0199 0.0363 0.0667 0.9408 0.0034 0.0000 0.0167 0.0000 0.0667 0.0211 0.0199 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0408 0.0556 0.1595 0.3182 0.0992 0.0913 0.1187 0.3182 0.9206 0.0328 0.0001 0.0751 0.0000 0.3182 0.0992 0.0913 151-AH 0.0000 0.0331 0.0571 0.0997 0.3478 0.0779 0.0734 0.0666 0.3478 0.9420 0.0186 0.0001 0.0528 0.0000 0.1818 0.0695 0.0560 152-AH 0.0000 0.0708 0.1842 0.4375 1.0000 0.3147 0.3239 0.3667 1.0000 1.0292 0.1138 0.0002 0.2621 0.0000 0.8750 0.2705 0.2803 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0430 0.1008 0.1647 0.1913 0.4062 0.1577 0.0751 0.0905 0.3632 0.4764 0.1406 0.1231 0.0557 0.0430 0.2955 0.1499 0.0614 155-AH 0.0024 0.0817 0.1667 0.2500 0.5000 0.1803 0.1270 0.1683 0.4976 0.7041 0.1229 0.0377 0.0946 0.0024 0.5000 0.1803 0.1270 156-AH 0.0000 0.0433 0.0603 0.0950 0.1944 0.0683 0.0489 0.0517 0.1944 0.7163 0.0185 0.0001 0.0371 0.0000 0.1359 0.0607 0.0394 157-AH 0.0000 0.3054 0.4565 0.5444 0.7288 0.3874 0.2156 0.2389 0.7288 0.5565 0.0643 0.0001 0.1721 0.0000 0.7288 0.3874 0.2156 158-AH 0.0000 0.2523 0.3387 0.4381 0.8400 0.3521 0.1825 0.1859 0.8400 0.5182 0.2349 0.0003 0.1324 0.0000 0.7097 0.3369 0.1627 159-AH 0.0681 0.1322 0.2640 0.3194 0.7907 0.2595 0.1581 0.1873 0.7226 0.6093 0.2185 0.1828 0.1155 0.0681 0.5593 0.2429 0.1281 160-AH 0.0028 0.0154 0.0408 0.0808 0.2857 0.0580 0.0578 0.0654 0.2829 0.9962 0.0369 0.0211 0.0413 0.0028 0.1429 0.0509 0.0414 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.5758 0.8324 0.8636 0.9036 0.9625 0.8491 0.0772 0.0712 0.3867 0.0909 0.8452 0.8409 0.0538 0.7434 0.9625 0.8673 0.0484 164-AH 0.0000 0.0554 0.0807 0.1284 0.2787 0.1022 0.0699 0.0730 0.2787 0.6839 0.0658 0.0003 0.0533 0.0000 0.2152 0.0866 0.0508 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0233 0.0429 0.1442 0.4286 0.1032 0.1199 0.1209 0.4286 1.1610 0.0369 0.0002 0.0894 0.0000 0.2143 0.0649 0.0596 168-AH 0.0000 0.3384 0.4444 0.4893 0.6500 0.3708 0.2037 0.1509 0.6500 0.5492 0.0762 0.0001 0.1635 0.2157 0.6500 0.4686 0.0786 169-AH 0.0000 0.0053 0.0196 0.0469 0.1026 0.0305 0.0319 0.0415 0.1026 1.0458 0.0042 0.0000 0.0255 0.0000 0.1026 0.0305 0.0319 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0178 0.0613 0.0862 0.1333 0.0546 0.0407 0.0684 0.1333 0.7449 0.0077 0.0000 0.0351 0.0000 0.1333 0.0546 0.0407 172-AH 0.0000 0.0549 0.0704 0.0825 0.1053 0.0653 0.0235 0.0275 0.1053 0.3595 0.0473 0.0003 0.0176 0.0229 0.1053 0.0694 0.0175 173-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9798 0.1161 0.0000 0.6667 0.1184 0.9673 0.9429 0.0392 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9495 0.1214 0.0000 0.3333 0.1278 0.9404 0.9296 0.0857 1.0000 1.0000 1.0000 0.0000 175-AH 0.5455 0.6250 0.7143 0.8929 1.0000 0.7522 0.1591 0.2679 0.4545 0.2115 0.7369 0.7226 0.1314 0.5455 1.0000 0.7522 0.1591 176-AH 0.2892 0.8065 0.9259 0.9615 1.0000 0.8782 0.1339 0.1551 0.7108 0.1525 0.8626 0.8360 0.0919 0.7179 1.0000 0.8966 0.0835 177-AH 0.0082 0.1138 0.2000 0.4000 0.6923 0.2725 0.2189 0.2862 0.6841 0.8033 0.1771 0.0806 0.1731 0.0082 0.6923 0.2725 0.2189 178-AH 0.0000 0.0000 0.0056 0.0943 0.2308 0.0509 0.0653 0.0943 0.2308 1.2829 0.0033 0.0000 0.0574 0.0000 0.2308 0.0509 0.0653 179-AH 0.0000 0.1620 0.4516 0.7000 1.0000 0.4371 0.2865 0.5380 1.0000 0.6555 0.2544 0.0003 0.2485 0.0000 1.0000 0.4371 0.2865 180-AH 0.0000 0.1246 0.5000 0.7035 0.7647 0.4409 0.2671 0.5789 0.7647 0.6058 0.2481 0.0003 0.2357 0.0000 0.7647 0.4409 0.2671 181-AH 0.3862 0.7873 0.8261 0.8631 0.9194 0.7824 0.1425 0.0758 0.5331 0.1821 0.7656 0.7433 0.0975 0.7467 0.9194 0.8375 0.0421 182-AH 0.0325 0.0609 0.1154 0.3750 0.7500 0.2021 0.1945 0.3141 0.7175 0.9622 0.1347 0.0962 0.1566 0.0325 0.7500 0.2021 0.1945 183-AH 0.0179 0.0545 0.1667 0.2714 0.5000 0.1894 0.1566 0.2169 0.4821 0.8267 0.1189 0.0659 0.1322 0.0179 0.5000 0.1894 0.1566 184-AH 0.0076 0.1836 0.3182 0.4368 0.7500 0.3237 0.1953 0.2533 0.7424 0.6034 0.2387 0.1023 0.1545 0.0076 0.7500 0.3237 0.1953 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0000 0.6607 0.8571 1.0000 1.0000 0.7642 0.3020 0.3393 1.0000 0.3952 0.4826 0.0003 0.2407 0.3125 1.0000 0.8131 0.2378 190-AH 0.0284 0.2215 0.5000 0.7500 1.0000 0.5248 0.2978 0.5285 0.9716 0.5674 0.3953 0.2220 0.2472 0.0284 1.0000 0.5248 0.2978 270 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0152 0.0688 0.1905 0.8000 1.0000 0.4287 0.3824 0.7312 0.9848 0.8920 0.2231 0.0928 0.3503 0.0152 1.0000 0.4287 0.3824 193-AH 0.0000 0.1057 0.2778 0.3333 0.6250 0.2327 0.1431 0.2277 0.6250 0.6150 0.1416 0.0003 0.1223 0.0000 0.6250 0.2327 0.1431 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.2944 0.5556 0.9258 1.0000 0.5748 0.3539 0.6313 1.0000 0.6157 0.2452 0.0002 0.3073 0.0000 1.0000 0.5748 0.3539 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.4000 0.5455 0.6000 0.6923 0.8571 0.6163 0.0946 0.1469 0.4571 0.1534 0.6093 0.6023 0.0777 0.4000 0.8571 0.6163 0.0946 200-AH 0.0106 0.2563 0.6000 0.7569 0.8571 0.5269 0.2775 0.5007 0.8465 0.5268 0.3946 0.1635 0.2381 0.0106 0.8571 0.5269 0.2775 251-AH 0.0000 0.2541 0.3922 0.4358 0.6190 0.3442 0.1649 0.1817 0.6190 0.4791 0.1742 0.0002 0.1322 0.0000 0.6190 0.3442 0.1649 252-AH 0.0242 0.3276 0.3750 0.4023 0.6429 0.3436 0.1202 0.0747 0.6186 0.3497 0.3007 0.1962 0.0818 0.2308 0.4872 0.3736 0.0519 253-AH 0.0000 0.0000 0.1936 0.3350 0.4615 0.1987 0.1592 0.3350 0.4615 0.8011 0.0121 0.0000 0.1329 0.0000 0.4615 0.1987 0.1592 254-AH 0.0000 0.1723 0.2153 0.2414 0.2932 0.1945 0.0811 0.0691 0.2932 0.4168 0.0650 0.0001 0.0573 0.1496 0.2932 0.2214 0.0369 255-AH 0.0139 0.0913 0.2222 0.3083 0.4444 0.2198 0.1350 0.2170 0.4306 0.6143 0.1637 0.0994 0.1116 0.0139 0.4444 0.2198 0.1350 256-AH 0.0000 0.1113 0.7857 0.8400 1.0000 0.6263 0.3676 0.7287 1.0000 0.5869 0.1484 0.0001 0.3154 0.0000 1.0000 0.6263 0.3676 257-AH 0.0000 0.1428 0.1818 0.2232 0.2746 0.1712 0.0775 0.0804 0.2746 0.4527 0.0733 0.0001 0.0587 0.0777 0.2746 0.1884 0.0574 258-AH 0.0000 0.0000 0.0203 0.1429 0.3000 0.0697 0.0893 0.1429 0.3000 1.2803 0.0038 0.0000 0.0772 0.0000 0.3000 0.0697 0.0893 259-AH 0.0000 0.5000 0.6667 1.0000 1.0000 0.6916 0.3625 0.5000 1.0000 0.5241 0.2841 0.0002 0.2990 0.0000 1.0000 0.6916 0.3625 260-AH 0.0000 0.5334 0.6000 0.6441 0.7037 0.5564 0.1594 0.1107 0.7037 0.2865 0.3022 0.0002 0.0979 0.4691 0.7037 0.5923 0.0716 261-AH 0.0000 0.0000 0.0000 0.0304 0.5250 0.0500 0.1170 0.0304 0.5250 2.3390 0.0004 0.0000 0.0684 0.0000 0.0442 0.0082 0.0135 262-AH 0.0000 0.0000 0.1437 0.2415 0.3864 0.1543 0.1284 0.2415 0.3864 0.8317 0.0100 0.0000 0.1094 0.0000 0.3864 0.1543 0.1284 263-AH 0.0000 0.1202 0.1859 0.2121 0.2362 0.1563 0.0704 0.0919 0.2362 0.4503 0.0669 0.0001 0.0575 0.0000 0.2362 0.1563 0.0704 264-AH 0.0000 0.1892 0.3061 0.4066 0.5556 0.2924 0.1525 0.2174 0.5556 0.5215 0.1846 0.0003 0.1304 0.0000 0.5556 0.2924 0.1525 265-AH 0.0000 0.0244 0.4000 0.5952 0.8000 0.3700 0.2676 0.5708 0.8000 0.7233 0.1192 0.0002 0.2226 0.0000 0.8000 0.3700 0.2676 266-AH 0.0000 0.0044 0.0117 0.0569 0.2500 0.0520 0.0826 0.0526 0.2500 1.5879 0.0049 0.0000 0.0626 0.0000 0.0750 0.0153 0.0203 267-AH 0.0000 0.0745 0.1037 0.1497 0.2167 0.1098 0.0536 0.0752 0.2167 0.4879 0.0610 0.0002 0.0421 0.0000 0.2167 0.1098 0.0536 268-AH 0.0000 0.3455 1.0000 1.0000 1.0000 0.6717 0.3970 0.6545 1.0000 0.5911 0.2378 0.0002 0.3382 0.0000 1.0000 0.6717 0.3970 269-AH 0.0136 0.0883 0.1591 0.2523 0.3000 0.1668 0.0920 0.1640 0.2864 0.5514 0.1286 0.0783 0.0796 0.0136 0.3000 0.1668 0.0920 270-AH 0.0000 0.2785 0.4744 0.6878 0.8372 0.4639 0.2588 0.4093 0.8372 0.5579 0.1299 0.0001 0.2197 0.0000 0.8372 0.4639 0.2588 271-AH 0.0000 0.2946 0.4839 0.5172 0.5769 0.3976 0.1705 0.2226 0.5769 0.4288 0.2640 0.0003 0.1452 0.0000 0.5769 0.3976 0.1705 272-AH 0.0000 0.0090 0.1636 0.2308 0.2571 0.1305 0.1018 0.2218 0.2571 0.7802 0.0137 0.0000 0.0937 0.0000 0.2571 0.1305 0.1018 273-AH 0.0000 0.5822 0.7937 0.8333 0.9455 0.7114 0.2078 0.2511 0.9455 0.2922 0.5077 0.0003 0.1651 0.3923 0.9455 0.7336 0.1666 274-AH 0.0000 0.0971 0.1639 0.2599 0.4167 0.1846 0.1193 0.1628 0.4167 0.6462 0.1062 0.0003 0.0958 0.0000 0.4167 0.1846 0.1193 275-AH 0.0000 0.1669 0.2985 0.3612 0.6667 0.2761 0.1664 0.1943 0.6667 0.6027 0.1044 0.0001 0.1329 0.0000 0.5405 0.2639 0.1533 276-AH 0.1011 0.3117 0.4091 0.4657 0.6207 0.3955 0.1197 0.1540 0.5196 0.3027 0.3745 0.3469 0.0956 0.1011 0.6207 0.3955 0.1197 277-AH 0.0000 0.0228 0.0597 0.1154 0.1720 0.0709 0.0547 0.0926 0.1720 0.7723 0.0339 0.0002 0.0456 0.0000 0.1720 0.0709 0.0547 278-AH 0.0000 0.0240 0.0603 0.1844 0.3111 0.0931 0.0887 0.1605 0.3111 0.9528 0.0245 0.0001 0.0749 0.0000 0.3111 0.0931 0.0887 279-AH 0.0150 0.0206 0.0265 0.2983 0.6667 0.1786 0.2285 0.2777 0.6517 1.2796 0.0701 0.0358 0.1915 0.0150 0.6667 0.1786 0.2285 280-AH 0.0000 0.0257 0.0299 0.0553 0.1531 0.0438 0.0385 0.0297 0.1531 0.8785 0.0150 0.0001 0.0273 0.0000 0.0833 0.0336 0.0211 281-AH 0.0000 0.2444 0.2826 0.3390 0.6667 0.3036 0.1475 0.0947 0.6667 0.4859 0.1615 0.0002 0.0997 0.1079 0.3600 0.2738 0.0584 282-AH 0.0000 0.0438 0.0683 0.0938 0.2676 0.0846 0.0685 0.0500 0.2676 0.8096 0.0339 0.0001 0.0500 0.0000 0.1439 0.0601 0.0349 283-AH 0.0000 0.0401 0.1150 0.1847 0.6216 0.1793 0.1894 0.1447 0.6216 1.0566 0.0687 0.0002 0.1433 0.0000 0.3485 0.0984 0.0759 284-AH 0.3582 0.4402 0.4737 0.5354 0.6216 0.4814 0.0700 0.0952 0.2634 0.1454 0.4763 0.4711 0.0560 0.3582 0.6216 0.4814 0.0700 285-AH 0.0000 0.3333 0.6825 0.8113 0.9333 0.5671 0.2953 0.4780 0.9333 0.5206 0.2046 0.0001 0.2571 0.0000 0.9333 0.5671 0.2953 286-AH 0.0000 0.0076 0.0127 0.0173 0.0417 0.0125 0.0095 0.0097 0.0417 0.7579 0.0026 0.0000 0.0066 0.0000 0.0267 0.0116 0.0080 287-AH 0.0339 0.3045 0.3659 0.4573 0.5172 0.3485 0.1326 0.1528 0.4834 0.3804 0.2982 0.1992 0.0985 0.1754 0.5172 0.3796 0.0916 288-AH 0.0000 0.0797 0.1303 0.1944 0.4646 0.1421 0.0947 0.1148 0.4646 0.6668 0.0576 0.0001 0.0702 0.0000 0.2875 0.1320 0.0762 289-AH 0.0000 0.4393 0.6875 0.7893 0.9231 0.5802 0.3434 0.3500 0.9231 0.5919 0.0982 0.0001 0.2781 0.0000 0.9231 0.5802 0.3434 290-AH 0.0633 0.1270 0.2105 0.2665 0.3100 0.1956 0.0755 0.1395 0.2467 0.3860 0.1799 0.1634 0.0685 0.0633 0.3100 0.1956 0.0755 271 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.1804 0.3830 0.6992 0.9091 0.4364 0.2963 0.5188 0.9091 0.6790 0.2305 0.0003 0.2658 0.0000 0.9091 0.4364 0.2963 292-AH 0.0069 0.3077 0.5000 0.6667 1.0000 0.4950 0.2805 0.3590 0.9931 0.5667 0.3092 0.0628 0.2288 0.0069 1.0000 0.4950 0.2805 293-AH 0.0000 0.4130 0.5217 0.6127 0.7500 0.4954 0.1783 0.1997 0.7500 0.3599 0.2640 0.0002 0.1309 0.2136 0.7500 0.5273 0.1284 294-AH 0.0260 0.6375 0.6923 0.7083 0.7500 0.6354 0.1514 0.0708 0.7240 0.2383 0.5823 0.3665 0.0960 0.5417 0.7500 0.6875 0.0422 295-AH 0.0000 0.0712 0.1211 0.2437 0.4493 0.1744 0.1352 0.1724 0.4493 0.7750 0.1000 0.0003 0.1124 0.0000 0.4493 0.1744 0.1352 296-AH 0.0000 0.1634 0.3846 0.4717 0.5862 0.3288 0.2085 0.3083 0.5862 0.6342 0.0399 0.0000 0.1769 0.0000 0.5862 0.3288 0.2085 297-AH 0.0112 0.0277 0.0562 0.0839 0.2667 0.0678 0.0587 0.0562 0.2555 0.8666 0.0494 0.0357 0.0403 0.0112 0.1311 0.0559 0.0355 298-AH 0.0245 0.0911 0.1324 0.1631 0.4286 0.1392 0.0846 0.0720 0.4040 0.6078 0.1180 0.0976 0.0580 0.0245 0.2159 0.1177 0.0481 299-AH 0.0748 0.2143 0.2609 0.3938 0.5000 0.2914 0.1096 0.1794 0.4252 0.3761 0.2702 0.2466 0.0935 0.0748 0.5000 0.2914 0.1096 300-AH 0.1015 0.1763 0.2031 0.2142 0.2703 0.1990 0.0386 0.0379 0.1688 0.1941 0.1950 0.1907 0.0294 0.1304 0.2703 0.2020 0.0350 301-AH 0.0000 0.0000 0.0000 0.0357 0.5556 0.0652 0.1435 0.0357 0.5556 2.1998 0.0002 0.0000 0.0983 0.0000 0.0446 0.0052 0.0131 302-AH 0.0146 0.1771 0.2683 0.2999 0.4615 0.2447 0.1161 0.1228 0.4470 0.4746 0.1908 0.0994 0.0877 0.0146 0.4615 0.2447 0.1161 303-AH 0.0000 0.0693 0.1452 0.2667 0.4737 0.1730 0.1202 0.1974 0.4737 0.6949 0.0800 0.0002 0.1062 0.0000 0.4737 0.1730 0.1202 304-AH 0.0000 0.0326 0.0461 0.0597 0.1667 0.0560 0.0413 0.0271 0.1667 0.7365 0.0300 0.0002 0.0285 0.0000 0.0804 0.0409 0.0187 305-AH 0.0637 0.1519 0.1969 0.2823 0.3592 0.2125 0.0729 0.1304 0.2955 0.3432 0.1995 0.1851 0.0614 0.0637 0.3592 0.2125 0.0729 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.1444 0.2078 0.3113 0.4211 0.2277 0.1102 0.1669 0.4211 0.4840 0.1220 0.0002 0.0901 0.0000 0.4211 0.2277 0.1102 308-AH 0.1591 0.7000 1.0000 1.0000 1.0000 0.7903 0.2784 0.3000 0.8409 0.3522 0.7142 0.6006 0.2218 0.3684 1.0000 0.8698 0.1853 309-AH 0.0000 0.0311 0.0435 0.0526 0.0882 0.0429 0.0179 0.0216 0.0882 0.4176 0.0262 0.0002 0.0128 0.0000 0.0769 0.0415 0.0162 310-AH 0.0000 0.0430 0.0597 0.0858 0.2184 0.0616 0.0453 0.0428 0.2184 0.7349 0.0110 0.0000 0.0315 0.0000 0.1195 0.0567 0.0361 311-AH 0.0631 0.1819 0.2426 0.3150 0.4521 0.2441 0.0985 0.1331 0.3890 0.4036 0.2211 0.1930 0.0758 0.0631 0.4521 0.2441 0.0985 312-AH 0.0000 0.3422 0.4750 0.5707 0.7600 0.4419 0.2034 0.2285 0.7600 0.4604 0.2210 0.0002 0.1565 0.0000 0.7600 0.4419 0.2034 313-AH 0.0000 0.0000 0.0143 0.0526 0.1043 0.0283 0.0310 0.0526 0.1043 1.0961 0.0015 0.0000 0.0265 0.0000 0.1043 0.0283 0.0310 314-AH 0.0000 0.0519 0.0705 0.1030 0.1429 0.0762 0.0380 0.0511 0.1429 0.4993 0.0432 0.0002 0.0302 0.0000 0.1429 0.0762 0.0380 315-AH 0.0000 0.0696 0.3136 0.5243 0.6923 0.3073 0.2372 0.4547 0.6923 0.7718 0.0581 0.0001 0.2023 0.0000 0.6923 0.3073 0.2372 316-AH 0.0000 0.0888 0.1309 0.1739 0.2270 0.1244 0.0639 0.0851 0.2270 0.5140 0.0424 0.0001 0.0501 0.0000 0.2270 0.1244 0.0639 317-AH 0.0000 0.1086 0.1579 0.2149 0.2432 0.1534 0.0678 0.1064 0.2432 0.4419 0.0846 0.0002 0.0548 0.0000 0.2432 0.1534 0.0678 318-AH 0.0373 0.0980 0.1538 0.2074 0.3750 0.1575 0.0830 0.1095 0.3377 0.5266 0.1377 0.1191 0.0641 0.0373 0.3333 0.1507 0.0744 319-AH 0.0000 0.0269 0.0876 0.2807 0.4333 0.1379 0.1356 0.2538 0.4333 0.9833 0.0516 0.0002 0.1127 0.0000 0.4333 0.1379 0.1356 320-AH 0.0000 0.0000 0.0152 0.0218 0.0355 0.0149 0.0112 0.0218 0.0355 0.7558 0.0024 0.0000 0.0087 0.0000 0.0355 0.0149 0.0112 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0126 0.0273 0.0349 0.0425 0.1200 0.0419 0.0244 0.0152 0.1074 0.5821 0.0367 0.0327 0.0171 0.0126 0.0616 0.0331 0.0106 323-AH 0.0000 0.0535 0.0708 0.1049 0.1339 0.0748 0.0337 0.0514 0.1339 0.4505 0.0432 0.0002 0.0275 0.0000 0.1339 0.0748 0.0337 324-AH 0.0000 0.0000 0.0000 0.2744 0.6818 0.1707 0.2471 0.2744 0.6818 1.4472 0.0006 0.0000 0.2070 0.0000 0.6818 0.1707 0.2471 325-AH 0.0000 0.3558 0.4810 0.5482 0.7708 0.4602 0.1633 0.1925 0.7708 0.3548 0.3248 0.0003 0.1226 0.1142 0.7708 0.4746 0.1431 326-AH 0.0000 0.0053 0.0190 0.0671 0.1579 0.0377 0.0421 0.0618 0.1579 1.1186 0.0079 0.0001 0.0345 0.0000 0.1579 0.0377 0.0421 327-AH 0.0000 0.0214 0.1053 0.3813 0.6000 0.2059 0.2018 0.3599 0.6000 0.9800 0.0376 0.0001 0.1859 0.0000 0.6000 0.2059 0.2018 328-AH 0.4000 0.5182 0.5600 0.6154 0.8421 0.5679 0.0824 0.0972 0.4421 0.1452 0.5623 0.5567 0.0608 0.4000 0.7000 0.5594 0.0672 329-AH 0.4074 0.5652 0.5909 0.6354 0.7857 0.6036 0.0960 0.0702 0.3783 0.1591 0.5962 0.5888 0.0711 0.4615 0.7333 0.5854 0.0675 330-AH 0.0598 0.4946 0.7619 0.7949 0.8378 0.6192 0.2733 0.3003 0.7780 0.4414 0.4910 0.2920 0.2233 0.0598 0.8378 0.6192 0.2733 331-AH 0.0000 0.2057 0.2973 0.3540 0.6875 0.3002 0.1862 0.1483 0.6875 0.6202 0.1084 0.0001 0.1330 0.0000 0.5455 0.2635 0.1513 332-AH 0.0000 0.1500 0.2222 0.2527 0.2778 0.1826 0.1069 0.1027 0.2778 0.5855 0.0208 0.0000 0.0886 0.0000 0.2778 0.1826 0.1069 333-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8084 0.3835 0.0000 1.0000 0.4743 0.3008 0.0002 0.3019 1.0000 1.0000 1.0000 0.0000 334-AH 0.0395 0.1291 0.1905 0.2308 0.6000 0.2105 0.1287 0.1016 0.5605 0.6113 0.1751 0.1413 0.0937 0.0395 0.3750 0.1830 0.0948 335-AH 0.0511 0.0784 0.1250 0.2011 0.3750 0.1455 0.0809 0.1227 0.3239 0.5555 0.1257 0.1088 0.0654 0.0511 0.3750 0.1455 0.0809 336-AH 0.0000 0.0000 0.0162 0.0429 0.5000 0.0350 0.0867 0.0429 0.5000 2.4775 0.0014 0.0000 0.0381 0.0000 0.0957 0.0205 0.0238 337-AH 0.0845 0.7005 0.8000 0.8667 0.9286 0.7543 0.1814 0.1662 0.8441 0.2405 0.7083 0.5901 0.1193 0.5217 0.9286 0.7928 0.0973 338-AH 0.0000 0.2304 0.7500 0.8571 1.0000 0.5854 0.3456 0.6268 1.0000 0.5904 0.2421 0.0002 0.3058 0.0000 1.0000 0.5854 0.3456 339-AH 0.0000 0.3832 0.5556 0.6842 0.8571 0.5088 0.2576 0.3010 0.8571 0.5063 0.1403 0.0001 0.2028 0.0000 0.8571 0.5088 0.2576 340-AH 0.2381 0.3333 0.4444 0.6000 0.7500 0.4568 0.1437 0.2667 0.5119 0.3145 0.4343 0.4117 0.1215 0.2381 0.7500 0.4568 0.1437 272 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0083 1.0000 1.0000 1.0000 1.0000 0.9001 0.2824 0.0000 0.9917 0.3137 0.6853 0.1166 0.1695 1.0000 1.0000 1.0000 0.0000 342-AH 0.0000 0.3039 0.6237 0.7424 0.8421 0.5370 0.2528 0.4386 0.8421 0.4708 0.2691 0.0002 0.2156 0.0000 0.8421 0.5370 0.2528 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1295 0.2859 0.4107 0.5405 0.7407 0.4370 0.1627 0.2547 0.6112 0.3723 0.4049 0.3702 0.1370 0.1295 0.7407 0.4370 0.1627 345-AH 0.0000 0.0283 0.0606 0.1389 0.3333 0.0959 0.0921 0.1106 0.3333 0.9604 0.0394 0.0002 0.0715 0.0000 0.3000 0.0884 0.0829 346-AH 0.0000 0.0524 0.0667 0.0931 0.1129 0.0637 0.0334 0.0406 0.1129 0.5241 0.0188 0.0001 0.0252 0.0000 0.1129 0.0637 0.0334 347-AH 0.0077 0.0390 0.0522 0.0595 0.0824 0.0488 0.0166 0.0205 0.0746 0.3402 0.0449 0.0386 0.0131 0.0160 0.0824 0.0501 0.0151 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0197 0.2409 0.2982 0.3333 0.6471 0.3196 0.1403 0.0925 0.6274 0.4392 0.2836 0.2056 0.0971 0.1735 0.4474 0.2781 0.0585 350-AH 0.0822 0.4821 0.6364 0.7778 1.0000 0.6147 0.2124 0.2956 0.9178 0.3455 0.5663 0.4836 0.1678 0.0822 1.0000 0.6147 0.2124 273 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.0517 0.8529 1.0000 1.0000 1.0000 0.8070 0.3497 0.1471 0.9483 0.4334 0.6589 0.4195 0.2924 1.0000 1.0000 1.0000 0.0000 143-AH 0.2414 0.6292 0.7778 0.9113 1.0000 0.7235 0.2274 0.2821 0.7586 0.3142 0.6767 0.6154 0.1802 0.2414 1.0000 0.7235 0.2274 144-AH 0.0000 0.0547 0.2000 0.5000 0.6000 0.2419 0.2195 0.4453 0.6000 0.9074 0.0399 0.0001 0.1886 0.0000 0.6000 0.2419 0.2195 145-AH 0.2000 0.2750 0.4154 0.4909 0.6279 0.3962 0.1230 0.2159 0.4279 0.3104 0.3771 0.3579 0.1018 0.2000 0.6279 0.3962 0.1230 146-AH 0.0000 0.0026 0.0072 0.0129 0.0435 0.0113 0.0130 0.0104 0.0435 1.1424 0.0023 0.0000 0.0096 0.0000 0.0132 0.0057 0.0047 147-AH 0.1756 0.5345 0.6212 0.6937 0.9000 0.6160 0.1592 0.1592 0.7244 0.2584 0.5917 0.5584 0.1197 0.3830 0.9000 0.6298 0.1403 148-AH 0.0000 0.0000 0.0141 0.0384 0.0667 0.0177 0.0208 0.0384 0.0667 1.1770 0.0006 0.0000 0.0178 0.0000 0.0667 0.0177 0.0208 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0339 0.0519 0.1429 0.3182 0.0912 0.0910 0.1090 0.3182 0.9977 0.0194 0.0001 0.0741 0.0000 0.3043 0.0841 0.0827 151-AH 0.0000 0.0156 0.0282 0.0452 0.3000 0.0483 0.0622 0.0296 0.3000 1.2886 0.0073 0.0000 0.0418 0.0000 0.0732 0.0237 0.0184 152-AH 0.0000 0.0643 0.1143 0.2991 0.8000 0.2241 0.2477 0.2348 0.8000 1.1054 0.0836 0.0002 0.1942 0.0000 0.5000 0.1312 0.1148 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0248 0.0745 0.1000 0.1156 0.1875 0.0987 0.0348 0.0411 0.1627 0.3529 0.0920 0.0836 0.0269 0.0248 0.1744 0.0959 0.0315 155-AH 0.0000 0.0037 0.0246 0.0632 0.2308 0.0511 0.0652 0.0595 0.2308 1.2757 0.0063 0.0000 0.0500 0.0000 0.1500 0.0318 0.0396 156-AH 0.0000 0.0272 0.0370 0.0642 0.1882 0.0492 0.0405 0.0370 0.1882 0.8237 0.0136 0.0001 0.0298 0.0000 0.1088 0.0448 0.0324 157-AH 0.0000 0.2181 0.3630 0.4664 0.6346 0.3205 0.1942 0.2483 0.6346 0.6058 0.0416 0.0000 0.1533 0.0000 0.6346 0.3205 0.1942 158-AH 0.0000 0.1728 0.2475 0.4292 0.7742 0.3011 0.1738 0.2564 0.7742 0.5771 0.1958 0.0003 0.1384 0.0000 0.7742 0.3011 0.1738 159-AH 0.0531 0.1120 0.1970 0.2343 0.6552 0.2036 0.1218 0.1223 0.6020 0.5981 0.1736 0.1469 0.0822 0.0531 0.3363 0.1814 0.0814 160-AH 0.0028 0.0154 0.0408 0.0808 0.2857 0.0580 0.0578 0.0654 0.2829 0.9962 0.0369 0.0211 0.0413 0.0028 0.1429 0.0509 0.0414 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.5584 0.7614 0.8070 0.8486 0.9175 0.7959 0.0868 0.0872 0.3591 0.1091 0.7908 0.7851 0.0616 0.7154 0.9175 0.8176 0.0541 164-AH 0.0000 0.0435 0.0704 0.1211 0.2533 0.0912 0.0659 0.0777 0.2533 0.7229 0.0461 0.0002 0.0511 0.0000 0.2209 0.0812 0.0540 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0165 0.0256 0.0500 0.1481 0.0456 0.0447 0.0335 0.1481 0.9805 0.0210 0.0002 0.0324 0.0000 0.0690 0.0284 0.0181 168-AH 0.0000 0.2176 0.3750 0.4857 0.6500 0.3291 0.2033 0.2681 0.6500 0.6176 0.0408 0.0000 0.1643 0.0000 0.6500 0.3291 0.2033 169-AH 0.0000 0.0000 0.0090 0.0268 0.0877 0.0169 0.0217 0.0268 0.0877 1.2822 0.0013 0.0000 0.0157 0.0000 0.0510 0.0126 0.0137 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0128 0.0512 0.0749 0.1007 0.0461 0.0345 0.0621 0.1007 0.7478 0.0068 0.0000 0.0298 0.0000 0.1007 0.0461 0.0345 172-AH 0.0000 0.0549 0.0704 0.0825 0.1053 0.0653 0.0235 0.0275 0.1053 0.3595 0.0473 0.0003 0.0176 0.0229 0.1053 0.0694 0.0175 173-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9798 0.1161 0.0000 0.6667 0.1184 0.9673 0.9429 0.0392 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9495 0.1214 0.0000 0.3333 0.1278 0.9404 0.9296 0.0857 1.0000 1.0000 1.0000 0.0000 175-AH 0.5455 0.6250 0.7143 0.8929 1.0000 0.7522 0.1591 0.2679 0.4545 0.2115 0.7369 0.7226 0.1314 0.5455 1.0000 0.7522 0.1591 176-AH 0.1559 0.6829 0.8750 0.9062 0.9655 0.7999 0.1635 0.2233 0.8096 0.2045 0.7718 0.7128 0.1275 0.6170 0.9655 0.8201 0.1175 177-AH 0.0000 0.0680 0.1010 0.2500 0.3333 0.1375 0.1031 0.1820 0.3333 0.7499 0.0654 0.0002 0.0870 0.0000 0.3333 0.1375 0.1031 178-AH 0.0000 0.0000 0.0056 0.0943 0.2308 0.0509 0.0653 0.0943 0.2308 1.2829 0.0033 0.0000 0.0574 0.0000 0.2308 0.0509 0.0653 179-AH 0.0000 0.1328 0.2540 0.4779 1.0000 0.3216 0.2302 0.3451 1.0000 0.7157 0.1888 0.0003 0.1871 0.0000 0.6957 0.3004 0.1984 180-AH 0.0000 0.1246 0.4658 0.6398 0.7632 0.4074 0.2467 0.5152 0.7632 0.6057 0.2311 0.0003 0.2166 0.0000 0.7632 0.4074 0.2467 181-AH 0.3403 0.7557 0.7927 0.8211 0.8718 0.7367 0.1526 0.0653 0.5315 0.2071 0.7160 0.6884 0.1097 0.7333 0.8718 0.8036 0.0374 182-AH 0.0325 0.0609 0.1154 0.3750 0.7500 0.2021 0.1945 0.3141 0.7175 0.9622 0.1347 0.0962 0.1566 0.0325 0.7500 0.2021 0.1945 183-AH 0.0179 0.0545 0.1667 0.2714 0.5000 0.1894 0.1566 0.2169 0.4821 0.8267 0.1189 0.0659 0.1322 0.0179 0.5000 0.1894 0.1566 184-AH 0.0000 0.0959 0.1346 0.3220 0.4375 0.1899 0.1246 0.2260 0.4375 0.6565 0.1143 0.0003 0.1080 0.0000 0.4375 0.1899 0.1246 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0000 0.6607 0.8571 1.0000 1.0000 0.7642 0.3020 0.3393 1.0000 0.3952 0.4826 0.0003 0.2407 0.3125 1.0000 0.8131 0.2378 190-AH 0.0000 0.1226 0.3500 0.6364 1.0000 0.3960 0.2972 0.5138 1.0000 0.7506 0.1980 0.0003 0.2616 0.0000 1.0000 0.3960 0.2972 274 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0152 0.0420 0.1250 0.4563 1.0000 0.2973 0.3384 0.4143 0.9848 1.1385 0.1426 0.0712 0.2845 0.0152 1.0000 0.2973 0.3384 193-AH 0.0000 0.1057 0.2778 0.3333 0.6250 0.2327 0.1431 0.2277 0.6250 0.6150 0.1416 0.0003 0.1223 0.0000 0.6250 0.2327 0.1431 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.2413 0.4805 0.8788 1.0000 0.5065 0.3376 0.6375 1.0000 0.6666 0.2142 0.0002 0.2854 0.0000 1.0000 0.5065 0.3376 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.1667 0.5385 0.5714 0.6923 0.7778 0.5840 0.1406 0.1538 0.6111 0.2407 0.5601 0.5235 0.0958 0.4375 0.7778 0.6196 0.0850 200-AH 0.0076 0.1099 0.3043 0.6364 0.7778 0.3557 0.2787 0.5264 0.7702 0.7836 0.2019 0.0675 0.2471 0.0076 0.7778 0.3557 0.2787 251-AH 0.0000 0.1108 0.1804 0.2570 0.3866 0.1852 0.1046 0.1463 0.3866 0.5648 0.0746 0.0001 0.0830 0.0000 0.3866 0.1852 0.1046 252-AH 0.0000 0.2678 0.3438 0.3571 0.5455 0.3050 0.1118 0.0893 0.5455 0.3664 0.2110 0.0003 0.0817 0.1522 0.4423 0.3233 0.0673 253-AH 0.0000 0.0000 0.1383 0.2399 0.3168 0.1241 0.1243 0.2399 0.3168 1.0013 0.0023 0.0000 0.1128 0.0000 0.3168 0.1241 0.1243 254-AH 0.0000 0.0000 0.1867 0.2152 0.2432 0.1383 0.1006 0.2152 0.2432 0.7273 0.0075 0.0000 0.0922 0.0000 0.2432 0.1383 0.1006 255-AH 0.0139 0.0913 0.2222 0.3083 0.4444 0.2198 0.1350 0.2170 0.4306 0.6143 0.1637 0.0994 0.1116 0.0139 0.4444 0.2198 0.1350 256-AH 0.0000 0.0997 0.7500 0.7707 1.0000 0.5767 0.3474 0.6710 1.0000 0.6024 0.0814 0.0001 0.3003 0.0000 1.0000 0.5767 0.3474 257-AH 0.0000 0.1030 0.1442 0.1708 0.2074 0.1284 0.0603 0.0678 0.2074 0.4695 0.0442 0.0001 0.0471 0.0711 0.2074 0.1461 0.0384 258-AH 0.0000 0.0000 0.0203 0.1429 0.3000 0.0697 0.0893 0.1429 0.3000 1.2803 0.0038 0.0000 0.0772 0.0000 0.3000 0.0697 0.0893 259-AH 0.0000 0.0046 0.0116 0.0212 0.0732 0.0176 0.0192 0.0167 0.0732 1.0932 0.0041 0.0001 0.0138 0.0000 0.0370 0.0115 0.0097 260-AH 0.0000 0.4515 0.5055 0.5517 0.6000 0.4755 0.1354 0.1002 0.6000 0.2846 0.2609 0.0002 0.0817 0.3871 0.6000 0.5062 0.0591 261-AH 0.0000 0.0000 0.0000 0.0000 0.2049 0.0167 0.0424 0.0000 0.2049 2.5393 0.0001 0.0000 0.0263 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0868 0.1568 0.3112 0.1064 0.0981 0.1568 0.3112 0.9222 0.0075 0.0000 0.0768 0.0000 0.3112 0.1064 0.0981 263-AH 0.0000 0.0742 0.1288 0.1690 0.2000 0.1169 0.0622 0.0948 0.2000 0.5324 0.0393 0.0001 0.0501 0.0000 0.2000 0.1169 0.0622 264-AH 0.0000 0.1227 0.1720 0.3152 0.4857 0.2078 0.1234 0.1925 0.4857 0.5939 0.1041 0.0002 0.1010 0.0000 0.4857 0.2078 0.1234 265-AH 0.0000 0.0170 0.1538 0.2656 0.7143 0.1599 0.1536 0.2485 0.7143 0.9610 0.0190 0.0000 0.1216 0.0000 0.3571 0.1426 0.1189 266-AH 0.0000 0.0044 0.0117 0.0569 0.2500 0.0520 0.0826 0.0526 0.2500 1.5879 0.0049 0.0000 0.0626 0.0000 0.0750 0.0153 0.0203 267-AH 0.0000 0.0729 0.0938 0.1261 0.1744 0.0934 0.0429 0.0531 0.1744 0.4587 0.0528 0.0002 0.0315 0.0000 0.1744 0.0934 0.0429 268-AH 0.0000 0.0036 0.0123 0.0408 0.1034 0.0211 0.0245 0.0372 0.1034 1.1627 0.0036 0.0000 0.0193 0.0000 0.0638 0.0185 0.0198 269-AH 0.0092 0.0403 0.1077 0.1591 0.2917 0.1113 0.0767 0.1187 0.2824 0.6893 0.0796 0.0487 0.0639 0.0092 0.2917 0.1113 0.0767 270-AH 0.0000 0.2004 0.4301 0.6353 0.7843 0.4078 0.2467 0.4349 0.7843 0.6050 0.1119 0.0001 0.2150 0.0000 0.7843 0.4078 0.2467 271-AH 0.0000 0.2789 0.4048 0.4756 0.5484 0.3517 0.1603 0.1967 0.5484 0.4558 0.2284 0.0003 0.1306 0.0000 0.5484 0.3517 0.1603 272-AH 0.0000 0.0000 0.1205 0.2128 0.2558 0.1166 0.0978 0.2128 0.2558 0.8381 0.0098 0.0000 0.0878 0.0000 0.2558 0.1166 0.0978 273-AH 0.0000 0.5131 0.6413 0.7893 0.8939 0.6167 0.2107 0.2762 0.8939 0.3417 0.4332 0.0003 0.1603 0.2469 0.8939 0.6360 0.1822 274-AH 0.0000 0.0454 0.1226 0.2267 0.4000 0.1511 0.1203 0.1813 0.4000 0.7957 0.0502 0.0001 0.1027 0.0000 0.4000 0.1511 0.1203 275-AH 0.0000 0.1313 0.1926 0.2853 0.5854 0.2183 0.1498 0.1540 0.5854 0.6864 0.0647 0.0001 0.1154 0.0000 0.4800 0.2068 0.1367 276-AH 0.0509 0.2347 0.3231 0.4085 0.5185 0.3249 0.1239 0.1738 0.4676 0.3813 0.2920 0.2419 0.1020 0.0509 0.5185 0.3249 0.1239 277-AH 0.0000 0.0000 0.0000 0.0000 0.0461 0.0060 0.0136 0.0000 0.0461 2.2879 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0386 0.1373 0.2778 0.0657 0.0753 0.1373 0.2778 1.1454 0.0047 0.0000 0.0627 0.0000 0.2778 0.0657 0.0753 279-AH 0.0150 0.0206 0.0265 0.2983 0.6667 0.1786 0.2285 0.2777 0.6517 1.2796 0.0701 0.0358 0.1915 0.0150 0.6667 0.1786 0.2285 280-AH 0.0000 0.0000 0.0230 0.0417 0.1118 0.0294 0.0278 0.0417 0.1118 0.9467 0.0038 0.0000 0.0204 0.0000 0.0963 0.0268 0.0240 281-AH 0.0000 0.1823 0.2308 0.3073 0.3448 0.2266 0.0870 0.1249 0.3448 0.3840 0.1257 0.0002 0.0630 0.0000 0.3448 0.2266 0.0870 282-AH 0.0000 0.0280 0.0500 0.0879 0.2316 0.0618 0.0541 0.0599 0.2316 0.8757 0.0199 0.0001 0.0400 0.0000 0.1392 0.0517 0.0372 283-AH 0.0000 0.0286 0.0888 0.1260 0.5400 0.1278 0.1472 0.0974 0.5400 1.1525 0.0158 0.0000 0.1069 0.0000 0.2389 0.0668 0.0572 284-AH 0.2389 0.3839 0.4286 0.4866 0.5745 0.4348 0.0747 0.1027 0.3355 0.1718 0.4281 0.4207 0.0583 0.2389 0.5745 0.4348 0.0747 285-AH 0.0000 0.2458 0.6049 0.7730 0.8448 0.5092 0.2881 0.5273 0.8448 0.5658 0.1772 0.0001 0.2517 0.0000 0.8448 0.5092 0.2881 286-AH 0.0000 0.0000 0.0121 0.0141 0.0221 0.0088 0.0076 0.0141 0.0221 0.8659 0.0008 0.0000 0.0069 0.0000 0.0221 0.0088 0.0076 287-AH 0.0000 0.2190 0.3109 0.3455 0.4070 0.2741 0.1100 0.1265 0.4070 0.4014 0.1457 0.0002 0.0850 0.0366 0.4070 0.2918 0.0871 288-AH 0.0000 0.0603 0.0803 0.1408 0.3176 0.0961 0.0764 0.0805 0.3176 0.7945 0.0151 0.0000 0.0593 0.0000 0.2523 0.0892 0.0662 289-AH 0.0000 0.3426 0.6667 0.7368 0.8750 0.5316 0.3179 0.3942 0.8750 0.5980 0.0725 0.0001 0.2614 0.0000 0.8750 0.5316 0.3179 290-AH 0.0478 0.1112 0.1591 0.2054 0.2574 0.1575 0.0596 0.0942 0.2095 0.3781 0.1449 0.1307 0.0502 0.0478 0.2574 0.1575 0.0596 275 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0971 0.1641 0.4884 0.8400 0.2741 0.2443 0.3913 0.8400 0.8912 0.1112 0.0002 0.2061 0.0000 0.8400 0.2741 0.2443 292-AH 0.0069 0.3077 0.5000 0.6667 1.0000 0.4950 0.2805 0.3590 0.9931 0.5667 0.3092 0.0628 0.2288 0.0069 1.0000 0.4950 0.2805 293-AH 0.0000 0.3820 0.5217 0.5607 0.7273 0.4550 0.1707 0.1786 0.7273 0.3752 0.2425 0.0002 0.1312 0.2105 0.7273 0.4844 0.1280 294-AH 0.0260 0.6282 0.6786 0.7037 0.7333 0.6247 0.1511 0.0755 0.7074 0.2419 0.5718 0.3617 0.0952 0.5263 0.7333 0.6716 0.0499 295-AH 0.0000 0.0000 0.0612 0.1957 0.4337 0.1164 0.1379 0.1957 0.4337 1.1844 0.0034 0.0000 0.1141 0.0000 0.4337 0.1164 0.1379 296-AH 0.0000 0.0804 0.3462 0.4595 0.5862 0.2888 0.2019 0.3791 0.5862 0.6993 0.0278 0.0000 0.1751 0.0000 0.5862 0.2888 0.2019 297-AH 0.0110 0.0233 0.0407 0.0650 0.2368 0.0499 0.0416 0.0417 0.2258 0.8327 0.0385 0.0297 0.0274 0.0110 0.0909 0.0441 0.0249 298-AH 0.0000 0.0533 0.0947 0.1373 0.1694 0.0928 0.0469 0.0840 0.1694 0.5052 0.0640 0.0003 0.0386 0.0000 0.1694 0.0928 0.0469 299-AH 0.0000 0.1934 0.2213 0.3264 0.4297 0.2484 0.0946 0.1330 0.4297 0.3807 0.1791 0.0003 0.0762 0.0000 0.4297 0.2484 0.0946 300-AH 0.0783 0.1601 0.1784 0.2109 0.2703 0.1842 0.0468 0.0508 0.1919 0.2539 0.1778 0.1704 0.0363 0.0934 0.2703 0.1875 0.0434 301-AH 0.0000 0.0000 0.0000 0.0034 0.0714 0.0090 0.0186 0.0034 0.0714 2.0598 0.0001 0.0000 0.0137 0.0000 0.0000 0.0000 0.0000 302-AH 0.0144 0.1771 0.2453 0.2875 0.4615 0.2300 0.1146 0.1104 0.4472 0.4981 0.1781 0.0947 0.0871 0.0144 0.4000 0.2228 0.1085 303-AH 0.0000 0.0548 0.0917 0.2051 0.4000 0.1259 0.0964 0.1504 0.4000 0.7656 0.0574 0.0002 0.0816 0.0000 0.4000 0.1259 0.0964 304-AH 0.0000 0.0222 0.0304 0.0452 0.1467 0.0396 0.0319 0.0230 0.1467 0.8064 0.0171 0.0001 0.0231 0.0000 0.0688 0.0285 0.0164 305-AH 0.0000 0.1215 0.1814 0.2186 0.2914 0.1697 0.0644 0.0971 0.2914 0.3796 0.1224 0.0003 0.0526 0.0000 0.2914 0.1697 0.0644 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.1165 0.1719 0.2291 0.4088 0.1790 0.1000 0.1126 0.4088 0.5586 0.0733 0.0001 0.0765 0.0000 0.3462 0.1718 0.0925 308-AH 0.1111 0.3800 0.6923 0.8000 1.0000 0.5979 0.2817 0.4200 0.8889 0.4711 0.5016 0.3792 0.2386 0.1111 1.0000 0.5979 0.2817 309-AH 0.0000 0.0209 0.0364 0.0461 0.0580 0.0337 0.0165 0.0252 0.0580 0.4895 0.0199 0.0002 0.0142 0.0000 0.0580 0.0337 0.0165 310-AH 0.0000 0.0000 0.0455 0.0683 0.1744 0.0371 0.0428 0.0683 0.1744 1.1552 0.0009 0.0000 0.0359 0.0000 0.1009 0.0328 0.0356 311-AH 0.0502 0.1258 0.1939 0.2552 0.3248 0.1859 0.0770 0.1294 0.2746 0.4145 0.1673 0.1458 0.0647 0.0502 0.3248 0.1859 0.0770 312-AH 0.0000 0.2917 0.4231 0.5091 0.6875 0.3832 0.1927 0.2174 0.6875 0.5029 0.1841 0.0002 0.1518 0.0000 0.6875 0.3832 0.1927 313-AH 0.0000 0.0000 0.0000 0.0374 0.0789 0.0189 0.0240 0.0374 0.0789 1.2706 0.0004 0.0000 0.0210 0.0000 0.0789 0.0189 0.0240 314-AH 0.0000 0.0467 0.0690 0.0759 0.1066 0.0599 0.0264 0.0292 0.1066 0.4400 0.0351 0.0002 0.0210 0.0170 0.1066 0.0638 0.0220 315-AH 0.0000 0.0000 0.1858 0.3734 0.6515 0.2302 0.2240 0.3734 0.6515 0.9731 0.0073 0.0000 0.1951 0.0000 0.6515 0.2302 0.2240 316-AH 0.0000 0.0645 0.1106 0.1465 0.2054 0.0994 0.0638 0.0820 0.2054 0.6419 0.0129 0.0000 0.0502 0.0000 0.2054 0.0994 0.0638 317-AH 0.0000 0.0658 0.1228 0.1451 0.2308 0.1062 0.0545 0.0793 0.2308 0.5133 0.0580 0.0002 0.0458 0.0000 0.2308 0.1062 0.0545 318-AH 0.0373 0.0755 0.1084 0.1628 0.3333 0.1284 0.0714 0.0873 0.2960 0.5561 0.1114 0.0965 0.0550 0.0373 0.2121 0.1157 0.0517 319-AH 0.0000 0.0000 0.0000 0.1095 0.3333 0.0664 0.0999 0.1095 0.3333 1.5035 0.0008 0.0000 0.0808 0.0000 0.2373 0.0501 0.0781 320-AH 0.0000 0.0000 0.0000 0.0030 0.0163 0.0033 0.0060 0.0030 0.0163 1.8074 0.0001 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0170 0.0322 0.0377 0.0813 0.0317 0.0189 0.0207 0.0813 0.5985 0.0150 0.0001 0.0130 0.0000 0.0493 0.0273 0.0133 323-AH 0.0000 0.0382 0.0546 0.0859 0.1080 0.0582 0.0297 0.0477 0.1080 0.5092 0.0270 0.0001 0.0245 0.0000 0.1080 0.0582 0.0297 324-AH 0.0000 0.0000 0.0000 0.1920 0.6795 0.1386 0.2136 0.1920 0.6795 1.5413 0.0006 0.0000 0.1680 0.0000 0.4000 0.0726 0.1215 325-AH 0.0000 0.2862 0.4245 0.4863 0.7167 0.3965 0.1567 0.2000 0.7167 0.3952 0.2747 0.0003 0.1204 0.0000 0.7167 0.3965 0.1567 326-AH 0.0000 0.0053 0.0190 0.0671 0.1579 0.0377 0.0421 0.0618 0.1579 1.1186 0.0079 0.0001 0.0345 0.0000 0.1579 0.0377 0.0421 327-AH 0.0000 0.0214 0.1053 0.3813 0.6000 0.2059 0.2018 0.3599 0.6000 0.9800 0.0376 0.0001 0.1859 0.0000 0.6000 0.2059 0.2018 328-AH 0.3051 0.4511 0.5000 0.5667 0.6562 0.4995 0.0885 0.1155 0.3512 0.1772 0.4913 0.4823 0.0707 0.3051 0.6562 0.4995 0.0885 329-AH 0.3871 0.5603 0.5714 0.6222 0.7778 0.5920 0.0928 0.0619 0.3907 0.1568 0.5850 0.5779 0.0657 0.5417 0.7059 0.5914 0.0393 330-AH 0.0000 0.4220 0.7188 0.7337 0.8043 0.5672 0.2688 0.3116 0.8043 0.4739 0.3318 0.0003 0.2218 0.0000 0.8043 0.5672 0.2688 331-AH 0.0000 0.2052 0.2667 0.3540 0.6667 0.2843 0.1763 0.1488 0.6667 0.6203 0.1029 0.0001 0.1323 0.0000 0.5714 0.2723 0.1650 332-AH 0.0000 0.1452 0.2188 0.2406 0.2727 0.1761 0.1030 0.0954 0.2727 0.5850 0.0202 0.0000 0.0854 0.1935 0.2727 0.2324 0.0224 333-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8005 0.3853 0.0500 1.0000 0.4813 0.2393 0.0001 0.3022 1.0000 1.0000 1.0000 0.0000 334-AH 0.0157 0.0584 0.0952 0.1338 0.1905 0.0963 0.0476 0.0754 0.1748 0.4945 0.0816 0.0633 0.0365 0.0157 0.1905 0.0963 0.0476 335-AH 0.0230 0.0528 0.0738 0.1206 0.2821 0.0912 0.0601 0.0678 0.2590 0.6593 0.0751 0.0617 0.0448 0.0230 0.1964 0.0804 0.0429 336-AH 0.0000 0.0000 0.0000 0.0353 0.3243 0.0255 0.0585 0.0353 0.3243 2.2943 0.0004 0.0000 0.0307 0.0000 0.0524 0.0136 0.0191 337-AH 0.0679 0.6667 0.7895 0.8235 0.8824 0.7137 0.2062 0.1569 0.8145 0.2889 0.6465 0.4850 0.1377 0.5185 0.8824 0.7713 0.0926 338-AH 0.0000 0.1395 0.4667 0.7000 1.0000 0.4475 0.3119 0.5605 1.0000 0.6969 0.1797 0.0002 0.2775 0.0000 1.0000 0.4475 0.3119 339-AH 0.0000 0.3430 0.5172 0.5785 0.8333 0.4487 0.2281 0.2355 0.8333 0.5085 0.1255 0.0001 0.1776 0.0000 0.8333 0.4487 0.2281 340-AH 0.2000 0.2857 0.3125 0.4000 0.6667 0.3568 0.1042 0.1143 0.4667 0.2921 0.3438 0.3322 0.0809 0.2000 0.5556 0.3399 0.0810 276 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.2338 1.0000 1.0000 1.0000 0.6675 0.4010 0.7662 1.0000 0.6007 0.2768 0.0002 0.3655 0.0000 1.0000 0.6675 0.4010 342-AH 0.0000 0.2310 0.5528 0.7378 0.8214 0.4840 0.2609 0.5068 0.8214 0.5390 0.2334 0.0002 0.2251 0.0000 0.8214 0.4840 0.2609 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.1295 0.2268 0.3288 0.4464 0.6316 0.3463 0.1405 0.2197 0.5020 0.4058 0.3174 0.2886 0.1179 0.1295 0.6316 0.3463 0.1405 345-AH 0.0000 0.0219 0.0379 0.1098 0.2593 0.0760 0.0810 0.0879 0.2593 1.0663 0.0245 0.0001 0.0652 0.0000 0.1750 0.0522 0.0515 346-AH 0.0000 0.0481 0.0541 0.0904 0.1084 0.0591 0.0329 0.0423 0.1084 0.5562 0.0174 0.0001 0.0256 0.0000 0.1084 0.0591 0.0329 347-AH 0.0076 0.0257 0.0414 0.0580 0.0824 0.0411 0.0178 0.0323 0.0747 0.4339 0.0365 0.0308 0.0152 0.0076 0.0824 0.0411 0.0178 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0197 0.2327 0.2625 0.3088 0.6471 0.3007 0.1440 0.0761 0.6274 0.4791 0.2643 0.1945 0.0992 0.1481 0.3800 0.2550 0.0512 350-AH 0.0412 0.3732 0.5833 0.7000 0.7778 0.5477 0.1880 0.3268 0.7365 0.3433 0.4961 0.3774 0.1539 0.0412 0.7778 0.5477 0.1880 277 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.0264 0.7592 1.0000 1.0000 1.0000 0.7841 0.3678 0.2408 0.9736 0.4690 0.5859 0.2718 0.3052 0.4118 1.0000 0.9635 0.1192 143-AH 0.1798 0.4202 0.5926 0.8216 0.9429 0.6027 0.2432 0.4014 0.7631 0.4035 0.5451 0.4790 0.2017 0.1798 0.9429 0.6027 0.2432 144-AH 0.0000 0.0547 0.2000 0.5000 0.6000 0.2419 0.2195 0.4453 0.6000 0.9074 0.0399 0.0001 0.1886 0.0000 0.6000 0.2419 0.2195 145-AH 0.1598 0.2160 0.2768 0.3479 0.4769 0.2883 0.0802 0.1319 0.3171 0.2781 0.2777 0.2674 0.0648 0.1598 0.4769 0.2883 0.0802 146-AH 0.0000 0.0026 0.0072 0.0129 0.0435 0.0113 0.0130 0.0104 0.0435 1.1424 0.0023 0.0000 0.0096 0.0000 0.0132 0.0057 0.0047 147-AH 0.1015 0.4445 0.5541 0.6442 0.8367 0.5565 0.1613 0.1998 0.7352 0.2898 0.5259 0.4749 0.1256 0.3333 0.8367 0.5708 0.1413 148-AH 0.0000 0.0000 0.0141 0.0384 0.0667 0.0177 0.0208 0.0384 0.0667 1.1770 0.0006 0.0000 0.0178 0.0000 0.0667 0.0177 0.0208 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0176 0.0351 0.0543 0.3000 0.0633 0.0789 0.0367 0.3000 1.2462 0.0108 0.0001 0.0577 0.0000 0.0552 0.0267 0.0185 151-AH 0.0000 0.0000 0.0000 0.0161 0.1449 0.0176 0.0404 0.0161 0.1449 2.2970 0.0001 0.0000 0.0241 0.0000 0.0344 0.0054 0.0099 152-AH 0.0000 0.0553 0.0962 0.1706 0.3600 0.1213 0.0964 0.1153 0.3600 0.7947 0.0569 0.0002 0.0766 0.0000 0.2903 0.1138 0.0877 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0245 0.0655 0.0744 0.0911 0.1111 0.0763 0.0203 0.0256 0.0866 0.2662 0.0731 0.0688 0.0156 0.0319 0.1111 0.0779 0.0183 155-AH 0.0000 0.0037 0.0246 0.0632 0.2308 0.0511 0.0652 0.0595 0.2308 1.2757 0.0063 0.0000 0.0500 0.0000 0.1500 0.0318 0.0396 156-AH 0.0000 0.0000 0.0272 0.0522 0.0963 0.0304 0.0315 0.0522 0.0963 1.0388 0.0013 0.0000 0.0265 0.0000 0.0963 0.0304 0.0315 157-AH 0.0000 0.1405 0.2569 0.3634 0.5628 0.2436 0.1578 0.2229 0.5628 0.6478 0.0329 0.0000 0.1270 0.0000 0.5628 0.2436 0.1578 158-AH 0.0000 0.1244 0.1859 0.3054 0.5490 0.2173 0.1366 0.1810 0.5490 0.6285 0.1363 0.0003 0.1097 0.0000 0.5490 0.2173 0.1366 159-AH 0.0000 0.0843 0.1333 0.1468 0.5500 0.1368 0.0986 0.0625 0.5500 0.7209 0.0707 0.0002 0.0592 0.0000 0.2304 0.1180 0.0581 160-AH 0.0028 0.0154 0.0408 0.0808 0.2857 0.0580 0.0578 0.0654 0.2829 0.9962 0.0369 0.0211 0.0413 0.0028 0.1429 0.0509 0.0414 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.4170 0.6853 0.7500 0.7627 0.8839 0.7212 0.1039 0.0774 0.4669 0.1441 0.7128 0.7029 0.0740 0.5928 0.8718 0.7408 0.0655 164-AH 0.0000 0.0349 0.0604 0.1023 0.2035 0.0790 0.0597 0.0674 0.2035 0.7559 0.0313 0.0001 0.0491 0.0000 0.1920 0.0751 0.0562 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0165 0.0256 0.0500 0.1481 0.0456 0.0447 0.0335 0.1481 0.9805 0.0210 0.0002 0.0324 0.0000 0.0690 0.0284 0.0181 168-AH 0.0000 0.1464 0.3721 0.4706 0.5714 0.3046 0.1953 0.3242 0.5714 0.6414 0.0377 0.0000 0.1651 0.0000 0.5714 0.3046 0.1953 169-AH 0.0000 0.0000 0.0090 0.0268 0.0877 0.0169 0.0217 0.0268 0.0877 1.2822 0.0013 0.0000 0.0157 0.0000 0.0510 0.0126 0.0137 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0000 0.0432 0.0571 0.0773 0.0349 0.0282 0.0571 0.0773 0.8079 0.0029 0.0000 0.0249 0.0000 0.0773 0.0349 0.0282 172-AH 0.0000 0.0210 0.0600 0.0765 0.1053 0.0523 0.0288 0.0555 0.1053 0.5505 0.0287 0.0002 0.0246 0.0000 0.1053 0.0523 0.0288 173-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9798 0.1161 0.0000 0.6667 0.1184 0.9673 0.9429 0.0392 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9495 0.1214 0.0000 0.3333 0.1278 0.9404 0.9296 0.0857 1.0000 1.0000 1.0000 0.0000 175-AH 0.0625 0.5000 0.6667 0.7768 1.0000 0.6507 0.2083 0.2768 0.9375 0.3201 0.6022 0.4913 0.1687 0.4615 1.0000 0.6691 0.1824 176-AH 0.0831 0.6038 0.8049 0.8431 0.8718 0.7198 0.1671 0.2393 0.7887 0.2322 0.6823 0.5822 0.1309 0.4507 0.8718 0.7397 0.1239 177-AH 0.0000 0.0383 0.0636 0.1152 0.3143 0.0911 0.0803 0.0770 0.3143 0.8820 0.0420 0.0002 0.0615 0.0000 0.2245 0.0777 0.0618 178-AH 0.0000 0.0000 0.0000 0.0047 0.0370 0.0057 0.0114 0.0047 0.0370 2.0100 0.0001 0.0000 0.0083 0.0000 0.0064 0.0006 0.0018 179-AH 0.0000 0.0686 0.1579 0.4294 1.0000 0.2388 0.2217 0.3607 1.0000 0.9283 0.1271 0.0003 0.1714 0.0000 0.5806 0.2150 0.1773 180-AH 0.0000 0.0761 0.4658 0.5379 0.6346 0.3558 0.2291 0.4618 0.6346 0.6439 0.1498 0.0002 0.2080 0.0000 0.6346 0.3558 0.2291 181-AH 0.2568 0.6379 0.7400 0.7769 0.8444 0.6666 0.1783 0.1390 0.5876 0.2675 0.6337 0.5891 0.1350 0.6325 0.8444 0.7444 0.0617 182-AH 0.0260 0.0482 0.0930 0.1222 0.4000 0.0973 0.0682 0.0740 0.3740 0.7010 0.0811 0.0684 0.0447 0.0260 0.1739 0.0878 0.0418 183-AH 0.0160 0.0469 0.0851 0.2500 0.5000 0.1579 0.1352 0.2031 0.4840 0.8562 0.0992 0.0586 0.1168 0.0160 0.5000 0.1579 0.1352 184-AH 0.0000 0.0607 0.0748 0.1022 0.1778 0.0801 0.0393 0.0415 0.1778 0.4899 0.0459 0.0002 0.0291 0.0000 0.1538 0.0771 0.0357 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0000 0.5245 0.7500 1.0000 1.0000 0.7172 0.3017 0.4755 1.0000 0.4207 0.4498 0.0003 0.2439 0.0000 1.0000 0.7172 0.3017 190-AH 0.0000 0.0000 0.0000 0.0174 0.8000 0.0441 0.1455 0.0174 0.8000 3.2965 0.0003 0.0000 0.0671 0.0000 0.0229 0.0059 0.0086 278 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0152 0.0420 0.1250 0.4563 1.0000 0.2973 0.3384 0.4143 0.9848 1.1385 0.1426 0.0712 0.2845 0.0152 1.0000 0.2973 0.3384 193-AH 0.0000 0.0584 0.1304 0.2717 0.3529 0.1640 0.1164 0.2134 0.3529 0.7100 0.0911 0.0003 0.1038 0.0000 0.3529 0.1640 0.1164 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.1844 0.3478 0.7143 0.9111 0.3975 0.2862 0.5299 0.9111 0.7199 0.1686 0.0002 0.2315 0.0000 0.9111 0.3975 0.2862 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.1538 0.5176 0.5714 0.6923 0.7500 0.5647 0.1657 0.1747 0.5962 0.2934 0.5275 0.4696 0.1162 0.2581 0.7500 0.6047 0.1095 200-AH 0.0000 0.0491 0.1509 0.4211 0.5714 0.2225 0.1963 0.3720 0.5714 0.8820 0.0785 0.0002 0.1760 0.0000 0.5714 0.2225 0.1963 251-AH 0.0000 0.0450 0.0979 0.1457 0.2453 0.1013 0.0736 0.1008 0.2453 0.7269 0.0127 0.0000 0.0582 0.0000 0.2453 0.1013 0.0736 252-AH 0.0000 0.1851 0.2667 0.3302 0.5455 0.2577 0.1105 0.1451 0.5455 0.4287 0.1765 0.0003 0.0824 0.0000 0.5455 0.2577 0.1105 253-AH 0.0000 0.0000 0.0000 0.1554 0.2045 0.0510 0.0852 0.1554 0.2045 1.6687 0.0001 0.0000 0.0742 0.0000 0.2045 0.0510 0.0852 254-AH 0.0000 0.0000 0.0000 0.0000 0.2255 0.0421 0.0827 0.0000 0.2255 1.9625 0.0001 0.0000 0.0664 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0514 0.1143 0.2222 0.4444 0.1499 0.1273 0.1708 0.4444 0.8493 0.0639 0.0002 0.1007 0.0000 0.4444 0.1499 0.1273 256-AH 0.0000 0.0563 0.7436 0.7632 0.8485 0.5327 0.3349 0.7069 0.8485 0.6288 0.0729 0.0001 0.2943 0.0000 0.8485 0.5327 0.3349 257-AH 0.0000 0.0695 0.0986 0.1181 0.1436 0.0875 0.0472 0.0486 0.1436 0.5398 0.0193 0.0001 0.0370 0.0000 0.1436 0.0875 0.0472 258-AH 0.0000 0.0000 0.0079 0.0588 0.2105 0.0332 0.0535 0.0588 0.2105 1.6125 0.0009 0.0000 0.0409 0.0000 0.1250 0.0234 0.0370 259-AH 0.0000 0.0046 0.0116 0.0212 0.0732 0.0176 0.0192 0.0167 0.0732 1.0932 0.0041 0.0001 0.0138 0.0000 0.0370 0.0115 0.0097 260-AH 0.0000 0.3935 0.4554 0.4978 0.5543 0.4237 0.1287 0.1043 0.5543 0.3038 0.2327 0.0002 0.0833 0.2500 0.5543 0.4510 0.0702 261-AH 0.0000 0.0000 0.0000 0.0000 0.1116 0.0034 0.0194 0.0000 0.1116 5.7446 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.1206 0.2437 0.0525 0.0808 0.1206 0.2437 1.5398 0.0002 0.0000 0.0700 0.0000 0.2437 0.0525 0.0808 263-AH 0.0000 0.0539 0.0876 0.1369 0.1618 0.0904 0.0509 0.0830 0.1618 0.5635 0.0311 0.0001 0.0435 0.0000 0.1618 0.0904 0.0509 264-AH 0.0000 0.0568 0.0994 0.2195 0.3158 0.1348 0.1042 0.1627 0.3158 0.7728 0.0499 0.0001 0.0891 0.0000 0.3158 0.1348 0.1042 265-AH 0.0000 0.0170 0.1538 0.2656 0.7143 0.1599 0.1536 0.2485 0.7143 0.9610 0.0190 0.0000 0.1216 0.0000 0.3571 0.1426 0.1189 266-AH 0.0000 0.0044 0.0117 0.0271 0.2353 0.0356 0.0583 0.0228 0.2353 1.6360 0.0042 0.0000 0.0406 0.0000 0.0526 0.0127 0.0138 267-AH 0.0000 0.0604 0.0842 0.0998 0.1203 0.0764 0.0329 0.0394 0.1203 0.4303 0.0435 0.0002 0.0251 0.0217 0.1203 0.0813 0.0272 268-AH 0.0000 0.0036 0.0123 0.0408 0.1034 0.0211 0.0245 0.0372 0.1034 1.1627 0.0036 0.0000 0.0193 0.0000 0.0638 0.0185 0.0198 269-AH 0.0000 0.0275 0.0576 0.1023 0.1481 0.0657 0.0457 0.0748 0.1481 0.6961 0.0324 0.0002 0.0390 0.0000 0.1481 0.0657 0.0457 270-AH 0.0000 0.1441 0.3154 0.5183 0.6133 0.3227 0.2045 0.3742 0.6133 0.6338 0.0901 0.0001 0.1802 0.0000 0.6133 0.3227 0.2045 271-AH 0.0000 0.1124 0.2353 0.3054 0.3922 0.2183 0.1113 0.1930 0.3922 0.5097 0.1421 0.0003 0.0899 0.0000 0.3922 0.2183 0.1113 272-AH 0.0000 0.0000 0.0811 0.1661 0.2400 0.0862 0.0823 0.1661 0.2400 0.9539 0.0074 0.0000 0.0684 0.0000 0.2400 0.0862 0.0823 273-AH 0.0000 0.3972 0.5234 0.6312 0.7363 0.4842 0.1948 0.2339 0.7363 0.4024 0.3287 0.0003 0.1520 0.1304 0.7363 0.4994 0.1772 274-AH 0.0000 0.0219 0.1226 0.2031 0.3939 0.1281 0.1087 0.1812 0.3939 0.8491 0.0398 0.0001 0.0915 0.0000 0.3939 0.1281 0.1087 275-AH 0.0000 0.0921 0.1312 0.2191 0.4909 0.1747 0.1372 0.1269 0.4909 0.7853 0.0509 0.0001 0.1059 0.0000 0.2819 0.1264 0.0785 276-AH 0.0000 0.1661 0.2609 0.3474 0.4324 0.2473 0.1162 0.1813 0.4324 0.4697 0.1680 0.0003 0.1007 0.0000 0.4324 0.2473 0.1162 277-AH 0.0000 0.0000 0.0000 0.0000 0.0419 0.0034 0.0109 0.0000 0.0419 3.2279 0.0000 0.0000 0.0062 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0764 0.2099 0.0407 0.0574 0.0764 0.2099 1.4095 0.0006 0.0000 0.0472 0.0000 0.1339 0.0355 0.0495 279-AH 0.0000 0.0146 0.0173 0.0391 0.6667 0.0541 0.1172 0.0246 0.6667 2.1670 0.0207 0.0003 0.0571 0.0000 0.0548 0.0204 0.0125 280-AH 0.0000 0.0000 0.0000 0.0314 0.0673 0.0173 0.0203 0.0314 0.0673 1.1731 0.0005 0.0000 0.0178 0.0000 0.0673 0.0173 0.0203 281-AH 0.0000 0.1511 0.1957 0.2122 0.2537 0.1709 0.0665 0.0611 0.2537 0.3890 0.0751 0.0001 0.0478 0.0885 0.2537 0.1880 0.0394 282-AH 0.0000 0.0000 0.0311 0.0578 0.1389 0.0368 0.0401 0.0578 0.1389 1.0904 0.0015 0.0000 0.0328 0.0000 0.1389 0.0368 0.0401 283-AH 0.0000 0.0000 0.0421 0.0973 0.4026 0.0841 0.1193 0.0973 0.4026 1.4196 0.0027 0.0000 0.0836 0.0000 0.1824 0.0446 0.0512 284-AH 0.2302 0.3483 0.3924 0.4315 0.5254 0.3893 0.0690 0.0832 0.2952 0.1773 0.3830 0.3763 0.0544 0.2302 0.5254 0.3893 0.0690 285-AH 0.0000 0.2182 0.5044 0.6916 0.7179 0.4319 0.2569 0.4734 0.7179 0.5947 0.0909 0.0001 0.2219 0.0000 0.7179 0.4319 0.2569 286-AH 0.0000 0.0000 0.0000 0.0118 0.0177 0.0044 0.0064 0.0118 0.0177 1.4583 0.0001 0.0000 0.0059 0.0000 0.0177 0.0044 0.0064 287-AH 0.0000 0.1505 0.2105 0.2653 0.3125 0.1948 0.0865 0.1148 0.3125 0.4440 0.0827 0.0001 0.0685 0.0000 0.3125 0.1948 0.0865 288-AH 0.0000 0.0000 0.0000 0.0970 0.2171 0.0496 0.0646 0.0970 0.2171 1.3022 0.0005 0.0000 0.0571 0.0000 0.2171 0.0496 0.0646 289-AH 0.0000 0.2446 0.5926 0.7143 0.8000 0.4803 0.2920 0.4697 0.8000 0.6079 0.0429 0.0000 0.2474 0.0000 0.8000 0.4803 0.2920 290-AH 0.0000 0.0912 0.1254 0.1453 0.2353 0.1223 0.0494 0.0540 0.2353 0.4040 0.0893 0.0003 0.0377 0.0550 0.2222 0.1226 0.0410 279 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0677 0.0899 0.1825 0.7500 0.1686 0.1873 0.1149 0.7500 1.1112 0.0676 0.0002 0.1367 0.0000 0.3478 0.0972 0.0710 292-AH 0.0069 0.3077 0.5000 0.6667 1.0000 0.4950 0.2805 0.3590 0.9931 0.5667 0.3092 0.0628 0.2288 0.0069 1.0000 0.4950 0.2805 293-AH 0.0000 0.3209 0.4000 0.4748 0.5833 0.3750 0.1423 0.1539 0.5833 0.3794 0.2015 0.0002 0.1064 0.1407 0.5833 0.3992 0.1078 294-AH 0.0000 0.5606 0.5946 0.6667 0.7333 0.5707 0.1465 0.1061 0.7333 0.2566 0.4129 0.0003 0.0928 0.4231 0.7333 0.6085 0.0714 295-AH 0.0000 0.0000 0.0000 0.1044 0.1500 0.0446 0.0564 0.1044 0.1500 1.2658 0.0005 0.0000 0.0513 0.0000 0.1500 0.0446 0.0564 296-AH 0.0000 0.0508 0.2532 0.3795 0.5250 0.2333 0.1721 0.3287 0.5250 0.7378 0.0232 0.0000 0.1478 0.0000 0.5250 0.2333 0.1721 297-AH 0.0105 0.0190 0.0272 0.0443 0.1299 0.0349 0.0241 0.0254 0.1193 0.6898 0.0289 0.0243 0.0173 0.0105 0.0676 0.0320 0.0173 298-AH 0.0000 0.0332 0.0688 0.0848 0.1190 0.0603 0.0316 0.0515 0.1190 0.5239 0.0274 0.0001 0.0269 0.0000 0.1190 0.0603 0.0316 299-AH 0.0000 0.1467 0.1975 0.2385 0.3427 0.1999 0.0748 0.0918 0.3427 0.3741 0.1453 0.0003 0.0564 0.1008 0.3427 0.2061 0.0666 300-AH 0.0536 0.1149 0.1611 0.2109 0.2574 0.1644 0.0536 0.0960 0.2037 0.3262 0.1545 0.1427 0.0428 0.0536 0.2574 0.1644 0.0536 301-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0080 0.0178 0.0000 0.0714 2.2295 0.0001 0.0000 0.0126 0.0000 0.0000 0.0000 0.0000 302-AH 0.0000 0.1589 0.1867 0.2414 0.3415 0.1849 0.0928 0.0825 0.3415 0.5022 0.0926 0.0002 0.0712 0.0363 0.3415 0.2090 0.0696 303-AH 0.0000 0.0246 0.0313 0.0479 0.0857 0.0355 0.0192 0.0233 0.0857 0.5395 0.0172 0.0001 0.0152 0.0000 0.0642 0.0340 0.0172 304-AH 0.0000 0.0178 0.0284 0.0448 0.1395 0.0356 0.0327 0.0270 0.1395 0.9177 0.0081 0.0001 0.0240 0.0000 0.0828 0.0282 0.0224 305-AH 0.0000 0.0000 0.1293 0.1853 0.2267 0.1172 0.0814 0.1853 0.2267 0.6946 0.0112 0.0000 0.0679 0.0000 0.2267 0.1172 0.0814 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.0793 0.1332 0.1608 0.3247 0.1274 0.0830 0.0815 0.3247 0.6518 0.0254 0.0001 0.0602 0.0000 0.2431 0.1156 0.0704 308-AH 0.0629 0.1433 0.2812 0.5625 1.0000 0.3656 0.2555 0.4192 0.9371 0.6989 0.2803 0.2093 0.2124 0.0629 1.0000 0.3656 0.2555 309-AH 0.0000 0.0169 0.0310 0.0413 0.0580 0.0303 0.0160 0.0244 0.0580 0.5263 0.0178 0.0002 0.0135 0.0000 0.0580 0.0303 0.0160 310-AH 0.0000 0.0000 0.0000 0.0000 0.1074 0.0139 0.0286 0.0000 0.1074 2.0523 0.0001 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0752 0.1189 0.1452 0.2184 0.1103 0.0559 0.0700 0.2184 0.5070 0.0382 0.0001 0.0436 0.0000 0.2184 0.1103 0.0559 312-AH 0.0000 0.2465 0.3731 0.4684 0.6250 0.3374 0.1783 0.2220 0.6250 0.5284 0.1612 0.0002 0.1440 0.0000 0.6250 0.3374 0.1783 313-AH 0.0000 0.0000 0.0000 0.0204 0.0737 0.0105 0.0185 0.0204 0.0737 1.7633 0.0001 0.0000 0.0146 0.0000 0.0464 0.0085 0.0149 314-AH 0.0000 0.0411 0.0466 0.0629 0.0816 0.0468 0.0227 0.0218 0.0816 0.4851 0.0181 0.0001 0.0171 0.0235 0.0816 0.0533 0.0153 315-AH 0.0000 0.0000 0.0947 0.2597 0.5106 0.1470 0.1669 0.2597 0.5106 1.1356 0.0040 0.0000 0.1395 0.0000 0.5106 0.1470 0.1669 316-AH 0.0000 0.0000 0.1006 0.1165 0.1690 0.0650 0.0620 0.1165 0.1690 0.9542 0.0017 0.0000 0.0591 0.0000 0.1690 0.0650 0.0620 317-AH 0.0000 0.0487 0.0738 0.0966 0.1558 0.0708 0.0416 0.0479 0.1558 0.5876 0.0200 0.0001 0.0330 0.0000 0.1558 0.0708 0.0416 318-AH 0.0271 0.0596 0.0976 0.1356 0.2500 0.1055 0.0562 0.0760 0.2229 0.5325 0.0915 0.0784 0.0449 0.0271 0.2105 0.1010 0.0507 319-AH 0.0000 0.0000 0.0000 0.0266 0.1538 0.0319 0.0576 0.0266 0.1538 1.8057 0.0002 0.0000 0.0455 0.0000 0.0278 0.0030 0.0086 320-AH 0.0000 0.0000 0.0000 0.0000 0.0145 0.0017 0.0046 0.0000 0.0145 2.7370 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0176 0.0292 0.0543 0.0182 0.0158 0.0292 0.0543 0.8685 0.0019 0.0000 0.0133 0.0000 0.0543 0.0182 0.0158 323-AH 0.0000 0.0289 0.0481 0.0648 0.0936 0.0469 0.0269 0.0359 0.0936 0.5748 0.0175 0.0001 0.0216 0.0000 0.0936 0.0469 0.0269 324-AH 0.0000 0.0000 0.0000 0.1264 0.6000 0.1100 0.1868 0.1264 0.6000 1.6980 0.0005 0.0000 0.1334 0.0000 0.2687 0.0483 0.0812 325-AH 0.0000 0.2506 0.3592 0.4354 0.5568 0.3445 0.1377 0.1848 0.5568 0.3995 0.2389 0.0003 0.1078 0.0000 0.5568 0.3445 0.1377 326-AH 0.0000 0.0000 0.0000 0.0056 0.0392 0.0046 0.0083 0.0056 0.0392 1.7792 0.0001 0.0000 0.0057 0.0000 0.0125 0.0019 0.0034 327-AH 0.0000 0.0082 0.0851 0.3077 0.4444 0.1505 0.1606 0.2995 0.4444 1.0669 0.0215 0.0001 0.1450 0.0000 0.4444 0.1505 0.1606 328-AH 0.1652 0.3251 0.4524 0.4936 0.6562 0.4208 0.1262 0.1685 0.4910 0.3000 0.3993 0.3741 0.1019 0.1652 0.6562 0.4208 0.1262 329-AH 0.2642 0.4242 0.4667 0.5385 0.7778 0.4926 0.1248 0.1142 0.5136 0.2534 0.4782 0.4645 0.0921 0.2642 0.7000 0.4641 0.0891 330-AH 0.0000 0.3993 0.6364 0.7136 0.7593 0.5208 0.2713 0.3143 0.7593 0.5210 0.1793 0.0001 0.2262 0.0000 0.7593 0.5208 0.2713 331-AH 0.0000 0.1785 0.2456 0.3450 0.5600 0.2544 0.1656 0.1665 0.5600 0.6510 0.0724 0.0001 0.1261 0.0000 0.5600 0.2544 0.1656 332-AH 0.0000 0.1200 0.2188 0.2231 0.2692 0.1639 0.0974 0.1031 0.2692 0.5942 0.0191 0.0000 0.0797 0.0000 0.2692 0.1639 0.0974 333-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8005 0.3853 0.0500 1.0000 0.4813 0.2393 0.0001 0.3022 1.0000 1.0000 1.0000 0.0000 334-AH 0.0157 0.0584 0.0952 0.1338 0.1905 0.0963 0.0476 0.0754 0.1748 0.4945 0.0816 0.0633 0.0365 0.0157 0.1905 0.0963 0.0476 335-AH 0.0150 0.0429 0.0674 0.1116 0.2353 0.0766 0.0503 0.0687 0.2203 0.6565 0.0620 0.0489 0.0387 0.0150 0.1690 0.0716 0.0421 336-AH 0.0000 0.0000 0.0000 0.0230 0.3043 0.0185 0.0540 0.0230 0.3043 2.9246 0.0001 0.0000 0.0258 0.0000 0.0426 0.0077 0.0139 337-AH 0.0503 0.6552 0.7500 0.8000 0.8421 0.6677 0.2162 0.1448 0.7918 0.3237 0.5805 0.3753 0.1444 0.5161 0.8421 0.7391 0.0850 338-AH 0.0000 0.1310 0.4211 0.5083 0.9000 0.3387 0.2374 0.3773 0.9000 0.7007 0.1136 0.0001 0.2116 0.0000 0.9000 0.3387 0.2374 339-AH 0.0000 0.2991 0.4359 0.5333 0.7273 0.3868 0.2049 0.2342 0.7273 0.5296 0.1079 0.0001 0.1638 0.0000 0.7273 0.3868 0.2049 340-AH 0.2000 0.2857 0.3125 0.4000 0.6667 0.3568 0.1042 0.1143 0.4667 0.2921 0.3438 0.3322 0.0809 0.2000 0.5556 0.3399 0.0810 280 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.2338 1.0000 1.0000 1.0000 0.6675 0.4010 0.7662 1.0000 0.6007 0.2768 0.0002 0.3655 0.0000 1.0000 0.6675 0.4010 342-AH 0.0000 0.1497 0.4593 0.6979 0.8058 0.4315 0.2678 0.5481 0.8058 0.6207 0.1951 0.0002 0.2348 0.0000 0.8058 0.4315 0.2678 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.0938 0.1564 0.2288 0.3577 0.4737 0.2490 0.1164 0.2013 0.3799 0.4675 0.2229 0.1988 0.0963 0.0938 0.4737 0.2490 0.1164 345-AH 0.0000 0.0197 0.0314 0.0817 0.2500 0.0628 0.0734 0.0620 0.2500 1.1680 0.0163 0.0001 0.0547 0.0000 0.1481 0.0392 0.0367 346-AH 0.0000 0.0347 0.0517 0.0766 0.1084 0.0533 0.0313 0.0419 0.1084 0.5879 0.0157 0.0001 0.0238 0.0000 0.1084 0.0533 0.0313 347-AH 0.0000 0.0097 0.0178 0.0241 0.0388 0.0164 0.0116 0.0143 0.0388 0.7057 0.0038 0.0000 0.0097 0.0000 0.0388 0.0164 0.0116 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0000 0.2055 0.2292 0.2598 0.6471 0.2590 0.1307 0.0542 0.6471 0.5046 0.1812 0.0003 0.0865 0.1375 0.3158 0.2229 0.0384 350-AH 0.0412 0.1765 0.2162 0.2500 0.5714 0.2449 0.1136 0.0735 0.5302 0.4639 0.2225 0.1964 0.0747 0.1379 0.2581 0.2081 0.0332 281 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.0000 0.0432 0.3810 0.6154 0.8889 0.3755 0.2712 0.5722 0.8889 0.7222 0.0332 0.0000 0.2298 0.0000 0.8889 0.3755 0.2712 143-AH 0.0647 0.2657 0.3711 0.6079 0.7660 0.4164 0.2249 0.3422 0.7012 0.5401 0.3414 0.2568 0.1996 0.0647 0.7660 0.4164 0.2249 144-AH 0.0000 0.0547 0.2000 0.5000 0.6000 0.2419 0.2195 0.4453 0.6000 0.9074 0.0399 0.0001 0.1886 0.0000 0.6000 0.2419 0.2195 145-AH 0.0692 0.1474 0.1832 0.2324 0.2893 0.1823 0.0564 0.0850 0.2201 0.3092 0.1725 0.1613 0.0459 0.0692 0.2893 0.1823 0.0564 146-AH 0.0000 0.0026 0.0072 0.0129 0.0435 0.0113 0.0130 0.0104 0.0435 1.1424 0.0023 0.0000 0.0096 0.0000 0.0132 0.0057 0.0047 147-AH 0.0773 0.3566 0.4946 0.5523 0.6912 0.4621 0.1401 0.1957 0.6139 0.3033 0.4331 0.3845 0.1150 0.0773 0.6912 0.4621 0.1401 148-AH 0.0000 0.0000 0.0000 0.0352 0.0667 0.0158 0.0205 0.0352 0.0667 1.2966 0.0005 0.0000 0.0175 0.0000 0.0667 0.0158 0.0205 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0139 0.0241 0.3000 0.0302 0.0658 0.0241 0.3000 2.1796 0.0008 0.0000 0.0365 0.0000 0.0395 0.0107 0.0126 151-AH 0.0000 0.0000 0.0000 0.0000 0.0146 0.0013 0.0043 0.0000 0.0146 3.2113 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0228 0.0538 0.0771 0.1266 0.0528 0.0350 0.0543 0.1266 0.6627 0.0274 0.0002 0.0291 0.0000 0.1266 0.0528 0.0350 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0000 0.0418 0.0521 0.0660 0.0941 0.0519 0.0217 0.0242 0.0941 0.4176 0.0253 0.0001 0.0156 0.0329 0.0941 0.0571 0.0146 155-AH 0.0000 0.0037 0.0246 0.0632 0.2308 0.0511 0.0652 0.0595 0.2308 1.2757 0.0063 0.0000 0.0500 0.0000 0.1500 0.0318 0.0396 156-AH 0.0000 0.0000 0.0207 0.0321 0.0905 0.0184 0.0216 0.0321 0.0905 1.1759 0.0007 0.0000 0.0178 0.0000 0.0513 0.0161 0.0176 157-AH 0.0000 0.0000 0.1563 0.2842 0.4615 0.1623 0.1401 0.2842 0.4615 0.8628 0.0080 0.0000 0.1146 0.0000 0.4615 0.1623 0.1401 158-AH 0.0000 0.0595 0.1023 0.2243 0.3780 0.1370 0.1025 0.1648 0.3780 0.7478 0.0514 0.0001 0.0846 0.0000 0.3780 0.1370 0.1025 159-AH 0.0000 0.0000 0.0607 0.0878 0.2197 0.0590 0.0682 0.0878 0.2197 1.1554 0.0015 0.0000 0.0543 0.0000 0.2008 0.0540 0.0628 160-AH 0.0028 0.0154 0.0408 0.0808 0.2857 0.0580 0.0578 0.0654 0.2829 0.9962 0.0369 0.0211 0.0413 0.0028 0.1429 0.0509 0.0414 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.2428 0.5283 0.6400 0.6801 0.7551 0.6045 0.1182 0.1518 0.5123 0.1955 0.5904 0.5719 0.0925 0.3819 0.7551 0.6158 0.1003 164-AH 0.0000 0.0000 0.0411 0.0720 0.1880 0.0481 0.0463 0.0720 0.1880 0.9630 0.0054 0.0000 0.0339 0.0000 0.1799 0.0437 0.0395 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0118 0.0178 0.0235 0.0485 0.0188 0.0125 0.0117 0.0485 0.6627 0.0091 0.0001 0.0089 0.0000 0.0388 0.0159 0.0087 168-AH 0.0000 0.0625 0.1504 0.4063 0.5152 0.2202 0.1915 0.3438 0.5152 0.8698 0.0207 0.0000 0.1724 0.0000 0.5152 0.2202 0.1915 169-AH 0.0000 0.0000 0.0079 0.0154 0.0420 0.0092 0.0106 0.0154 0.0420 1.1524 0.0006 0.0000 0.0082 0.0000 0.0333 0.0082 0.0089 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0000 0.0193 0.0374 0.0714 0.0203 0.0233 0.0374 0.0714 1.1479 0.0008 0.0000 0.0186 0.0000 0.0714 0.0203 0.0233 172-AH 0.0000 0.0186 0.0395 0.0594 0.0875 0.0400 0.0251 0.0409 0.0875 0.6292 0.0176 0.0001 0.0216 0.0000 0.0875 0.0400 0.0251 173-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9798 0.1161 0.0000 0.6667 0.1184 0.9673 0.9429 0.0392 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9495 0.1214 0.0000 0.3333 0.1278 0.9404 0.9296 0.0857 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.0827 0.1667 0.2829 0.4118 0.1900 0.1329 0.2002 0.4118 0.6995 0.0688 0.0001 0.1155 0.0000 0.4118 0.1900 0.1329 176-AH 0.0000 0.5275 0.7500 0.8000 0.8409 0.6432 0.1998 0.2725 0.8409 0.3106 0.4573 0.0003 0.1656 0.3109 0.8409 0.6633 0.1657 177-AH 0.0000 0.0251 0.0478 0.0770 0.1905 0.0556 0.0441 0.0519 0.1905 0.7925 0.0277 0.0002 0.0332 0.0000 0.1379 0.0514 0.0374 178-AH 0.0000 0.0000 0.0000 0.0047 0.0370 0.0057 0.0114 0.0047 0.0370 2.0100 0.0001 0.0000 0.0083 0.0000 0.0064 0.0006 0.0018 179-AH 0.0000 0.0342 0.0926 0.3420 0.9091 0.1753 0.1962 0.3077 0.9091 1.1190 0.0815 0.0003 0.1505 0.0000 0.4651 0.1524 0.1477 180-AH 0.0000 0.0301 0.4091 0.4803 0.5902 0.3140 0.2317 0.4501 0.5902 0.7377 0.0276 0.0000 0.2109 0.0000 0.5902 0.3140 0.2317 181-AH 0.1219 0.4729 0.6269 0.6874 0.7411 0.5521 0.1893 0.2144 0.6192 0.3429 0.5023 0.4299 0.1501 0.1726 0.7411 0.5656 0.1756 182-AH 0.0260 0.0482 0.0930 0.1222 0.4000 0.0973 0.0682 0.0740 0.3740 0.7010 0.0811 0.0684 0.0447 0.0260 0.1739 0.0878 0.0418 183-AH 0.0160 0.0469 0.0851 0.2500 0.5000 0.1579 0.1352 0.2031 0.4840 0.8562 0.0992 0.0586 0.1168 0.0160 0.5000 0.1579 0.1352 184-AH 0.0000 0.0225 0.0457 0.0588 0.0989 0.0426 0.0246 0.0363 0.0989 0.5773 0.0193 0.0001 0.0203 0.0000 0.0989 0.0426 0.0246 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0000 0.2748 0.7000 0.8750 1.0000 0.6273 0.3213 0.6002 1.0000 0.5121 0.3005 0.0002 0.2711 0.0000 1.0000 0.6273 0.3213 190-AH 0.0000 0.0000 0.0000 0.0031 0.4500 0.0203 0.0801 0.0031 0.4500 3.9512 0.0001 0.0000 0.0326 0.0000 0.0000 0.0000 0.0000 282 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0151 0.0451 0.1539 0.6000 0.1515 0.2171 0.1388 0.6000 1.4332 0.0196 0.0001 0.1698 0.0000 0.1765 0.0447 0.0488 193-AH 0.0000 0.0273 0.0579 0.0946 0.3043 0.0683 0.0611 0.0673 0.3043 0.8940 0.0217 0.0001 0.0408 0.0000 0.1892 0.0609 0.0447 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.1369 0.2239 0.4481 0.8421 0.3008 0.2454 0.3112 0.8421 0.8158 0.1279 0.0002 0.1972 0.0000 0.8421 0.3008 0.2454 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.1098 0.4545 0.5625 0.6429 0.7500 0.5197 0.1784 0.1883 0.6402 0.3433 0.4701 0.3903 0.1370 0.4286 0.7500 0.5741 0.1052 200-AH 0.0000 0.0092 0.0188 0.1675 0.5000 0.0880 0.1322 0.1583 0.5000 1.5017 0.0078 0.0000 0.1068 0.0000 0.3333 0.0751 0.1113 251-AH 0.0000 0.0000 0.0000 0.0635 0.0962 0.0256 0.0349 0.0635 0.0962 1.3631 0.0002 0.0000 0.0326 0.0000 0.0962 0.0256 0.0349 252-AH 0.0000 0.1101 0.2061 0.2673 0.3506 0.1898 0.0894 0.1572 0.3506 0.4713 0.1017 0.0002 0.0749 0.0000 0.3506 0.1898 0.0894 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0514 0.1143 0.2222 0.4444 0.1499 0.1273 0.1708 0.4444 0.8493 0.0639 0.0002 0.1007 0.0000 0.4444 0.1499 0.1273 256-AH 0.0000 0.0000 0.6327 0.6928 0.7750 0.4280 0.3290 0.6928 0.7750 0.7687 0.0257 0.0000 0.3107 0.0000 0.7750 0.4280 0.3290 257-AH 0.0000 0.0000 0.0000 0.0862 0.0948 0.0361 0.0429 0.0862 0.0948 1.1901 0.0005 0.0000 0.0415 0.0000 0.0948 0.0361 0.0429 258-AH 0.0000 0.0000 0.0079 0.0588 0.2105 0.0332 0.0535 0.0588 0.2105 1.6125 0.0009 0.0000 0.0409 0.0000 0.1250 0.0234 0.0370 259-AH 0.0000 0.0046 0.0116 0.0212 0.0732 0.0176 0.0192 0.0167 0.0732 1.0932 0.0041 0.0001 0.0138 0.0000 0.0370 0.0115 0.0097 260-AH 0.0000 0.2562 0.3413 0.3994 0.4419 0.3148 0.1139 0.1432 0.4419 0.3619 0.1723 0.0002 0.0857 0.1357 0.4419 0.3351 0.0825 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.1045 0.0143 0.0344 0.0000 0.1045 2.4137 0.0000 0.0000 0.0242 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0751 0.1085 0.1329 0.0669 0.0504 0.1085 0.1329 0.7527 0.0058 0.0000 0.0433 0.0000 0.1329 0.0669 0.0504 264-AH 0.0000 0.0289 0.0570 0.1050 0.2174 0.0662 0.0548 0.0761 0.2174 0.8270 0.0138 0.0001 0.0412 0.0000 0.2174 0.0662 0.0548 265-AH 0.0000 0.0000 0.1364 0.2527 0.6667 0.1358 0.1488 0.2527 0.6667 1.0957 0.0094 0.0000 0.1199 0.0000 0.3333 0.1192 0.1162 266-AH 0.0000 0.0044 0.0117 0.0271 0.2353 0.0356 0.0583 0.0228 0.2353 1.6360 0.0042 0.0000 0.0406 0.0000 0.0526 0.0127 0.0138 267-AH 0.0000 0.0292 0.0480 0.0734 0.1203 0.0527 0.0326 0.0443 0.1203 0.6185 0.0190 0.0001 0.0270 0.0000 0.1203 0.0527 0.0326 268-AH 0.0000 0.0036 0.0123 0.0408 0.1034 0.0211 0.0245 0.0372 0.1034 1.1627 0.0036 0.0000 0.0193 0.0000 0.0638 0.0185 0.0198 269-AH 0.0000 0.0000 0.0000 0.0000 0.0094 0.0008 0.0027 0.0000 0.0094 3.2115 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.0782 0.1529 0.3556 0.4602 0.2074 0.1549 0.2774 0.4602 0.7472 0.0348 0.0001 0.1407 0.0000 0.4602 0.2074 0.1549 271-AH 0.0000 0.0750 0.1375 0.2040 0.3333 0.1568 0.1001 0.1290 0.3333 0.6386 0.0978 0.0003 0.0792 0.0000 0.3333 0.1568 0.1001 272-AH 0.0000 0.0000 0.0553 0.0981 0.2241 0.0667 0.0721 0.0981 0.2241 1.0810 0.0049 0.0000 0.0570 0.0000 0.2241 0.0667 0.0721 273-AH 0.0000 0.1886 0.3261 0.4012 0.6080 0.2992 0.1586 0.2127 0.6080 0.5301 0.1169 0.0001 0.1273 0.0000 0.6080 0.2992 0.1586 274-AH 0.0000 0.0000 0.0345 0.1562 0.3488 0.0809 0.0956 0.1562 0.3488 1.1815 0.0041 0.0000 0.0812 0.0000 0.3488 0.0809 0.0956 275-AH 0.0000 0.0000 0.0659 0.1450 0.2715 0.0775 0.0802 0.1450 0.2715 1.0355 0.0023 0.0000 0.0687 0.0000 0.2715 0.0775 0.0802 276-AH 0.0000 0.0824 0.1627 0.2589 0.3691 0.1656 0.0970 0.1764 0.3691 0.5861 0.0668 0.0001 0.0823 0.0000 0.3691 0.1656 0.0970 277-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0025 0.0081 0.0000 0.0300 3.2255 0.0000 0.0000 0.0046 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0491 0.1357 0.0255 0.0373 0.0491 0.1357 1.4580 0.0004 0.0000 0.0297 0.0000 0.0704 0.0187 0.0260 279-AH 0.0000 0.0146 0.0173 0.0391 0.6667 0.0541 0.1172 0.0246 0.6667 2.1670 0.0207 0.0003 0.0571 0.0000 0.0548 0.0204 0.0125 280-AH 0.0000 0.0000 0.0000 0.0000 0.0389 0.0056 0.0123 0.0000 0.0389 2.1966 0.0000 0.0000 0.0091 0.0000 0.0000 0.0000 0.0000 281-AH 0.0000 0.1103 0.1696 0.1793 0.1891 0.1414 0.0604 0.0689 0.1891 0.4272 0.0615 0.0001 0.0490 0.0511 0.1891 0.1556 0.0419 282-AH 0.0000 0.0000 0.0000 0.0396 0.0503 0.0173 0.0209 0.0396 0.0503 1.2093 0.0003 0.0000 0.0199 0.0000 0.0503 0.0173 0.0209 283-AH 0.0000 0.0000 0.0000 0.0439 0.2047 0.0332 0.0563 0.0439 0.2047 1.6965 0.0003 0.0000 0.0423 0.0000 0.1094 0.0155 0.0287 284-AH 0.1186 0.3121 0.3398 0.3694 0.4444 0.3371 0.0648 0.0573 0.3258 0.1923 0.3291 0.3178 0.0441 0.2748 0.4444 0.3521 0.0428 285-AH 0.0000 0.0962 0.3316 0.4482 0.6562 0.2931 0.2076 0.3520 0.6562 0.7083 0.0607 0.0001 0.1834 0.0000 0.6562 0.2931 0.2076 286-AH 0.0000 0.0000 0.0000 0.0000 0.0139 0.0012 0.0038 0.0000 0.0139 3.2163 0.0000 0.0000 0.0022 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0884 0.1034 0.1607 0.2217 0.1106 0.0632 0.0724 0.2217 0.5711 0.0296 0.0001 0.0478 0.0000 0.2217 0.1106 0.0632 288-AH 0.0000 0.0000 0.0000 0.0000 0.1366 0.0091 0.0305 0.0000 0.1366 3.3333 0.0000 0.0000 0.0166 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.0622 0.5152 0.5667 0.6800 0.3888 0.2513 0.5045 0.6800 0.6464 0.0353 0.0000 0.2207 0.0000 0.6800 0.3888 0.2513 290-AH 0.0000 0.0587 0.0836 0.1132 0.1867 0.0853 0.0470 0.0546 0.1867 0.5513 0.0301 0.0001 0.0369 0.0000 0.1867 0.0853 0.0470 283 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0438 0.0644 0.0842 0.4821 0.1003 0.1149 0.0404 0.4821 1.1454 0.0217 0.0001 0.0819 0.0000 0.0906 0.0484 0.0275 292-AH 0.0069 0.3077 0.5000 0.6667 1.0000 0.4950 0.2805 0.3590 0.9931 0.5667 0.3092 0.0628 0.2288 0.0069 1.0000 0.4950 0.2805 293-AH 0.0000 0.2284 0.3069 0.3758 0.4559 0.2842 0.1168 0.1474 0.4559 0.4112 0.1532 0.0002 0.0932 0.1073 0.4559 0.3025 0.0940 294-AH 0.0000 0.4402 0.5417 0.5749 0.6757 0.4999 0.1546 0.1348 0.6757 0.3093 0.3496 0.0003 0.1091 0.2737 0.6757 0.5304 0.0978 295-AH 0.0000 0.0000 0.0000 0.0000 0.0844 0.0026 0.0147 0.0000 0.0844 5.7446 0.0000 0.0000 0.0050 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0419 0.2222 0.3578 0.5238 0.2077 0.1639 0.3159 0.5238 0.7890 0.0208 0.0000 0.1371 0.0000 0.5238 0.2077 0.1639 297-AH 0.0000 0.0127 0.0187 0.0287 0.1188 0.0235 0.0220 0.0159 0.1188 0.9355 0.0072 0.0001 0.0142 0.0000 0.0474 0.0205 0.0140 298-AH 0.0000 0.0000 0.0454 0.0609 0.0758 0.0390 0.0272 0.0609 0.0758 0.6984 0.0050 0.0000 0.0227 0.0000 0.0758 0.0390 0.0272 299-AH 0.0000 0.1126 0.1264 0.1475 0.1983 0.1241 0.0477 0.0349 0.1983 0.3841 0.0565 0.0001 0.0306 0.1010 0.1983 0.1365 0.0275 300-AH 0.0455 0.0895 0.1343 0.1702 0.2143 0.1324 0.0473 0.0807 0.1688 0.3576 0.1230 0.1125 0.0398 0.0455 0.2143 0.1324 0.0473 301-AH 0.0000 0.0000 0.0000 0.0000 0.0255 0.0024 0.0066 0.0000 0.0255 2.7909 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000 302-AH 0.0000 0.0000 0.1096 0.1827 0.2254 0.1056 0.0846 0.1827 0.2254 0.8011 0.0097 0.0000 0.0752 0.0000 0.2254 0.1056 0.0846 303-AH 0.0000 0.0000 0.0211 0.0303 0.0726 0.0185 0.0165 0.0303 0.0726 0.8938 0.0019 0.0000 0.0128 0.0000 0.0726 0.0185 0.0165 304-AH 0.0000 0.0000 0.0000 0.0346 0.0639 0.0181 0.0228 0.0346 0.0639 1.2607 0.0005 0.0000 0.0191 0.0000 0.0639 0.0181 0.0228 305-AH 0.0000 0.0000 0.1019 0.1644 0.1852 0.0861 0.0751 0.1644 0.1852 0.8717 0.0032 0.0000 0.0678 0.0000 0.1852 0.0861 0.0751 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.0000 0.0806 0.0998 0.1768 0.0608 0.0571 0.0998 0.1768 0.9389 0.0020 0.0000 0.0516 0.0000 0.1768 0.0608 0.0571 308-AH 0.0000 0.0541 0.2041 0.2744 0.5556 0.2073 0.1853 0.2204 0.5556 0.8937 0.0388 0.0001 0.1467 0.0000 0.5556 0.2073 0.1853 309-AH 0.0000 0.0169 0.0256 0.0328 0.0425 0.0231 0.0118 0.0159 0.0425 0.5093 0.0096 0.0001 0.0095 0.0000 0.0425 0.0231 0.0118 310-AH 0.0000 0.0000 0.0000 0.0000 0.0574 0.0017 0.0100 0.0000 0.0574 5.7446 0.0000 0.0000 0.0034 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0000 0.0595 0.1101 0.1508 0.0625 0.0524 0.1101 0.1508 0.8374 0.0043 0.0000 0.0448 0.0000 0.1508 0.0625 0.0524 312-AH 0.0000 0.1216 0.2636 0.2982 0.5283 0.2270 0.1322 0.1766 0.5283 0.5826 0.0867 0.0001 0.1068 0.0000 0.5283 0.2270 0.1322 313-AH 0.0000 0.0000 0.0000 0.0000 0.0205 0.0006 0.0036 0.0000 0.0205 5.7446 0.0000 0.0000 0.0012 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0239 0.0274 0.0702 0.0210 0.0200 0.0274 0.0702 0.9523 0.0016 0.0000 0.0157 0.0000 0.0582 0.0195 0.0182 315-AH 0.0000 0.0000 0.0000 0.1354 0.3000 0.0622 0.0961 0.1354 0.3000 1.5452 0.0003 0.0000 0.0796 0.0000 0.3000 0.0622 0.0961 316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0407 0.0489 0.0719 0.1174 0.0501 0.0279 0.0311 0.1174 0.5566 0.0152 0.0001 0.0213 0.0000 0.1174 0.0501 0.0279 318-AH 0.0169 0.0508 0.0857 0.1225 0.1837 0.0848 0.0458 0.0717 0.1668 0.5403 0.0712 0.0572 0.0392 0.0169 0.1837 0.0848 0.0458 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.0274 0.0360 0.0124 0.0141 0.0274 0.0360 1.1399 0.0004 0.0000 0.0128 0.0000 0.0360 0.0124 0.0141 323-AH 0.0000 0.0000 0.0278 0.0487 0.0769 0.0264 0.0256 0.0487 0.0769 0.9711 0.0012 0.0000 0.0224 0.0000 0.0769 0.0264 0.0256 324-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0219 0.0885 0.0000 0.5000 4.0486 0.0000 0.0000 0.0384 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.2289 0.2644 0.3443 0.4912 0.2773 0.1296 0.1154 0.4912 0.4673 0.1462 0.0002 0.0978 0.0717 0.4912 0.2952 0.1116 326-AH 0.0000 0.0000 0.0000 0.0056 0.0392 0.0046 0.0083 0.0056 0.0392 1.7792 0.0001 0.0000 0.0057 0.0000 0.0125 0.0019 0.0034 327-AH 0.0000 0.0082 0.0851 0.3077 0.4444 0.1505 0.1606 0.2995 0.4444 1.0669 0.0215 0.0001 0.1450 0.0000 0.4444 0.1505 0.1606 328-AH 0.1010 0.2435 0.3134 0.4381 0.6562 0.3284 0.1350 0.1946 0.5553 0.4111 0.2984 0.2652 0.1075 0.1010 0.6562 0.3284 0.1350 329-AH 0.1633 0.2000 0.2388 0.2857 0.3864 0.2464 0.0564 0.0857 0.2231 0.2287 0.2404 0.2346 0.0494 0.1633 0.3864 0.2464 0.0564 330-AH 0.0000 0.1407 0.5281 0.6970 0.7302 0.4435 0.2777 0.5563 0.7302 0.6261 0.0671 0.0001 0.2398 0.0000 0.7302 0.4435 0.2777 331-AH 0.0000 0.1228 0.1379 0.1716 0.4444 0.1582 0.1203 0.0488 0.4444 0.7604 0.0469 0.0001 0.0828 0.0586 0.1860 0.1380 0.0252 332-AH 0.0000 0.1200 0.1778 0.1916 0.2667 0.1470 0.0877 0.0716 0.2667 0.5969 0.0176 0.0000 0.0713 0.1600 0.2667 0.1940 0.0275 333-AH 0.0000 0.8889 1.0000 1.0000 1.0000 0.7766 0.4112 0.1111 1.0000 0.5295 0.2073 0.0001 0.3386 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0158 0.0323 0.0550 0.1389 0.0432 0.0366 0.0392 0.1389 0.8471 0.0253 0.0003 0.0271 0.0000 0.0820 0.0339 0.0221 335-AH 0.0000 0.0214 0.0305 0.0651 0.1228 0.0426 0.0305 0.0437 0.1228 0.7163 0.0229 0.0002 0.0248 0.0000 0.1228 0.0426 0.0305 336-AH 0.0000 0.0000 0.0000 0.0000 0.1185 0.0059 0.0216 0.0000 0.1185 3.6423 0.0000 0.0000 0.0104 0.0000 0.0000 0.0000 0.0000 337-AH 0.0219 0.5906 0.7037 0.7600 0.8182 0.6066 0.2400 0.1694 0.7963 0.3956 0.4857 0.2213 0.1838 0.3654 0.8182 0.7081 0.0941 338-AH 0.0000 0.1099 0.2143 0.4339 0.9000 0.2506 0.2123 0.3240 0.9000 0.8474 0.0646 0.0001 0.1660 0.0000 0.9000 0.2506 0.2123 339-AH 0.0000 0.2325 0.3333 0.4390 0.5455 0.3108 0.1635 0.2065 0.5455 0.5260 0.0890 0.0001 0.1267 0.0000 0.5455 0.3108 0.1635 340-AH 0.1163 0.2381 0.2778 0.3125 0.5556 0.2793 0.0839 0.0744 0.4393 0.3003 0.2669 0.2535 0.0584 0.1724 0.3846 0.2808 0.0580 284 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0193 0.1538 0.5114 1.0000 0.3232 0.3569 0.4921 1.0000 1.1043 0.0610 0.0001 0.3043 0.0000 1.0000 0.3232 0.3569 342-AH 0.0000 0.1286 0.3833 0.6456 0.7250 0.3757 0.2648 0.5170 0.7250 0.7047 0.0574 0.0001 0.2335 0.0000 0.7250 0.3757 0.2648 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.0467 0.1181 0.1508 0.1849 0.3158 0.1596 0.0665 0.0669 0.2691 0.4170 0.1452 0.1296 0.0507 0.0467 0.2830 0.1547 0.0613 345-AH 0.0000 0.0068 0.0219 0.0596 0.0789 0.0292 0.0273 0.0528 0.0789 0.9346 0.0043 0.0000 0.0233 0.0000 0.0789 0.0292 0.0273 346-AH 0.0000 0.0304 0.0412 0.0611 0.1064 0.0417 0.0263 0.0307 0.1064 0.6308 0.0126 0.0001 0.0205 0.0000 0.1064 0.0417 0.0263 347-AH 0.0000 0.0000 0.0000 0.0000 0.0239 0.0034 0.0075 0.0000 0.0239 2.1922 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0000 0.1527 0.1786 0.2160 0.5208 0.2150 0.1227 0.0633 0.5208 0.5710 0.1473 0.0003 0.0867 0.0828 0.2476 0.1696 0.0364 350-AH 0.0360 0.1535 0.1731 0.2023 0.2500 0.1723 0.0419 0.0488 0.2140 0.2430 0.1653 0.1530 0.0302 0.1216 0.2500 0.1766 0.0345 285 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0011 0.4375 1.0000 1.0000 1.0000 0.7393 0.4159 0.5625 0.9989 0.5626 0.3233 0.0143 0.3634 0.0011 1.0000 0.7393 0.4159 142-AH 0.0000 0.0432 0.3810 0.6154 0.8889 0.3755 0.2712 0.5722 0.8889 0.7222 0.0332 0.0000 0.2298 0.0000 0.8889 0.3755 0.2712 143-AH 0.0000 0.0820 0.1548 0.2167 0.5200 0.1713 0.1193 0.1346 0.5200 0.6965 0.0655 0.0001 0.0927 0.0000 0.4062 0.1604 0.1032 144-AH 0.0000 0.0547 0.2000 0.5000 0.6000 0.2419 0.2195 0.4453 0.6000 0.9074 0.0399 0.0001 0.1886 0.0000 0.6000 0.2419 0.2195 145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 146-AH 0.0000 0.0026 0.0072 0.0129 0.0435 0.0113 0.0130 0.0104 0.0435 1.1424 0.0023 0.0000 0.0096 0.0000 0.0132 0.0057 0.0047 147-AH 0.0000 0.0628 0.1060 0.2467 0.3423 0.1350 0.1114 0.1838 0.3423 0.8251 0.0190 0.0000 0.0940 0.0000 0.3423 0.1350 0.1114 148-AH 0.0000 0.0000 0.0000 0.0352 0.0667 0.0158 0.0205 0.0352 0.0667 1.2966 0.0005 0.0000 0.0175 0.0000 0.0667 0.0158 0.0205 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0161 0.0549 0.0088 0.0140 0.0161 0.0549 1.5920 0.0002 0.0000 0.0112 0.0000 0.0353 0.0073 0.0114 151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0000 0.0175 0.0331 0.0625 0.0201 0.0187 0.0331 0.0625 0.9336 0.0019 0.0000 0.0152 0.0000 0.0625 0.0201 0.0187 153-AH 0.0000 0.0000 0.0000 0.0015 0.0027 0.0007 0.0009 0.0015 0.0027 1.2758 0.0001 0.0000 0.0008 0.0000 0.0027 0.0007 0.0009 154-AH 0.0000 0.0000 0.0212 0.0260 0.0355 0.0140 0.0142 0.0260 0.0355 1.0127 0.0006 0.0000 0.0136 0.0000 0.0355 0.0140 0.0142 155-AH 0.0000 0.0037 0.0246 0.0632 0.2308 0.0511 0.0652 0.0595 0.2308 1.2757 0.0063 0.0000 0.0500 0.0000 0.1500 0.0318 0.0396 156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 157-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 158-AH 0.0000 0.0000 0.0365 0.0659 0.1201 0.0352 0.0373 0.0659 0.1201 1.0600 0.0012 0.0000 0.0320 0.0000 0.1201 0.0352 0.0373 159-AH 0.0000 0.0000 0.0000 0.0000 0.1636 0.0118 0.0402 0.0000 0.1636 3.4169 0.0000 0.0000 0.0214 0.0000 0.0000 0.0000 0.0000 160-AH 0.0028 0.0154 0.0408 0.0808 0.2857 0.0580 0.0578 0.0654 0.2829 0.9962 0.0369 0.0211 0.0413 0.0028 0.1429 0.0509 0.0414 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0185 0.2000 0.2500 1.0000 1.0000 0.4550 0.3632 0.8000 0.9815 0.7982 0.2959 0.1398 0.3109 0.0185 1.0000 0.4550 0.3632 163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.0290 0.0778 0.0134 0.0241 0.0290 0.0778 1.8000 0.0001 0.0000 0.0195 0.0000 0.0689 0.0114 0.0215 165-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7824 0.3536 0.5000 1.0000 0.4519 0.3728 0.0002 0.3033 0.0000 1.0000 0.7824 0.3536 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0118 0.0178 0.0235 0.0485 0.0188 0.0125 0.0117 0.0485 0.6627 0.0091 0.0001 0.0089 0.0000 0.0388 0.0159 0.0087 168-AH 0.0000 0.0544 0.1065 0.3479 0.5000 0.1877 0.1727 0.2934 0.5000 0.9205 0.0179 0.0000 0.1536 0.0000 0.5000 0.1877 0.1727 169-AH 0.0000 0.0000 0.0079 0.0154 0.0420 0.0092 0.0106 0.0154 0.0420 1.1524 0.0006 0.0000 0.0082 0.0000 0.0333 0.0082 0.0089 170-AH 0.0077 1.0000 1.0000 1.0000 1.0000 0.8871 0.3109 0.0000 0.9923 0.3504 0.6200 0.0831 0.1984 1.0000 1.0000 1.0000 0.0000 171-AH 0.0000 0.0000 0.0000 0.0000 0.0660 0.0071 0.0189 0.0000 0.0660 2.6512 0.0000 0.0000 0.0121 0.0000 0.0000 0.0000 0.0000 172-AH 0.0000 0.0186 0.0395 0.0594 0.0875 0.0400 0.0251 0.0409 0.0875 0.6292 0.0176 0.0001 0.0216 0.0000 0.0875 0.0400 0.0251 173-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9798 0.1161 0.0000 0.6667 0.1184 0.9673 0.9429 0.0392 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9495 0.1214 0.0000 0.3333 0.1278 0.9404 0.9296 0.0857 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.0827 0.1667 0.2829 0.4118 0.1900 0.1329 0.2002 0.4118 0.6995 0.0688 0.0001 0.1155 0.0000 0.4118 0.1900 0.1329 176-AH 0.0000 0.3259 0.4333 0.5735 0.7500 0.4371 0.1589 0.2476 0.7500 0.3635 0.3102 0.0003 0.1319 0.0000 0.7500 0.4371 0.1589 177-AH 0.0000 0.0202 0.0281 0.0515 0.0802 0.0335 0.0255 0.0314 0.0802 0.7600 0.0066 0.0000 0.0207 0.0000 0.0802 0.0335 0.0255 178-AH 0.0000 0.0000 0.0000 0.0047 0.0370 0.0057 0.0114 0.0047 0.0370 2.0100 0.0001 0.0000 0.0083 0.0000 0.0064 0.0006 0.0018 179-AH 0.0000 0.0000 0.0566 0.1765 0.8462 0.1151 0.1733 0.1765 0.8462 1.5058 0.0077 0.0000 0.1189 0.0000 0.3333 0.0804 0.0952 180-AH 0.0000 0.0000 0.0952 0.2699 0.4706 0.1523 0.1495 0.2699 0.4706 0.9820 0.0091 0.0000 0.1297 0.0000 0.4706 0.1523 0.1495 181-AH 0.0000 0.0000 0.1005 0.1521 0.2272 0.0812 0.0804 0.1521 0.2272 0.9904 0.0019 0.0000 0.0738 0.0000 0.2272 0.0812 0.0804 182-AH 0.0260 0.0482 0.0930 0.1222 0.4000 0.0973 0.0682 0.0740 0.3740 0.7010 0.0811 0.0684 0.0447 0.0260 0.1739 0.0878 0.0418 183-AH 0.0160 0.0469 0.0851 0.2500 0.5000 0.1579 0.1352 0.2031 0.4840 0.8562 0.0992 0.0586 0.1168 0.0160 0.5000 0.1579 0.1352 184-AH 0.0000 0.0225 0.0457 0.0588 0.0989 0.0426 0.0246 0.0363 0.0989 0.5773 0.0193 0.0001 0.0203 0.0000 0.0989 0.0426 0.0246 185-AH 0.0000 0.0628 0.2500 0.5000 1.0000 0.2864 0.2914 0.4372 1.0000 1.0174 0.0677 0.0001 0.2261 0.0000 1.0000 0.2864 0.2914 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1384 0.2000 0.3333 1.0000 0.2893 0.2339 0.1949 1.0000 0.8086 0.1626 0.0003 0.1687 0.0000 0.5000 0.2435 0.1501 188-AH 0.0000 0.0019 0.0074 0.0522 0.1429 0.0385 0.0521 0.0503 0.1429 1.3539 0.0079 0.0002 0.0418 0.0000 0.1250 0.0241 0.0365 189-AH 0.0000 0.2748 0.7000 0.8750 1.0000 0.6273 0.3213 0.6002 1.0000 0.5121 0.3005 0.0002 0.2711 0.0000 1.0000 0.6273 0.3213 190-AH 0.0000 0.0000 0.0000 0.0031 0.4500 0.0203 0.0801 0.0031 0.4500 3.9512 0.0001 0.0000 0.0326 0.0000 0.0000 0.0000 0.0000 286 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0151 0.0451 0.1539 0.6000 0.1515 0.2171 0.1388 0.6000 1.4332 0.0196 0.0001 0.1698 0.0000 0.1765 0.0447 0.0488 193-AH 0.0000 0.0273 0.0579 0.0946 0.3043 0.0683 0.0611 0.0673 0.3043 0.8940 0.0217 0.0001 0.0408 0.0000 0.1892 0.0609 0.0447 194-AH 0.0000 0.0373 0.2000 0.2708 1.0000 0.2639 0.3135 0.2335 1.0000 1.1877 0.0634 0.0002 0.2256 0.0000 0.5000 0.1624 0.1556 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8182 0.2443 0.5000 0.5000 0.2985 0.7772 0.7333 0.2314 0.5000 1.0000 0.8182 0.2443 197-AH 0.0000 0.0690 0.1042 0.2002 0.7692 0.1825 0.2049 0.1312 0.7692 1.1232 0.0278 0.0001 0.1496 0.0000 0.3497 0.0992 0.0804 198-AH 0.0012 0.1607 1.0000 1.0000 1.0000 0.6640 0.4302 0.8393 0.9988 0.6479 0.3555 0.0288 0.4072 0.0012 1.0000 0.6640 0.4302 199-AH 0.0395 0.1507 0.3226 0.4167 0.4545 0.2985 0.1407 0.2660 0.4150 0.4713 0.2469 0.1768 0.1164 0.0395 0.4545 0.2985 0.1407 200-AH 0.0000 0.0092 0.0188 0.1675 0.5000 0.0880 0.1322 0.1583 0.5000 1.5017 0.0078 0.0000 0.1068 0.0000 0.3333 0.0751 0.1113 251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 252-AH 0.0000 0.0519 0.0767 0.0991 0.1355 0.0736 0.0343 0.0473 0.1355 0.4664 0.0337 0.0001 0.0269 0.0000 0.1355 0.0736 0.0343 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0514 0.1143 0.2222 0.4444 0.1499 0.1273 0.1708 0.4444 0.8493 0.0639 0.0002 0.1007 0.0000 0.4444 0.1499 0.1273 256-AH 0.0000 0.0000 0.0532 0.1342 0.4857 0.0983 0.1414 0.1342 0.4857 1.4393 0.0014 0.0000 0.1024 0.0000 0.1709 0.0521 0.0649 257-AH 0.0000 0.0000 0.0000 0.0000 0.0727 0.0042 0.0166 0.0000 0.0727 4.0057 0.0000 0.0000 0.0078 0.0000 0.0000 0.0000 0.0000 258-AH 0.0000 0.0000 0.0079 0.0588 0.2105 0.0332 0.0535 0.0588 0.2105 1.6125 0.0009 0.0000 0.0409 0.0000 0.1250 0.0234 0.0370 259-AH 0.0000 0.0046 0.0116 0.0212 0.0732 0.0176 0.0192 0.0167 0.0732 1.0932 0.0041 0.0001 0.0138 0.0000 0.0370 0.0115 0.0097 260-AH 0.0000 0.0000 0.0000 0.0000 0.0789 0.0024 0.0137 0.0000 0.0789 5.7446 0.0000 0.0000 0.0046 0.0000 0.0000 0.0000 0.0000 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0723 0.0115 0.0250 0.0000 0.0723 2.1794 0.0000 0.0000 0.0188 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0000 0.0000 0.0000 0.0513 0.0068 0.0150 0.0000 0.0513 2.1948 0.0000 0.0000 0.0112 0.0000 0.0000 0.0000 0.0000 265-AH 0.0000 0.0000 0.1364 0.2527 0.6667 0.1358 0.1488 0.2527 0.6667 1.0957 0.0094 0.0000 0.1199 0.0000 0.3333 0.1192 0.1162 266-AH 0.0000 0.0044 0.0117 0.0271 0.2353 0.0356 0.0583 0.0228 0.2353 1.6360 0.0042 0.0000 0.0406 0.0000 0.0526 0.0127 0.0138 267-AH 0.0000 0.0000 0.0213 0.0298 0.0798 0.0195 0.0232 0.0298 0.0798 1.1848 0.0007 0.0000 0.0189 0.0000 0.0662 0.0177 0.0208 268-AH 0.0000 0.0036 0.0123 0.0408 0.1034 0.0211 0.0245 0.0372 0.1034 1.1627 0.0036 0.0000 0.0193 0.0000 0.0638 0.0185 0.0198 269-AH 0.0000 0.0000 0.0000 0.0000 0.0094 0.0008 0.0027 0.0000 0.0094 3.2115 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.0000 0.0000 0.0963 0.1528 0.0464 0.0592 0.0963 0.1528 1.2736 0.0005 0.0000 0.0535 0.0000 0.1528 0.0464 0.0592 271-AH 0.0000 0.0000 0.0669 0.0897 0.2017 0.0610 0.0525 0.0897 0.2017 0.8603 0.0065 0.0000 0.0434 0.0000 0.2017 0.0610 0.0525 272-AH 0.0000 0.0000 0.0000 0.0165 0.0304 0.0063 0.0106 0.0165 0.0304 1.6999 0.0001 0.0000 0.0091 0.0000 0.0304 0.0063 0.0106 273-AH 0.0000 0.0000 0.0000 0.1401 0.2508 0.0733 0.0953 0.1401 0.2508 1.2989 0.0006 0.0000 0.0845 0.0000 0.2508 0.0733 0.0953 274-AH 0.0000 0.0000 0.0000 0.1250 0.2162 0.0610 0.0791 0.1250 0.2162 1.2967 0.0009 0.0000 0.0692 0.0000 0.2162 0.0610 0.0791 275-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 276-AH 0.0000 0.0000 0.0621 0.1002 0.1928 0.0602 0.0609 0.1002 0.1928 1.0126 0.0020 0.0000 0.0511 0.0000 0.1928 0.0602 0.0609 277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0000 0.0972 0.0114 0.0241 0.0000 0.0972 2.1109 0.0001 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0146 0.0173 0.0391 0.6667 0.0541 0.1172 0.0246 0.6667 2.1670 0.0207 0.0003 0.0571 0.0000 0.0548 0.0204 0.0125 280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 281-AH 0.0000 0.0000 0.0890 0.1465 0.1667 0.0846 0.0623 0.1465 0.1667 0.7358 0.0087 0.0000 0.0533 0.0000 0.1667 0.0846 0.0623 282-AH 0.0000 0.0000 0.0000 0.0000 0.0392 0.0024 0.0095 0.0000 0.0392 3.9981 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000 283-AH 0.0000 0.0000 0.0000 0.0000 0.0390 0.0012 0.0068 0.0000 0.0390 5.7446 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 284-AH 0.0858 0.2255 0.2550 0.2759 0.4086 0.2537 0.0668 0.0503 0.3228 0.2632 0.2436 0.2308 0.0471 0.1801 0.3423 0.2554 0.0461 285-AH 0.0000 0.0000 0.0000 0.0913 0.1783 0.0317 0.0542 0.0913 0.1783 1.7095 0.0001 0.0000 0.0461 0.0000 0.1783 0.0317 0.0542 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.0000 0.0000 0.0673 0.0129 0.0253 0.0000 0.0673 1.9671 0.0001 0.0000 0.0203 0.0000 0.0000 0.0000 0.0000 288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.0000 0.0000 0.0792 0.4286 0.0638 0.1074 0.0792 0.4286 1.6833 0.0004 0.0000 0.0822 0.0000 0.1978 0.0261 0.0531 290-AH 0.0000 0.0000 0.0000 0.0654 0.1250 0.0255 0.0405 0.0654 0.1250 1.5860 0.0002 0.0000 0.0356 0.0000 0.1250 0.0255 0.0405 287 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.0000 0.0000 0.0352 0.0011 0.0061 0.0000 0.0352 5.7446 0.0000 0.0000 0.0021 0.0000 0.0000 0.0000 0.0000 292-AH 0.0069 0.3077 0.5000 0.6667 1.0000 0.4950 0.2805 0.3590 0.9931 0.5667 0.3092 0.0628 0.2288 0.0069 1.0000 0.4950 0.2805 293-AH 0.0000 0.0863 0.1141 0.2252 0.3696 0.1519 0.0907 0.1388 0.3696 0.5971 0.0788 0.0002 0.0784 0.0000 0.3696 0.1519 0.0907 294-AH 0.0000 0.1421 0.2126 0.3316 0.4426 0.2258 0.1138 0.1895 0.4426 0.5041 0.1520 0.0003 0.0965 0.0000 0.4426 0.2258 0.1138 295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0000 0.1071 0.2192 0.4898 0.1412 0.1465 0.2192 0.4898 1.0377 0.0086 0.0000 0.1174 0.0000 0.4898 0.1412 0.1465 297-AH 0.0000 0.0000 0.0130 0.0184 0.1188 0.0140 0.0211 0.0184 0.1188 1.5087 0.0010 0.0000 0.0113 0.0000 0.0285 0.0107 0.0097 298-AH 0.0000 0.0000 0.0000 0.0000 0.0370 0.0022 0.0086 0.0000 0.0370 4.0018 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000 299-AH 0.0000 0.0000 0.0000 0.0000 0.0839 0.0167 0.0327 0.0000 0.0839 1.9585 0.0001 0.0000 0.0263 0.0000 0.0000 0.0000 0.0000 300-AH 0.0000 0.0000 0.0422 0.0945 0.1660 0.0491 0.0557 0.0945 0.1660 1.1339 0.0011 0.0000 0.0488 0.0000 0.1660 0.0491 0.0557 301-AH 0.0000 0.0000 0.0000 0.0000 0.0177 0.0016 0.0050 0.0000 0.0177 3.2125 0.0000 0.0000 0.0028 0.0000 0.0000 0.0000 0.0000 302-AH 0.0000 0.0000 0.0651 0.1100 0.1700 0.0612 0.0554 0.1100 0.1700 0.9043 0.0032 0.0000 0.0500 0.0000 0.1700 0.0612 0.0554 303-AH 0.0000 0.0000 0.0000 0.0194 0.0318 0.0098 0.0123 0.0194 0.0318 1.2555 0.0003 0.0000 0.0113 0.0000 0.0318 0.0098 0.0123 304-AH 0.0000 0.0000 0.0000 0.0221 0.0598 0.0122 0.0189 0.0221 0.0598 1.5491 0.0002 0.0000 0.0156 0.0000 0.0370 0.0076 0.0123 305-AH 0.0000 0.0000 0.0000 0.1052 0.1510 0.0474 0.0591 0.1052 0.1510 1.2463 0.0005 0.0000 0.0546 0.0000 0.1510 0.0474 0.0591 306-AH 0.0526 0.1917 1.0000 1.0000 1.0000 0.6875 0.4017 0.8083 0.9474 0.5843 0.4976 0.2870 0.3788 0.0526 1.0000 0.6875 0.4017 307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 308-AH 0.0000 0.0000 0.0000 0.0160 0.0239 0.0065 0.0091 0.0160 0.0239 1.3919 0.0002 0.0000 0.0083 0.0000 0.0239 0.0065 0.0091 309-AH 0.0000 0.0113 0.0175 0.0243 0.0288 0.0160 0.0098 0.0130 0.0288 0.6100 0.0039 0.0000 0.0079 0.0000 0.0288 0.0160 0.0098 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 312-AH 0.0000 0.0403 0.0570 0.0833 0.2296 0.0731 0.0639 0.0430 0.2296 0.8743 0.0187 0.0001 0.0458 0.0000 0.1409 0.0532 0.0353 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.0000 0.0000 0.0817 0.0049 0.0198 0.0000 0.0817 3.9981 0.0000 0.0000 0.0093 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0000 0.0000 0.0000 0.0426 0.0056 0.0135 0.0000 0.0426 2.4125 0.0000 0.0000 0.0095 0.0000 0.0000 0.0000 0.0000 318-AH 0.0169 0.0508 0.0857 0.1225 0.1837 0.0848 0.0458 0.0717 0.1668 0.5403 0.0712 0.0572 0.0392 0.0169 0.1837 0.0848 0.0458 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.0177 0.0354 0.0078 0.0126 0.0177 0.0354 1.6143 0.0001 0.0000 0.0109 0.0000 0.0354 0.0078 0.0126 323-AH 0.0000 0.0000 0.0000 0.0000 0.0335 0.0029 0.0093 0.0000 0.0335 3.2150 0.0000 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0644 0.0900 0.1078 0.0467 0.0444 0.0900 0.1078 0.9514 0.0014 0.0000 0.0424 0.0000 0.1078 0.0467 0.0444 326-AH 0.0000 0.0000 0.0000 0.0056 0.0392 0.0046 0.0083 0.0056 0.0392 1.7792 0.0001 0.0000 0.0057 0.0000 0.0125 0.0019 0.0034 327-AH 0.0000 0.0082 0.0851 0.3077 0.4444 0.1505 0.1606 0.2995 0.4444 1.0669 0.0215 0.0001 0.1450 0.0000 0.4444 0.1505 0.1606 328-AH 0.0599 0.1078 0.2035 0.2720 0.4600 0.2122 0.1150 0.1642 0.4001 0.5422 0.1808 0.1514 0.0950 0.0599 0.4600 0.2122 0.1150 329-AH 0.0813 0.1456 0.1789 0.2187 0.3864 0.1855 0.0601 0.0730 0.3050 0.3238 0.1766 0.1677 0.0444 0.0813 0.2742 0.1793 0.0488 330-AH 0.0000 0.0000 0.0637 0.3307 0.5862 0.1618 0.1931 0.3307 0.5862 1.1933 0.0066 0.0000 0.1625 0.0000 0.5862 0.1618 0.1931 331-AH 0.0000 0.0566 0.1118 0.1248 0.3091 0.1094 0.0779 0.0683 0.3091 0.7118 0.0274 0.0001 0.0510 0.0000 0.2024 0.0912 0.0537 332-AH 0.0000 0.1200 0.1778 0.1916 0.2667 0.1470 0.0877 0.0716 0.2667 0.5969 0.0176 0.0000 0.0713 0.1600 0.2667 0.1940 0.0275 333-AH 0.0000 0.8889 1.0000 1.0000 1.0000 0.7766 0.4112 0.1111 1.0000 0.5295 0.2073 0.0001 0.3386 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.0158 0.0323 0.0550 0.1389 0.0432 0.0366 0.0392 0.1389 0.8471 0.0253 0.0003 0.0271 0.0000 0.0820 0.0339 0.0221 335-AH 0.0000 0.0119 0.0190 0.0308 0.0652 0.0219 0.0175 0.0189 0.0652 0.7994 0.0039 0.0000 0.0131 0.0000 0.0503 0.0192 0.0144 336-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0030 0.0174 0.0000 0.1000 5.7446 0.0000 0.0000 0.0059 0.0000 0.0000 0.0000 0.0000 337-AH 0.0000 0.0328 0.4167 0.6250 0.6667 0.3611 0.2638 0.5922 0.6667 0.7305 0.0313 0.0000 0.2335 0.0000 0.6667 0.3611 0.2638 338-AH 0.0000 0.0518 0.0943 0.1710 0.7692 0.1269 0.1386 0.1192 0.7692 1.0921 0.0346 0.0001 0.0863 0.0000 0.2632 0.1069 0.0782 339-AH 0.0000 0.1817 0.2714 0.3413 0.4634 0.2440 0.1357 0.1597 0.4634 0.5560 0.0560 0.0001 0.1072 0.0000 0.4634 0.2440 0.1357 340-AH 0.1163 0.2381 0.2778 0.3125 0.5556 0.2793 0.0839 0.0744 0.4393 0.3003 0.2669 0.2535 0.0584 0.1724 0.3846 0.2808 0.0580 288 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0193 0.1538 0.5114 1.0000 0.3232 0.3569 0.4921 1.0000 1.1043 0.0610 0.0001 0.3043 0.0000 1.0000 0.3232 0.3569 342-AH 0.0000 0.0000 0.1781 0.2783 0.4364 0.1455 0.1472 0.2783 0.4364 1.0117 0.0025 0.0000 0.1329 0.0000 0.4364 0.1455 0.1472 343-AH 0.0056 0.0121 0.0244 0.0542 0.3333 0.0574 0.0810 0.0421 0.3277 1.4094 0.0290 0.0174 0.0541 0.0056 0.1000 0.0297 0.0245 344-AH 0.0000 0.0334 0.0502 0.0570 0.1162 0.0460 0.0312 0.0236 0.1162 0.6779 0.0088 0.0000 0.0234 0.0000 0.0840 0.0415 0.0263 345-AH 0.0000 0.0068 0.0219 0.0596 0.0789 0.0292 0.0273 0.0528 0.0789 0.9346 0.0043 0.0000 0.0233 0.0000 0.0789 0.0292 0.0273 346-AH 0.0000 0.0185 0.0263 0.0318 0.0924 0.0261 0.0197 0.0133 0.0924 0.7563 0.0056 0.0000 0.0130 0.0000 0.0474 0.0218 0.0138 347-AH 0.0000 0.0000 0.0000 0.0000 0.0239 0.0034 0.0075 0.0000 0.0239 2.1922 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7374 0.4311 0.5000 1.0000 0.5846 0.0599 0.0000 0.3661 0.0000 1.0000 0.7374 0.4311 349-AH 0.0000 0.1000 0.1200 0.1545 0.3857 0.1483 0.0869 0.0545 0.3857 0.5862 0.1027 0.0003 0.0604 0.0629 0.1720 0.1192 0.0272 350-AH 0.0000 0.1295 0.1493 0.1562 0.1887 0.1379 0.0393 0.0268 0.1887 0.2849 0.1006 0.0003 0.0248 0.0909 0.1887 0.1464 0.0203 289 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1576 0.0830 0.0000 0.2000 0.5269 0.0245 0.0000 0.0669 0.2000 0.2000 0.2000 0.0000 142-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8970 0.2243 0.0500 1.0000 0.2500 0.6419 0.0003 0.1561 1.0000 1.0000 1.0000 0.0000 143-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9758 0.0663 0.0000 0.2000 0.0679 0.9733 0.9706 0.0426 1.0000 1.0000 1.0000 0.0000 144-AH 0.0000 0.1500 0.4000 0.4000 0.6000 0.3030 0.2008 0.2500 0.6000 0.6625 0.0296 0.0000 0.1719 0.0000 0.6000 0.3030 0.2008 145-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9879 0.0485 0.0000 0.2000 0.0491 0.9866 0.9851 0.0228 1.0000 1.0000 1.0000 0.0000 146-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1818 0.0584 0.0000 0.2000 0.3211 0.0813 0.0001 0.0331 0.2000 0.2000 0.2000 0.0000 147-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.9333 0.1291 0.2000 0.6000 0.1383 0.9214 0.9041 0.0970 0.8000 1.0000 0.9500 0.0880 148-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1758 0.0663 0.0000 0.2000 0.3771 0.0602 0.0001 0.0426 0.2000 0.2000 0.2000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0500 0.4000 0.0667 0.1291 0.0500 0.4000 1.9365 0.0001 0.0000 0.1010 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.3455 0.3093 0.6000 0.8000 0.8954 0.0098 0.0000 0.2777 0.0000 0.8000 0.3455 0.3093 152-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6061 0.3142 0.4000 1.0000 0.5184 0.1678 0.0001 0.2373 0.0000 1.0000 0.6061 0.3142 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5697 0.2243 0.4000 1.0000 0.3937 0.2977 0.0002 0.1635 0.0000 1.0000 0.5697 0.2243 155-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1212 0.1409 0.2000 0.4000 1.1623 0.0013 0.0000 0.1249 0.0000 0.4000 0.1212 0.1409 156-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2121 0.2058 0.4000 0.8000 0.9701 0.0071 0.0000 0.1616 0.0000 0.8000 0.2121 0.2058 157-AH 0.0000 0.3500 0.6000 0.6000 1.0000 0.5030 0.3087 0.2500 1.0000 0.6137 0.1038 0.0001 0.2450 0.0000 0.8000 0.4143 0.2430 158-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.8303 0.2243 0.2000 1.0000 0.2701 0.5935 0.0003 0.1646 0.6000 1.0000 0.8710 0.1510 159-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4303 0.3087 0.4000 1.0000 0.7174 0.1132 0.0001 0.2652 0.0000 1.0000 0.4303 0.3087 160-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0545 0.0905 0.2000 0.2000 1.6583 0.0001 0.0000 0.0793 0.0000 0.2000 0.0545 0.0905 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1576 0.0830 0.0000 0.2000 0.5269 0.0245 0.0000 0.0669 0.2000 0.2000 0.2000 0.0000 163-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9758 0.0830 0.0000 0.4000 0.0851 0.9714 0.9659 0.0441 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1273 0.1719 0.2000 0.6000 1.3505 0.0010 0.0000 0.1388 0.0000 0.4000 0.0968 0.1251 165-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1758 0.0663 0.0000 0.2000 0.3771 0.0602 0.0001 0.0426 0.2000 0.2000 0.2000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1500 0.2000 0.2000 0.4000 0.1576 0.0969 0.0500 0.4000 0.6151 0.0185 0.0000 0.0764 0.2000 0.2000 0.2000 0.0000 168-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.2061 0.2423 0.4000 1.0000 1.1759 0.0039 0.0000 0.1785 0.0000 1.0000 0.2061 0.2423 169-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0303 0.0728 0.0000 0.2000 2.4031 0.0000 0.0000 0.0514 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1818 0.0584 0.0000 0.2000 0.3211 0.0813 0.0001 0.0331 0.2000 0.2000 0.2000 0.0000 171-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1576 0.1200 0.2000 0.4000 0.7614 0.0106 0.0000 0.0955 0.0000 0.4000 0.1576 0.1200 172-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0909 0.1234 0.2000 0.4000 1.3574 0.0005 0.0000 0.1102 0.0000 0.4000 0.0909 0.1234 173-AH 0.2000 0.4000 0.4000 0.4000 0.4000 0.3939 0.0348 0.0000 0.2000 0.0884 0.3917 0.3882 0.0118 0.4000 0.4000 0.4000 0.0000 174-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000 175-AH 0.4000 0.8000 0.8000 0.8500 1.0000 0.8121 0.1409 0.0500 0.6000 0.1735 0.7986 0.7826 0.0911 0.8000 0.8000 0.8000 0.0000 176-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9758 0.1393 0.0000 0.8000 0.1427 0.9524 0.8919 0.0470 1.0000 1.0000 1.0000 0.0000 177-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3879 0.2547 0.4000 0.8000 0.6565 0.1068 0.0001 0.2193 0.0000 0.8000 0.3879 0.2547 178-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1152 0.1326 0.2000 0.4000 1.1513 0.0013 0.0000 0.1186 0.0000 0.4000 0.1152 0.1326 179-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8606 0.2150 0.2000 0.8000 0.2498 0.8190 0.7500 0.1605 0.8000 1.0000 0.9310 0.0967 180-AH 0.0000 0.3500 0.6000 1.0000 1.0000 0.5697 0.3610 0.6500 1.0000 0.6336 0.0853 0.0001 0.2931 0.0000 1.0000 0.5697 0.3610 181-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8667 0.2102 0.2000 0.8000 0.2425 0.8275 0.7615 0.1616 0.6000 1.0000 0.9200 0.1243 182-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1879 0.1996 0.4000 0.6000 1.0625 0.0038 0.0000 0.1594 0.0000 0.6000 0.1879 0.1996 183-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1030 0.1591 0.2000 0.4000 1.5439 0.0003 0.0000 0.1374 0.0000 0.4000 0.1030 0.1591 184-AH 0.2000 0.8000 0.8000 1.0000 1.0000 0.7939 0.2030 0.2000 0.8000 0.2557 0.7534 0.6828 0.1308 0.6000 1.0000 0.8323 0.1376 185-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1091 0.1011 0.2000 0.2000 0.9270 0.0022 0.0000 0.0992 0.0000 0.2000 0.1091 0.1011 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1273 0.0977 0.2000 0.2000 0.7676 0.0055 0.0000 0.0926 0.0000 0.2000 0.1273 0.0977 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.8242 0.2488 0.2000 1.0000 0.3018 0.4351 0.0002 0.1598 0.6000 1.0000 0.8774 0.1334 190-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.8121 0.2118 0.4000 0.6000 0.2608 0.7793 0.7402 0.1708 0.4000 1.0000 0.8121 0.2118 290 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.2000 0.4000 0.6000 0.8000 1.0000 0.5758 0.2332 0.4000 0.8000 0.4051 0.5236 0.4653 0.1870 0.2000 1.0000 0.5758 0.2332 193-AH 0.0000 0.4000 0.4000 0.6000 0.8000 0.4606 0.1368 0.2000 0.8000 0.2970 0.3350 0.0003 0.1051 0.4000 0.8000 0.4750 0.1107 194-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1091 0.1011 0.2000 0.2000 0.9270 0.0022 0.0000 0.0992 0.0000 0.2000 0.1091 0.1011 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 197-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.7697 0.4066 0.3000 1.0000 0.5282 0.1134 0.0001 0.3368 0.4000 1.0000 0.9692 0.1225 198-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1455 0.0905 0.2000 0.2000 0.6219 0.0134 0.0000 0.0793 0.0000 0.2000 0.1455 0.0905 199-AH 0.2000 0.4000 0.6000 0.6000 0.8000 0.4909 0.1877 0.2000 0.6000 0.3823 0.4500 0.4041 0.1609 0.2000 0.8000 0.4909 0.1877 200-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6545 0.2412 0.2000 1.0000 0.3685 0.3400 0.0002 0.1884 0.4000 1.0000 0.7133 0.1548 251-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9879 0.0485 0.0000 0.2000 0.0491 0.9866 0.9851 0.0228 1.0000 1.0000 1.0000 0.0000 252-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6121 0.2736 0.4000 1.0000 0.4469 0.2354 0.0001 0.1972 0.0000 1.0000 0.6121 0.2736 253-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6424 0.2634 0.4000 1.0000 0.4101 0.4380 0.0003 0.2160 0.0000 1.0000 0.6424 0.2634 254-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.2909 0.2067 0.2000 0.8000 0.7106 0.0636 0.0001 0.1708 0.0000 0.6000 0.2750 0.1884 255-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2364 0.1168 0.2000 0.4000 0.4940 0.0982 0.0001 0.0893 0.0000 0.4000 0.2364 0.1168 256-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8485 0.3124 0.0500 1.0000 0.3682 0.3238 0.0001 0.2296 1.0000 1.0000 1.0000 0.0000 257-AH 0.2000 0.2000 0.4000 0.4000 0.8000 0.3576 0.1393 0.2000 0.6000 0.3895 0.3323 0.3082 0.1051 0.2000 0.6000 0.3438 0.1162 258-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0303 0.0728 0.0000 0.2000 2.4031 0.0000 0.0000 0.0514 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.4000 0.4000 0.4000 0.4000 0.3273 0.1485 0.0000 0.4000 0.4537 0.0770 0.0001 0.1146 0.4000 0.4000 0.4000 0.0000 260-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8606 0.2524 0.2000 1.0000 0.2933 0.4540 0.0002 0.1690 0.6000 1.0000 0.9161 0.1241 261-AH 0.2000 0.4000 0.6000 0.6000 0.8000 0.5455 0.1679 0.2000 0.6000 0.3078 0.5114 0.4659 0.1278 0.2000 0.8000 0.5455 0.1679 262-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7152 0.2002 0.2000 0.6000 0.2799 0.6850 0.6524 0.1704 0.4000 1.0000 0.7152 0.2002 263-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.2970 0.1591 0.2000 0.6000 0.5356 0.0901 0.0001 0.1366 0.0000 0.6000 0.2970 0.1591 264-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.8242 0.2948 0.2500 1.0000 0.3576 0.4218 0.0002 0.2237 0.4000 1.0000 0.9000 0.1722 265-AH 0.0000 0.1500 0.4000 0.6000 0.8000 0.3818 0.2663 0.4500 0.8000 0.6974 0.0345 0.0000 0.2292 0.0000 0.8000 0.3818 0.2663 266-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0303 0.0728 0.0000 0.2000 2.4031 0.0000 0.0000 0.0514 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6242 0.2488 0.2000 1.0000 0.3985 0.3209 0.0002 0.1840 0.4000 1.0000 0.6966 0.1569 268-AH 0.0000 0.3500 0.4000 0.4000 0.4000 0.3152 0.1584 0.0500 0.4000 0.5025 0.0559 0.0001 0.1286 0.4000 0.4000 0.4000 0.0000 269-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2485 0.1326 0.2000 0.6000 0.5335 0.1015 0.0001 0.1039 0.0000 0.6000 0.2485 0.1326 270-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8485 0.3318 0.0500 1.0000 0.3910 0.2390 0.0001 0.2296 1.0000 1.0000 1.0000 0.0000 271-AH 0.2000 0.8000 0.8000 1.0000 1.0000 0.7758 0.2166 0.2000 0.8000 0.2791 0.7302 0.6567 0.1473 0.6000 1.0000 0.8414 0.1240 272-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1455 0.1348 0.2000 0.4000 0.9270 0.0044 0.0000 0.1146 0.0000 0.4000 0.1455 0.1348 273-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 274-AH 0.0000 0.3500 0.4000 0.6000 0.8000 0.4182 0.2365 0.2500 0.8000 0.5654 0.0686 0.0001 0.1884 0.0000 0.8000 0.4182 0.2365 275-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.4909 0.2454 0.2000 0.8000 0.4999 0.1420 0.0001 0.1972 0.2000 0.8000 0.5586 0.1722 276-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7455 0.1438 0.2000 0.6000 0.1929 0.7313 0.7161 0.1179 0.4000 1.0000 0.7455 0.1438 277-AH 0.0000 0.0000 0.2000 0.2500 0.6000 0.1576 0.1786 0.2500 0.6000 1.1334 0.0020 0.0000 0.1528 0.0000 0.6000 0.1576 0.1786 278-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.4909 0.1942 0.2000 0.8000 0.3957 0.3404 0.0003 0.1609 0.2000 0.8000 0.5063 0.1759 279-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2606 0.1968 0.2000 0.6000 0.7550 0.0335 0.0000 0.1620 0.0000 0.6000 0.2606 0.1968 280-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0667 0.0957 0.2000 0.2000 1.4361 0.0003 0.0000 0.0889 0.0000 0.2000 0.0667 0.0957 281-AH 0.0000 0.5500 0.6000 0.8000 1.0000 0.6242 0.2773 0.2500 1.0000 0.4442 0.3140 0.0002 0.2097 0.2000 1.0000 0.6645 0.2332 282-AH 0.0000 0.2000 0.4000 0.4000 0.8000 0.3212 0.2058 0.2000 0.8000 0.6407 0.0711 0.0001 0.1635 0.0000 0.6000 0.2903 0.1700 283-AH 0.0000 0.5500 0.6000 0.8000 1.0000 0.6000 0.2646 0.2500 1.0000 0.4410 0.2303 0.0001 0.1818 0.2000 1.0000 0.6600 0.1905 284-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7636 0.2473 0.4000 1.0000 0.3238 0.5341 0.0003 0.1840 0.2000 1.0000 0.7875 0.2091 285-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7758 0.3192 0.4000 1.0000 0.4115 0.3873 0.0002 0.2626 0.2000 1.0000 0.8258 0.2569 286-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1091 0.1128 0.2000 0.4000 1.0341 0.0017 0.0000 0.1058 0.0000 0.4000 0.1091 0.1128 287-AH 0.0000 0.3500 0.4000 0.6000 0.8000 0.4485 0.2063 0.2500 0.8000 0.4601 0.2298 0.0002 0.1712 0.0000 0.8000 0.4485 0.2063 288-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.4000 0.3873 0.8000 1.0000 0.9682 0.0136 0.0000 0.3394 0.0000 1.0000 0.4000 0.3873 289-AH 0.0000 0.3000 0.8000 0.8000 1.0000 0.6182 0.3720 0.5000 1.0000 0.6018 0.0520 0.0000 0.3140 0.0000 1.0000 0.6182 0.3720 290-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2242 0.2488 0.4000 0.8000 1.1094 0.0041 0.0000 0.2020 0.0000 0.8000 0.2242 0.2488 291 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.7939 0.3335 0.2000 1.0000 0.4200 0.2228 0.0001 0.2399 0.6000 1.0000 0.9214 0.1258 292-AH 0.0000 0.4000 0.4000 0.6000 0.8000 0.4667 0.2273 0.2000 0.8000 0.4871 0.2371 0.0002 0.1859 0.2000 0.8000 0.4968 0.1991 293-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7636 0.2848 0.4000 1.0000 0.3730 0.3913 0.0002 0.2105 0.2000 1.0000 0.8129 0.2125 294-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6545 0.1752 0.2000 0.8000 0.2676 0.6230 0.5764 0.1355 0.4000 1.0000 0.6839 0.1344 295-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6364 0.1692 0.2000 0.8000 0.2659 0.6101 0.5764 0.1311 0.4000 1.0000 0.6500 0.1524 296-AH 0.0000 0.3500 0.6000 0.6000 0.8000 0.4909 0.2876 0.2500 0.8000 0.5859 0.0583 0.0000 0.2369 0.0000 0.8000 0.4909 0.2876 297-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6727 0.2820 0.2000 1.0000 0.4192 0.1934 0.0001 0.2028 0.6000 1.0000 0.7655 0.1317 298-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.3394 0.2423 0.4000 1.0000 0.7139 0.0547 0.0001 0.1994 0.0000 1.0000 0.3394 0.2423 299-AH 0.2000 0.7500 0.8000 1.0000 1.0000 0.7818 0.2143 0.2500 0.8000 0.2741 0.7378 0.6655 0.1488 0.4000 1.0000 0.8194 0.1579 300-AH 0.2000 0.2000 0.2000 0.4000 0.6000 0.3152 0.1417 0.2000 0.4000 0.4496 0.2879 0.2658 0.1256 0.2000 0.6000 0.3152 0.1417 301-AH 0.0000 0.0000 0.0000 0.8000 0.8000 0.2424 0.3632 0.8000 0.8000 1.4981 0.0004 0.0000 0.3258 0.0000 0.8000 0.2424 0.3632 302-AH 0.4000 0.4000 0.6000 0.6000 0.8000 0.5394 0.1368 0.2000 0.4000 0.2536 0.5231 0.5077 0.1183 0.4000 0.8000 0.5394 0.1368 303-AH 0.0000 0.2000 0.6000 0.6000 0.8000 0.4485 0.2347 0.4000 0.8000 0.5233 0.2223 0.0002 0.2046 0.0000 0.8000 0.4485 0.2347 304-AH 0.0000 0.6000 0.8000 0.8000 0.8000 0.7030 0.1811 0.2000 0.8000 0.2576 0.5037 0.0003 0.1293 0.6000 0.8000 0.7419 0.0923 305-AH 0.0000 0.5500 0.6000 0.8000 1.0000 0.6121 0.2395 0.2500 1.0000 0.3912 0.4196 0.0003 0.1730 0.2000 1.0000 0.6313 0.2162 306-AH 0.0000 0.1500 0.2000 0.2000 0.2000 0.1515 0.0870 0.0500 0.2000 0.5745 0.0181 0.0000 0.0735 0.2000 0.2000 0.2000 0.0000 307-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3879 0.1933 0.4000 0.6000 0.4982 0.1508 0.0001 0.1502 0.0000 0.6000 0.3879 0.1933 308-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9879 0.0485 0.0000 0.2000 0.0491 0.9866 0.9851 0.0228 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0121 0.0485 0.0000 0.2000 3.9980 0.0000 0.0000 0.0228 0.0000 0.0000 0.0000 0.0000 310-AH 0.0000 0.1500 0.2000 0.2000 0.6000 0.2000 0.1581 0.0500 0.6000 0.7906 0.0211 0.0000 0.0970 0.2000 0.2000 0.2000 0.0000 311-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4000 0.1871 0.4000 0.8000 0.4677 0.2730 0.0003 0.1333 0.0000 0.8000 0.4000 0.1871 312-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6788 0.2342 0.2000 0.8000 0.3450 0.6308 0.5706 0.1950 0.4000 1.0000 0.7097 0.2055 313-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1091 0.2006 0.2000 0.8000 1.8385 0.0002 0.0000 0.1521 0.0000 0.4000 0.0710 0.1321 314-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0061 0.0348 0.0000 0.2000 5.7446 0.0000 0.0000 0.0118 0.0000 0.0000 0.0000 0.0000 315-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.6848 0.1661 0.2000 0.6000 0.2425 0.6644 0.6429 0.1410 0.4000 1.0000 0.6848 0.1661 316-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1939 0.1968 0.4000 0.6000 1.0145 0.0039 0.0000 0.1646 0.0000 0.6000 0.1939 0.1968 317-AH 0.0000 0.4000 0.4000 0.4000 0.6000 0.3758 0.1480 0.0000 0.6000 0.3938 0.1537 0.0001 0.0896 0.4000 0.4000 0.4000 0.0000 318-AH 0.0000 0.0000 0.0000 0.2500 0.6000 0.1455 0.1822 0.2500 0.6000 1.2523 0.0011 0.0000 0.1587 0.0000 0.6000 0.1455 0.1822 319-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6364 0.2205 0.2000 0.8000 0.3466 0.5857 0.5170 0.1653 0.4000 1.0000 0.6966 0.1569 320-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0424 0.0830 0.0000 0.2000 1.9571 0.0001 0.0000 0.0669 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0909 0.1234 0.2000 0.4000 1.3574 0.0005 0.0000 0.1102 0.0000 0.4000 0.0909 0.1234 323-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7091 0.2127 0.2000 0.8000 0.2999 0.6607 0.5858 0.1631 0.4000 1.0000 0.7600 0.1429 324-AH 0.0000 0.3500 0.8000 0.8000 1.0000 0.6121 0.3498 0.4500 1.0000 0.5714 0.0924 0.0001 0.2883 0.0000 1.0000 0.6121 0.3498 325-AH 0.2000 0.8000 0.8000 1.0000 1.0000 0.8121 0.1728 0.2000 0.8000 0.2127 0.7857 0.7402 0.1139 0.6000 1.0000 0.8313 0.1355 326-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3030 0.1591 0.2000 0.4000 0.5249 0.0536 0.0001 0.1352 0.0000 0.4000 0.3030 0.1591 327-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1879 0.1867 0.4000 0.6000 0.9936 0.0038 0.0000 0.1594 0.0000 0.6000 0.1879 0.1867 328-AH 0.4000 0.4000 0.6000 0.6500 1.0000 0.5818 0.1960 0.2500 0.6000 0.3368 0.5528 0.5273 0.1543 0.4000 1.0000 0.5818 0.1960 329-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7939 0.2030 0.4000 0.8000 0.2557 0.7598 0.7084 0.1539 0.2000 1.0000 0.7939 0.2030 330-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.8061 0.3297 0.2500 1.0000 0.4090 0.3032 0.0001 0.2586 0.4000 1.0000 0.8867 0.2145 331-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.2424 0.2488 0.4000 1.0000 1.0262 0.0076 0.0000 0.1994 0.0000 1.0000 0.2424 0.2488 332-AH 0.0000 0.3500 0.4000 0.4000 0.6000 0.3455 0.1603 0.0500 0.6000 0.4639 0.1056 0.0001 0.1190 0.4000 0.4000 0.4000 0.0000 333-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8000 0.3841 0.0500 1.0000 0.4801 0.1608 0.0001 0.3030 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2485 0.1326 0.2000 0.6000 0.5335 0.1015 0.0001 0.1039 0.0000 0.6000 0.2485 0.1326 335-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.3333 0.1780 0.2000 0.8000 0.5339 0.2251 0.0003 0.1495 0.0000 0.6000 0.3188 0.1595 336-AH 0.0000 0.0000 0.0000 0.4000 0.6000 0.1636 0.1966 0.4000 0.6000 1.2012 0.0011 0.0000 0.1785 0.0000 0.6000 0.1636 0.1966 337-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.8909 0.1234 0.2000 0.4000 0.1385 0.8819 0.8722 0.1124 0.6000 1.0000 0.8909 0.1234 338-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6909 0.3166 0.2000 1.0000 0.4582 0.1929 0.0001 0.2435 0.4000 1.0000 0.8071 0.1585 339-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6727 0.3702 0.6000 1.0000 0.5503 0.1356 0.0001 0.3129 0.0000 1.0000 0.6727 0.3702 340-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3818 0.1828 0.4000 0.6000 0.4787 0.1970 0.0002 0.1455 0.0000 0.6000 0.3818 0.1828 292 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8424 0.2538 0.2000 1.0000 0.3012 0.4433 0.0002 0.1624 0.8000 1.0000 0.9133 0.1008 342-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8667 0.2483 0.2000 1.0000 0.2865 0.4580 0.0002 0.1616 0.6000 1.0000 0.9226 0.1117 343-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0242 0.0663 0.0000 0.2000 2.7343 0.0000 0.0000 0.0426 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7576 0.2278 0.4000 1.0000 0.3007 0.5390 0.0003 0.1752 0.4000 1.0000 0.7813 0.1857 345-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1455 0.1679 0.2000 0.6000 1.1541 0.0019 0.0000 0.1410 0.0000 0.4000 0.1313 0.1491 346-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0364 0.0783 0.0000 0.2000 2.1542 0.0001 0.0000 0.0595 0.0000 0.0000 0.0000 0.0000 347-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0727 0.0977 0.2000 0.2000 1.3434 0.0004 0.0000 0.0926 0.0000 0.2000 0.0727 0.0977 348-AH 0.0000 0.3000 0.4000 0.4000 0.4000 0.3030 0.1741 0.1000 0.4000 0.5745 0.0306 0.0000 0.1469 0.4000 0.4000 0.4000 0.0000 349-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5515 0.3465 0.6000 1.0000 0.6283 0.1093 0.0001 0.2828 0.0000 1.0000 0.5515 0.3465 350-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.7758 0.1985 0.4000 0.6000 0.2559 0.7469 0.7135 0.1550 0.4000 1.0000 0.7758 0.1985 293 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0788 0.0415 0.0000 0.1000 0.5269 0.0142 0.0000 0.0334 0.1000 0.1000 0.1000 0.0000 142-AH 0.2000 0.6500 0.7000 0.7000 0.8000 0.6273 0.1464 0.0500 0.6000 0.2333 0.6038 0.5703 0.1163 0.7000 0.7000 0.7000 0.0000 143-AH 0.6000 0.9750 1.0000 1.0000 1.0000 0.9667 0.0777 0.0250 0.4000 0.0804 0.9629 0.9581 0.0505 1.0000 1.0000 1.0000 0.0000 144-AH 0.0000 0.1000 0.2000 0.3000 0.3000 0.1818 0.1131 0.2000 0.3000 0.6219 0.0263 0.0000 0.0920 0.0000 0.3000 0.1818 0.1131 145-AH 0.8000 0.9000 0.9000 1.0000 1.0000 0.9212 0.0740 0.1000 0.2000 0.0803 0.9183 0.9153 0.0621 0.8000 1.0000 0.9212 0.0740 146-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0970 0.0174 0.0000 0.1000 0.1795 0.0756 0.0003 0.0059 0.1000 0.1000 0.1000 0.0000 147-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9000 0.1323 0.2000 0.4000 0.1470 0.8894 0.8776 0.1091 0.6000 1.0000 0.9000 0.1323 148-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.1061 0.0348 0.0000 0.2000 0.3283 0.0806 0.0003 0.0171 0.1000 0.1000 0.1000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.2250 0.4000 0.1152 0.1439 0.2250 0.4000 1.2495 0.0012 0.0000 0.1232 0.0000 0.4000 0.1152 0.1439 151-AH 0.0000 0.0000 0.4000 0.5000 0.6000 0.2727 0.2226 0.5000 0.6000 0.8162 0.0087 0.0000 0.2028 0.0000 0.6000 0.2727 0.2226 152-AH 0.0000 0.3000 0.4000 0.6000 0.8000 0.4121 0.2247 0.3000 0.8000 0.5451 0.2037 0.0002 0.1844 0.0000 0.8000 0.4121 0.2247 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.3750 0.5000 0.6000 0.7000 0.4515 0.1787 0.2250 0.7000 0.3959 0.2379 0.0002 0.1436 0.2000 0.7000 0.4806 0.1400 155-AH 0.0000 0.1000 0.1000 0.2000 0.2000 0.1394 0.0556 0.1000 0.2000 0.3986 0.1015 0.0003 0.0514 0.0000 0.2000 0.1394 0.0556 156-AH 0.0000 0.1000 0.2000 0.2000 0.6000 0.1879 0.1244 0.1000 0.6000 0.6621 0.0581 0.0001 0.0828 0.0000 0.3000 0.1600 0.0855 157-AH 0.0000 0.3000 0.6000 0.7000 1.0000 0.5273 0.2820 0.4000 1.0000 0.5349 0.1480 0.0001 0.2171 0.0000 1.0000 0.5273 0.2820 158-AH 0.0000 0.7000 0.7000 0.8000 1.0000 0.7364 0.1765 0.1000 1.0000 0.2396 0.5334 0.0003 0.1102 0.6000 0.9000 0.7552 0.0827 159-AH 0.0000 0.2000 0.3000 0.6250 1.0000 0.4212 0.3080 0.4250 1.0000 0.7312 0.2436 0.0003 0.2681 0.0000 1.0000 0.4212 0.3080 160-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0364 0.0549 0.1000 0.2000 1.5091 0.0002 0.0000 0.0485 0.0000 0.2000 0.0364 0.0549 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0879 0.0331 0.0000 0.1000 0.3771 0.0327 0.0001 0.0213 0.1000 0.1000 0.1000 0.0000 163-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9818 0.0528 0.0000 0.2000 0.0537 0.9803 0.9786 0.0320 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0000 0.1000 0.2000 0.5000 0.1303 0.1311 0.2000 0.5000 1.0058 0.0085 0.0000 0.1010 0.0000 0.5000 0.1303 0.1311 165-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0939 0.0242 0.0000 0.1000 0.2579 0.0572 0.0002 0.0114 0.1000 0.1000 0.1000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1333 0.0924 0.1000 0.3000 0.6932 0.0259 0.0001 0.0768 0.0000 0.3000 0.1333 0.0924 168-AH 0.0000 0.2000 0.3000 0.4000 0.7000 0.2848 0.1970 0.2000 0.7000 0.6917 0.0478 0.0001 0.1611 0.0000 0.7000 0.2848 0.1970 169-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0364 0.0549 0.1000 0.2000 1.5091 0.0002 0.0000 0.0485 0.0000 0.2000 0.0364 0.0549 170-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0909 0.0292 0.0000 0.1000 0.3211 0.0433 0.0001 0.0165 0.1000 0.1000 0.1000 0.0000 171-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.0791 0.2000 0.2000 0.7906 0.0076 0.0000 0.0606 0.0000 0.2000 0.1000 0.0791 172-AH 0.0000 0.1000 0.1000 0.1000 0.3000 0.1030 0.0728 0.0000 0.3000 0.7068 0.0166 0.0000 0.0472 0.1000 0.1000 0.1000 0.0000 173-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 174-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 175-AH 0.5000 0.5000 0.6000 0.6000 0.6000 0.5515 0.0508 0.1000 0.1000 0.0920 0.5492 0.5470 0.0500 0.5000 0.6000 0.5515 0.0508 176-AH 0.3000 1.0000 1.0000 1.0000 1.0000 0.9788 0.1219 0.0000 0.7000 0.1245 0.9642 0.9340 0.0411 1.0000 1.0000 1.0000 0.0000 177-AH 0.0000 0.3000 0.4000 0.6000 0.7000 0.3727 0.2111 0.3000 0.7000 0.5663 0.1382 0.0001 0.1691 0.0000 0.7000 0.3727 0.2111 178-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.0848 0.0834 0.2000 0.2000 0.9826 0.0024 0.0000 0.0720 0.0000 0.2000 0.0848 0.0834 179-AH 0.1000 0.6000 0.8000 0.9000 1.0000 0.7242 0.2222 0.3000 0.9000 0.3069 0.6676 0.5612 0.1706 0.2000 1.0000 0.7437 0.1950 180-AH 0.0000 0.2750 0.7000 0.9000 1.0000 0.5636 0.3480 0.6250 1.0000 0.6175 0.2457 0.0002 0.3063 0.0000 1.0000 0.5636 0.3480 181-AH 0.4000 0.9000 0.9000 1.0000 1.0000 0.8848 0.1460 0.1000 0.6000 0.1650 0.8696 0.8495 0.0975 0.8000 1.0000 0.9393 0.0567 182-AH 0.0000 0.1000 0.1000 0.3000 0.4000 0.1485 0.1149 0.2000 0.4000 0.7738 0.0272 0.0001 0.0981 0.0000 0.4000 0.1485 0.1149 183-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1424 0.1275 0.2000 0.4000 0.8956 0.0093 0.0000 0.1069 0.0000 0.4000 0.1424 0.1275 184-AH 0.1000 0.5000 0.5000 0.5000 0.6000 0.4727 0.1069 0.0000 0.5000 0.2261 0.4488 0.3976 0.0628 0.5000 0.5000 0.5000 0.0000 185-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0667 0.0479 0.1000 0.1000 0.7181 0.0046 0.0000 0.0444 0.0000 0.1000 0.0667 0.0479 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0879 0.0331 0.0000 0.1000 0.3771 0.0327 0.0001 0.0213 0.1000 0.1000 0.1000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0212 0.0415 0.0000 0.1000 1.9571 0.0001 0.0000 0.0334 0.0000 0.0000 0.0000 0.0000 189-AH 0.0000 0.5000 0.7000 0.7000 0.7000 0.5848 0.1873 0.2000 0.7000 0.3202 0.3131 0.0002 0.1372 0.4000 0.7000 0.6226 0.1146 190-AH 0.2000 0.4000 0.5000 0.6000 0.8000 0.5152 0.1326 0.2000 0.6000 0.2573 0.4966 0.4751 0.1032 0.2000 0.8000 0.5152 0.1326 294 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1000 0.3000 0.3000 0.4000 0.6000 0.3576 0.1393 0.1000 0.5000 0.3895 0.3282 0.2938 0.1113 0.2000 0.5000 0.3308 0.0838 193-AH 0.1000 0.2000 0.3000 0.3000 0.5000 0.2879 0.0781 0.1000 0.4000 0.2713 0.2766 0.2633 0.0540 0.1000 0.4000 0.2813 0.0693 194-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0576 0.0502 0.1000 0.1000 0.8717 0.0020 0.0000 0.0489 0.0000 0.1000 0.0576 0.0502 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 197-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.7697 0.3754 0.3000 1.0000 0.4877 0.2041 0.0001 0.3065 0.3000 1.0000 0.9036 0.2099 198-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0818 0.0392 0.0000 0.1000 0.4787 0.0187 0.0001 0.0298 0.1000 0.1000 0.1000 0.0000 199-AH 0.4000 0.4000 0.5000 0.6000 0.7000 0.5333 0.1164 0.2000 0.3000 0.2182 0.5210 0.5090 0.1030 0.4000 0.7000 0.5333 0.1164 200-AH 0.0000 0.4000 0.6000 0.6000 0.7000 0.5152 0.1716 0.2000 0.7000 0.3331 0.3645 0.0003 0.1350 0.2000 0.7000 0.5313 0.1469 251-AH 0.4000 0.9000 0.9000 1.0000 1.0000 0.8939 0.1435 0.1000 0.6000 0.1605 0.8776 0.8532 0.0773 0.8000 1.0000 0.9333 0.0547 252-AH 0.0000 0.4000 0.5000 0.7000 0.8000 0.5121 0.2088 0.3000 0.8000 0.4077 0.2685 0.0002 0.1548 0.0000 0.8000 0.5121 0.2088 253-AH 0.1000 0.5000 0.7000 0.8250 0.9000 0.6455 0.2320 0.3250 0.8000 0.3594 0.5867 0.4967 0.1928 0.1000 0.9000 0.6455 0.2320 254-AH 0.0000 0.2000 0.3000 0.5000 0.8000 0.3455 0.1938 0.3000 0.8000 0.5610 0.2227 0.0003 0.1554 0.0000 0.8000 0.3455 0.1938 255-AH 0.0000 0.1750 0.2000 0.3000 0.4000 0.2152 0.0972 0.1250 0.4000 0.4518 0.1503 0.0003 0.0747 0.0000 0.4000 0.2152 0.0972 256-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8182 0.3368 0.2000 1.0000 0.4116 0.3061 0.0001 0.2694 0.5000 1.0000 0.9593 0.1338 257-AH 0.1000 0.2000 0.3000 0.4000 0.5000 0.3182 0.1261 0.2000 0.4000 0.3964 0.2856 0.2450 0.1036 0.1000 0.5000 0.3182 0.1261 258-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0515 0.0834 0.1000 0.3000 1.6184 0.0002 0.0000 0.0687 0.0000 0.2000 0.0438 0.0716 259-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1758 0.0614 0.0000 0.2000 0.3493 0.0779 0.0001 0.0411 0.2000 0.2000 0.2000 0.0000 260-AH 0.0000 0.7000 0.9000 1.0000 1.0000 0.8121 0.2472 0.3000 1.0000 0.3044 0.4287 0.0002 0.1679 0.5000 1.0000 0.8645 0.1355 261-AH 0.1000 0.4000 0.5000 0.6250 0.8000 0.4970 0.1845 0.2250 0.7000 0.3713 0.4541 0.3972 0.1491 0.1000 0.8000 0.4970 0.1845 262-AH 0.2000 0.4000 0.7000 0.8250 0.9000 0.6545 0.2195 0.4250 0.7000 0.3354 0.6115 0.5614 0.1945 0.2000 0.9000 0.6545 0.2195 263-AH 0.1000 0.2000 0.3000 0.4000 0.5000 0.3000 0.1090 0.2000 0.4000 0.3632 0.2784 0.2542 0.0909 0.1000 0.5000 0.3000 0.1090 264-AH 0.0000 0.6000 0.8000 0.9000 0.9000 0.6970 0.2518 0.3000 0.9000 0.3613 0.3609 0.0002 0.1862 0.2000 0.9000 0.7419 0.1822 265-AH 0.0000 0.1750 0.4000 0.4000 0.6000 0.2818 0.1722 0.2250 0.6000 0.6111 0.0372 0.0000 0.1455 0.0000 0.6000 0.2818 0.1722 266-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0303 0.0467 0.1000 0.1000 1.5401 0.0002 0.0000 0.0422 0.0000 0.1000 0.0303 0.0467 267-AH 0.0000 0.4000 0.5000 0.6000 0.8000 0.4879 0.1728 0.2000 0.8000 0.3541 0.2616 0.0002 0.1306 0.3000 0.8000 0.5194 0.1223 268-AH 0.0000 0.1750 0.2000 0.2000 0.2000 0.1636 0.0699 0.0250 0.2000 0.4272 0.0554 0.0001 0.0551 0.2000 0.2000 0.2000 0.0000 269-AH 0.0000 0.2000 0.3000 0.3000 0.4000 0.2455 0.1034 0.1000 0.4000 0.4211 0.1717 0.0003 0.0865 0.1000 0.4000 0.2531 0.0950 270-AH 0.0000 0.8500 1.0000 1.0000 1.0000 0.8455 0.3113 0.1500 1.0000 0.3683 0.4200 0.0002 0.2281 0.7000 1.0000 0.9643 0.0951 271-AH 0.1000 0.6000 0.7000 0.7000 0.8000 0.6303 0.1759 0.1000 0.7000 0.2790 0.5801 0.4736 0.1148 0.5000 0.8000 0.6800 0.0761 272-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1515 0.0834 0.1000 0.3000 0.5502 0.0386 0.0001 0.0709 0.0000 0.3000 0.1515 0.0834 273-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9879 0.0331 0.0000 0.1000 0.0336 0.9873 0.9867 0.0213 1.0000 1.0000 1.0000 0.0000 274-AH 0.0000 0.3000 0.3000 0.4000 0.6000 0.3182 0.1446 0.1000 0.6000 0.4545 0.0990 0.0001 0.1036 0.2000 0.5000 0.3536 0.0744 275-AH 0.0000 0.3000 0.5000 0.6000 0.7000 0.4485 0.2181 0.3000 0.7000 0.4863 0.1315 0.0001 0.1774 0.0000 0.7000 0.4485 0.2181 276-AH 0.5000 0.7000 0.7000 0.8000 0.9000 0.7333 0.0990 0.1000 0.4000 0.1349 0.7265 0.7194 0.0828 0.6000 0.9000 0.7406 0.0911 277-AH 0.0000 0.1750 0.2000 0.4000 0.7000 0.2697 0.1630 0.2250 0.7000 0.6042 0.1343 0.0002 0.1324 0.0000 0.7000 0.2697 0.1630 278-AH 0.1000 0.3000 0.4000 0.5000 0.7000 0.3879 0.1728 0.2000 0.6000 0.4454 0.3403 0.2824 0.1412 0.1000 0.7000 0.3879 0.1728 279-AH 0.0000 0.1000 0.1000 0.2250 0.4000 0.1515 0.1093 0.1250 0.4000 0.7215 0.0362 0.0001 0.0927 0.0000 0.4000 0.1515 0.1093 280-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0788 0.0781 0.1000 0.3000 0.9912 0.0030 0.0000 0.0621 0.0000 0.2000 0.0719 0.0683 281-AH 0.0000 0.5000 0.6000 0.8000 0.8000 0.5970 0.2229 0.3000 0.8000 0.3734 0.3125 0.0002 0.1734 0.2000 0.8000 0.6355 0.1664 282-AH 0.0000 0.2000 0.3000 0.4250 0.6000 0.2970 0.1686 0.2250 0.6000 0.5678 0.1146 0.0001 0.1309 0.0000 0.6000 0.2970 0.1686 283-AH 0.0000 0.3000 0.6000 0.7000 0.9000 0.5121 0.2472 0.4000 0.9000 0.4827 0.2562 0.0002 0.2057 0.0000 0.9000 0.5121 0.2472 284-AH 0.3000 0.5000 0.6000 0.7000 0.9000 0.5788 0.1576 0.2000 0.6000 0.2724 0.5562 0.5318 0.1322 0.3000 0.9000 0.5788 0.1576 285-AH 0.0000 0.6000 0.9000 1.0000 1.0000 0.7545 0.3133 0.4000 1.0000 0.4153 0.3728 0.0002 0.2551 0.1000 1.0000 0.8032 0.2536 286-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0667 0.0540 0.1000 0.2000 0.8101 0.0036 0.0000 0.0485 0.0000 0.2000 0.0667 0.0540 287-AH 0.0000 0.4000 0.5000 0.6000 0.7000 0.4515 0.1623 0.2000 0.7000 0.3594 0.2426 0.0002 0.1196 0.2000 0.7000 0.4806 0.1167 288-AH 0.0000 0.1000 0.4000 0.5250 0.9000 0.3788 0.3008 0.4250 0.9000 0.7941 0.0944 0.0001 0.2461 0.0000 0.9000 0.3788 0.3008 289-AH 0.0000 0.4500 0.7000 0.9000 0.9000 0.5909 0.3521 0.4500 0.9000 0.5959 0.0505 0.0000 0.2865 0.0000 0.9000 0.5909 0.3521 290-AH 0.0000 0.1000 0.2000 0.4250 0.6000 0.2303 0.2008 0.3250 0.6000 0.8717 0.0278 0.0000 0.1743 0.0000 0.6000 0.2303 0.2008 295 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.7000 0.9000 1.0000 1.0000 0.7576 0.3231 0.3000 1.0000 0.4265 0.2132 0.0001 0.2435 0.4000 1.0000 0.8621 0.1613 292-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3121 0.1244 0.2000 0.4000 0.3985 0.1676 0.0002 0.1065 0.0000 0.4000 0.3121 0.1244 293-AH 0.1000 0.6000 0.7000 0.8000 0.9000 0.6970 0.1992 0.2000 0.8000 0.2858 0.6401 0.5148 0.1317 0.6000 0.9000 0.7500 0.1042 294-AH 0.3000 0.5000 0.6000 0.7000 0.8000 0.6000 0.1225 0.2000 0.5000 0.2041 0.5859 0.5692 0.0970 0.3000 0.8000 0.6000 0.1225 295-AH 0.2000 0.5000 0.6000 0.7000 0.9000 0.6000 0.1458 0.2000 0.7000 0.2430 0.5791 0.5519 0.1030 0.4000 0.9000 0.6125 0.1289 296-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.4758 0.2670 0.2000 0.8000 0.5611 0.0743 0.0001 0.2185 0.1000 0.8000 0.5815 0.1545 297-AH 0.0000 0.4000 0.5000 0.5000 0.6000 0.4152 0.1642 0.1000 0.6000 0.3954 0.1275 0.0001 0.1089 0.4000 0.6000 0.4724 0.0528 298-AH 0.0000 0.2750 0.4000 0.5000 0.7000 0.3636 0.1617 0.2250 0.7000 0.4446 0.1905 0.0002 0.1251 0.0000 0.7000 0.3636 0.1617 299-AH 0.3000 0.6000 0.8000 0.8000 0.9000 0.7030 0.1686 0.2000 0.6000 0.2398 0.6799 0.6526 0.1423 0.4000 0.9000 0.7156 0.1547 300-AH 0.1000 0.1000 0.3000 0.5000 0.6000 0.3152 0.1679 0.4000 0.5000 0.5329 0.2624 0.2097 0.1438 0.1000 0.6000 0.3152 0.1679 301-AH 0.0000 0.0000 0.0000 0.5000 0.8000 0.1879 0.2881 0.5000 0.8000 1.5332 0.0004 0.0000 0.2558 0.0000 0.8000 0.1879 0.2881 302-AH 0.3000 0.4000 0.4000 0.5250 0.7000 0.4606 0.1116 0.1250 0.4000 0.2424 0.4480 0.4360 0.0940 0.3000 0.7000 0.4606 0.1116 303-AH 0.0000 0.3000 0.4000 0.5000 0.6000 0.3848 0.1752 0.2000 0.6000 0.4553 0.1966 0.0002 0.1396 0.1000 0.6000 0.4097 0.1491 304-AH 0.0000 0.4000 0.4000 0.4250 0.5000 0.4091 0.0879 0.0250 0.5000 0.2149 0.3036 0.0003 0.0441 0.4000 0.4000 0.4000 0.0000 305-AH 0.2000 0.5000 0.6000 0.7250 0.9000 0.6121 0.1781 0.2250 0.7000 0.2910 0.5801 0.5376 0.1405 0.2000 0.9000 0.6121 0.1781 306-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0939 0.0242 0.0000 0.1000 0.2579 0.0572 0.0002 0.0114 0.1000 0.1000 0.1000 0.0000 307-AH 0.1000 0.2750 0.4000 0.5000 0.6000 0.3879 0.1536 0.2250 0.5000 0.3960 0.3542 0.3168 0.1291 0.1000 0.6000 0.3879 0.1536 308-AH 0.6000 0.7000 0.7000 0.8000 0.9000 0.7242 0.0867 0.1000 0.3000 0.1197 0.7192 0.7141 0.0718 0.6000 0.9000 0.7242 0.0867 309-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0273 0.0626 0.0000 0.2000 2.2958 0.0001 0.0000 0.0446 0.0000 0.0000 0.0000 0.0000 310-AH 0.0000 0.1000 0.1000 0.3000 0.3000 0.1636 0.1025 0.2000 0.3000 0.6265 0.0512 0.0001 0.0898 0.0000 0.3000 0.1636 0.1025 311-AH 0.2000 0.3000 0.4000 0.5000 0.9000 0.4182 0.1685 0.2000 0.7000 0.4031 0.3878 0.3595 0.1223 0.2000 0.7000 0.3903 0.1300 312-AH 0.1000 0.4750 0.6000 0.8000 0.9000 0.5970 0.2038 0.3250 0.8000 0.3415 0.5504 0.4785 0.1730 0.1000 0.9000 0.5970 0.2038 313-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1061 0.1413 0.2000 0.4000 1.3321 0.0009 0.0000 0.1175 0.0000 0.4000 0.1061 0.1413 314-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0212 0.0485 0.0000 0.2000 2.2846 0.0001 0.0000 0.0347 0.0000 0.0000 0.0000 0.0000 315-AH 0.4000 0.6000 0.6000 0.7000 0.8000 0.6303 0.0883 0.1000 0.4000 0.1401 0.6241 0.6175 0.0689 0.5000 0.8000 0.6375 0.0793 316-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.1939 0.1413 0.2000 0.5000 0.7285 0.0343 0.0001 0.1104 0.0000 0.5000 0.1939 0.1413 317-AH 0.0000 0.3000 0.4000 0.4000 0.7000 0.3545 0.1563 0.1000 0.7000 0.4409 0.1886 0.0002 0.1196 0.2000 0.5000 0.3407 0.0931 318-AH 0.0000 0.0000 0.1000 0.3000 0.4000 0.1364 0.1454 0.3000 0.4000 1.0661 0.0024 0.0000 0.1306 0.0000 0.4000 0.1364 0.1454 319-AH 0.1000 0.3000 0.5000 0.6000 0.7000 0.4333 0.1633 0.3000 0.6000 0.3768 0.3934 0.3395 0.1354 0.1000 0.7000 0.4333 0.1633 320-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0455 0.0564 0.1000 0.2000 1.2410 0.0005 0.0000 0.0523 0.0000 0.2000 0.0455 0.0564 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0788 0.0857 0.1000 0.3000 1.0880 0.0018 0.0000 0.0716 0.0000 0.2000 0.0719 0.0772 323-AH 0.1000 0.4000 0.5000 0.6000 0.6000 0.4909 0.1466 0.2000 0.5000 0.2985 0.4506 0.3750 0.1041 0.1000 0.6000 0.4909 0.1466 324-AH 0.0000 0.2000 0.7000 0.8000 1.0000 0.5697 0.3477 0.6000 1.0000 0.6104 0.0841 0.0001 0.3010 0.0000 1.0000 0.5697 0.3477 325-AH 0.2000 0.7000 0.7000 0.8000 1.0000 0.7364 0.1558 0.1000 0.8000 0.2115 0.7140 0.6778 0.1102 0.6000 0.9000 0.7444 0.0801 326-AH 0.0000 0.1750 0.2000 0.2000 0.2000 0.1636 0.0699 0.0250 0.2000 0.4272 0.0554 0.0001 0.0551 0.2000 0.2000 0.2000 0.0000 327-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1667 0.1514 0.3000 0.4000 0.9083 0.0061 0.0000 0.1374 0.0000 0.4000 0.1667 0.1514 328-AH 0.3000 0.5000 0.6000 0.7250 0.9000 0.6182 0.1570 0.2250 0.6000 0.2540 0.5980 0.5769 0.1212 0.3000 0.9000 0.6182 0.1570 329-AH 0.2000 0.6000 0.6000 0.7000 0.9000 0.6212 0.1244 0.1000 0.7000 0.2002 0.6049 0.5806 0.0850 0.5000 0.8000 0.6414 0.0682 330-AH 0.0000 0.8250 1.0000 1.0000 1.0000 0.8091 0.3253 0.1750 1.0000 0.4021 0.3046 0.0001 0.2529 0.6000 1.0000 0.9481 0.1087 331-AH 0.0000 0.1750 0.3000 0.4000 0.7000 0.2818 0.2053 0.2250 0.7000 0.7286 0.0465 0.0001 0.1642 0.0000 0.7000 0.2818 0.2053 332-AH 0.0000 0.1750 0.3000 0.3000 0.4000 0.2424 0.1173 0.1250 0.4000 0.4840 0.0981 0.0001 0.0975 0.0000 0.4000 0.2424 0.1173 333-AH 0.0000 0.5000 0.5000 0.5000 0.5000 0.4121 0.1850 0.0000 0.5000 0.4489 0.0938 0.0001 0.1385 0.5000 0.5000 0.5000 0.0000 334-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1879 0.0781 0.1000 0.3000 0.4157 0.1336 0.0003 0.0593 0.0000 0.3000 0.1879 0.0781 335-AH 0.0000 0.2000 0.2000 0.3250 0.5000 0.2576 0.1300 0.1250 0.5000 0.5046 0.1740 0.0003 0.1078 0.1000 0.5000 0.2656 0.1234 336-AH 0.0000 0.0000 0.0000 0.2000 0.5000 0.1121 0.1453 0.2000 0.5000 1.2955 0.0012 0.0000 0.1192 0.0000 0.5000 0.1121 0.1453 337-AH 0.6000 0.7000 0.8000 0.8250 1.0000 0.7970 0.0847 0.1250 0.4000 0.1063 0.7926 0.7881 0.0590 0.6000 1.0000 0.7970 0.0847 338-AH 0.0000 0.4000 0.6000 0.7000 0.9000 0.5212 0.2329 0.3000 0.9000 0.4468 0.1528 0.0001 0.1756 0.0000 0.9000 0.5212 0.2329 339-AH 0.0000 0.4750 0.7000 0.8250 1.0000 0.5970 0.3117 0.3500 1.0000 0.5222 0.1250 0.0001 0.2522 0.0000 1.0000 0.5970 0.3117 340-AH 0.2000 0.3000 0.3000 0.4000 0.5000 0.3212 0.0781 0.1000 0.3000 0.2431 0.3115 0.3014 0.0634 0.2000 0.5000 0.3212 0.0781 296 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.1000 0.4000 0.5000 0.5000 0.6000 0.4606 0.1273 0.1000 0.5000 0.2764 0.4314 0.3786 0.0926 0.4000 0.6000 0.4933 0.0740 342-AH 0.0000 0.8000 0.8000 0.9000 0.9000 0.7758 0.2136 0.1000 0.9000 0.2754 0.4140 0.0002 0.1185 0.7000 0.9000 0.8333 0.0661 343-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0152 0.0364 0.0000 0.1000 2.4031 0.0000 0.0000 0.0257 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6788 0.2132 0.2000 1.0000 0.3142 0.4847 0.0003 0.1600 0.4000 1.0000 0.7000 0.1778 345-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1485 0.1372 0.2000 0.4000 0.9240 0.0073 0.0000 0.1166 0.0000 0.4000 0.1485 0.1372 346-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0394 0.0609 0.1000 0.2000 1.5466 0.0002 0.0000 0.0525 0.0000 0.2000 0.0394 0.0609 347-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0515 0.0619 0.1000 0.2000 1.2007 0.0007 0.0000 0.0562 0.0000 0.2000 0.0515 0.0619 348-AH 0.0000 0.1500 0.2000 0.2000 0.2000 0.1515 0.0870 0.0500 0.2000 0.5745 0.0181 0.0000 0.0735 0.2000 0.2000 0.2000 0.0000 349-AH 0.1000 0.2750 0.5000 0.6000 1.0000 0.4970 0.2778 0.3250 0.9000 0.5590 0.4128 0.3235 0.2096 0.1000 1.0000 0.4970 0.2778 350-AH 0.2000 0.5000 0.6000 0.7000 0.7000 0.5455 0.1438 0.2000 0.5000 0.2637 0.5217 0.4904 0.1168 0.3000 0.7000 0.5677 0.1166 297 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0545 0.0261 0.0000 0.0667 0.4787 0.0134 0.0001 0.0198 0.0667 0.0667 0.0667 0.0000 142-AH 0.2000 0.4333 0.4667 0.5333 0.5333 0.4505 0.0943 0.1000 0.3333 0.2094 0.4386 0.4239 0.0730 0.3333 0.5333 0.4711 0.0699 143-AH 0.6000 0.9333 1.0000 1.0000 1.0000 0.9475 0.0812 0.0667 0.4000 0.0857 0.9434 0.9385 0.0573 0.8667 1.0000 0.9583 0.0529 144-AH 0.0000 0.0667 0.2000 0.2000 0.2000 0.1374 0.0781 0.1333 0.2000 0.5683 0.0274 0.0001 0.0645 0.0000 0.2000 0.1374 0.0781 145-AH 0.6000 0.8000 0.8000 0.8667 0.9333 0.8162 0.0646 0.0667 0.3333 0.0792 0.8135 0.8108 0.0458 0.7333 0.9333 0.8229 0.0525 146-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0646 0.0116 0.0000 0.0667 0.1795 0.0511 0.0003 0.0039 0.0667 0.0667 0.0667 0.0000 147-AH 0.5333 0.7833 0.9333 0.9333 1.0000 0.8667 0.1312 0.1500 0.4667 0.1514 0.8557 0.8432 0.1051 0.6000 1.0000 0.8771 0.1187 148-AH 0.0000 0.0667 0.0667 0.0667 0.1333 0.0727 0.0256 0.0000 0.1333 0.3523 0.0555 0.0003 0.0147 0.0667 0.0667 0.0667 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.1333 0.2000 0.3333 0.1091 0.1103 0.2000 0.3333 1.0113 0.0028 0.0000 0.0977 0.0000 0.3333 0.1091 0.1103 151-AH 0.0000 0.0000 0.2667 0.3333 0.4000 0.1899 0.1510 0.3333 0.4000 0.7953 0.0090 0.0000 0.1375 0.0000 0.4000 0.1899 0.1510 152-AH 0.0000 0.2000 0.3333 0.4167 0.5333 0.3111 0.1543 0.2167 0.5333 0.4958 0.1601 0.0002 0.1266 0.0000 0.5333 0.3111 0.1543 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.3167 0.4000 0.4667 0.6000 0.3677 0.1482 0.1500 0.6000 0.4032 0.1952 0.0002 0.1139 0.1333 0.6000 0.3914 0.1177 155-AH 0.0667 0.0667 0.1333 0.1333 0.2000 0.1131 0.0390 0.0667 0.1333 0.3450 0.1062 0.0992 0.0338 0.0667 0.2000 0.1131 0.0390 156-AH 0.0000 0.0667 0.1333 0.2667 0.6000 0.1717 0.1179 0.2000 0.6000 0.6865 0.0858 0.0002 0.0904 0.0000 0.3333 0.1583 0.0908 157-AH 0.0000 0.4333 0.6000 0.6667 1.0000 0.5354 0.2643 0.2333 1.0000 0.4937 0.1974 0.0001 0.2034 0.2000 1.0000 0.6069 0.1897 158-AH 0.0000 0.6000 0.6667 0.6667 0.9333 0.6182 0.1610 0.0667 0.9333 0.2604 0.4479 0.0003 0.1025 0.5333 0.7333 0.6385 0.0601 159-AH 0.0667 0.2500 0.3333 0.5500 0.9333 0.4141 0.2602 0.3000 0.8667 0.6283 0.3303 0.2447 0.2079 0.0667 0.9333 0.4141 0.2602 160-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0485 0.0449 0.0667 0.1333 0.9270 0.0023 0.0000 0.0382 0.0000 0.1333 0.0485 0.0449 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0586 0.0221 0.0000 0.0667 0.3771 0.0229 0.0001 0.0142 0.0667 0.0667 0.0667 0.0000 163-AH 0.7333 1.0000 1.0000 1.0000 1.0000 0.9717 0.0688 0.0000 0.2667 0.0708 0.9690 0.9658 0.0446 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0667 0.0667 0.2000 0.4000 0.1273 0.1159 0.1333 0.4000 0.9107 0.0177 0.0000 0.0907 0.0000 0.3333 0.1097 0.0951 165-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0626 0.0162 0.0000 0.0667 0.2579 0.0391 0.0002 0.0076 0.0667 0.0667 0.0667 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0970 0.0603 0.0667 0.2000 0.6219 0.0327 0.0001 0.0511 0.0000 0.2000 0.0970 0.0603 168-AH 0.0000 0.3167 0.4000 0.4667 0.6000 0.3374 0.1870 0.1500 0.6000 0.5544 0.0740 0.0001 0.1413 0.2667 0.6000 0.4231 0.0923 169-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0343 0.0445 0.0667 0.1333 1.2950 0.0004 0.0000 0.0395 0.0000 0.1333 0.0343 0.0445 170-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0606 0.0195 0.0000 0.0667 0.3211 0.0299 0.0001 0.0110 0.0667 0.0667 0.0667 0.0000 171-AH 0.0000 0.0000 0.1333 0.1333 0.2667 0.0990 0.0766 0.1333 0.2667 0.7738 0.0096 0.0000 0.0657 0.0000 0.2667 0.0990 0.0766 172-AH 0.0000 0.0667 0.0667 0.1333 0.2667 0.0929 0.0706 0.0667 0.2667 0.7596 0.0148 0.0000 0.0585 0.0000 0.2000 0.0875 0.0643 173-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 174-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 175-AH 0.3333 0.4000 0.4000 0.4000 0.4000 0.3980 0.0116 0.0000 0.0667 0.0292 0.3978 0.3976 0.0039 0.4000 0.4000 0.4000 0.0000 176-AH 0.2667 1.0000 1.0000 1.0000 1.0000 0.9737 0.1280 0.0000 0.7333 0.1314 0.9567 0.9194 0.0478 1.0000 1.0000 1.0000 0.0000 177-AH 0.0000 0.2500 0.3333 0.4667 0.6000 0.3374 0.1818 0.2167 0.6000 0.5388 0.1608 0.0002 0.1375 0.0000 0.6000 0.3374 0.1818 178-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0646 0.0565 0.1333 0.2000 0.8737 0.0043 0.0000 0.0431 0.0000 0.2000 0.0646 0.0565 179-AH 0.0667 0.5333 0.6667 0.7333 1.0000 0.6182 0.1953 0.2000 0.9333 0.3159 0.5700 0.4697 0.1447 0.2667 1.0000 0.6354 0.1710 180-AH 0.0000 0.3167 0.6000 0.8000 1.0000 0.5535 0.3025 0.4833 1.0000 0.5465 0.2630 0.0002 0.2689 0.0000 1.0000 0.5535 0.3025 181-AH 0.5333 0.8500 0.9333 1.0000 1.0000 0.8848 0.1250 0.1500 0.4667 0.1413 0.8749 0.8634 0.0962 0.6667 1.0000 0.9054 0.0970 182-AH 0.0000 0.0667 0.0667 0.2000 0.2667 0.1051 0.0746 0.1333 0.2667 0.7100 0.0265 0.0001 0.0644 0.0000 0.2667 0.1051 0.0746 183-AH 0.0000 0.0000 0.1333 0.2000 0.2667 0.1293 0.1040 0.2000 0.2667 0.8044 0.0089 0.0000 0.0897 0.0000 0.2667 0.1293 0.1040 184-AH 0.0667 0.3333 0.3333 0.4000 0.4000 0.3374 0.0763 0.0667 0.3333 0.2261 0.3195 0.2797 0.0380 0.3333 0.4000 0.3548 0.0317 185-AH 0.0000 0.0500 0.0667 0.0667 0.0667 0.0505 0.0290 0.0167 0.0667 0.5745 0.0079 0.0000 0.0245 0.0667 0.0667 0.0667 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0586 0.0221 0.0000 0.0667 0.3771 0.0229 0.0001 0.0142 0.0667 0.0667 0.0667 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0141 0.0277 0.0000 0.0667 1.9571 0.0001 0.0000 0.0223 0.0000 0.0000 0.0000 0.0000 189-AH 0.0000 0.4000 0.4667 0.4667 0.4667 0.4121 0.1136 0.0667 0.4667 0.2756 0.2953 0.0003 0.0760 0.3333 0.4667 0.4483 0.0394 190-AH 0.1333 0.3167 0.4000 0.4667 0.5333 0.3939 0.0933 0.1500 0.4000 0.2369 0.3802 0.3621 0.0735 0.1333 0.5333 0.3939 0.0933 298 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1333 0.2000 0.2000 0.3333 0.4000 0.2566 0.0915 0.1333 0.2667 0.3565 0.2408 0.2256 0.0785 0.1333 0.4000 0.2566 0.0915 193-AH 0.0667 0.2000 0.2000 0.2833 0.3333 0.2404 0.0686 0.0833 0.2667 0.2853 0.2291 0.2143 0.0578 0.1333 0.3333 0.2458 0.0621 194-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0424 0.0326 0.0667 0.0667 0.7676 0.0027 0.0000 0.0309 0.0000 0.0667 0.0424 0.0326 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0001 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 197-AH 0.0000 0.6833 0.9333 1.0000 1.0000 0.7535 0.3706 0.3167 1.0000 0.4918 0.1985 0.0001 0.3007 0.3333 1.0000 0.8857 0.2076 198-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0566 0.0243 0.0000 0.0667 0.4291 0.0176 0.0001 0.0171 0.0667 0.0667 0.0667 0.0000 199-AH 0.4000 0.5166 0.5333 0.6000 0.6000 0.5414 0.0702 0.0834 0.2000 0.1297 0.5366 0.5313 0.0568 0.4000 0.6000 0.5414 0.0702 200-AH 0.0000 0.3333 0.4000 0.4667 0.5333 0.3818 0.1109 0.1333 0.5333 0.2904 0.2779 0.0003 0.0808 0.2000 0.5333 0.3937 0.0886 251-AH 0.3333 0.9333 0.9333 0.9333 0.9333 0.8747 0.1552 0.0000 0.6000 0.1775 0.8531 0.8179 0.0923 0.9333 0.9333 0.9333 0.0000 252-AH 0.0000 0.4500 0.5333 0.6000 0.7333 0.4990 0.1780 0.1500 0.7333 0.3568 0.2659 0.0002 0.1286 0.2667 0.7333 0.5422 0.1131 253-AH 0.1333 0.4667 0.7333 0.8000 0.9333 0.6424 0.2374 0.3333 0.8000 0.3695 0.5813 0.4985 0.2031 0.1333 0.9333 0.6424 0.2374 254-AH 0.0667 0.2000 0.4000 0.4667 0.8000 0.3657 0.1834 0.2667 0.7333 0.5016 0.3058 0.2293 0.1404 0.0667 0.8000 0.3657 0.1834 255-AH 0.0667 0.1333 0.2000 0.2000 0.2667 0.1778 0.0638 0.0667 0.2000 0.3590 0.1637 0.1467 0.0525 0.0667 0.2667 0.1778 0.0638 256-AH 0.0000 0.7167 1.0000 1.0000 1.0000 0.7818 0.3384 0.2833 1.0000 0.4328 0.2892 0.0001 0.2700 0.3333 1.0000 0.8828 0.2068 257-AH 0.0667 0.2500 0.4000 0.4167 0.5333 0.3273 0.1378 0.1667 0.4667 0.4211 0.2834 0.2213 0.1164 0.0667 0.5333 0.3273 0.1378 258-AH 0.0000 0.0000 0.0000 0.1333 0.2000 0.0606 0.0788 0.1333 0.2000 1.3005 0.0007 0.0000 0.0661 0.0000 0.2000 0.0606 0.0788 259-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1172 0.0409 0.0000 0.1333 0.3493 0.0539 0.0001 0.0274 0.1333 0.1333 0.1333 0.0000 260-AH 0.0000 0.7333 0.8000 0.8667 1.0000 0.7737 0.2248 0.1333 1.0000 0.2905 0.4111 0.0002 0.1352 0.6667 1.0000 0.8356 0.0853 261-AH 0.0667 0.2667 0.4000 0.5333 0.8000 0.4121 0.1645 0.2667 0.7333 0.3992 0.3743 0.3230 0.1253 0.0667 0.8000 0.4121 0.1645 262-AH 0.1333 0.4667 0.7333 0.7500 0.9333 0.6020 0.2294 0.2833 0.8000 0.3811 0.5455 0.4735 0.1997 0.1333 0.9333 0.6020 0.2294 263-AH 0.1333 0.2000 0.2667 0.4000 0.4667 0.2828 0.1014 0.2000 0.3333 0.3586 0.2643 0.2457 0.0873 0.1333 0.4667 0.2828 0.1014 264-AH 0.0000 0.4667 0.6000 0.6667 0.8000 0.5414 0.2005 0.2000 0.8000 0.3704 0.2850 0.0002 0.1483 0.2000 0.8000 0.5763 0.1486 265-AH 0.0000 0.1167 0.2667 0.2667 0.4000 0.2040 0.1092 0.1500 0.4000 0.5353 0.0629 0.0001 0.0918 0.0000 0.4000 0.2040 0.1092 266-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0586 0.0662 0.0667 0.2000 1.1293 0.0019 0.0000 0.0497 0.0000 0.1333 0.0391 0.0419 267-AH 0.0000 0.3333 0.4000 0.4667 0.6000 0.3758 0.1352 0.1333 0.6000 0.3598 0.2041 0.0002 0.0995 0.2000 0.6000 0.4000 0.0974 268-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1111 0.0461 0.0000 0.1333 0.4153 0.0396 0.0001 0.0350 0.1333 0.1333 0.1333 0.0000 269-AH 0.0667 0.1833 0.2667 0.2667 0.3333 0.2182 0.0732 0.0833 0.2667 0.3354 0.2018 0.1798 0.0610 0.0667 0.3333 0.2182 0.0732 270-AH 0.0000 0.8667 1.0000 1.0000 1.0000 0.8263 0.3266 0.1333 1.0000 0.3952 0.3997 0.0002 0.2511 0.6667 1.0000 0.9795 0.0674 271-AH 0.0667 0.5333 0.6000 0.6667 0.8000 0.5778 0.1664 0.1333 0.7333 0.2880 0.5280 0.4192 0.1051 0.4667 0.8000 0.6244 0.0753 272-AH 0.0000 0.1333 0.2000 0.2667 0.3333 0.1960 0.0999 0.1333 0.3333 0.5099 0.0620 0.0001 0.0786 0.0000 0.3333 0.1960 0.0999 273-AH 0.6667 0.9333 1.0000 1.0000 1.0000 0.9596 0.0665 0.0667 0.3333 0.0693 0.9570 0.9539 0.0465 0.8667 1.0000 0.9688 0.0414 274-AH 0.0000 0.2667 0.3333 0.4000 0.5333 0.2990 0.1345 0.1333 0.5333 0.4498 0.0939 0.0001 0.0982 0.2000 0.5333 0.3402 0.0784 275-AH 0.0000 0.3333 0.4667 0.6000 0.7333 0.4263 0.2166 0.2667 0.7333 0.5082 0.1247 0.0001 0.1774 0.0000 0.7333 0.4263 0.2166 276-AH 0.5333 0.6667 0.7333 0.8000 0.9333 0.7253 0.0894 0.1333 0.4000 0.1232 0.7198 0.7143 0.0673 0.5333 0.9333 0.7253 0.0894 277-AH 0.0667 0.2000 0.2667 0.4000 0.6000 0.3030 0.1292 0.2000 0.5333 0.4264 0.2725 0.2344 0.1021 0.0667 0.6000 0.3030 0.1292 278-AH 0.0667 0.2000 0.3333 0.4000 0.5333 0.2950 0.1167 0.2000 0.4667 0.3957 0.2641 0.2209 0.0944 0.0667 0.5333 0.2950 0.1167 279-AH 0.0000 0.0667 0.0667 0.2000 0.2667 0.1111 0.0739 0.1333 0.2667 0.6652 0.0358 0.0001 0.0646 0.0000 0.2667 0.1111 0.0739 280-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0747 0.0682 0.1333 0.2667 0.9128 0.0037 0.0000 0.0578 0.0000 0.2667 0.0747 0.0682 281-AH 0.0000 0.4667 0.6000 0.7500 0.8667 0.5657 0.2142 0.2833 0.8667 0.3786 0.2979 0.0002 0.1566 0.2667 0.8667 0.6021 0.1619 282-AH 0.0000 0.2000 0.2667 0.3500 0.4667 0.2687 0.1307 0.1500 0.4667 0.4864 0.1083 0.0001 0.0993 0.0000 0.4667 0.2687 0.1307 283-AH 0.0000 0.2667 0.4667 0.6000 0.8667 0.4444 0.2283 0.3333 0.8667 0.5137 0.2237 0.0002 0.1845 0.0000 0.8667 0.4444 0.2283 284-AH 0.2667 0.4667 0.6000 0.6667 0.7333 0.5434 0.1237 0.2000 0.4667 0.2277 0.5273 0.5082 0.1021 0.2667 0.7333 0.5434 0.1237 285-AH 0.0000 0.6000 0.8667 0.9333 1.0000 0.7212 0.2899 0.3333 1.0000 0.4019 0.3582 0.0002 0.2288 0.2667 1.0000 0.7911 0.1924 286-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0525 0.0400 0.0667 0.1333 0.7614 0.0049 0.0000 0.0318 0.0000 0.1333 0.0525 0.0400 287-AH 0.0000 0.4000 0.4667 0.5333 0.6667 0.4465 0.1429 0.1333 0.6667 0.3200 0.2435 0.0002 0.0972 0.2667 0.6667 0.4753 0.0873 288-AH 0.0000 0.2000 0.3333 0.5500 0.9333 0.3939 0.2573 0.3500 0.9333 0.6532 0.2353 0.0003 0.2112 0.0000 0.9333 0.3939 0.2573 289-AH 0.0000 0.4167 0.6667 0.7500 0.8667 0.5535 0.3221 0.3333 0.8667 0.5819 0.0627 0.0000 0.2656 0.0000 0.8667 0.5535 0.3221 290-AH 0.0000 0.1333 0.2000 0.4167 0.6000 0.2606 0.1678 0.2833 0.6000 0.6439 0.1266 0.0002 0.1429 0.0000 0.6000 0.2606 0.1678 299 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.5833 0.8000 0.9333 1.0000 0.6889 0.3112 0.3500 1.0000 0.4518 0.1937 0.0001 0.2411 0.2667 1.0000 0.7839 0.1831 292-AH 0.0000 0.2667 0.2667 0.2667 0.2667 0.2343 0.0766 0.0000 0.2667 0.3269 0.1311 0.0002 0.0529 0.2667 0.2667 0.2667 0.0000 293-AH 0.2667 0.6667 0.7333 0.7333 0.8000 0.6707 0.1343 0.0667 0.5333 0.2002 0.6516 0.6235 0.0883 0.6000 0.8000 0.7149 0.0531 294-AH 0.3333 0.5333 0.6000 0.6667 0.8000 0.5980 0.1099 0.1333 0.4667 0.1838 0.5874 0.5759 0.0755 0.4000 0.8000 0.6063 0.1007 295-AH 0.2667 0.4667 0.5333 0.5333 0.8000 0.5212 0.1136 0.0667 0.5333 0.2179 0.5087 0.4952 0.0801 0.4000 0.6000 0.5028 0.0519 296-AH 0.0000 0.3167 0.4667 0.5500 0.7333 0.4141 0.2408 0.2333 0.7333 0.5815 0.0651 0.0001 0.1936 0.0000 0.7333 0.4141 0.2408 297-AH 0.0000 0.2667 0.3333 0.3333 0.4000 0.2889 0.1089 0.0667 0.4000 0.3768 0.1203 0.0001 0.0741 0.2667 0.4000 0.3264 0.0371 298-AH 0.0000 0.2667 0.3333 0.4667 0.6000 0.3333 0.1434 0.2000 0.6000 0.4301 0.2275 0.0003 0.1131 0.0000 0.6000 0.3333 0.1434 299-AH 0.4000 0.5333 0.6667 0.7333 0.8667 0.6424 0.1321 0.2000 0.4667 0.2056 0.6285 0.6139 0.1113 0.4000 0.8667 0.6424 0.1321 300-AH 0.0667 0.2000 0.3333 0.4000 0.5333 0.3010 0.1324 0.2000 0.4667 0.4399 0.2666 0.2250 0.1101 0.0667 0.5333 0.3010 0.1324 301-AH 0.0000 0.0000 0.0000 0.3333 0.5333 0.1475 0.2159 0.3333 0.5333 1.4638 0.0007 0.0000 0.1894 0.0000 0.5333 0.1475 0.2159 302-AH 0.2667 0.2667 0.3333 0.4000 0.6000 0.3717 0.1000 0.1333 0.3333 0.2691 0.3597 0.3488 0.0800 0.2667 0.5333 0.3570 0.0835 303-AH 0.0667 0.2000 0.3333 0.4000 0.5333 0.3111 0.1411 0.2000 0.4667 0.4535 0.2651 0.2041 0.1158 0.0667 0.5333 0.3111 0.1411 304-AH 0.0000 0.2667 0.3333 0.3333 0.4000 0.2970 0.0709 0.0667 0.4000 0.2387 0.2214 0.0003 0.0496 0.2000 0.4000 0.3062 0.0475 305-AH 0.2667 0.4500 0.6000 0.6667 0.7333 0.5515 0.1326 0.2167 0.4667 0.2404 0.5338 0.5138 0.1124 0.2667 0.7333 0.5515 0.1326 306-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0626 0.0162 0.0000 0.0667 0.2579 0.0391 0.0002 0.0076 0.0667 0.0667 0.0667 0.0000 307-AH 0.1333 0.3167 0.4000 0.5333 0.6000 0.3899 0.1355 0.2167 0.4667 0.3476 0.3622 0.3294 0.1126 0.1333 0.6000 0.3899 0.1355 308-AH 0.4000 0.4667 0.5333 0.5333 0.6000 0.5131 0.0656 0.0667 0.2000 0.1278 0.5089 0.5045 0.0540 0.4000 0.6000 0.5131 0.0656 309-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0323 0.0445 0.0667 0.1333 1.3760 0.0003 0.0000 0.0392 0.0000 0.1333 0.0323 0.0445 310-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1374 0.0815 0.1333 0.3333 0.5936 0.0724 0.0002 0.0620 0.0000 0.3333 0.1374 0.0815 311-AH 0.1333 0.2667 0.4667 0.5333 0.9333 0.4283 0.1958 0.2667 0.8000 0.4572 0.3796 0.3264 0.1550 0.1333 0.9333 0.4283 0.1958 312-AH 0.0667 0.4000 0.6000 0.6667 0.8667 0.5616 0.1772 0.2667 0.8000 0.3155 0.5210 0.4401 0.1469 0.0667 0.8667 0.5616 0.1772 313-AH 0.0000 0.0000 0.0667 0.1500 0.3333 0.0970 0.1107 0.1500 0.3333 1.1413 0.0040 0.0000 0.0907 0.0000 0.3333 0.0970 0.1107 314-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0283 0.0442 0.0667 0.2000 1.5625 0.0003 0.0000 0.0360 0.0000 0.0667 0.0229 0.0322 315-AH 0.4667 0.5333 0.6000 0.6667 0.7333 0.6000 0.0882 0.1333 0.2667 0.1470 0.5936 0.5872 0.0727 0.4667 0.7333 0.6000 0.0882 316-AH 0.0000 0.0667 0.2000 0.3333 0.4000 0.2040 0.1353 0.2667 0.4000 0.6633 0.0463 0.0001 0.1135 0.0000 0.4000 0.2040 0.1353 317-AH 0.0000 0.2667 0.3333 0.4000 0.5333 0.3273 0.1251 0.1333 0.5333 0.3823 0.1781 0.0002 0.0885 0.1333 0.5333 0.3484 0.0954 318-AH 0.0000 0.0000 0.1333 0.2667 0.3333 0.1253 0.1245 0.2667 0.3333 0.9936 0.0039 0.0000 0.1058 0.0000 0.3333 0.1253 0.1245 319-AH 0.0667 0.2667 0.3333 0.4667 0.6000 0.3515 0.1387 0.2000 0.5333 0.3946 0.3136 0.2593 0.1157 0.0667 0.6000 0.3515 0.1387 320-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0545 0.0588 0.0667 0.2000 1.0783 0.0018 0.0000 0.0463 0.0000 0.1333 0.0452 0.0468 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0667 0.0601 0.1333 0.2000 0.9014 0.0035 0.0000 0.0485 0.0000 0.2000 0.0667 0.0601 323-AH 0.0667 0.3333 0.4000 0.4000 0.4667 0.3616 0.0986 0.0667 0.4000 0.2728 0.3398 0.3008 0.0737 0.2667 0.4667 0.3867 0.0591 324-AH 0.0000 0.2500 0.6000 0.8000 0.9333 0.5313 0.3310 0.5500 0.9333 0.6230 0.0788 0.0001 0.2814 0.0000 0.9333 0.5313 0.3310 325-AH 0.1333 0.6667 0.6667 0.8000 0.9333 0.6950 0.1344 0.1333 0.8000 0.1934 0.6721 0.6212 0.0874 0.5333 0.9333 0.7125 0.0903 326-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1131 0.0424 0.0000 0.1333 0.3752 0.0517 0.0001 0.0318 0.1333 0.1333 0.1333 0.0000 327-AH 0.0000 0.0000 0.1333 0.2667 0.2667 0.1354 0.1161 0.2667 0.2667 0.8574 0.0088 0.0000 0.1073 0.0000 0.2667 0.1354 0.1161 328-AH 0.3333 0.4667 0.5333 0.6667 0.8000 0.5475 0.1164 0.2000 0.4667 0.2126 0.5355 0.5237 0.0979 0.3333 0.8000 0.5475 0.1164 329-AH 0.3333 0.5167 0.6000 0.6667 0.7333 0.5838 0.1054 0.1500 0.4000 0.1806 0.5740 0.5633 0.0842 0.3333 0.7333 0.5838 0.1054 330-AH 0.0000 0.8000 0.9333 1.0000 1.0000 0.7758 0.3157 0.2000 1.0000 0.4070 0.2918 0.0001 0.2428 0.5333 1.0000 0.8952 0.1314 331-AH 0.0000 0.1333 0.2667 0.4000 0.6667 0.2929 0.1810 0.2667 0.6667 0.6179 0.1430 0.0002 0.1442 0.0000 0.6667 0.2929 0.1810 332-AH 0.0000 0.1667 0.2000 0.2667 0.2667 0.1919 0.0924 0.1000 0.2667 0.4816 0.0784 0.0001 0.0728 0.0667 0.2667 0.2111 0.0724 333-AH 0.0000 0.3333 0.3333 0.3333 0.3333 0.2747 0.1233 0.0000 0.3333 0.4489 0.0665 0.0001 0.0923 0.3333 0.3333 0.3333 0.0000 334-AH 0.1333 0.1333 0.1333 0.2000 0.2000 0.1657 0.0338 0.0667 0.0667 0.2042 0.1623 0.1590 0.0333 0.1333 0.2000 0.1657 0.0338 335-AH 0.0000 0.2000 0.2000 0.2667 0.4667 0.2384 0.1054 0.0667 0.4667 0.4424 0.1667 0.0003 0.0759 0.1333 0.3333 0.2282 0.0468 336-AH 0.0000 0.0000 0.0667 0.2000 0.5333 0.1030 0.1365 0.2000 0.5333 1.3250 0.0015 0.0000 0.1109 0.0000 0.3333 0.0896 0.1144 337-AH 0.5333 0.6500 0.8000 0.8667 0.8667 0.7374 0.1224 0.2167 0.3334 0.1660 0.7266 0.7151 0.1009 0.5333 0.8667 0.7374 0.1224 338-AH 0.0000 0.3333 0.4667 0.4834 0.6667 0.3879 0.1712 0.1500 0.6667 0.4413 0.1181 0.0001 0.1253 0.2000 0.6667 0.4414 0.0950 339-AH 0.0000 0.4667 0.6667 0.6667 0.8000 0.5354 0.2530 0.2000 0.8000 0.4726 0.1164 0.0001 0.1953 0.4000 0.8000 0.6310 0.1154 340-AH 0.1333 0.2667 0.2667 0.2667 0.3333 0.2626 0.0551 0.0000 0.2000 0.2099 0.2557 0.2472 0.0349 0.2667 0.2667 0.2667 0.0000 300 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0667 0.2667 0.3333 0.4000 0.4000 0.3253 0.0924 0.1333 0.3333 0.2842 0.3030 0.2624 0.0678 0.1333 0.4000 0.3419 0.0661 342-AH 0.0000 0.7333 0.8667 0.8667 0.9333 0.7778 0.2145 0.1333 0.9333 0.2758 0.4150 0.0002 0.1253 0.6667 0.9333 0.8280 0.0785 343-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0141 0.0277 0.0000 0.0667 1.9571 0.0001 0.0000 0.0223 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.4667 0.5333 0.7333 0.9333 0.5980 0.1860 0.2666 0.9333 0.3110 0.4289 0.0003 0.1434 0.4000 0.9333 0.6167 0.1543 345-AH 0.0000 0.0667 0.1333 0.1500 0.3333 0.1232 0.0945 0.0833 0.3333 0.7665 0.0183 0.0000 0.0729 0.0000 0.2667 0.1167 0.0880 346-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0505 0.0624 0.0667 0.2000 1.2361 0.0011 0.0000 0.0490 0.0000 0.1333 0.0356 0.0419 347-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0444 0.0491 0.0667 0.1333 1.1040 0.0010 0.0000 0.0431 0.0000 0.1333 0.0444 0.0491 348-AH 0.0000 0.1000 0.1333 0.1333 0.1333 0.1010 0.0580 0.0334 0.1333 0.5745 0.0133 0.0000 0.0490 0.1333 0.1333 0.1333 0.0000 349-AH 0.0667 0.3333 0.4667 0.5500 0.8667 0.4646 0.2170 0.2167 0.8000 0.4670 0.4080 0.3362 0.1677 0.0667 0.8667 0.4646 0.2170 350-AH 0.1333 0.4000 0.4667 0.4667 0.5333 0.4323 0.0748 0.0667 0.4000 0.1729 0.4227 0.4066 0.0540 0.3333 0.5333 0.4417 0.0529 301 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0424 0.0182 0.0000 0.0500 0.4291 0.0138 0.0001 0.0129 0.0500 0.0500 0.0500 0.0000 142-AH 0.2000 0.3500 0.3500 0.4000 0.4000 0.3485 0.0679 0.0500 0.2000 0.1948 0.3407 0.3314 0.0509 0.3500 0.4000 0.3808 0.0248 143-AH 0.6000 0.8000 0.9000 1.0000 1.0000 0.9015 0.1004 0.2000 0.4000 0.1113 0.8957 0.8893 0.0835 0.6000 1.0000 0.9015 0.1004 144-AH 0.0000 0.0875 0.1500 0.1500 0.1500 0.1061 0.0583 0.0625 0.1500 0.5497 0.0224 0.0001 0.0479 0.0000 0.1500 0.1061 0.0583 145-AH 0.5500 0.7000 0.7500 0.8000 0.9000 0.7439 0.0704 0.1000 0.3500 0.0947 0.7406 0.7371 0.0532 0.5500 0.9000 0.7439 0.0704 146-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0485 0.0087 0.0000 0.0500 0.1795 0.0386 0.0003 0.0029 0.0500 0.0500 0.0500 0.0000 147-AH 0.5000 0.7375 0.8000 0.9125 1.0000 0.8212 0.1358 0.1750 0.5000 0.1654 0.8094 0.7968 0.1128 0.5000 1.0000 0.8212 0.1358 148-AH 0.0000 0.0500 0.0500 0.0500 0.1000 0.0545 0.0192 0.0000 0.1000 0.3523 0.0420 0.0003 0.0110 0.0500 0.0500 0.0500 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.1000 0.2000 0.2500 0.1091 0.0947 0.2000 0.2500 0.8685 0.0060 0.0000 0.0857 0.0000 0.2500 0.1091 0.0947 151-AH 0.0000 0.0000 0.2000 0.2500 0.3500 0.1545 0.1175 0.2500 0.3500 0.7603 0.0102 0.0000 0.1039 0.0000 0.3500 0.1545 0.1175 152-AH 0.0000 0.1500 0.2500 0.3500 0.4000 0.2515 0.1162 0.2000 0.4000 0.4622 0.1325 0.0002 0.0925 0.0000 0.4000 0.2515 0.1162 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.2500 0.3500 0.4000 0.5500 0.3167 0.1242 0.1500 0.5500 0.3921 0.1714 0.0002 0.0929 0.1500 0.5500 0.3371 0.0966 155-AH 0.0500 0.0500 0.1000 0.1000 0.1500 0.0924 0.0334 0.0500 0.1000 0.3609 0.0862 0.0798 0.0257 0.0500 0.1500 0.0924 0.0334 156-AH 0.0000 0.0875 0.1500 0.2125 0.5000 0.1697 0.1068 0.1250 0.5000 0.6291 0.1080 0.0003 0.0821 0.0000 0.3500 0.1594 0.0902 157-AH 0.0000 0.4250 0.6000 0.7000 0.9000 0.5333 0.2420 0.2750 0.9000 0.4537 0.2646 0.0002 0.1869 0.1000 0.9000 0.5677 0.2056 158-AH 0.0000 0.5000 0.6000 0.6500 0.9000 0.5606 0.1560 0.1500 0.9000 0.2783 0.4054 0.0003 0.1042 0.3000 0.7500 0.5677 0.1077 159-AH 0.0500 0.2000 0.3000 0.5250 0.9000 0.3742 0.2475 0.3250 0.8500 0.6614 0.2957 0.2180 0.1975 0.0500 0.9000 0.3742 0.2475 160-AH 0.0000 0.0500 0.0500 0.0500 0.1000 0.0500 0.0306 0.0000 0.1000 0.6124 0.0121 0.0001 0.0182 0.0500 0.0500 0.0500 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0455 0.0146 0.0000 0.0500 0.3211 0.0231 0.0001 0.0083 0.0500 0.0500 0.0500 0.0000 163-AH 0.7500 0.9500 1.0000 1.0000 1.0000 0.9682 0.0597 0.0500 0.2500 0.0617 0.9662 0.9640 0.0424 0.9000 1.0000 0.9806 0.0334 164-AH 0.0000 0.0500 0.1000 0.1500 0.4000 0.1242 0.1133 0.1000 0.4000 0.9117 0.0220 0.0001 0.0855 0.0000 0.3000 0.0983 0.0804 165-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0470 0.0121 0.0000 0.0500 0.2579 0.0298 0.0002 0.0057 0.0500 0.0500 0.0500 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0818 0.0481 0.0500 0.1500 0.5881 0.0283 0.0001 0.0410 0.0000 0.1500 0.0818 0.0481 168-AH 0.0000 0.3500 0.4000 0.4500 0.6500 0.3455 0.1877 0.1000 0.6500 0.5432 0.0747 0.0001 0.1405 0.3500 0.5500 0.4260 0.0647 169-AH 0.0000 0.0000 0.0500 0.0500 0.1500 0.0379 0.0376 0.0500 0.1500 0.9917 0.0019 0.0000 0.0298 0.0000 0.1000 0.0344 0.0322 170-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0455 0.0146 0.0000 0.0500 0.3211 0.0231 0.0001 0.0083 0.0500 0.0500 0.0500 0.0000 171-AH 0.0000 0.0000 0.1000 0.1500 0.2000 0.0879 0.0650 0.1500 0.2000 0.7395 0.0088 0.0000 0.0571 0.0000 0.2000 0.0879 0.0650 172-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.0970 0.0599 0.1000 0.2000 0.6174 0.0257 0.0001 0.0465 0.0000 0.2000 0.0970 0.0599 173-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 174-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 175-AH 0.2500 0.3000 0.3000 0.3000 0.3500 0.3091 0.0232 0.0000 0.1000 0.0752 0.3083 0.3075 0.0174 0.3000 0.3000 0.3000 0.0000 176-AH 0.3500 0.9375 1.0000 1.0000 1.0000 0.9455 0.1188 0.0625 0.6500 0.1257 0.9335 0.9127 0.0645 0.8500 1.0000 0.9694 0.0441 177-AH 0.0000 0.2500 0.3000 0.4000 0.4500 0.2864 0.1371 0.1500 0.4500 0.4787 0.1417 0.0002 0.1017 0.0500 0.4500 0.3048 0.1193 178-AH 0.0000 0.0375 0.0500 0.1000 0.1500 0.0561 0.0446 0.0625 0.1500 0.7964 0.0079 0.0000 0.0331 0.0000 0.1500 0.0561 0.0446 179-AH 0.0500 0.4500 0.5500 0.7000 0.9500 0.5455 0.1774 0.2500 0.9000 0.3252 0.4991 0.3966 0.1300 0.2000 0.9500 0.5609 0.1559 180-AH 0.0000 0.2875 0.6000 0.7500 0.8000 0.5091 0.2740 0.4625 0.8000 0.5382 0.2408 0.0002 0.2471 0.0000 0.8000 0.5091 0.2740 181-AH 0.6000 0.8375 0.9000 0.9625 1.0000 0.8879 0.1153 0.1250 0.4000 0.1298 0.8796 0.8703 0.0889 0.7000 1.0000 0.9150 0.0789 182-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.0939 0.0541 0.1000 0.2000 0.5763 0.0402 0.0001 0.0464 0.0000 0.2000 0.0939 0.0541 183-AH 0.0000 0.0500 0.1000 0.2000 0.2000 0.1167 0.0826 0.1500 0.2000 0.7080 0.0176 0.0000 0.0747 0.0000 0.2000 0.1167 0.0826 184-AH 0.0500 0.2500 0.3000 0.3000 0.3500 0.2727 0.0663 0.0500 0.3000 0.2429 0.2566 0.2208 0.0435 0.2500 0.3500 0.2871 0.0341 185-AH 0.0000 0.0375 0.0500 0.0500 0.0500 0.0379 0.0218 0.0125 0.0500 0.5745 0.0063 0.0000 0.0184 0.0500 0.0500 0.0500 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0455 0.0146 0.0000 0.0500 0.3211 0.0231 0.0001 0.0083 0.0500 0.0500 0.0500 0.0000 188-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0136 0.0226 0.0500 0.0500 1.6583 0.0001 0.0000 0.0198 0.0000 0.0500 0.0136 0.0226 189-AH 0.0000 0.3000 0.3500 0.3500 0.3500 0.3182 0.0748 0.0500 0.3500 0.2351 0.2351 0.0003 0.0444 0.2500 0.3500 0.3355 0.0264 190-AH 0.1000 0.2375 0.3500 0.3500 0.4500 0.3000 0.0740 0.1125 0.3500 0.2465 0.2889 0.2744 0.0576 0.1000 0.4500 0.3000 0.0740 302 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.1000 0.1500 0.1500 0.2500 0.3000 0.1955 0.0689 0.1000 0.2000 0.3524 0.1838 0.1728 0.0590 0.1000 0.3000 0.1955 0.0689 193-AH 0.1000 0.1500 0.2500 0.2500 0.3000 0.2197 0.0624 0.1000 0.2000 0.2841 0.2100 0.1992 0.0543 0.1000 0.3000 0.2197 0.0624 194-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0364 0.0226 0.0500 0.0500 0.6219 0.0049 0.0000 0.0198 0.0000 0.0500 0.0364 0.0226 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 197-AH 0.0000 0.6625 0.8500 1.0000 1.0000 0.7227 0.3525 0.3375 1.0000 0.4877 0.3218 0.0002 0.2807 0.2500 1.0000 0.8446 0.2127 198-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0439 0.0166 0.0000 0.0500 0.3771 0.0178 0.0001 0.0107 0.0500 0.0500 0.0500 0.0000 199-AH 0.3000 0.4000 0.4500 0.4500 0.4500 0.4227 0.0469 0.0500 0.1500 0.1110 0.4198 0.4164 0.0364 0.3500 0.4500 0.4350 0.0267 200-AH 0.0000 0.2500 0.3000 0.4000 0.4500 0.3121 0.0936 0.1500 0.4500 0.2998 0.2277 0.0003 0.0701 0.1500 0.4500 0.3219 0.0761 251-AH 0.4000 0.8375 0.8500 0.9000 0.9500 0.8212 0.1352 0.0625 0.5500 0.1647 0.8062 0.7853 0.0860 0.7500 0.9500 0.8655 0.0445 252-AH 0.0000 0.4000 0.5000 0.5500 0.6500 0.4652 0.1523 0.1500 0.6500 0.3275 0.3237 0.0003 0.1119 0.2000 0.6500 0.4935 0.1047 253-AH 0.1000 0.4500 0.7000 0.8500 0.9000 0.6288 0.2462 0.4000 0.8000 0.3916 0.5560 0.4502 0.2088 0.1000 0.9000 0.6288 0.2462 254-AH 0.1000 0.2875 0.4000 0.4500 0.7500 0.3712 0.1673 0.1625 0.6500 0.4506 0.3254 0.2706 0.1266 0.1000 0.6500 0.3594 0.1553 255-AH 0.0500 0.1000 0.1500 0.2000 0.2000 0.1394 0.0527 0.1000 0.1500 0.3779 0.1271 0.1125 0.0438 0.0500 0.2000 0.1394 0.0527 256-AH 0.0000 0.6250 0.8500 0.9000 1.0000 0.7106 0.3176 0.2750 1.0000 0.4470 0.2622 0.0001 0.2543 0.2500 1.0000 0.8034 0.2026 257-AH 0.0500 0.2875 0.3500 0.4000 0.5000 0.3212 0.1299 0.1125 0.4500 0.4045 0.2742 0.1972 0.1016 0.1500 0.5000 0.3586 0.0856 258-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0576 0.0614 0.1000 0.2000 1.0663 0.0024 0.0000 0.0500 0.0000 0.2000 0.0576 0.0614 259-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0879 0.0307 0.0000 0.1000 0.3493 0.0415 0.0001 0.0206 0.1000 0.1000 0.1000 0.0000 260-AH 0.0000 0.7000 0.8000 0.8500 0.9000 0.7409 0.2082 0.1500 0.9000 0.2810 0.3958 0.0002 0.1253 0.5000 0.9000 0.7887 0.0854 261-AH 0.0500 0.2500 0.3000 0.5500 0.7000 0.3652 0.1637 0.3000 0.6500 0.4483 0.3262 0.2750 0.1354 0.0500 0.7000 0.3652 0.1637 262-AH 0.1000 0.4375 0.6500 0.7500 0.8000 0.5515 0.2010 0.3125 0.7000 0.3644 0.5008 0.4276 0.1711 0.1000 0.8000 0.5515 0.2010 263-AH 0.1000 0.2500 0.3000 0.3500 0.4500 0.2894 0.0974 0.1000 0.3500 0.3367 0.2698 0.2454 0.0782 0.1500 0.4500 0.3083 0.0800 264-AH 0.0000 0.3875 0.5500 0.6000 0.6500 0.4667 0.1703 0.2125 0.6500 0.3650 0.2488 0.0002 0.1343 0.2000 0.6500 0.4968 0.1245 265-AH 0.0000 0.0875 0.2000 0.2500 0.3000 0.1727 0.0928 0.1625 0.3000 0.5371 0.0539 0.0001 0.0760 0.0000 0.3000 0.1727 0.0928 266-AH 0.0000 0.0000 0.0500 0.0500 0.2000 0.0500 0.0559 0.0500 0.2000 1.1180 0.0022 0.0000 0.0394 0.0000 0.1000 0.0304 0.0314 267-AH 0.0000 0.2875 0.3000 0.4000 0.4500 0.3091 0.1042 0.1125 0.4500 0.3370 0.1714 0.0002 0.0736 0.2000 0.4500 0.3290 0.0693 268-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0833 0.0346 0.0000 0.1000 0.4153 0.0307 0.0001 0.0263 0.1000 0.1000 0.1000 0.0000 269-AH 0.0500 0.1500 0.2000 0.2125 0.3000 0.1833 0.0608 0.0625 0.2500 0.3317 0.1694 0.1491 0.0475 0.1000 0.3000 0.1967 0.0454 270-AH 0.0000 0.8250 0.9500 0.9500 1.0000 0.7939 0.3194 0.1250 1.0000 0.4023 0.4925 0.0003 0.2516 0.9000 1.0000 0.9600 0.0250 271-AH 0.0500 0.5000 0.5500 0.6000 0.6500 0.5136 0.1336 0.1000 0.6000 0.2602 0.4772 0.3840 0.0865 0.4000 0.6500 0.5500 0.0630 272-AH 0.0000 0.1000 0.2000 0.2500 0.3000 0.1788 0.0884 0.1500 0.3000 0.4945 0.0926 0.0002 0.0720 0.0000 0.3000 0.1788 0.0884 273-AH 0.5500 0.9500 0.9500 1.0000 1.0000 0.9409 0.0795 0.0500 0.4500 0.0845 0.9367 0.9310 0.0416 0.9000 1.0000 0.9565 0.0335 274-AH 0.0000 0.2500 0.3000 0.3500 0.4500 0.2697 0.1179 0.1000 0.4500 0.4371 0.0861 0.0001 0.0864 0.2000 0.4500 0.3069 0.0637 275-AH 0.0000 0.3375 0.4500 0.6000 0.8000 0.4318 0.2161 0.2625 0.8000 0.5004 0.1264 0.0001 0.1656 0.0000 0.8000 0.4318 0.2161 276-AH 0.4500 0.6000 0.7000 0.7500 0.9000 0.6773 0.0911 0.1500 0.4500 0.1345 0.6709 0.6641 0.0713 0.4500 0.9000 0.6773 0.0911 277-AH 0.1000 0.2500 0.3000 0.3500 0.5500 0.3197 0.0992 0.1000 0.4500 0.3102 0.3020 0.2790 0.0748 0.2000 0.4500 0.3207 0.0688 278-AH 0.0500 0.2000 0.2500 0.3500 0.4500 0.2561 0.1066 0.1500 0.4000 0.4164 0.2259 0.1826 0.0884 0.0500 0.4500 0.2561 0.1066 279-AH 0.0000 0.0500 0.0500 0.1500 0.2000 0.0848 0.0552 0.1000 0.2000 0.6503 0.0284 0.0001 0.0480 0.0000 0.2000 0.0848 0.0552 280-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0712 0.0600 0.1000 0.2000 0.8424 0.0047 0.0000 0.0513 0.0000 0.2000 0.0712 0.0600 281-AH 0.0000 0.4375 0.5000 0.6500 0.8500 0.5091 0.2006 0.2125 0.8500 0.3940 0.2686 0.0002 0.1488 0.2500 0.8500 0.5419 0.1566 282-AH 0.0000 0.2000 0.3000 0.3500 0.4500 0.2636 0.1148 0.1500 0.4500 0.4353 0.1090 0.0001 0.0895 0.0000 0.4500 0.2636 0.1148 283-AH 0.0000 0.2500 0.4000 0.5500 0.7500 0.4091 0.2033 0.3000 0.7500 0.4969 0.2075 0.0002 0.1639 0.0000 0.7500 0.4091 0.2033 284-AH 0.3500 0.4500 0.5500 0.6000 0.7000 0.5455 0.0987 0.1500 0.3500 0.1810 0.5359 0.5255 0.0788 0.3500 0.7000 0.5455 0.0987 285-AH 0.0000 0.6000 0.8000 0.9000 1.0000 0.7000 0.2839 0.3000 1.0000 0.4056 0.3438 0.0002 0.2182 0.2000 1.0000 0.7683 0.1891 286-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0530 0.0432 0.1000 0.1500 0.8145 0.0061 0.0000 0.0317 0.0000 0.1500 0.0530 0.0432 287-AH 0.0000 0.4500 0.5000 0.5125 0.6000 0.4561 0.1374 0.0625 0.6000 0.3012 0.2494 0.0002 0.0839 0.4000 0.6000 0.4983 0.0543 288-AH 0.0500 0.2000 0.3500 0.5500 0.9000 0.3985 0.2399 0.3500 0.8500 0.6022 0.3220 0.2435 0.1984 0.0500 0.9000 0.3985 0.2399 289-AH 0.0000 0.4250 0.6500 0.7000 0.8000 0.5076 0.2937 0.2750 0.8000 0.5787 0.0583 0.0000 0.2431 0.0500 0.8000 0.6442 0.1374 290-AH 0.0000 0.1500 0.2500 0.4000 0.6000 0.2773 0.1596 0.2500 0.6000 0.5757 0.1791 0.0003 0.1358 0.0000 0.6000 0.2773 0.1596 303 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.4750 0.7500 0.8000 0.9000 0.6061 0.2806 0.3250 0.9000 0.4629 0.1719 0.0001 0.2249 0.0000 0.9000 0.6061 0.2806 292-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1773 0.0574 0.0000 0.2000 0.3238 0.1009 0.0002 0.0386 0.2000 0.2000 0.2000 0.0000 293-AH 0.2000 0.6000 0.7000 0.7000 0.8000 0.6318 0.1397 0.1000 0.6000 0.2210 0.6080 0.5689 0.0981 0.5500 0.8000 0.6759 0.0621 294-AH 0.3500 0.5500 0.6500 0.7000 0.7500 0.6152 0.1004 0.1500 0.4000 0.1632 0.6063 0.5963 0.0804 0.3500 0.7500 0.6152 0.1004 295-AH 0.3000 0.4000 0.5000 0.5500 0.7500 0.4909 0.1049 0.1500 0.4500 0.2137 0.4801 0.4693 0.0826 0.3000 0.7500 0.4909 0.1049 296-AH 0.0000 0.2750 0.4500 0.5500 0.6500 0.3788 0.2222 0.2750 0.6500 0.5866 0.0770 0.0001 0.1763 0.0000 0.6500 0.3788 0.2222 297-AH 0.0000 0.2000 0.2500 0.2500 0.3500 0.2273 0.0761 0.0500 0.3500 0.3350 0.1278 0.0002 0.0512 0.2000 0.3000 0.2482 0.0288 298-AH 0.0000 0.2000 0.3000 0.4000 0.5500 0.2985 0.1314 0.2000 0.5500 0.4402 0.2051 0.0003 0.0988 0.0000 0.5500 0.2985 0.1314 299-AH 0.3000 0.5500 0.6000 0.7000 0.8500 0.6015 0.1433 0.1500 0.5500 0.2383 0.5830 0.5625 0.1108 0.3500 0.8500 0.6109 0.1348 300-AH 0.0500 0.2000 0.3000 0.3625 0.5000 0.2970 0.1262 0.1625 0.4500 0.4250 0.2611 0.2105 0.1037 0.0500 0.5000 0.2970 0.1262 301-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1227 0.1773 0.2500 0.5000 1.4443 0.0011 0.0000 0.1529 0.0000 0.5000 0.1227 0.1773 302-AH 0.2000 0.2500 0.3000 0.4000 0.5000 0.3242 0.0858 0.1500 0.3000 0.2646 0.3131 0.3021 0.0703 0.2000 0.5000 0.3242 0.0858 303-AH 0.0500 0.1875 0.3000 0.3625 0.4500 0.2682 0.1230 0.1750 0.4000 0.4586 0.2244 0.1643 0.1022 0.0500 0.4500 0.2682 0.1230 304-AH 0.1000 0.2000 0.2500 0.2500 0.3500 0.2439 0.0496 0.0500 0.2500 0.2034 0.2383 0.2312 0.0331 0.1500 0.3000 0.2417 0.0349 305-AH 0.2500 0.4000 0.5000 0.5500 0.6500 0.4833 0.0997 0.1500 0.4000 0.2064 0.4720 0.4593 0.0818 0.2500 0.6500 0.4833 0.0997 306-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 307-AH 0.1500 0.3375 0.4000 0.4500 0.5500 0.3909 0.0964 0.1125 0.4000 0.2466 0.3769 0.3597 0.0763 0.2500 0.5500 0.3984 0.0875 308-AH 0.3000 0.3875 0.4000 0.4500 0.5000 0.4061 0.0596 0.0625 0.2000 0.1469 0.4017 0.3971 0.0444 0.3000 0.5000 0.4061 0.0596 309-AH 0.0000 0.0375 0.0500 0.0500 0.1500 0.0500 0.0395 0.0125 0.1500 0.7906 0.0074 0.0000 0.0242 0.0500 0.0500 0.0500 0.0000 310-AH 0.0000 0.1000 0.1500 0.1625 0.3500 0.1364 0.0676 0.0625 0.3500 0.4960 0.0758 0.0002 0.0504 0.0500 0.2500 0.1383 0.0468 311-AH 0.1500 0.3375 0.5000 0.5500 0.8500 0.4591 0.1693 0.2125 0.7000 0.3688 0.4247 0.3848 0.1300 0.1500 0.8500 0.4591 0.1693 312-AH 0.0500 0.4375 0.5500 0.6500 0.7500 0.5409 0.1553 0.2125 0.7000 0.2872 0.5031 0.4075 0.1256 0.3500 0.7500 0.5562 0.1300 313-AH 0.0000 0.0000 0.0500 0.1625 0.2500 0.0848 0.0861 0.1625 0.2500 1.0152 0.0061 0.0000 0.0725 0.0000 0.2500 0.0848 0.0861 314-AH 0.0000 0.0000 0.0500 0.0500 0.2000 0.0333 0.0427 0.0500 0.2000 1.2809 0.0009 0.0000 0.0323 0.0000 0.1000 0.0281 0.0309 315-AH 0.3500 0.5500 0.6000 0.7000 0.7500 0.5970 0.1060 0.1500 0.4000 0.1776 0.5871 0.5764 0.0853 0.3500 0.7500 0.5970 0.1060 316-AH 0.0000 0.1000 0.2500 0.3000 0.4000 0.2030 0.1340 0.2000 0.4000 0.6601 0.0464 0.0001 0.1181 0.0000 0.4000 0.2030 0.1340 317-AH 0.0000 0.2500 0.3000 0.3500 0.4500 0.3030 0.1007 0.1000 0.4500 0.3324 0.1685 0.0002 0.0698 0.2000 0.4500 0.3226 0.0656 318-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1182 0.1074 0.2000 0.3000 0.9087 0.0050 0.0000 0.0926 0.0000 0.3000 0.1182 0.1074 319-AH 0.0500 0.2375 0.3500 0.4500 0.5500 0.3212 0.1212 0.2125 0.5000 0.3774 0.2911 0.2471 0.1011 0.0500 0.5500 0.3212 0.1212 320-AH 0.0000 0.0500 0.0500 0.1000 0.2000 0.0652 0.0552 0.0500 0.2000 0.8469 0.0109 0.0000 0.0433 0.0000 0.1500 0.0609 0.0504 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0375 0.0500 0.1000 0.1500 0.0606 0.0446 0.0625 0.1500 0.7367 0.0085 0.0000 0.0371 0.0000 0.1500 0.0606 0.0446 323-AH 0.0500 0.3000 0.3000 0.3500 0.4500 0.2970 0.0810 0.0500 0.4000 0.2726 0.2781 0.2425 0.0476 0.2500 0.4000 0.3179 0.0311 324-AH 0.0000 0.2375 0.6000 0.7500 0.8500 0.4924 0.3055 0.5125 0.8500 0.6203 0.0740 0.0001 0.2607 0.0000 0.8500 0.4924 0.3055 325-AH 0.1000 0.6000 0.7000 0.7500 0.8500 0.6636 0.1359 0.1500 0.7500 0.2048 0.6368 0.5696 0.0917 0.4500 0.8500 0.6812 0.0922 326-AH 0.0000 0.1000 0.1000 0.1000 0.1500 0.0894 0.0325 0.0000 0.1500 0.3635 0.0420 0.0001 0.0210 0.1000 0.1000 0.1000 0.0000 327-AH 0.0000 0.0375 0.1000 0.2000 0.2000 0.1076 0.0830 0.1625 0.2000 0.7718 0.0126 0.0000 0.0749 0.0000 0.2000 0.1076 0.0830 328-AH 0.4500 0.4500 0.5500 0.6000 0.8000 0.5470 0.0847 0.1500 0.3500 0.1549 0.5409 0.5352 0.0643 0.4500 0.8000 0.5470 0.0847 329-AH 0.4000 0.5375 0.5500 0.6000 0.7000 0.5636 0.0742 0.0625 0.3000 0.1317 0.5587 0.5537 0.0551 0.4500 0.6000 0.5556 0.0424 330-AH 0.0000 0.7250 0.8500 0.9000 1.0000 0.7288 0.3008 0.1750 1.0000 0.4127 0.2746 0.0001 0.2352 0.5000 1.0000 0.8556 0.1121 331-AH 0.0000 0.2000 0.2500 0.3500 0.6000 0.2712 0.1576 0.1500 0.6000 0.5812 0.1342 0.0002 0.1201 0.0000 0.5500 0.2609 0.1485 332-AH 0.0000 0.1375 0.2000 0.2000 0.2500 0.1652 0.0795 0.0625 0.2500 0.4816 0.0683 0.0001 0.0646 0.0500 0.2500 0.1817 0.0623 333-AH 0.0000 0.2500 0.2500 0.2500 0.2500 0.2076 0.0911 0.0000 0.2500 0.4389 0.0527 0.0001 0.0669 0.2500 0.2500 0.2500 0.0000 334-AH 0.1000 0.1000 0.1500 0.1500 0.1500 0.1303 0.0248 0.0500 0.0500 0.1904 0.1279 0.1253 0.0239 0.1000 0.1500 0.1303 0.0248 335-AH 0.0000 0.1875 0.2000 0.2500 0.4000 0.2136 0.0822 0.0625 0.4000 0.3849 0.1541 0.0003 0.0598 0.1000 0.3000 0.2000 0.0527 336-AH 0.0000 0.0000 0.0500 0.2000 0.5000 0.0924 0.1173 0.2000 0.5000 1.2696 0.0029 0.0000 0.0934 0.0000 0.5000 0.0924 0.1173 337-AH 0.4500 0.6500 0.7500 0.8000 0.8000 0.7030 0.1075 0.1500 0.3500 0.1529 0.6939 0.6834 0.0844 0.4500 0.8000 0.7030 0.1075 338-AH 0.0000 0.2500 0.4000 0.4125 0.5000 0.3212 0.1431 0.1625 0.5000 0.4455 0.0999 0.0001 0.1102 0.2000 0.5000 0.3655 0.0814 339-AH 0.0000 0.4500 0.5500 0.6500 0.7500 0.4955 0.2299 0.2000 0.7500 0.4641 0.1094 0.0001 0.1702 0.3500 0.7500 0.5839 0.0953 340-AH 0.1500 0.2000 0.2500 0.2500 0.2500 0.2348 0.0265 0.0500 0.1000 0.1127 0.2332 0.2313 0.0220 0.1500 0.2500 0.2348 0.0265 304 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0500 0.2375 0.2500 0.3000 0.3000 0.2485 0.0690 0.0625 0.2500 0.2777 0.2316 0.2000 0.0478 0.2000 0.3000 0.2667 0.0379 342-AH 0.0000 0.7000 0.8000 0.9000 0.9500 0.7576 0.2158 0.2000 0.9500 0.2849 0.4040 0.0002 0.1328 0.6500 0.9500 0.8065 0.0946 343-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0136 0.0226 0.0500 0.0500 1.6583 0.0001 0.0000 0.0198 0.0000 0.0500 0.0136 0.0226 344-AH 0.0000 0.5000 0.6000 0.6125 0.8500 0.5667 0.1560 0.1125 0.8500 0.2752 0.4108 0.0003 0.1071 0.4000 0.7500 0.5603 0.0976 345-AH 0.0000 0.0500 0.1000 0.1625 0.3000 0.1288 0.0839 0.1125 0.3000 0.6513 0.0518 0.0001 0.0678 0.0000 0.3000 0.1288 0.0839 346-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0561 0.0527 0.1000 0.1500 0.9396 0.0038 0.0000 0.0418 0.0000 0.1500 0.0561 0.0527 347-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0515 0.0385 0.1000 0.1000 0.7473 0.0060 0.0000 0.0294 0.0000 0.1000 0.0515 0.0385 348-AH 0.0000 0.0750 0.1000 0.1000 0.1000 0.0758 0.0435 0.0250 0.1000 0.5745 0.0107 0.0000 0.0367 0.1000 0.1000 0.1000 0.0000 349-AH 0.0500 0.3000 0.4500 0.5125 0.7500 0.4227 0.1659 0.2125 0.7000 0.3924 0.3814 0.3148 0.1358 0.0500 0.7500 0.4227 0.1659 350-AH 0.1000 0.3500 0.3500 0.3500 0.4000 0.3379 0.0531 0.0000 0.3000 0.1571 0.3312 0.3188 0.0312 0.3500 0.3500 0.3500 0.0000 305 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0283 0.0121 0.0000 0.0333 0.4291 0.0098 0.0001 0.0086 0.0333 0.0333 0.0333 0.0000 142-AH 0.1333 0.2333 0.2667 0.2667 0.2667 0.2424 0.0427 0.0333 0.1334 0.1762 0.2379 0.2322 0.0338 0.2000 0.2667 0.2583 0.0195 143-AH 0.5000 0.7000 0.8000 0.9083 1.0000 0.8051 0.1291 0.2083 0.5000 0.1604 0.7942 0.7826 0.1082 0.5000 1.0000 0.8051 0.1291 144-AH 0.0000 0.0583 0.1000 0.1000 0.1000 0.0768 0.0328 0.0417 0.1000 0.4272 0.0441 0.0002 0.0282 0.0000 0.1000 0.0768 0.0328 145-AH 0.4667 0.5917 0.7000 0.7333 0.8000 0.6616 0.0925 0.1417 0.3333 0.1398 0.6550 0.6481 0.0768 0.4667 0.8000 0.6616 0.0925 146-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0323 0.0058 0.0000 0.0333 0.1795 0.0261 0.0003 0.0020 0.0333 0.0333 0.0333 0.0000 147-AH 0.4333 0.6917 0.8000 0.8667 0.9000 0.7586 0.1190 0.1750 0.4667 0.1569 0.7484 0.7369 0.0992 0.4333 0.9000 0.7586 0.1190 148-AH 0.0000 0.0333 0.0333 0.0417 0.0667 0.0404 0.0162 0.0083 0.0667 0.3998 0.0308 0.0003 0.0127 0.0333 0.0333 0.0333 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0250 0.1333 0.1667 0.3000 0.1030 0.0839 0.1417 0.3000 0.8143 0.0120 0.0000 0.0736 0.0000 0.3000 0.1030 0.0839 151-AH 0.0000 0.0333 0.1667 0.1750 0.3000 0.1242 0.0834 0.1417 0.3000 0.6716 0.0234 0.0001 0.0716 0.0000 0.3000 0.1242 0.0834 152-AH 0.0000 0.1333 0.2000 0.2667 0.3000 0.1909 0.0796 0.1333 0.3000 0.4170 0.1048 0.0002 0.0641 0.0000 0.3000 0.1909 0.0796 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.1917 0.2667 0.3083 0.4000 0.2545 0.0964 0.1167 0.4000 0.3787 0.1796 0.0003 0.0755 0.0667 0.4000 0.2625 0.0862 155-AH 0.0333 0.0667 0.0667 0.0667 0.1000 0.0697 0.0193 0.0000 0.0667 0.2769 0.0668 0.0635 0.0129 0.0667 0.0667 0.0667 0.0000 156-AH 0.0333 0.0667 0.1333 0.2333 0.4000 0.1505 0.0932 0.1667 0.3667 0.6193 0.1212 0.0939 0.0793 0.0333 0.4000 0.1505 0.0932 157-AH 0.0000 0.5083 0.6333 0.7000 0.8333 0.5545 0.2329 0.1917 0.8333 0.4199 0.2793 0.0002 0.1772 0.2667 0.8333 0.6230 0.1464 158-AH 0.0000 0.4333 0.4667 0.5333 0.7667 0.4727 0.1355 0.1000 0.7667 0.2867 0.3429 0.0003 0.0894 0.3667 0.6667 0.4805 0.0732 159-AH 0.0667 0.2250 0.2667 0.5333 0.8667 0.3525 0.2160 0.3083 0.8000 0.6128 0.2890 0.2257 0.1702 0.0667 0.8667 0.3525 0.2160 160-AH 0.0000 0.0333 0.0333 0.0667 0.0667 0.0384 0.0222 0.0333 0.0667 0.5794 0.0120 0.0001 0.0171 0.0000 0.0667 0.0384 0.0222 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0313 0.0081 0.0000 0.0333 0.2579 0.0204 0.0002 0.0038 0.0333 0.0333 0.0333 0.0000 163-AH 0.7000 0.9333 0.9667 1.0000 1.0000 0.9545 0.0686 0.0667 0.3000 0.0719 0.9518 0.9488 0.0465 0.8667 1.0000 0.9688 0.0384 164-AH 0.0000 0.0583 0.1000 0.1417 0.3333 0.1131 0.0905 0.0833 0.3333 0.7999 0.0429 0.0001 0.0692 0.0000 0.1667 0.0810 0.0500 165-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0313 0.0081 0.0000 0.0333 0.2579 0.0204 0.0002 0.0038 0.0333 0.0333 0.0333 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0636 0.0420 0.0667 0.1333 0.6595 0.0218 0.0001 0.0356 0.0000 0.1333 0.0636 0.0420 168-AH 0.0000 0.3500 0.4000 0.4667 0.5333 0.3374 0.1798 0.1167 0.5333 0.5331 0.0721 0.0001 0.1414 0.3000 0.5333 0.4256 0.0560 169-AH 0.0000 0.0000 0.0333 0.0667 0.1000 0.0384 0.0324 0.0667 0.1000 0.8442 0.0047 0.0000 0.0252 0.0000 0.1000 0.0384 0.0324 170-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0303 0.0097 0.0000 0.0333 0.3211 0.0159 0.0001 0.0055 0.0333 0.0333 0.0333 0.0000 171-AH 0.0000 0.0000 0.1000 0.1333 0.2333 0.0778 0.0587 0.1333 0.2333 0.7551 0.0081 0.0000 0.0485 0.0000 0.2333 0.0778 0.0587 172-AH 0.0000 0.0667 0.1000 0.1333 0.1333 0.0929 0.0370 0.0667 0.1333 0.3986 0.0671 0.0003 0.0296 0.0000 0.1333 0.0929 0.0370 173-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0001 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 174-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0001 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 175-AH 0.1667 0.2000 0.2000 0.2333 0.2333 0.2131 0.0185 0.0333 0.0667 0.0869 0.2123 0.2115 0.0171 0.1667 0.2333 0.2131 0.0185 176-AH 0.3667 0.8000 0.9000 0.9000 0.9333 0.8465 0.1054 0.1000 0.5667 0.1245 0.8374 0.8236 0.0702 0.7333 0.9333 0.8615 0.0617 177-AH 0.0000 0.1917 0.2333 0.3000 0.3333 0.2131 0.1003 0.1083 0.3333 0.4707 0.1064 0.0002 0.0779 0.0333 0.3333 0.2269 0.0867 178-AH 0.0000 0.0333 0.0333 0.0750 0.1000 0.0455 0.0362 0.0417 0.1000 0.7953 0.0083 0.0000 0.0303 0.0000 0.1000 0.0455 0.0362 179-AH 0.1667 0.3333 0.4333 0.5083 0.7333 0.4263 0.1244 0.1750 0.5667 0.2918 0.4064 0.3840 0.0995 0.1667 0.7333 0.4263 0.1244 180-AH 0.0000 0.2333 0.5667 0.7000 0.7667 0.4818 0.2428 0.4667 0.7667 0.5040 0.2374 0.0002 0.2129 0.0000 0.7667 0.4818 0.2428 181-AH 0.6000 0.8333 0.9333 0.9667 1.0000 0.8788 0.1133 0.1333 0.4000 0.1289 0.8707 0.8614 0.0876 0.6333 1.0000 0.8968 0.0904 182-AH 0.0000 0.0583 0.0667 0.1000 0.1333 0.0778 0.0379 0.0417 0.1333 0.4871 0.0438 0.0002 0.0316 0.0000 0.1333 0.0778 0.0379 183-AH 0.0000 0.0333 0.1000 0.1333 0.1333 0.0848 0.0547 0.1000 0.1333 0.6447 0.0142 0.0000 0.0489 0.0000 0.1333 0.0848 0.0547 184-AH 0.0333 0.1667 0.2000 0.2333 0.2333 0.1929 0.0491 0.0667 0.2000 0.2547 0.1806 0.1532 0.0337 0.1667 0.2333 0.2032 0.0277 185-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0263 0.0138 0.0000 0.0333 0.5269 0.0060 0.0000 0.0111 0.0333 0.0333 0.0333 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0313 0.0081 0.0000 0.0333 0.2579 0.0204 0.0002 0.0038 0.0333 0.0333 0.0333 0.0000 188-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0131 0.0165 0.0333 0.0333 1.2596 0.0002 0.0000 0.0159 0.0000 0.0333 0.0131 0.0165 189-AH 0.0000 0.2333 0.2333 0.2333 0.2333 0.2202 0.0440 0.0000 0.2333 0.2000 0.1668 0.0003 0.0223 0.2333 0.2333 0.2333 0.0000 190-AH 0.0667 0.1917 0.2333 0.2333 0.3000 0.2061 0.0482 0.0417 0.2333 0.2339 0.1989 0.1892 0.0375 0.1333 0.2667 0.2075 0.0392 306 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0667 0.1000 0.1333 0.1667 0.2000 0.1404 0.0431 0.0667 0.1333 0.3070 0.1334 0.1260 0.0364 0.0667 0.2000 0.1404 0.0431 193-AH 0.1000 0.1333 0.1667 0.2000 0.2333 0.1616 0.0401 0.0667 0.1333 0.2479 0.1564 0.1508 0.0344 0.1000 0.2333 0.1616 0.0401 194-AH 0.0000 0.0250 0.0333 0.0333 0.0333 0.0253 0.0145 0.0084 0.0333 0.5745 0.0047 0.0000 0.0122 0.0333 0.0333 0.0333 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0002 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 197-AH 0.0333 0.5500 0.7000 0.9667 1.0000 0.6646 0.3310 0.4167 0.9667 0.4981 0.4845 0.2110 0.2651 0.0333 1.0000 0.6646 0.3310 198-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0303 0.0097 0.0000 0.0333 0.3211 0.0159 0.0001 0.0055 0.0333 0.0333 0.0333 0.0000 199-AH 0.2000 0.3000 0.3000 0.3333 0.3333 0.3071 0.0351 0.0333 0.1333 0.1144 0.3048 0.3022 0.0255 0.3000 0.3333 0.3184 0.0169 200-AH 0.0000 0.2000 0.2333 0.2667 0.3000 0.2222 0.0638 0.0667 0.3000 0.2872 0.1648 0.0003 0.0492 0.1333 0.3000 0.2292 0.0506 251-AH 0.2667 0.6917 0.7667 0.8333 0.8667 0.7202 0.1552 0.1416 0.6000 0.2155 0.6956 0.6578 0.1032 0.6000 0.8667 0.7633 0.0729 252-AH 0.0000 0.3667 0.4333 0.4667 0.6000 0.3990 0.1174 0.1000 0.6000 0.2943 0.2850 0.0003 0.0762 0.3333 0.6000 0.4300 0.0596 253-AH 0.0667 0.4583 0.6667 0.8000 0.8333 0.5869 0.2375 0.3417 0.7667 0.4046 0.5070 0.3810 0.1929 0.0667 0.8333 0.5869 0.2375 254-AH 0.1333 0.3250 0.4000 0.5000 0.6667 0.3960 0.1511 0.1750 0.5333 0.3816 0.3622 0.3231 0.1213 0.1333 0.6667 0.3960 0.1511 255-AH 0.0333 0.0667 0.1000 0.1333 0.1333 0.1050 0.0324 0.0667 0.1000 0.3085 0.0987 0.0904 0.0274 0.0333 0.1333 0.1050 0.0324 256-AH 0.0000 0.4500 0.7333 0.7667 0.8667 0.6111 0.2709 0.3167 0.8667 0.4433 0.2303 0.0001 0.2222 0.0000 0.8667 0.6111 0.2709 257-AH 0.0333 0.2667 0.3333 0.4000 0.5000 0.3101 0.1138 0.1333 0.4667 0.3670 0.2680 0.1869 0.0841 0.2333 0.5000 0.3460 0.0613 258-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0465 0.0471 0.1000 0.1333 1.0136 0.0021 0.0000 0.0422 0.0000 0.1333 0.0465 0.0471 259-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0606 0.0195 0.0000 0.0667 0.3211 0.0299 0.0001 0.0110 0.0667 0.0667 0.0667 0.0000 260-AH 0.0000 0.7000 0.7333 0.8000 0.8667 0.6899 0.1928 0.1000 0.8667 0.2795 0.3702 0.0002 0.1068 0.6333 0.8667 0.7444 0.0535 261-AH 0.0333 0.2000 0.2333 0.4000 0.6000 0.2818 0.1382 0.2000 0.5667 0.4904 0.2464 0.2004 0.1111 0.0333 0.6000 0.2818 0.1382 262-AH 0.1333 0.2917 0.5667 0.6333 0.6667 0.4737 0.1808 0.3417 0.5333 0.3817 0.4268 0.3673 0.1546 0.1333 0.6667 0.4737 0.1808 263-AH 0.0667 0.2000 0.2667 0.3417 0.4333 0.2758 0.0980 0.1417 0.3667 0.3553 0.2529 0.2210 0.0801 0.0667 0.4333 0.2758 0.0980 264-AH 0.0000 0.3250 0.4000 0.4333 0.5000 0.3566 0.1197 0.1083 0.5000 0.3358 0.1952 0.0002 0.0842 0.2333 0.5000 0.3878 0.0658 265-AH 0.0000 0.0667 0.1333 0.2000 0.2000 0.1333 0.0692 0.1333 0.2000 0.5192 0.0440 0.0001 0.0545 0.0000 0.2000 0.1333 0.0692 266-AH 0.0000 0.0000 0.0333 0.0333 0.1333 0.0404 0.0455 0.0333 0.1333 1.1251 0.0029 0.0000 0.0334 0.0000 0.0667 0.0210 0.0188 267-AH 0.0000 0.2000 0.2333 0.2667 0.3333 0.2313 0.0692 0.0667 0.3333 0.2991 0.1321 0.0002 0.0413 0.2000 0.3333 0.2462 0.0362 268-AH 0.0000 0.0667 0.0667 0.0667 0.1000 0.0586 0.0236 0.0000 0.1000 0.4031 0.0227 0.0001 0.0157 0.0667 0.0667 0.0667 0.0000 269-AH 0.0333 0.1333 0.1667 0.2000 0.2333 0.1556 0.0563 0.0667 0.2000 0.3620 0.1402 0.1165 0.0458 0.0667 0.2333 0.1678 0.0424 270-AH 0.0000 0.7083 0.8000 0.8333 0.9000 0.6848 0.2773 0.1250 0.9000 0.4049 0.4260 0.0003 0.2169 0.5333 0.9000 0.8167 0.0688 271-AH 0.1000 0.4333 0.4667 0.5000 0.5333 0.4343 0.1078 0.0667 0.4333 0.2483 0.4105 0.3654 0.0695 0.3667 0.5333 0.4644 0.0479 272-AH 0.0000 0.0667 0.2000 0.2000 0.2667 0.1566 0.0770 0.1333 0.2667 0.4921 0.1036 0.0003 0.0668 0.0000 0.2667 0.1566 0.0770 273-AH 0.3667 0.8667 0.9333 0.9333 1.0000 0.8929 0.1083 0.0667 0.6333 0.1212 0.8832 0.8675 0.0620 0.8000 1.0000 0.9094 0.0537 274-AH 0.0000 0.2000 0.2333 0.3000 0.4000 0.2263 0.1037 0.1000 0.4000 0.4582 0.0731 0.0001 0.0749 0.1333 0.4000 0.2575 0.0629 275-AH 0.0000 0.3333 0.4333 0.5417 0.7000 0.4091 0.1930 0.2083 0.7000 0.4717 0.1549 0.0001 0.1471 0.0333 0.7000 0.4500 0.1485 276-AH 0.4000 0.5333 0.6333 0.6750 0.7667 0.6071 0.0920 0.1417 0.3667 0.1515 0.5998 0.5921 0.0771 0.4000 0.7667 0.6071 0.0920 277-AH 0.0667 0.2333 0.2667 0.3083 0.4000 0.2778 0.0665 0.0750 0.3333 0.2394 0.2675 0.2508 0.0478 0.2000 0.4000 0.2844 0.0555 278-AH 0.0667 0.1583 0.2333 0.2667 0.4000 0.2141 0.0804 0.1083 0.3333 0.3754 0.1980 0.1805 0.0674 0.0667 0.4000 0.2141 0.0804 279-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0646 0.0381 0.0667 0.1333 0.5899 0.0352 0.0002 0.0344 0.0000 0.1333 0.0646 0.0381 280-AH 0.0000 0.0000 0.0667 0.1000 0.2000 0.0626 0.0539 0.1000 0.2000 0.8599 0.0066 0.0000 0.0430 0.0000 0.2000 0.0626 0.0539 281-AH 0.0000 0.3667 0.4333 0.5750 0.7333 0.4323 0.1749 0.2083 0.7333 0.4046 0.2295 0.0002 0.1264 0.2000 0.7333 0.4602 0.1392 282-AH 0.0000 0.1917 0.2333 0.2750 0.3667 0.2253 0.0902 0.0833 0.3667 0.4002 0.0961 0.0001 0.0643 0.1000 0.3667 0.2478 0.0565 283-AH 0.0000 0.2000 0.3333 0.4500 0.6667 0.3495 0.1768 0.2500 0.6667 0.5059 0.1778 0.0002 0.1419 0.0000 0.6667 0.3495 0.1768 284-AH 0.3333 0.4333 0.5000 0.5667 0.6000 0.4990 0.0770 0.1333 0.2667 0.1544 0.4929 0.4864 0.0599 0.3333 0.6000 0.4990 0.0770 285-AH 0.0000 0.5667 0.8000 0.8667 0.9667 0.6919 0.2826 0.3000 0.9667 0.4084 0.3355 0.0002 0.2184 0.1667 0.9667 0.7600 0.1880 286-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0455 0.0352 0.0333 0.1000 0.7739 0.0084 0.0000 0.0296 0.0000 0.1000 0.0455 0.0352 287-AH 0.0000 0.4250 0.4667 0.5000 0.5667 0.4323 0.1337 0.0750 0.5667 0.3093 0.2368 0.0002 0.0864 0.3667 0.5667 0.4774 0.0574 288-AH 0.0667 0.2333 0.3000 0.5000 0.7667 0.3717 0.1864 0.2667 0.7000 0.5014 0.3230 0.2696 0.1550 0.0667 0.7667 0.3717 0.1864 289-AH 0.0000 0.3333 0.5333 0.5667 0.5667 0.4081 0.2338 0.2333 0.5667 0.5729 0.0489 0.0000 0.1958 0.0000 0.5667 0.4081 0.2338 290-AH 0.0333 0.1667 0.3000 0.3917 0.5333 0.3010 0.1475 0.2250 0.5000 0.4902 0.2543 0.1856 0.1243 0.0333 0.5333 0.3010 0.1475 307 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.3667 0.5000 0.6167 0.7333 0.4657 0.2191 0.2500 0.7333 0.4706 0.1363 0.0001 0.1691 0.0000 0.7333 0.4657 0.2191 292-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1192 0.0354 0.0000 0.1333 0.2969 0.0881 0.0003 0.0240 0.1333 0.1333 0.1333 0.0000 293-AH 0.1333 0.5000 0.6000 0.6333 0.7000 0.5545 0.1314 0.1333 0.5667 0.2370 0.5275 0.4761 0.0904 0.4000 0.7000 0.5817 0.0764 294-AH 0.2333 0.6000 0.6667 0.6667 0.7333 0.6121 0.1166 0.0667 0.5000 0.1905 0.5969 0.5750 0.0814 0.6000 0.7333 0.6605 0.0346 295-AH 0.2333 0.3583 0.4333 0.5000 0.6333 0.4283 0.0943 0.1417 0.4000 0.2202 0.4179 0.4071 0.0762 0.2333 0.6333 0.4283 0.0943 296-AH 0.0000 0.2167 0.4000 0.4417 0.5667 0.3313 0.1920 0.2250 0.5667 0.5796 0.0686 0.0001 0.1603 0.0000 0.5667 0.3313 0.1920 297-AH 0.0000 0.1667 0.1667 0.2000 0.2667 0.1707 0.0512 0.0333 0.2667 0.3000 0.0994 0.0002 0.0276 0.1333 0.2333 0.1789 0.0223 298-AH 0.0000 0.2000 0.2667 0.3000 0.4333 0.2556 0.0974 0.1000 0.4333 0.3812 0.1832 0.0003 0.0768 0.1000 0.4333 0.2635 0.0873 299-AH 0.2667 0.4667 0.5667 0.6417 0.7333 0.5535 0.1315 0.1750 0.4667 0.2375 0.5370 0.5190 0.1093 0.2667 0.7333 0.5535 0.1315 300-AH 0.0333 0.2000 0.2667 0.4000 0.4667 0.2848 0.1140 0.2000 0.4333 0.4002 0.2549 0.2077 0.0966 0.0333 0.4667 0.2848 0.1140 301-AH 0.0000 0.0000 0.0333 0.1750 0.3333 0.0949 0.1236 0.1750 0.3333 1.3021 0.0034 0.0000 0.1061 0.0000 0.3333 0.0949 0.1236 302-AH 0.1333 0.2333 0.2667 0.3083 0.4000 0.2717 0.0737 0.0750 0.2667 0.2711 0.2603 0.2468 0.0557 0.1333 0.4000 0.2717 0.0737 303-AH 0.0333 0.1917 0.2333 0.2667 0.3333 0.2091 0.0847 0.0750 0.3000 0.4050 0.1796 0.1337 0.0667 0.1000 0.3333 0.2381 0.0519 304-AH 0.1000 0.1667 0.1667 0.2000 0.2333 0.1798 0.0363 0.0333 0.1333 0.2017 0.1759 0.1717 0.0293 0.1333 0.2333 0.1849 0.0308 305-AH 0.2667 0.3667 0.4333 0.4667 0.5333 0.4172 0.0672 0.1000 0.2667 0.1612 0.4114 0.4051 0.0539 0.2667 0.5333 0.4172 0.0672 306-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0002 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 307-AH 0.1000 0.2917 0.4000 0.4667 0.5333 0.3727 0.1052 0.1750 0.4333 0.2823 0.3538 0.3279 0.0876 0.1000 0.5333 0.3727 0.1052 308-AH 0.2000 0.2667 0.2667 0.3083 0.3333 0.2818 0.0392 0.0417 0.1333 0.1390 0.2791 0.2762 0.0327 0.2333 0.3333 0.2871 0.0341 309-AH 0.0000 0.0333 0.0333 0.0667 0.1333 0.0535 0.0322 0.0333 0.1333 0.6016 0.0302 0.0002 0.0261 0.0000 0.1000 0.0484 0.0256 310-AH 0.0000 0.0667 0.1333 0.1667 0.3333 0.1343 0.0690 0.1000 0.3333 0.5133 0.0734 0.0002 0.0536 0.0000 0.2333 0.1281 0.0599 311-AH 0.1000 0.3333 0.4333 0.5667 0.6333 0.4303 0.1549 0.2333 0.5333 0.3599 0.3921 0.3384 0.1265 0.1000 0.6333 0.4303 0.1549 312-AH 0.0333 0.4250 0.5000 0.6000 0.7000 0.4848 0.1380 0.1750 0.6667 0.2846 0.4476 0.3368 0.1014 0.2667 0.7000 0.4990 0.1134 313-AH 0.0000 0.0333 0.0333 0.1333 0.2333 0.0828 0.0713 0.1000 0.2333 0.8603 0.0154 0.0001 0.0631 0.0000 0.2333 0.0828 0.0713 314-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0596 0.0389 0.0667 0.1333 0.6522 0.0135 0.0001 0.0312 0.0000 0.1333 0.0596 0.0389 315-AH 0.3333 0.5000 0.5667 0.6333 0.7333 0.5545 0.1169 0.1333 0.4000 0.2108 0.5413 0.5266 0.0907 0.3333 0.7333 0.5545 0.1169 316-AH 0.0000 0.0667 0.2000 0.3333 0.4333 0.1919 0.1291 0.2666 0.4333 0.6727 0.0561 0.0001 0.1093 0.0000 0.4333 0.1919 0.1291 317-AH 0.0000 0.2333 0.3000 0.3333 0.4000 0.2758 0.0851 0.1000 0.4000 0.3086 0.1554 0.0002 0.0577 0.2000 0.4000 0.2935 0.0482 318-AH 0.0000 0.0333 0.1333 0.1667 0.2333 0.1141 0.0750 0.1333 0.2333 0.6572 0.0281 0.0001 0.0645 0.0000 0.2333 0.1141 0.0750 319-AH 0.0333 0.1667 0.2333 0.3333 0.4333 0.2485 0.0993 0.1667 0.4000 0.3998 0.2220 0.1822 0.0792 0.0333 0.4333 0.2485 0.0993 320-AH 0.0000 0.0333 0.0333 0.1000 0.2000 0.0576 0.0516 0.0667 0.2000 0.8954 0.0095 0.0000 0.0435 0.0000 0.1333 0.0531 0.0455 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0717 0.0409 0.0667 0.1333 0.5707 0.0253 0.0001 0.0324 0.0000 0.1333 0.0717 0.0409 323-AH 0.0667 0.2000 0.2333 0.2667 0.3667 0.2232 0.0700 0.0667 0.3000 0.3134 0.2086 0.1874 0.0508 0.1333 0.3667 0.2389 0.0511 324-AH 0.0000 0.1917 0.4667 0.7083 0.8000 0.4354 0.2885 0.5167 0.8000 0.6628 0.0652 0.0001 0.2463 0.0000 0.8000 0.4354 0.2885 325-AH 0.2000 0.5667 0.6333 0.7333 0.8667 0.6354 0.1299 0.1667 0.6667 0.2044 0.6182 0.5927 0.0991 0.4333 0.8667 0.6490 0.1054 326-AH 0.0000 0.0667 0.0667 0.0667 0.1000 0.0636 0.0241 0.0000 0.1000 0.3787 0.0308 0.0001 0.0134 0.0667 0.0667 0.0667 0.0000 327-AH 0.0000 0.0333 0.0667 0.1333 0.1333 0.0778 0.0511 0.1000 0.1333 0.6576 0.0205 0.0001 0.0458 0.0000 0.1333 0.0778 0.0511 328-AH 0.3667 0.5000 0.5000 0.5667 0.6333 0.5152 0.0596 0.0667 0.2667 0.1156 0.5116 0.5079 0.0448 0.4000 0.6333 0.5198 0.0541 329-AH 0.3667 0.4333 0.4667 0.4667 0.5000 0.4495 0.0265 0.0333 0.1333 0.0590 0.4487 0.4479 0.0217 0.4000 0.5000 0.4521 0.0223 330-AH 0.0000 0.6250 0.8000 0.8333 0.9333 0.6768 0.2732 0.2083 0.9333 0.4036 0.4185 0.0003 0.2136 0.3333 0.9333 0.7621 0.1501 331-AH 0.0000 0.2000 0.2667 0.3333 0.4667 0.2707 0.1376 0.1333 0.4667 0.5084 0.1358 0.0002 0.1052 0.0000 0.4667 0.2707 0.1376 332-AH 0.0000 0.1417 0.2000 0.2000 0.2667 0.1576 0.0800 0.0583 0.2667 0.5080 0.0629 0.0001 0.0643 0.0667 0.2667 0.1949 0.0361 333-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1394 0.0586 0.0000 0.1667 0.4204 0.0478 0.0001 0.0430 0.1667 0.1667 0.1667 0.0000 334-AH 0.0667 0.0917 0.1000 0.1000 0.1333 0.0980 0.0220 0.0083 0.0667 0.2240 0.0955 0.0930 0.0152 0.1000 0.1000 0.1000 0.0000 335-AH 0.0667 0.1667 0.2000 0.2333 0.3000 0.1889 0.0538 0.0667 0.2333 0.2848 0.1806 0.1709 0.0418 0.1000 0.3000 0.1927 0.0499 336-AH 0.0000 0.0000 0.0333 0.1417 0.3667 0.0697 0.0895 0.1417 0.3667 1.2842 0.0024 0.0000 0.0727 0.0000 0.2000 0.0604 0.0730 337-AH 0.3333 0.5917 0.6333 0.6333 0.6667 0.5909 0.0830 0.0417 0.3333 0.1405 0.5837 0.5743 0.0582 0.5333 0.6667 0.6214 0.0275 338-AH 0.0000 0.1917 0.2667 0.3000 0.3333 0.2222 0.0927 0.1083 0.3333 0.4170 0.0926 0.0001 0.0694 0.0333 0.3333 0.2444 0.0621 339-AH 0.0000 0.3667 0.4667 0.5333 0.5667 0.3990 0.1832 0.1667 0.5667 0.4592 0.0912 0.0001 0.1348 0.3000 0.5667 0.4702 0.0711 340-AH 0.1333 0.1667 0.1667 0.1667 0.1667 0.1646 0.0081 0.0000 0.0334 0.0491 0.1644 0.1642 0.0038 0.1667 0.1667 0.1667 0.0000 308 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0333 0.1667 0.1667 0.2000 0.2000 0.1687 0.0456 0.0333 0.1667 0.2703 0.1574 0.1355 0.0304 0.1333 0.2000 0.1811 0.0226 342-AH 0.0000 0.6667 0.8000 0.8667 0.9000 0.7273 0.2096 0.2000 0.9000 0.2882 0.3884 0.0002 0.1333 0.5667 0.9000 0.7742 0.0965 343-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0141 0.0167 0.0333 0.0333 1.1830 0.0003 0.0000 0.0163 0.0000 0.0333 0.0141 0.0167 344-AH 0.0333 0.4333 0.5000 0.5667 0.7000 0.4980 0.1166 0.1333 0.6667 0.2342 0.4662 0.3513 0.0770 0.4000 0.7000 0.5125 0.0828 345-AH 0.0000 0.0667 0.1000 0.1417 0.2333 0.1051 0.0635 0.0750 0.2333 0.6048 0.0439 0.0001 0.0506 0.0000 0.2333 0.1051 0.0635 346-AH 0.0000 0.0333 0.0333 0.1000 0.1333 0.0556 0.0414 0.0667 0.1333 0.7450 0.0122 0.0001 0.0350 0.0000 0.1333 0.0556 0.0414 347-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0636 0.0367 0.0667 0.1333 0.5762 0.0227 0.0001 0.0301 0.0000 0.1333 0.0636 0.0367 348-AH 0.0000 0.0500 0.0667 0.0667 0.0667 0.0505 0.0290 0.0167 0.0667 0.5745 0.0079 0.0000 0.0245 0.0667 0.0667 0.0667 0.0000 349-AH 0.1000 0.2917 0.3667 0.4083 0.6000 0.3596 0.1235 0.1167 0.5000 0.3435 0.3367 0.3098 0.0926 0.1667 0.5667 0.3602 0.1100 350-AH 0.0667 0.2333 0.2333 0.2333 0.2667 0.2333 0.0323 0.0000 0.2000 0.1383 0.2292 0.2208 0.0101 0.2333 0.2333 0.2333 0.0000 309 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0085 0.0036 0.0000 0.0100 0.4291 0.0035 0.0001 0.0026 0.0100 0.0100 0.0100 0.0000 142-AH 0.0500 0.0700 0.0800 0.0800 0.0800 0.0764 0.0070 0.0100 0.0300 0.0915 0.0760 0.0756 0.0053 0.0600 0.0800 0.0772 0.0052 143-AH 0.2500 0.3300 0.3600 0.3800 0.3900 0.3473 0.0379 0.0500 0.1400 0.1090 0.3451 0.3427 0.0295 0.2600 0.3900 0.3503 0.0341 144-AH 0.0000 0.0275 0.0300 0.0300 0.0300 0.0252 0.0091 0.0025 0.0300 0.3601 0.0190 0.0003 0.0073 0.0300 0.0300 0.0300 0.0000 145-AH 0.2300 0.2700 0.2900 0.3100 0.3300 0.2903 0.0256 0.0400 0.1000 0.0880 0.2892 0.2880 0.0209 0.2300 0.3300 0.2903 0.0256 146-AH 0.0100 0.0100 0.0100 0.0100 0.0200 0.0118 0.0039 0.0000 0.0100 0.3314 0.0113 0.0110 0.0030 0.0100 0.0100 0.0100 0.0000 147-AH 0.2200 0.4200 0.4600 0.4700 0.4900 0.4400 0.0510 0.0500 0.2700 0.1159 0.4362 0.4310 0.0345 0.3600 0.4900 0.4469 0.0328 148-AH 0.0000 0.0200 0.0200 0.0300 0.0600 0.0261 0.0132 0.0100 0.0600 0.5071 0.0191 0.0003 0.0102 0.0100 0.0400 0.0247 0.0094 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0300 0.0500 0.0700 0.0900 0.0503 0.0287 0.0400 0.0900 0.5699 0.0217 0.0001 0.0233 0.0000 0.0900 0.0503 0.0287 151-AH 0.0000 0.0500 0.0700 0.0800 0.1000 0.0609 0.0295 0.0300 0.1000 0.4845 0.0329 0.0002 0.0226 0.0100 0.1000 0.0648 0.0258 152-AH 0.0000 0.0675 0.0900 0.0900 0.1000 0.0770 0.0244 0.0225 0.1000 0.3174 0.0467 0.0002 0.0178 0.0500 0.1000 0.0819 0.0147 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0500 0.1175 0.1300 0.1400 0.1500 0.1233 0.0231 0.0225 0.1000 0.1876 0.1206 0.1168 0.0172 0.0900 0.1500 0.1290 0.0145 155-AH 0.0100 0.0200 0.0200 0.0300 0.0300 0.0230 0.0064 0.0100 0.0200 0.2764 0.0220 0.0208 0.0055 0.0100 0.0300 0.0230 0.0064 156-AH 0.0100 0.0500 0.0900 0.1125 0.1700 0.0833 0.0393 0.0625 0.1600 0.4712 0.0700 0.0504 0.0309 0.0100 0.1700 0.0833 0.0393 157-AH 0.0000 0.4950 0.5900 0.6150 0.7700 0.5036 0.2065 0.1200 0.7700 0.4100 0.2564 0.0002 0.1593 0.4200 0.7700 0.6015 0.0655 158-AH 0.0000 0.2200 0.2400 0.2800 0.3200 0.2370 0.0619 0.0600 0.3200 0.2613 0.1766 0.0003 0.0433 0.1800 0.3200 0.2484 0.0403 159-AH 0.0700 0.1975 0.2700 0.3125 0.4700 0.2506 0.0915 0.1150 0.4000 0.3650 0.2318 0.2097 0.0721 0.0700 0.4700 0.2506 0.0915 160-AH 0.0100 0.0100 0.0200 0.0200 0.0200 0.0173 0.0045 0.0100 0.0100 0.2618 0.0166 0.0157 0.0040 0.0100 0.0200 0.0173 0.0045 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 163-AH 0.6300 0.7875 0.8200 0.8500 0.9000 0.8139 0.0591 0.0625 0.2700 0.0726 0.8117 0.8094 0.0424 0.7100 0.9000 0.8197 0.0498 164-AH 0.0200 0.0600 0.1000 0.1525 0.2100 0.1070 0.0566 0.0925 0.1900 0.5291 0.0890 0.0684 0.0472 0.0200 0.2100 0.1070 0.0566 165-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0094 0.0024 0.0000 0.0100 0.2579 0.0066 0.0002 0.0011 0.0100 0.0100 0.0100 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0200 0.0300 0.0400 0.0400 0.0279 0.0127 0.0200 0.0400 0.4551 0.0141 0.0001 0.0108 0.0000 0.0400 0.0279 0.0127 168-AH 0.0000 0.1475 0.1600 0.1800 0.1800 0.1342 0.0698 0.0325 0.1800 0.5201 0.0401 0.0001 0.0566 0.1100 0.1800 0.1692 0.0152 169-AH 0.0000 0.0175 0.0300 0.0400 0.0500 0.0252 0.0148 0.0225 0.0500 0.5891 0.0100 0.0001 0.0123 0.0000 0.0500 0.0252 0.0148 170-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0091 0.0029 0.0000 0.0100 0.3211 0.0053 0.0001 0.0017 0.0100 0.0100 0.0100 0.0000 171-AH 0.0000 0.0200 0.0600 0.0900 0.1200 0.0609 0.0386 0.0700 0.1200 0.6337 0.0247 0.0001 0.0331 0.0000 0.1200 0.0609 0.0386 172-AH 0.0200 0.0500 0.0500 0.0600 0.0700 0.0530 0.0129 0.0100 0.0500 0.2426 0.0510 0.0483 0.0098 0.0400 0.0700 0.0560 0.0089 173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 174-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 175-AH 0.0600 0.0700 0.0700 0.0700 0.0700 0.0682 0.0039 0.0000 0.0100 0.0574 0.0681 0.0679 0.0030 0.0700 0.0700 0.0700 0.0000 176-AH 0.2500 0.3775 0.3900 0.3900 0.3900 0.3770 0.0267 0.0125 0.1400 0.0710 0.3758 0.3745 0.0155 0.3700 0.3900 0.3848 0.0074 177-AH 0.0000 0.0875 0.1000 0.1025 0.1200 0.0903 0.0257 0.0150 0.1200 0.2843 0.0687 0.0003 0.0179 0.0700 0.1200 0.0989 0.0134 178-AH 0.0000 0.0100 0.0200 0.0300 0.0300 0.0179 0.0111 0.0200 0.0300 0.6215 0.0073 0.0001 0.0101 0.0000 0.0300 0.0179 0.0111 179-AH 0.0700 0.1400 0.1700 0.2100 0.2200 0.1697 0.0391 0.0700 0.1500 0.2304 0.1646 0.1585 0.0312 0.0700 0.2200 0.1697 0.0391 180-AH 0.0000 0.1475 0.3600 0.3900 0.4000 0.2894 0.1305 0.2425 0.4000 0.4509 0.1514 0.0002 0.1159 0.0000 0.4000 0.2894 0.1305 181-AH 0.4500 0.6950 0.7400 0.7600 0.7800 0.7003 0.0943 0.0650 0.3300 0.1346 0.6930 0.6845 0.0693 0.6100 0.7800 0.7364 0.0369 182-AH 0.0200 0.0400 0.0400 0.0400 0.0400 0.0385 0.0044 0.0000 0.0200 0.1148 0.0382 0.0377 0.0027 0.0400 0.0400 0.0400 0.0000 183-AH 0.0000 0.0400 0.0400 0.0400 0.0400 0.0352 0.0103 0.0000 0.0400 0.2943 0.0272 0.0003 0.0076 0.0400 0.0400 0.0400 0.0000 184-AH 0.0200 0.0700 0.0700 0.0800 0.0900 0.0709 0.0147 0.0100 0.0700 0.2067 0.0683 0.0633 0.0083 0.0600 0.0900 0.0742 0.0067 185-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0085 0.0036 0.0000 0.0100 0.4291 0.0035 0.0001 0.0026 0.0100 0.0100 0.0100 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0097 0.0017 0.0000 0.0100 0.1795 0.0081 0.0003 0.0006 0.0100 0.0100 0.0100 0.0000 188-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0045 0.0051 0.0100 0.0100 1.1124 0.0002 0.0000 0.0050 0.0000 0.0100 0.0045 0.0051 189-AH 0.0000 0.0700 0.0700 0.0700 0.0700 0.0670 0.0131 0.0000 0.0700 0.1957 0.0526 0.0003 0.0057 0.0700 0.0700 0.0700 0.0000 190-AH 0.0400 0.0700 0.0700 0.0700 0.0900 0.0688 0.0093 0.0000 0.0500 0.1348 0.0681 0.0674 0.0055 0.0700 0.0700 0.0700 0.0000 310 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0300 0.0400 0.0500 0.0600 0.0600 0.0491 0.0113 0.0200 0.0300 0.2298 0.0477 0.0460 0.0091 0.0300 0.0600 0.0491 0.0113 193-AH 0.0300 0.0575 0.0600 0.0700 0.0700 0.0609 0.0101 0.0125 0.0400 0.1660 0.0599 0.0588 0.0077 0.0400 0.0700 0.0619 0.0086 194-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0085 0.0036 0.0000 0.0100 0.4291 0.0035 0.0001 0.0026 0.0100 0.0100 0.0100 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 197-AH 0.0400 0.2950 0.3800 0.4375 0.5000 0.3391 0.1463 0.1425 0.4600 0.4316 0.2827 0.1953 0.1170 0.1300 0.5000 0.3790 0.1043 198-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0094 0.0024 0.0000 0.0100 0.2579 0.0066 0.0002 0.0011 0.0100 0.0100 0.0100 0.0000 199-AH 0.0900 0.1000 0.1000 0.1000 0.1000 0.0985 0.0036 0.0000 0.0100 0.0370 0.0984 0.0983 0.0026 0.1000 0.1000 0.1000 0.0000 200-AH 0.0400 0.0700 0.0800 0.0900 0.0900 0.0758 0.0130 0.0200 0.0500 0.1716 0.0745 0.0731 0.0106 0.0400 0.0900 0.0758 0.0130 251-AH 0.1600 0.3375 0.3900 0.3900 0.4400 0.3618 0.0658 0.0525 0.2800 0.1818 0.3539 0.3430 0.0462 0.3200 0.4400 0.3793 0.0344 252-AH 0.0000 0.2275 0.2500 0.2600 0.2700 0.2276 0.0625 0.0325 0.2700 0.2746 0.1654 0.0003 0.0400 0.1800 0.2700 0.2466 0.0238 253-AH 0.0500 0.3100 0.4600 0.6300 0.6700 0.4379 0.1947 0.3200 0.6200 0.4446 0.3697 0.2673 0.1611 0.0500 0.6700 0.4379 0.1947 254-AH 0.1500 0.3100 0.3900 0.4200 0.5200 0.3627 0.0971 0.1100 0.3700 0.2676 0.3475 0.3292 0.0773 0.1500 0.5200 0.3627 0.0971 255-AH 0.0200 0.0400 0.0400 0.0400 0.0400 0.0376 0.0050 0.0000 0.0200 0.1336 0.0372 0.0367 0.0038 0.0400 0.0400 0.0400 0.0000 256-AH 0.0000 0.1775 0.3200 0.3300 0.3400 0.2609 0.1099 0.1525 0.3400 0.4212 0.1080 0.0001 0.0896 0.0000 0.3400 0.2609 0.1099 257-AH 0.0200 0.2300 0.2400 0.2800 0.3200 0.2282 0.0725 0.0500 0.3000 0.3178 0.2019 0.1382 0.0471 0.1700 0.3200 0.2517 0.0325 258-AH 0.0000 0.0000 0.0200 0.0400 0.0400 0.0200 0.0160 0.0400 0.0400 0.8004 0.0029 0.0000 0.0139 0.0000 0.0400 0.0200 0.0160 259-AH 0.0000 0.0200 0.0200 0.0200 0.0300 0.0200 0.0075 0.0000 0.0300 0.3750 0.0108 0.0001 0.0036 0.0200 0.0200 0.0200 0.0000 260-AH 0.0000 0.4475 0.4700 0.5025 0.5300 0.4467 0.1196 0.0550 0.5300 0.2678 0.2470 0.0002 0.0596 0.4200 0.5300 0.4755 0.0332 261-AH 0.0300 0.0700 0.1000 0.1425 0.2300 0.1109 0.0514 0.0725 0.2000 0.4638 0.0989 0.0863 0.0417 0.0300 0.2300 0.1109 0.0514 262-AH 0.0800 0.2175 0.3200 0.3700 0.4500 0.2824 0.1117 0.1525 0.3700 0.3955 0.2531 0.2169 0.0952 0.0800 0.4500 0.2824 0.1117 263-AH 0.0500 0.1700 0.2300 0.2400 0.2600 0.2009 0.0622 0.0700 0.2100 0.3097 0.1854 0.1602 0.0478 0.1100 0.2600 0.2160 0.0410 264-AH 0.0000 0.1400 0.1600 0.1800 0.2000 0.1518 0.0408 0.0400 0.2000 0.2688 0.1135 0.0003 0.0263 0.1000 0.2000 0.1603 0.0227 265-AH 0.0000 0.0200 0.0600 0.0600 0.0600 0.0442 0.0222 0.0400 0.0600 0.5023 0.0167 0.0001 0.0187 0.0000 0.0600 0.0442 0.0222 266-AH 0.0000 0.0100 0.0100 0.0300 0.0400 0.0182 0.0133 0.0200 0.0400 0.7335 0.0085 0.0001 0.0112 0.0000 0.0400 0.0182 0.0133 267-AH 0.0000 0.1000 0.1100 0.1325 0.1600 0.1115 0.0330 0.0325 0.1600 0.2958 0.0830 0.0003 0.0217 0.0800 0.1600 0.1181 0.0206 268-AH 0.0000 0.0200 0.0200 0.0300 0.0300 0.0209 0.0077 0.0100 0.0300 0.3659 0.0135 0.0002 0.0050 0.0100 0.0300 0.0223 0.0056 269-AH 0.0100 0.0600 0.0700 0.0800 0.0800 0.0645 0.0195 0.0200 0.0700 0.3027 0.0589 0.0476 0.0142 0.0400 0.0800 0.0697 0.0110 270-AH 0.0200 0.3125 0.4000 0.4725 0.5100 0.3624 0.1468 0.1600 0.4900 0.4049 0.2960 0.1686 0.1134 0.1700 0.5100 0.4072 0.0862 271-AH 0.0300 0.1875 0.2000 0.2125 0.2300 0.1891 0.0427 0.0250 0.2000 0.2257 0.1805 0.1615 0.0299 0.1500 0.2300 0.2039 0.0187 272-AH 0.0200 0.0400 0.1000 0.1200 0.1300 0.0842 0.0402 0.0800 0.1100 0.4776 0.0719 0.0582 0.0361 0.0200 0.1300 0.0842 0.0402 273-AH 0.1400 0.5575 0.6200 0.6525 0.6800 0.5858 0.1055 0.0950 0.5400 0.1801 0.5699 0.5384 0.0721 0.4500 0.6800 0.5997 0.0699 274-AH 0.0100 0.0975 0.1200 0.1500 0.1600 0.1118 0.0448 0.0525 0.1500 0.4002 0.0969 0.0710 0.0350 0.0200 0.1600 0.1150 0.0415 275-AH 0.0000 0.2775 0.3300 0.3800 0.5100 0.3109 0.1316 0.1025 0.5100 0.4234 0.1608 0.0002 0.0959 0.1500 0.5100 0.3497 0.0824 276-AH 0.2500 0.3375 0.3700 0.4050 0.4600 0.3703 0.0514 0.0675 0.2100 0.1388 0.3667 0.3629 0.0427 0.2500 0.4600 0.3703 0.0514 277-AH 0.0800 0.1200 0.1400 0.1500 0.1600 0.1324 0.0217 0.0300 0.0800 0.1635 0.1304 0.1280 0.0165 0.0800 0.1600 0.1324 0.0217 278-AH 0.0300 0.0700 0.1000 0.1400 0.1800 0.0997 0.0392 0.0700 0.1500 0.3937 0.0916 0.0829 0.0330 0.0300 0.1800 0.0997 0.0392 279-AH 0.0100 0.0200 0.0200 0.0325 0.0400 0.0258 0.0103 0.0125 0.0300 0.4005 0.0235 0.0211 0.0090 0.0100 0.0400 0.0258 0.0103 280-AH 0.0000 0.0500 0.0500 0.0900 0.1500 0.0661 0.0383 0.0400 0.1500 0.5801 0.0359 0.0002 0.0302 0.0000 0.1500 0.0661 0.0383 281-AH 0.0000 0.2400 0.2600 0.3000 0.3000 0.2503 0.0703 0.0600 0.3000 0.2810 0.1429 0.0002 0.0402 0.1900 0.3000 0.2665 0.0288 282-AH 0.0000 0.1000 0.1200 0.1325 0.2200 0.1191 0.0511 0.0325 0.2200 0.4289 0.0538 0.0001 0.0326 0.0800 0.1800 0.1200 0.0223 283-AH 0.0000 0.1150 0.1900 0.2000 0.3200 0.1745 0.0841 0.0850 0.3200 0.4819 0.1161 0.0003 0.0645 0.0000 0.3200 0.1745 0.0841 284-AH 0.2600 0.3300 0.3400 0.3500 0.3800 0.3373 0.0267 0.0200 0.1200 0.0792 0.3362 0.3350 0.0194 0.3100 0.3700 0.3452 0.0140 285-AH 0.0000 0.3600 0.5300 0.5850 0.6300 0.4561 0.1839 0.2250 0.6300 0.4033 0.2340 0.0002 0.1487 0.0600 0.6300 0.4855 0.1461 286-AH 0.0000 0.0200 0.0300 0.0400 0.0600 0.0321 0.0158 0.0200 0.0600 0.4907 0.0191 0.0002 0.0126 0.0000 0.0600 0.0321 0.0158 287-AH 0.0000 0.2975 0.3200 0.3425 0.3600 0.2958 0.0908 0.0450 0.3600 0.3069 0.1651 0.0002 0.0573 0.2400 0.3600 0.3252 0.0289 288-AH 0.0700 0.2250 0.2700 0.3300 0.4600 0.2655 0.0897 0.1050 0.3900 0.3380 0.2468 0.2224 0.0689 0.0700 0.4600 0.2655 0.0897 289-AH 0.0000 0.1250 0.1700 0.1700 0.1800 0.1315 0.0729 0.0450 0.1800 0.5546 0.0256 0.0001 0.0613 0.1600 0.1800 0.1720 0.0050 290-AH 0.0900 0.1375 0.2300 0.2800 0.3100 0.2145 0.0728 0.1425 0.2200 0.3393 0.2004 0.1849 0.0636 0.0900 0.3100 0.2145 0.0728 311 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.1775 0.2000 0.2200 0.2700 0.1833 0.0777 0.0425 0.2700 0.4238 0.0616 0.0001 0.0531 0.1200 0.2700 0.2086 0.0379 292-AH 0.0000 0.0400 0.0400 0.0400 0.0400 0.0370 0.0088 0.0000 0.0400 0.2389 0.0292 0.0003 0.0053 0.0400 0.0400 0.0400 0.0000 293-AH 0.1200 0.2800 0.3000 0.3200 0.3400 0.2879 0.0521 0.0400 0.2200 0.1811 0.2812 0.2712 0.0334 0.2300 0.3400 0.3020 0.0241 294-AH 0.1000 0.2600 0.2600 0.2700 0.2700 0.2570 0.0307 0.0100 0.1700 0.1193 0.2540 0.2490 0.0130 0.2600 0.2700 0.2639 0.0050 295-AH 0.1100 0.2100 0.2400 0.2850 0.3800 0.2497 0.0649 0.0750 0.2700 0.2600 0.2413 0.2324 0.0487 0.1100 0.3800 0.2497 0.0649 296-AH 0.0000 0.1225 0.2200 0.2300 0.2400 0.1655 0.0899 0.1075 0.2400 0.5431 0.0738 0.0002 0.0745 0.0000 0.2400 0.1655 0.0899 297-AH 0.0000 0.0500 0.0600 0.0725 0.1100 0.0621 0.0216 0.0225 0.1100 0.3480 0.0380 0.0002 0.0150 0.0500 0.0900 0.0647 0.0128 298-AH 0.0500 0.1200 0.1400 0.1700 0.2000 0.1433 0.0331 0.0500 0.1500 0.2312 0.1387 0.1326 0.0259 0.0500 0.2000 0.1433 0.0331 299-AH 0.1900 0.2900 0.3400 0.4125 0.4700 0.3455 0.0745 0.1225 0.2800 0.2158 0.3373 0.3289 0.0614 0.1900 0.4700 0.3455 0.0745 300-AH 0.0800 0.1900 0.2100 0.2200 0.2600 0.2058 0.0330 0.0300 0.1800 0.1603 0.2024 0.1974 0.0231 0.1600 0.2600 0.2097 0.0244 301-AH 0.0000 0.0200 0.0400 0.0700 0.1100 0.0458 0.0339 0.0500 0.1100 0.7412 0.0230 0.0002 0.0274 0.0000 0.1100 0.0458 0.0339 302-AH 0.0400 0.1400 0.1500 0.1600 0.1700 0.1373 0.0338 0.0200 0.1300 0.2465 0.1308 0.1203 0.0243 0.1200 0.1700 0.1515 0.0103 303-AH 0.0100 0.0800 0.0900 0.1000 0.1100 0.0858 0.0255 0.0200 0.1000 0.2973 0.0788 0.0642 0.0185 0.0500 0.1100 0.0920 0.0161 304-AH 0.0400 0.0600 0.0700 0.0800 0.1200 0.0727 0.0161 0.0200 0.0800 0.2208 0.0711 0.0696 0.0117 0.0400 0.1000 0.0712 0.0139 305-AH 0.1900 0.2475 0.2700 0.3000 0.3600 0.2718 0.0442 0.0525 0.1700 0.1626 0.2683 0.2646 0.0342 0.1900 0.3600 0.2718 0.0442 306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 307-AH 0.0800 0.2525 0.3300 0.3900 0.4400 0.3209 0.0893 0.1375 0.3600 0.2782 0.3043 0.2799 0.0710 0.0800 0.4400 0.3209 0.0893 308-AH 0.0800 0.0900 0.1000 0.1000 0.1000 0.0958 0.0061 0.0100 0.0200 0.0641 0.0956 0.0953 0.0054 0.0800 0.1000 0.0958 0.0061 309-AH 0.0000 0.0400 0.0500 0.0500 0.0600 0.0421 0.0162 0.0100 0.0600 0.3835 0.0256 0.0002 0.0121 0.0300 0.0600 0.0479 0.0083 310-AH 0.0400 0.0700 0.1200 0.1625 0.3100 0.1239 0.0624 0.0925 0.2700 0.5034 0.1079 0.0920 0.0504 0.0400 0.2000 0.1181 0.0535 311-AH 0.1300 0.2500 0.2800 0.3100 0.3500 0.2709 0.0563 0.0600 0.2200 0.2077 0.2642 0.2561 0.0439 0.1700 0.3500 0.2794 0.0464 312-AH 0.0200 0.2475 0.2700 0.2825 0.3000 0.2470 0.0610 0.0350 0.2800 0.2468 0.2305 0.1810 0.0416 0.2000 0.3000 0.2686 0.0241 313-AH 0.0100 0.0275 0.0500 0.0900 0.1000 0.0564 0.0322 0.0625 0.0900 0.5712 0.0450 0.0334 0.0296 0.0100 0.1000 0.0564 0.0322 314-AH 0.0000 0.0700 0.0800 0.1025 0.1200 0.0773 0.0321 0.0325 0.1200 0.4159 0.0447 0.0002 0.0244 0.0300 0.1200 0.0843 0.0237 315-AH 0.1500 0.2600 0.3400 0.4100 0.4800 0.3336 0.0984 0.1500 0.3300 0.2948 0.3176 0.2996 0.0799 0.1500 0.4800 0.3336 0.0984 316-AH 0.0000 0.0675 0.2000 0.2200 0.3500 0.1682 0.1054 0.1525 0.3500 0.6269 0.0614 0.0001 0.0877 0.0000 0.3500 0.1682 0.1054 317-AH 0.0000 0.1400 0.1700 0.1825 0.2100 0.1548 0.0478 0.0425 0.2100 0.3085 0.0902 0.0002 0.0320 0.0900 0.2100 0.1648 0.0271 318-AH 0.0100 0.0700 0.0800 0.0900 0.0900 0.0761 0.0182 0.0200 0.0800 0.2391 0.0721 0.0627 0.0139 0.0400 0.0900 0.0781 0.0140 319-AH 0.0200 0.0800 0.1100 0.1325 0.1500 0.1027 0.0361 0.0525 0.1300 0.3512 0.0946 0.0833 0.0290 0.0200 0.1500 0.1027 0.0361 320-AH 0.0000 0.0200 0.0300 0.0600 0.0800 0.0370 0.0231 0.0400 0.0800 0.6252 0.0166 0.0001 0.0205 0.0000 0.0800 0.0370 0.0231 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0200 0.0400 0.0500 0.0700 0.0900 0.0530 0.0185 0.0300 0.0700 0.3480 0.0499 0.0468 0.0156 0.0200 0.0900 0.0530 0.0185 323-AH 0.0200 0.1000 0.1100 0.1300 0.1500 0.1118 0.0270 0.0300 0.1300 0.2413 0.1064 0.0955 0.0182 0.0800 0.1500 0.1171 0.0172 324-AH 0.0000 0.1050 0.2300 0.4050 0.6000 0.2552 0.1941 0.3000 0.6000 0.7609 0.0613 0.0001 0.1626 0.0000 0.6000 0.2552 0.1941 325-AH 0.1200 0.3600 0.4200 0.4625 0.5300 0.4106 0.0827 0.1025 0.4100 0.2014 0.3992 0.3810 0.0587 0.2500 0.5300 0.4197 0.0652 326-AH 0.0000 0.0200 0.0200 0.0300 0.0300 0.0218 0.0077 0.0100 0.0300 0.3523 0.0141 0.0002 0.0055 0.0100 0.0300 0.0232 0.0054 327-AH 0.0000 0.0200 0.0400 0.0400 0.0400 0.0297 0.0145 0.0200 0.0400 0.4871 0.0119 0.0001 0.0119 0.0000 0.0400 0.0297 0.0145 328-AH 0.1800 0.2100 0.2200 0.2300 0.2300 0.2182 0.0153 0.0200 0.0500 0.0701 0.2176 0.2170 0.0122 0.1800 0.2300 0.2182 0.0153 329-AH 0.1600 0.1600 0.1700 0.1700 0.1700 0.1664 0.0049 0.0100 0.0100 0.0294 0.1663 0.1662 0.0046 0.1600 0.1700 0.1664 0.0049 330-AH 0.0700 0.3950 0.4700 0.5000 0.5100 0.4079 0.1427 0.1050 0.4400 0.3498 0.3622 0.2857 0.1099 0.3400 0.5100 0.4704 0.0436 331-AH 0.0000 0.1375 0.1500 0.1600 0.1700 0.1318 0.0488 0.0225 0.1700 0.3699 0.0730 0.0002 0.0348 0.1300 0.1700 0.1530 0.0103 332-AH 0.0000 0.0650 0.0800 0.0800 0.0800 0.0630 0.0307 0.0150 0.0800 0.4866 0.0332 0.0002 0.0257 0.0800 0.0800 0.0800 0.0000 333-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0421 0.0175 0.0000 0.0500 0.4144 0.0167 0.0001 0.0124 0.0500 0.0500 0.0500 0.0000 334-AH 0.0300 0.0400 0.0400 0.0500 0.0500 0.0415 0.0067 0.0100 0.0200 0.1607 0.0410 0.0404 0.0051 0.0300 0.0500 0.0415 0.0067 335-AH 0.0600 0.0800 0.1000 0.1100 0.1300 0.0955 0.0191 0.0300 0.0700 0.1996 0.0936 0.0916 0.0159 0.0600 0.1300 0.0955 0.0191 336-AH 0.0000 0.0100 0.0200 0.0800 0.1500 0.0403 0.0405 0.0700 0.1500 1.0050 0.0077 0.0001 0.0355 0.0000 0.1500 0.0403 0.0405 337-AH 0.1100 0.1900 0.2000 0.2000 0.2000 0.1900 0.0225 0.0100 0.0900 0.1184 0.1883 0.1862 0.0133 0.1800 0.2000 0.1967 0.0061 338-AH 0.0000 0.0900 0.0900 0.1000 0.1000 0.0852 0.0267 0.0100 0.1000 0.3136 0.0511 0.0002 0.0173 0.0800 0.1000 0.0950 0.0064 339-AH 0.0000 0.1800 0.1900 0.1900 0.1900 0.1606 0.0655 0.0100 0.1900 0.4080 0.0546 0.0001 0.0463 0.1800 0.1900 0.1889 0.0032 340-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 312 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0100 0.0500 0.0600 0.0600 0.0600 0.0530 0.0124 0.0100 0.0500 0.2333 0.0500 0.0433 0.0080 0.0400 0.0600 0.0558 0.0056 342-AH 0.0000 0.4450 0.6000 0.7250 0.8000 0.5530 0.1990 0.2800 0.8000 0.3598 0.2937 0.0002 0.1541 0.3500 0.8000 0.5887 0.1432 343-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0079 0.0042 0.0000 0.0100 0.5269 0.0023 0.0000 0.0033 0.0100 0.0100 0.0100 0.0000 344-AH 0.1400 0.2300 0.2600 0.2700 0.3000 0.2488 0.0319 0.0400 0.1600 0.1282 0.2465 0.2437 0.0239 0.1900 0.3000 0.2522 0.0256 345-AH 0.0000 0.0475 0.0600 0.0725 0.0800 0.0527 0.0244 0.0250 0.0800 0.4628 0.0247 0.0001 0.0184 0.0200 0.0800 0.0597 0.0164 346-AH 0.0000 0.0550 0.0600 0.0800 0.1000 0.0573 0.0285 0.0250 0.1000 0.4982 0.0173 0.0001 0.0205 0.0400 0.1000 0.0675 0.0158 347-AH 0.0100 0.0400 0.0500 0.0500 0.0700 0.0473 0.0123 0.0100 0.0600 0.2605 0.0449 0.0410 0.0088 0.0300 0.0600 0.0487 0.0086 348-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0152 0.0087 0.0050 0.0200 0.5745 0.0032 0.0000 0.0073 0.0200 0.0200 0.0200 0.0000 349-AH 0.0800 0.2000 0.2200 0.2300 0.2700 0.2164 0.0377 0.0300 0.1900 0.1740 0.2122 0.2063 0.0254 0.1700 0.2700 0.2206 0.0291 350-AH 0.0600 0.1000 0.1000 0.1000 0.1000 0.0982 0.0073 0.0000 0.0400 0.0740 0.0978 0.0974 0.0033 0.1000 0.1000 0.1000 0.0000 313 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0045 0.0015 0.0000 0.0050 0.3211 0.0028 0.0001 0.0008 0.0050 0.0050 0.0050 0.0000 142-AH 0.0300 0.0387 0.0400 0.0400 0.0400 0.0386 0.0026 0.0012 0.0100 0.0669 0.0385 0.0384 0.0021 0.0400 0.0400 0.0400 0.0000 143-AH 0.1600 0.1800 0.1900 0.1950 0.1950 0.1871 0.0098 0.0150 0.0350 0.0522 0.1869 0.1866 0.0082 0.1600 0.1950 0.1871 0.0098 144-AH 0.0050 0.0137 0.0150 0.0150 0.0150 0.0127 0.0042 0.0012 0.0100 0.3271 0.0117 0.0104 0.0034 0.0150 0.0150 0.0150 0.0000 145-AH 0.1550 0.1650 0.1750 0.1800 0.1850 0.1726 0.0085 0.0150 0.0300 0.0492 0.1724 0.1722 0.0076 0.1550 0.1850 0.1726 0.0085 146-AH 0.0050 0.0050 0.0050 0.0100 0.0100 0.0068 0.0024 0.0050 0.0050 0.3582 0.0064 0.0061 0.0023 0.0050 0.0100 0.0068 0.0024 147-AH 0.1750 0.2400 0.2450 0.2500 0.2550 0.2435 0.0144 0.0100 0.0800 0.0591 0.2430 0.2424 0.0086 0.2300 0.2550 0.2456 0.0076 148-AH 0.0050 0.0100 0.0150 0.0300 0.0300 0.0173 0.0093 0.0200 0.0250 0.5371 0.0149 0.0127 0.0082 0.0050 0.0300 0.0173 0.0093 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0300 0.0350 0.0400 0.0500 0.0323 0.0124 0.0100 0.0500 0.3856 0.0238 0.0003 0.0094 0.0250 0.0500 0.0376 0.0051 151-AH 0.0000 0.0350 0.0400 0.0413 0.0500 0.0362 0.0124 0.0063 0.0500 0.3418 0.0227 0.0002 0.0088 0.0350 0.0500 0.0417 0.0040 152-AH 0.0000 0.0450 0.0500 0.0500 0.0550 0.0442 0.0119 0.0050 0.0550 0.2682 0.0337 0.0003 0.0070 0.0400 0.0550 0.0475 0.0041 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0500 0.0738 0.0800 0.0850 0.0900 0.0773 0.0101 0.0112 0.0400 0.1305 0.0766 0.0758 0.0079 0.0600 0.0900 0.0789 0.0080 155-AH 0.0050 0.0100 0.0150 0.0150 0.0150 0.0129 0.0031 0.0050 0.0100 0.2383 0.0124 0.0118 0.0027 0.0050 0.0150 0.0129 0.0031 156-AH 0.0150 0.0488 0.0650 0.0750 0.0900 0.0595 0.0210 0.0263 0.0750 0.3534 0.0541 0.0461 0.0160 0.0150 0.0900 0.0595 0.0210 157-AH 0.0000 0.3550 0.4250 0.4800 0.5600 0.3811 0.1483 0.1250 0.5600 0.3891 0.2017 0.0002 0.1136 0.2200 0.5600 0.4341 0.0770 158-AH 0.0000 0.1338 0.1450 0.1562 0.1650 0.1389 0.0310 0.0225 0.1650 0.2231 0.1062 0.0003 0.0191 0.1050 0.1650 0.1463 0.0148 159-AH 0.0800 0.1350 0.1900 0.1962 0.2400 0.1750 0.0414 0.0612 0.1600 0.2366 0.1693 0.1626 0.0336 0.0800 0.2400 0.1750 0.0414 160-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0092 0.0018 0.0000 0.0050 0.1970 0.0090 0.0087 0.0013 0.0100 0.0100 0.0100 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 163-AH 0.4650 0.5400 0.5650 0.5750 0.5850 0.5542 0.0297 0.0350 0.1200 0.0537 0.5534 0.5526 0.0231 0.5100 0.5850 0.5595 0.0216 164-AH 0.0200 0.0587 0.0800 0.1062 0.1250 0.0802 0.0266 0.0475 0.1050 0.3317 0.0750 0.0684 0.0214 0.0200 0.1250 0.0802 0.0266 165-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0047 0.0012 0.0000 0.0050 0.2579 0.0034 0.0002 0.0006 0.0050 0.0050 0.0050 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0150 0.0200 0.0200 0.0250 0.0177 0.0066 0.0050 0.0250 0.3737 0.0114 0.0002 0.0050 0.0100 0.0250 0.0193 0.0043 168-AH 0.0000 0.0737 0.0900 0.0900 0.0900 0.0714 0.0334 0.0163 0.0900 0.4678 0.0258 0.0001 0.0270 0.0550 0.0900 0.0879 0.0071 169-AH 0.0000 0.0125 0.0150 0.0250 0.0300 0.0161 0.0090 0.0125 0.0300 0.5599 0.0067 0.0001 0.0072 0.0000 0.0300 0.0161 0.0090 170-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 171-AH 0.0000 0.0312 0.0600 0.0700 0.0750 0.0476 0.0260 0.0388 0.0750 0.5474 0.0246 0.0002 0.0223 0.0000 0.0750 0.0476 0.0260 172-AH 0.0100 0.0250 0.0350 0.0350 0.0350 0.0303 0.0068 0.0100 0.0250 0.2257 0.0292 0.0274 0.0051 0.0200 0.0350 0.0316 0.0045 173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 174-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 175-AH 0.0300 0.0350 0.0350 0.0350 0.0350 0.0344 0.0017 0.0000 0.0050 0.0482 0.0344 0.0343 0.0011 0.0350 0.0350 0.0350 0.0000 176-AH 0.1450 0.1950 0.1950 0.1950 0.1950 0.1935 0.0087 0.0000 0.0500 0.0450 0.1933 0.1930 0.0029 0.1950 0.1950 0.1950 0.0000 177-AH 0.0050 0.0500 0.0550 0.0600 0.0650 0.0520 0.0127 0.0100 0.0600 0.2452 0.0488 0.0400 0.0088 0.0400 0.0650 0.0550 0.0077 178-AH 0.0000 0.0050 0.0100 0.0150 0.0200 0.0106 0.0061 0.0100 0.0200 0.5745 0.0065 0.0002 0.0052 0.0000 0.0200 0.0106 0.0061 179-AH 0.0400 0.0850 0.0950 0.1100 0.1100 0.0944 0.0156 0.0250 0.0700 0.1647 0.0928 0.0908 0.0122 0.0750 0.1100 0.0961 0.0123 180-AH 0.0000 0.1125 0.1950 0.2000 0.2000 0.1597 0.0588 0.0875 0.2000 0.3681 0.0905 0.0002 0.0477 0.0000 0.2000 0.1597 0.0588 181-AH 0.3250 0.4187 0.4500 0.4500 0.4550 0.4250 0.0380 0.0312 0.1300 0.0894 0.4232 0.4212 0.0279 0.3900 0.4550 0.4393 0.0165 182-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 183-AH 0.0150 0.0200 0.0200 0.0200 0.0200 0.0195 0.0015 0.0000 0.0050 0.0747 0.0195 0.0194 0.0008 0.0200 0.0200 0.0200 0.0000 184-AH 0.0100 0.0400 0.0450 0.0450 0.0450 0.0406 0.0079 0.0050 0.0350 0.1941 0.0392 0.0366 0.0045 0.0350 0.0450 0.0424 0.0031 185-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0042 0.0018 0.0000 0.0050 0.4291 0.0020 0.0001 0.0013 0.0050 0.0050 0.0050 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0048 0.0009 0.0000 0.0050 0.1795 0.0041 0.0003 0.0003 0.0050 0.0050 0.0050 0.0000 188-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0029 0.0025 0.0050 0.0050 0.8717 0.0004 0.0000 0.0024 0.0000 0.0050 0.0029 0.0025 189-AH 0.0000 0.0350 0.0350 0.0350 0.0350 0.0335 0.0066 0.0000 0.0350 0.1957 0.0269 0.0003 0.0028 0.0350 0.0350 0.0350 0.0000 190-AH 0.0250 0.0350 0.0350 0.0350 0.0450 0.0355 0.0034 0.0000 0.0200 0.0957 0.0353 0.0351 0.0017 0.0350 0.0350 0.0350 0.0000 314 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0150 0.0250 0.0300 0.0300 0.0300 0.0274 0.0040 0.0050 0.0150 0.1450 0.0271 0.0266 0.0031 0.0250 0.0300 0.0282 0.0024 193-AH 0.0150 0.0300 0.0350 0.0350 0.0350 0.0321 0.0048 0.0050 0.0200 0.1509 0.0317 0.0311 0.0038 0.0250 0.0350 0.0327 0.0038 194-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0042 0.0018 0.0000 0.0050 0.4291 0.0020 0.0001 0.0013 0.0050 0.0050 0.0050 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 197-AH 0.0300 0.1938 0.2200 0.2450 0.2500 0.1970 0.0642 0.0513 0.2200 0.3259 0.1793 0.1488 0.0491 0.1200 0.2500 0.2198 0.0340 198-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0048 0.0009 0.0000 0.0050 0.1795 0.0041 0.0003 0.0003 0.0050 0.0050 0.0050 0.0000 199-AH 0.0450 0.0500 0.0500 0.0500 0.0500 0.0495 0.0015 0.0000 0.0050 0.0295 0.0495 0.0495 0.0008 0.0500 0.0500 0.0500 0.0000 200-AH 0.0250 0.0400 0.0400 0.0450 0.0450 0.0395 0.0054 0.0050 0.0200 0.1355 0.0391 0.0387 0.0037 0.0350 0.0450 0.0414 0.0030 251-AH 0.1000 0.1988 0.2200 0.2350 0.2500 0.2106 0.0361 0.0362 0.1500 0.1715 0.2067 0.2014 0.0259 0.1800 0.2500 0.2202 0.0194 252-AH 0.0000 0.1250 0.1400 0.1400 0.1400 0.1271 0.0298 0.0150 0.1400 0.2346 0.0964 0.0003 0.0161 0.1050 0.1400 0.1342 0.0087 253-AH 0.0450 0.2437 0.3400 0.4650 0.5100 0.3306 0.1468 0.2213 0.4650 0.4441 0.2810 0.2109 0.1205 0.0450 0.5100 0.3306 0.1468 254-AH 0.1500 0.2825 0.3300 0.3562 0.4450 0.3194 0.0724 0.0737 0.2950 0.2268 0.3100 0.2990 0.0541 0.2000 0.4450 0.3300 0.0606 255-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0192 0.0022 0.0000 0.0100 0.1148 0.0191 0.0189 0.0013 0.0200 0.0200 0.0200 0.0000 256-AH 0.0000 0.1087 0.1600 0.1650 0.1700 0.1353 0.0501 0.0563 0.1700 0.3702 0.0766 0.0002 0.0390 0.0300 0.1700 0.1440 0.0371 257-AH 0.0250 0.1638 0.1850 0.2013 0.2200 0.1697 0.0482 0.0375 0.1950 0.2841 0.1562 0.1267 0.0335 0.1100 0.2200 0.1845 0.0243 258-AH 0.0000 0.0050 0.0150 0.0200 0.0200 0.0124 0.0074 0.0150 0.0200 0.5962 0.0044 0.0001 0.0065 0.0000 0.0200 0.0124 0.0074 259-AH 0.0000 0.0100 0.0100 0.0150 0.0150 0.0111 0.0043 0.0050 0.0150 0.3875 0.0063 0.0001 0.0031 0.0100 0.0150 0.0122 0.0025 260-AH 0.0000 0.2800 0.2900 0.3000 0.3050 0.2718 0.0711 0.0200 0.3050 0.2616 0.1551 0.0002 0.0347 0.2500 0.3050 0.2894 0.0122 261-AH 0.0150 0.0450 0.0700 0.0863 0.1300 0.0673 0.0282 0.0412 0.1150 0.4192 0.0606 0.0527 0.0222 0.0150 0.1300 0.0673 0.0282 262-AH 0.0550 0.1450 0.2150 0.2450 0.3050 0.1961 0.0754 0.1000 0.2500 0.3846 0.1776 0.1550 0.0627 0.0550 0.3050 0.1961 0.0754 263-AH 0.0250 0.1287 0.1550 0.1663 0.1800 0.1394 0.0420 0.0375 0.1550 0.3011 0.1283 0.1084 0.0306 0.0800 0.1800 0.1502 0.0249 264-AH 0.0050 0.0850 0.0900 0.1000 0.1050 0.0856 0.0201 0.0150 0.1000 0.2353 0.0793 0.0566 0.0112 0.0800 0.1050 0.0912 0.0073 265-AH 0.0000 0.0200 0.0300 0.0300 0.0300 0.0241 0.0096 0.0100 0.0300 0.3967 0.0148 0.0002 0.0074 0.0050 0.0300 0.0256 0.0075 266-AH 0.0000 0.0050 0.0100 0.0200 0.0200 0.0118 0.0068 0.0150 0.0200 0.5776 0.0084 0.0003 0.0061 0.0000 0.0200 0.0118 0.0068 267-AH 0.0000 0.0650 0.0800 0.0863 0.1000 0.0750 0.0217 0.0213 0.1000 0.2887 0.0567 0.0003 0.0152 0.0500 0.1000 0.0794 0.0131 268-AH 0.0000 0.0100 0.0100 0.0150 0.0150 0.0112 0.0042 0.0050 0.0150 0.3703 0.0075 0.0002 0.0032 0.0050 0.0150 0.0119 0.0031 269-AH 0.0100 0.0350 0.0400 0.0400 0.0400 0.0353 0.0086 0.0050 0.0300 0.2426 0.0336 0.0307 0.0060 0.0300 0.0400 0.0381 0.0034 270-AH 0.0200 0.1988 0.2400 0.2700 0.2750 0.2156 0.0772 0.0713 0.2550 0.3581 0.1852 0.1252 0.0564 0.1550 0.2750 0.2410 0.0357 271-AH 0.0150 0.1000 0.1100 0.1150 0.1200 0.1041 0.0206 0.0150 0.1050 0.1982 0.0999 0.0888 0.0136 0.0800 0.1200 0.1092 0.0100 272-AH 0.0150 0.0238 0.0600 0.0650 0.0650 0.0485 0.0193 0.0412 0.0500 0.3990 0.0435 0.0377 0.0173 0.0150 0.0650 0.0485 0.0193 273-AH 0.0800 0.3450 0.3600 0.3812 0.4000 0.3486 0.0579 0.0362 0.3200 0.1660 0.3398 0.3206 0.0348 0.3050 0.4000 0.3643 0.0242 274-AH 0.0150 0.0550 0.0650 0.0800 0.0800 0.0621 0.0193 0.0250 0.0650 0.3111 0.0578 0.0515 0.0150 0.0200 0.0800 0.0636 0.0177 275-AH 0.0000 0.1775 0.2300 0.2512 0.2900 0.2033 0.0778 0.0737 0.2900 0.3824 0.1122 0.0002 0.0584 0.1000 0.2900 0.2222 0.0509 276-AH 0.1550 0.2188 0.2500 0.2650 0.2800 0.2382 0.0314 0.0462 0.1250 0.1319 0.2360 0.2336 0.0270 0.1550 0.2800 0.2382 0.0314 277-AH 0.0550 0.0700 0.0750 0.0812 0.0900 0.0753 0.0092 0.0112 0.0350 0.1219 0.0747 0.0741 0.0065 0.0550 0.0900 0.0753 0.0092 278-AH 0.0150 0.0475 0.0600 0.0812 0.0950 0.0618 0.0216 0.0337 0.0800 0.3501 0.0574 0.0519 0.0182 0.0150 0.0950 0.0618 0.0216 279-AH 0.0150 0.0150 0.0150 0.0200 0.0200 0.0173 0.0025 0.0050 0.0050 0.1464 0.0171 0.0169 0.0025 0.0150 0.0200 0.0173 0.0025 280-AH 0.0000 0.0400 0.0450 0.0650 0.0950 0.0464 0.0233 0.0250 0.0950 0.5031 0.0262 0.0002 0.0172 0.0050 0.0950 0.0494 0.0207 281-AH 0.0000 0.1625 0.1750 0.1813 0.1850 0.1611 0.0442 0.0188 0.1850 0.2745 0.0946 0.0002 0.0254 0.1450 0.1850 0.1732 0.0126 282-AH 0.0000 0.0700 0.0750 0.0913 0.1250 0.0776 0.0304 0.0213 0.1250 0.3914 0.0442 0.0002 0.0199 0.0450 0.1200 0.0823 0.0162 283-AH 0.0100 0.0787 0.1150 0.1300 0.1750 0.1071 0.0421 0.0512 0.1650 0.3931 0.0937 0.0686 0.0328 0.0100 0.1750 0.1071 0.0421 284-AH 0.1650 0.1900 0.1900 0.1900 0.1900 0.1885 0.0046 0.0000 0.0250 0.0244 0.1884 0.1884 0.0025 0.1900 0.1900 0.1900 0.0000 285-AH 0.0000 0.2425 0.3150 0.3300 0.3400 0.2698 0.0955 0.0875 0.3400 0.3537 0.1474 0.0002 0.0687 0.1150 0.3400 0.2950 0.0528 286-AH 0.0000 0.0150 0.0200 0.0300 0.0400 0.0211 0.0093 0.0150 0.0400 0.4432 0.0132 0.0002 0.0073 0.0000 0.0400 0.0211 0.0093 287-AH 0.0000 0.1813 0.2000 0.2150 0.2200 0.1817 0.0540 0.0338 0.2200 0.2973 0.1049 0.0002 0.0332 0.1550 0.2200 0.1972 0.0184 288-AH 0.0700 0.1488 0.1850 0.2125 0.2800 0.1830 0.0437 0.0637 0.2100 0.2386 0.1773 0.1705 0.0346 0.0700 0.2800 0.1830 0.0437 289-AH 0.0000 0.0650 0.0850 0.0863 0.0900 0.0670 0.0352 0.0213 0.0900 0.5249 0.0224 0.0001 0.0294 0.0800 0.0900 0.0864 0.0027 290-AH 0.1000 0.1287 0.1650 0.1800 0.2100 0.1558 0.0330 0.0513 0.1100 0.2117 0.1522 0.1485 0.0286 0.1000 0.2100 0.1558 0.0330 315 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.1000 0.1100 0.1262 0.1350 0.1023 0.0398 0.0262 0.1350 0.3890 0.0457 0.0001 0.0253 0.0950 0.1350 0.1160 0.0137 292-AH 0.0000 0.0200 0.0200 0.0200 0.0200 0.0188 0.0042 0.0000 0.0200 0.2210 0.0152 0.0003 0.0022 0.0200 0.0200 0.0200 0.0000 293-AH 0.0700 0.1600 0.1650 0.1700 0.1700 0.1580 0.0240 0.0100 0.1000 0.1517 0.1553 0.1511 0.0134 0.1450 0.1700 0.1645 0.0067 294-AH 0.0550 0.1350 0.1350 0.1350 0.1350 0.1312 0.0144 0.0000 0.0800 0.1099 0.1300 0.1279 0.0062 0.1350 0.1350 0.1350 0.0000 295-AH 0.0750 0.1338 0.1450 0.1800 0.2000 0.1517 0.0317 0.0463 0.1250 0.2089 0.1482 0.1445 0.0267 0.0750 0.2000 0.1517 0.0317 296-AH 0.0050 0.0750 0.1150 0.1200 0.1200 0.0914 0.0438 0.0450 0.1150 0.4799 0.0694 0.0377 0.0365 0.0100 0.1200 0.0941 0.0417 297-AH 0.0000 0.0300 0.0400 0.0450 0.0600 0.0380 0.0131 0.0150 0.0600 0.3446 0.0239 0.0002 0.0100 0.0250 0.0600 0.0405 0.0090 298-AH 0.0550 0.0888 0.1000 0.1050 0.1150 0.0945 0.0164 0.0162 0.0600 0.1736 0.0930 0.0911 0.0127 0.0700 0.1150 0.0982 0.0121 299-AH 0.1500 0.2150 0.2450 0.2850 0.3200 0.2480 0.0428 0.0700 0.1700 0.1726 0.2443 0.2403 0.0358 0.1500 0.3200 0.2480 0.0428 300-AH 0.0900 0.1500 0.1650 0.1800 0.2000 0.1638 0.0234 0.0300 0.1100 0.1428 0.1619 0.1598 0.0178 0.1250 0.2000 0.1661 0.0196 301-AH 0.0000 0.0200 0.0200 0.0412 0.0700 0.0265 0.0168 0.0213 0.0700 0.6333 0.0151 0.0002 0.0136 0.0000 0.0700 0.0265 0.0168 302-AH 0.0350 0.0750 0.0800 0.0850 0.0850 0.0755 0.0152 0.0100 0.0500 0.2018 0.0734 0.0705 0.0101 0.0650 0.0850 0.0807 0.0055 303-AH 0.0050 0.0488 0.0550 0.0550 0.0650 0.0492 0.0122 0.0062 0.0600 0.2476 0.0460 0.0376 0.0078 0.0400 0.0600 0.0521 0.0053 304-AH 0.0350 0.0400 0.0400 0.0463 0.0650 0.0455 0.0095 0.0063 0.0300 0.2101 0.0446 0.0438 0.0074 0.0350 0.0500 0.0410 0.0040 305-AH 0.1350 0.1688 0.1900 0.2150 0.2300 0.1882 0.0292 0.0463 0.0950 0.1552 0.1859 0.1836 0.0252 0.1350 0.2300 0.1882 0.0292 306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 307-AH 0.0500 0.1900 0.2250 0.2550 0.3150 0.2191 0.0569 0.0650 0.2650 0.2596 0.2090 0.1928 0.0420 0.1000 0.3150 0.2244 0.0489 308-AH 0.0450 0.0488 0.0500 0.0500 0.0500 0.0488 0.0022 0.0013 0.0050 0.0446 0.0487 0.0487 0.0018 0.0500 0.0500 0.0500 0.0000 309-AH 0.0000 0.0300 0.0350 0.0400 0.0400 0.0315 0.0096 0.0100 0.0400 0.3033 0.0203 0.0002 0.0063 0.0250 0.0400 0.0335 0.0052 310-AH 0.0250 0.0813 0.1000 0.1363 0.1950 0.1027 0.0405 0.0550 0.1700 0.3941 0.0933 0.0821 0.0334 0.0250 0.1950 0.1027 0.0405 311-AH 0.1000 0.1650 0.1900 0.2050 0.2150 0.1794 0.0301 0.0400 0.1150 0.1676 0.1765 0.1730 0.0234 0.1200 0.2150 0.1844 0.0233 312-AH 0.0150 0.1350 0.1500 0.1500 0.1550 0.1353 0.0306 0.0150 0.1400 0.2261 0.1279 0.1079 0.0196 0.1350 0.1550 0.1468 0.0064 313-AH 0.0100 0.0238 0.0400 0.0550 0.0750 0.0391 0.0174 0.0312 0.0650 0.4448 0.0348 0.0301 0.0150 0.0100 0.0750 0.0391 0.0174 314-AH 0.0000 0.0500 0.0650 0.0662 0.0800 0.0562 0.0191 0.0162 0.0800 0.3402 0.0342 0.0002 0.0134 0.0400 0.0800 0.0613 0.0100 315-AH 0.0950 0.1538 0.2000 0.2400 0.2800 0.1961 0.0562 0.0862 0.1850 0.2869 0.1870 0.1767 0.0473 0.0950 0.2800 0.1961 0.0562 316-AH 0.0000 0.0625 0.1700 0.2163 0.2750 0.1502 0.0817 0.1538 0.2750 0.5438 0.0914 0.0003 0.0695 0.0000 0.2750 0.1502 0.0817 317-AH 0.0000 0.0938 0.1050 0.1100 0.1200 0.0962 0.0280 0.0162 0.1200 0.2914 0.0580 0.0002 0.0175 0.0700 0.1200 0.1024 0.0135 318-AH 0.0200 0.0450 0.0450 0.0450 0.0450 0.0430 0.0050 0.0000 0.0250 0.1160 0.0426 0.0420 0.0031 0.0450 0.0450 0.0450 0.0000 319-AH 0.0200 0.0500 0.0600 0.0713 0.0800 0.0602 0.0157 0.0213 0.0600 0.2608 0.0577 0.0547 0.0123 0.0200 0.0800 0.0602 0.0157 320-AH 0.0000 0.0200 0.0300 0.0350 0.0450 0.0255 0.0117 0.0150 0.0450 0.4590 0.0154 0.0002 0.0095 0.0000 0.0450 0.0255 0.0117 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0150 0.0300 0.0350 0.0412 0.0550 0.0362 0.0087 0.0113 0.0400 0.2392 0.0351 0.0339 0.0073 0.0150 0.0550 0.0362 0.0087 323-AH 0.0100 0.0637 0.0750 0.0850 0.1000 0.0724 0.0186 0.0213 0.0900 0.2566 0.0684 0.0595 0.0136 0.0550 0.1000 0.0758 0.0129 324-AH 0.0000 0.0675 0.1350 0.2400 0.3400 0.1511 0.1079 0.1725 0.3400 0.7142 0.0631 0.0002 0.0922 0.0000 0.3400 0.1511 0.1079 325-AH 0.0700 0.2450 0.2700 0.2862 0.2950 0.2591 0.0443 0.0412 0.2250 0.1709 0.2529 0.2413 0.0290 0.2050 0.2950 0.2681 0.0235 326-AH 0.0000 0.0100 0.0150 0.0150 0.0200 0.0126 0.0044 0.0050 0.0200 0.3461 0.0084 0.0002 0.0034 0.0050 0.0200 0.0134 0.0030 327-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0161 0.0068 0.0050 0.0200 0.4246 0.0072 0.0001 0.0053 0.0100 0.0200 0.0183 0.0033 328-AH 0.1000 0.1100 0.1150 0.1150 0.1150 0.1127 0.0042 0.0050 0.0150 0.0369 0.1126 0.1126 0.0033 0.1050 0.1150 0.1131 0.0035 329-AH 0.0800 0.0850 0.0850 0.0850 0.0850 0.0848 0.0009 0.0000 0.0050 0.0103 0.0848 0.0848 0.0003 0.0850 0.0850 0.0850 0.0000 330-AH 0.0600 0.2125 0.2450 0.2550 0.2550 0.2177 0.0592 0.0425 0.1950 0.2719 0.2055 0.1870 0.0448 0.1600 0.2550 0.2405 0.0226 331-AH 0.0000 0.0800 0.0850 0.0850 0.0850 0.0739 0.0242 0.0050 0.0850 0.3273 0.0443 0.0002 0.0168 0.0800 0.0850 0.0846 0.0014 332-AH 0.0000 0.0325 0.0400 0.0400 0.0400 0.0318 0.0148 0.0075 0.0400 0.4662 0.0180 0.0002 0.0124 0.0400 0.0400 0.0400 0.0000 333-AH 0.0000 0.0250 0.0250 0.0250 0.0250 0.0212 0.0088 0.0000 0.0250 0.4126 0.0092 0.0001 0.0062 0.0250 0.0250 0.0250 0.0000 334-AH 0.0150 0.0200 0.0250 0.0250 0.0250 0.0232 0.0030 0.0050 0.0100 0.1301 0.0230 0.0227 0.0025 0.0150 0.0250 0.0232 0.0030 335-AH 0.0450 0.0537 0.0600 0.0650 0.0700 0.0580 0.0085 0.0112 0.0250 0.1460 0.0574 0.0568 0.0070 0.0450 0.0700 0.0580 0.0085 336-AH 0.0000 0.0050 0.0200 0.0450 0.0850 0.0259 0.0224 0.0400 0.0850 0.8663 0.0059 0.0001 0.0190 0.0000 0.0850 0.0259 0.0224 337-AH 0.0650 0.0950 0.1000 0.1000 0.1000 0.0967 0.0082 0.0050 0.0350 0.0845 0.0963 0.0958 0.0048 0.0950 0.1000 0.0990 0.0020 338-AH 0.0000 0.0488 0.0500 0.0500 0.0500 0.0448 0.0130 0.0013 0.0500 0.2903 0.0282 0.0002 0.0078 0.0500 0.0500 0.0500 0.0000 339-AH 0.0000 0.0950 0.0950 0.0950 0.0950 0.0820 0.0317 0.0000 0.0950 0.3870 0.0307 0.0001 0.0215 0.0950 0.0950 0.0950 0.0000 340-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000 316 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0100 0.0250 0.0300 0.0300 0.0300 0.0273 0.0050 0.0050 0.0200 0.1839 0.0266 0.0254 0.0035 0.0250 0.0300 0.0284 0.0024 342-AH 0.0000 0.2963 0.4250 0.4700 0.4750 0.3709 0.1262 0.1737 0.4750 0.3402 0.2029 0.0002 0.0971 0.2250 0.4750 0.3948 0.0849 343-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 344-AH 0.1250 0.1388 0.1500 0.1550 0.1600 0.1458 0.0105 0.0162 0.0350 0.0718 0.1454 0.1450 0.0086 0.1250 0.1600 0.1458 0.0105 345-AH 0.0000 0.0250 0.0300 0.0450 0.0450 0.0321 0.0124 0.0200 0.0450 0.3853 0.0201 0.0002 0.0098 0.0000 0.0450 0.0321 0.0124 346-AH 0.0000 0.0400 0.0450 0.0500 0.0550 0.0392 0.0169 0.0100 0.0550 0.4299 0.0185 0.0001 0.0121 0.0250 0.0550 0.0459 0.0058 347-AH 0.0150 0.0300 0.0350 0.0350 0.0350 0.0318 0.0046 0.0050 0.0200 0.1460 0.0314 0.0309 0.0037 0.0250 0.0350 0.0323 0.0036 348-AH 0.0000 0.0075 0.0100 0.0100 0.0100 0.0076 0.0044 0.0025 0.0100 0.5745 0.0019 0.0000 0.0037 0.0100 0.0100 0.0100 0.0000 349-AH 0.0450 0.1250 0.1300 0.1350 0.1350 0.1274 0.0159 0.0100 0.0900 0.1245 0.1258 0.1227 0.0077 0.1100 0.1350 0.1300 0.0058 350-AH 0.0400 0.0500 0.0500 0.0500 0.0500 0.0495 0.0019 0.0000 0.0100 0.0388 0.0495 0.0495 0.0009 0.0500 0.0500 0.0500 0.0000 317 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0005 0.0000 0.0020 0.2579 0.0015 0.0002 0.0002 0.0020 0.0020 0.0020 0.0000 142-AH 0.0140 0.0155 0.0160 0.0160 0.0160 0.0155 0.0009 0.0005 0.0020 0.0561 0.0155 0.0155 0.0007 0.0160 0.0160 0.0160 0.0000 143-AH 0.0700 0.0775 0.0780 0.0780 0.0780 0.0770 0.0021 0.0005 0.0080 0.0269 0.0769 0.0769 0.0016 0.0780 0.0780 0.0780 0.0000 144-AH 0.0020 0.0060 0.0060 0.0060 0.0060 0.0053 0.0015 0.0000 0.0040 0.2760 0.0050 0.0046 0.0011 0.0060 0.0060 0.0060 0.0000 145-AH 0.0680 0.0720 0.0740 0.0740 0.0740 0.0725 0.0018 0.0020 0.0060 0.0241 0.0725 0.0725 0.0015 0.0700 0.0740 0.0727 0.0016 146-AH 0.0020 0.0020 0.0040 0.0040 0.0040 0.0033 0.0010 0.0020 0.0020 0.2985 0.0031 0.0029 0.0009 0.0020 0.0040 0.0033 0.0010 147-AH 0.0880 0.0980 0.1020 0.1020 0.1020 0.0998 0.0032 0.0040 0.0140 0.0318 0.0998 0.0997 0.0023 0.0940 0.1020 0.1002 0.0024 148-AH 0.0020 0.0060 0.0100 0.0120 0.0120 0.0089 0.0031 0.0060 0.0100 0.3464 0.0082 0.0074 0.0027 0.0020 0.0120 0.0089 0.0031 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0155 0.0160 0.0185 0.0200 0.0153 0.0045 0.0030 0.0200 0.2961 0.0122 0.0003 0.0032 0.0120 0.0200 0.0170 0.0022 151-AH 0.0000 0.0160 0.0180 0.0180 0.0200 0.0162 0.0044 0.0020 0.0200 0.2715 0.0130 0.0003 0.0032 0.0160 0.0200 0.0182 0.0010 152-AH 0.0020 0.0195 0.0200 0.0220 0.0220 0.0195 0.0045 0.0025 0.0200 0.2317 0.0181 0.0145 0.0025 0.0180 0.0220 0.0205 0.0015 153-AH 0.0000 0.0000 0.0000 0.0000 0.0020 0.0002 0.0007 0.0000 0.0020 2.7343 0.0000 0.0000 0.0004 0.0000 0.0000 0.0000 0.0000 154-AH 0.0280 0.0380 0.0400 0.0400 0.0400 0.0384 0.0028 0.0020 0.0120 0.0722 0.0383 0.0382 0.0019 0.0360 0.0400 0.0393 0.0011 155-AH 0.0020 0.0040 0.0060 0.0060 0.0060 0.0053 0.0011 0.0020 0.0040 0.2025 0.0052 0.0050 0.0009 0.0020 0.0060 0.0053 0.0011 156-AH 0.0100 0.0295 0.0320 0.0365 0.0400 0.0313 0.0085 0.0070 0.0300 0.2708 0.0296 0.0272 0.0061 0.0200 0.0400 0.0339 0.0049 157-AH 0.0000 0.2035 0.2300 0.2565 0.2700 0.2061 0.0733 0.0530 0.2700 0.3558 0.1355 0.0003 0.0545 0.1280 0.2700 0.2325 0.0347 158-AH 0.0020 0.0615 0.0660 0.0665 0.0680 0.0624 0.0117 0.0050 0.0660 0.1881 0.0577 0.0330 0.0060 0.0580 0.0680 0.0652 0.0030 159-AH 0.0660 0.0840 0.0920 0.0960 0.1080 0.0907 0.0104 0.0120 0.0420 0.1149 0.0901 0.0895 0.0080 0.0660 0.1080 0.0907 0.0104 160-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0020 0.0884 0.0039 0.0039 0.0001 0.0040 0.0040 0.0040 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 163-AH 0.2220 0.2380 0.2400 0.2420 0.2420 0.2389 0.0041 0.0040 0.0200 0.0171 0.2389 0.2388 0.0028 0.2340 0.2420 0.2397 0.0025 164-AH 0.0180 0.0380 0.0460 0.0500 0.0540 0.0441 0.0089 0.0120 0.0360 0.2019 0.0430 0.0416 0.0070 0.0260 0.0540 0.0449 0.0077 165-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0005 0.0000 0.0020 0.2579 0.0015 0.0002 0.0002 0.0020 0.0020 0.0020 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0091 0.0025 0.0000 0.0100 0.2700 0.0064 0.0002 0.0014 0.0100 0.0100 0.0100 0.0000 168-AH 0.0000 0.0335 0.0360 0.0360 0.0360 0.0303 0.0114 0.0025 0.0360 0.3767 0.0184 0.0002 0.0086 0.0360 0.0360 0.0360 0.0000 169-AH 0.0000 0.0055 0.0080 0.0120 0.0120 0.0079 0.0041 0.0065 0.0120 0.5231 0.0048 0.0002 0.0034 0.0000 0.0120 0.0079 0.0041 170-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 171-AH 0.0020 0.0205 0.0320 0.0360 0.0380 0.0264 0.0126 0.0155 0.0360 0.4766 0.0202 0.0113 0.0104 0.0020 0.0380 0.0264 0.0126 172-AH 0.0060 0.0140 0.0140 0.0140 0.0140 0.0133 0.0020 0.0000 0.0080 0.1484 0.0131 0.0128 0.0011 0.0140 0.0140 0.0140 0.0000 173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 174-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 175-AH 0.0120 0.0140 0.0140 0.0140 0.0140 0.0138 0.0006 0.0000 0.0020 0.0423 0.0138 0.0138 0.0003 0.0140 0.0140 0.0140 0.0000 176-AH 0.0640 0.0780 0.0780 0.0780 0.0780 0.0776 0.0024 0.0000 0.0140 0.0314 0.0775 0.0775 0.0008 0.0780 0.0780 0.0780 0.0000 177-AH 0.0080 0.0235 0.0260 0.0260 0.0260 0.0239 0.0039 0.0025 0.0180 0.1621 0.0234 0.0226 0.0025 0.0200 0.0260 0.0247 0.0019 178-AH 0.0000 0.0040 0.0040 0.0060 0.0080 0.0048 0.0022 0.0020 0.0080 0.4663 0.0032 0.0002 0.0018 0.0020 0.0080 0.0051 0.0019 179-AH 0.0160 0.0380 0.0440 0.0440 0.0440 0.0407 0.0054 0.0060 0.0280 0.1327 0.0402 0.0394 0.0036 0.0340 0.0440 0.0415 0.0031 180-AH 0.0000 0.0675 0.0800 0.0800 0.0800 0.0710 0.0187 0.0125 0.0800 0.2641 0.0539 0.0003 0.0120 0.0560 0.0800 0.0761 0.0067 181-AH 0.1620 0.1780 0.1800 0.1820 0.1840 0.1782 0.0057 0.0040 0.0220 0.0318 0.1782 0.1781 0.0042 0.1760 0.1840 0.1807 0.0020 182-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000 183-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000 184-AH 0.0100 0.0180 0.0180 0.0180 0.0180 0.0173 0.0018 0.0000 0.0080 0.1027 0.0172 0.0171 0.0011 0.0180 0.0180 0.0180 0.0000 185-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3211 0.0012 0.0001 0.0003 0.0020 0.0020 0.0020 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0003 0.0000 0.0020 0.1795 0.0017 0.0003 0.0001 0.0020 0.0020 0.0020 0.0000 188-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0015 0.0009 0.0020 0.0020 0.6219 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009 189-AH 0.0020 0.0140 0.0140 0.0140 0.0140 0.0136 0.0021 0.0000 0.0120 0.1552 0.0131 0.0118 0.0008 0.0140 0.0140 0.0140 0.0000 190-AH 0.0120 0.0140 0.0140 0.0160 0.0180 0.0148 0.0015 0.0020 0.0060 0.1011 0.0147 0.0147 0.0012 0.0120 0.0180 0.0148 0.0015 318 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0100 0.0120 0.0120 0.0120 0.0120 0.0116 0.0008 0.0000 0.0020 0.0673 0.0116 0.0116 0.0006 0.0120 0.0120 0.0120 0.0000 193-AH 0.0060 0.0140 0.0140 0.0140 0.0140 0.0136 0.0015 0.0000 0.0080 0.1090 0.0135 0.0133 0.0007 0.0140 0.0140 0.0140 0.0000 194-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0007 0.0000 0.0020 0.3771 0.0011 0.0001 0.0004 0.0020 0.0020 0.0020 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 197-AH 0.0240 0.0965 0.1000 0.1000 0.1000 0.0901 0.0199 0.0035 0.0760 0.2212 0.0866 0.0805 0.0142 0.0920 0.1000 0.0992 0.0017 198-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0003 0.0000 0.0020 0.1795 0.0017 0.0003 0.0001 0.0020 0.0020 0.0020 0.0000 199-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 200-AH 0.0100 0.0160 0.0180 0.0180 0.0180 0.0167 0.0019 0.0020 0.0080 0.1149 0.0165 0.0164 0.0015 0.0140 0.0180 0.0170 0.0013 251-AH 0.0560 0.0940 0.1020 0.1065 0.1140 0.0981 0.0147 0.0125 0.0580 0.1501 0.0968 0.0952 0.0107 0.0820 0.1140 0.1018 0.0088 252-AH 0.0160 0.0560 0.0580 0.0580 0.0580 0.0553 0.0086 0.0020 0.0420 0.1554 0.0542 0.0519 0.0041 0.0540 0.0580 0.0574 0.0012 253-AH 0.0360 0.1310 0.2100 0.2510 0.2780 0.1893 0.0782 0.1200 0.2420 0.4131 0.1656 0.1329 0.0640 0.0360 0.2780 0.1893 0.0782 254-AH 0.1000 0.2055 0.2400 0.2580 0.2840 0.2312 0.0378 0.0525 0.1840 0.1636 0.2274 0.2224 0.0288 0.1640 0.2840 0.2352 0.0301 255-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0079 0.0005 0.0000 0.0020 0.0615 0.0079 0.0078 0.0002 0.0080 0.0080 0.0080 0.0000 256-AH 0.0000 0.0545 0.0660 0.0680 0.0680 0.0577 0.0175 0.0135 0.0680 0.3037 0.0426 0.0003 0.0124 0.0360 0.0680 0.0622 0.0092 257-AH 0.0340 0.0930 0.1000 0.1060 0.1120 0.0940 0.0191 0.0130 0.0780 0.2027 0.0912 0.0870 0.0131 0.0760 0.1120 0.0992 0.0092 258-AH 0.0020 0.0040 0.0060 0.0080 0.0080 0.0059 0.0023 0.0040 0.0060 0.3984 0.0053 0.0046 0.0021 0.0020 0.0080 0.0059 0.0023 259-AH 0.0000 0.0040 0.0060 0.0060 0.0060 0.0052 0.0017 0.0020 0.0060 0.3224 0.0037 0.0002 0.0012 0.0020 0.0060 0.0055 0.0010 260-AH 0.0000 0.1220 0.1220 0.1240 0.1240 0.1148 0.0297 0.0020 0.1240 0.2585 0.0691 0.0002 0.0140 0.1200 0.1240 0.1225 0.0014 261-AH 0.0100 0.0250 0.0320 0.0385 0.0560 0.0324 0.0114 0.0135 0.0460 0.3518 0.0301 0.0275 0.0087 0.0100 0.0560 0.0324 0.0114 262-AH 0.0320 0.0765 0.1080 0.1270 0.1480 0.1016 0.0350 0.0505 0.1160 0.3439 0.0941 0.0847 0.0284 0.0320 0.1480 0.1016 0.0350 263-AH 0.0240 0.0675 0.0820 0.0900 0.0940 0.0758 0.0195 0.0225 0.0700 0.2569 0.0720 0.0662 0.0145 0.0540 0.0940 0.0808 0.0113 264-AH 0.0180 0.0380 0.0420 0.0420 0.0440 0.0385 0.0064 0.0040 0.0260 0.1658 0.0378 0.0368 0.0041 0.0340 0.0440 0.0404 0.0024 265-AH 0.0020 0.0095 0.0120 0.0120 0.0120 0.0107 0.0025 0.0025 0.0100 0.2375 0.0102 0.0092 0.0019 0.0080 0.0120 0.0112 0.0016 266-AH 0.0020 0.0040 0.0080 0.0080 0.0080 0.0062 0.0024 0.0040 0.0060 0.3825 0.0056 0.0049 0.0022 0.0020 0.0080 0.0062 0.0024 267-AH 0.0000 0.0360 0.0380 0.0400 0.0420 0.0359 0.0087 0.0040 0.0420 0.2426 0.0282 0.0003 0.0049 0.0300 0.0420 0.0379 0.0034 268-AH 0.0000 0.0040 0.0060 0.0060 0.0060 0.0050 0.0017 0.0020 0.0060 0.3315 0.0036 0.0002 0.0013 0.0020 0.0060 0.0054 0.0011 269-AH 0.0120 0.0160 0.0160 0.0160 0.0160 0.0156 0.0011 0.0000 0.0040 0.0675 0.0156 0.0156 0.0006 0.0160 0.0160 0.0160 0.0000 270-AH 0.0120 0.0995 0.1080 0.1120 0.1140 0.0973 0.0291 0.0125 0.1020 0.2993 0.0880 0.0692 0.0188 0.0920 0.1140 0.1077 0.0063 271-AH 0.0060 0.0460 0.0480 0.0480 0.0480 0.0452 0.0076 0.0020 0.0420 0.1676 0.0435 0.0384 0.0036 0.0440 0.0480 0.0470 0.0015 272-AH 0.0080 0.0160 0.0260 0.0260 0.0280 0.0214 0.0066 0.0100 0.0200 0.3078 0.0201 0.0184 0.0057 0.0080 0.0280 0.0214 0.0066 273-AH 0.0320 0.1520 0.1600 0.1640 0.1660 0.1532 0.0238 0.0120 0.1340 0.1553 0.1493 0.1399 0.0123 0.1340 0.1660 0.1579 0.0086 274-AH 0.0100 0.0240 0.0300 0.0320 0.0320 0.0275 0.0058 0.0080 0.0220 0.2112 0.0267 0.0256 0.0047 0.0140 0.0320 0.0281 0.0050 275-AH 0.0000 0.1015 0.1080 0.1220 0.1240 0.1009 0.0320 0.0205 0.1240 0.3173 0.0599 0.0002 0.0209 0.0780 0.1240 0.1113 0.0119 276-AH 0.0740 0.1035 0.1100 0.1160 0.1180 0.1078 0.0108 0.0125 0.0440 0.1001 0.1072 0.1066 0.0078 0.0860 0.1180 0.1097 0.0078 277-AH 0.0220 0.0300 0.0320 0.0340 0.0400 0.0322 0.0039 0.0040 0.0180 0.1209 0.0320 0.0317 0.0028 0.0240 0.0400 0.0326 0.0035 278-AH 0.0080 0.0255 0.0300 0.0380 0.0420 0.0301 0.0087 0.0125 0.0340 0.2884 0.0286 0.0265 0.0067 0.0080 0.0420 0.0301 0.0087 279-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0079 0.0005 0.0000 0.0020 0.0615 0.0079 0.0078 0.0002 0.0080 0.0080 0.0080 0.0000 280-AH 0.0000 0.0260 0.0280 0.0360 0.0440 0.0288 0.0109 0.0100 0.0440 0.3762 0.0212 0.0003 0.0075 0.0120 0.0440 0.0315 0.0072 281-AH 0.0000 0.0790 0.0840 0.0840 0.0840 0.0761 0.0203 0.0050 0.0840 0.2672 0.0468 0.0002 0.0111 0.0720 0.0840 0.0824 0.0030 282-AH 0.0020 0.0395 0.0460 0.0520 0.0540 0.0418 0.0138 0.0125 0.0520 0.3310 0.0352 0.0180 0.0093 0.0340 0.0540 0.0457 0.0065 283-AH 0.0120 0.0420 0.0600 0.0660 0.0740 0.0539 0.0163 0.0240 0.0620 0.3016 0.0503 0.0446 0.0129 0.0120 0.0740 0.0539 0.0163 284-AH 0.0760 0.0760 0.0760 0.0760 0.0760 0.0760 0.0000 0.0000 0.0000 0.0000 0.0760 0.0760 0.0000 0.0760 0.0760 0.0760 0.0000 285-AH 0.0000 0.1215 0.1340 0.1360 0.1380 0.1184 0.0361 0.0145 0.1380 0.3045 0.0699 0.0002 0.0227 0.1180 0.1380 0.1318 0.0060 286-AH 0.0000 0.0100 0.0120 0.0160 0.0180 0.0121 0.0043 0.0060 0.0180 0.3602 0.0081 0.0002 0.0032 0.0080 0.0180 0.0128 0.0031 287-AH 0.0400 0.0880 0.0920 0.0940 0.0960 0.0870 0.0138 0.0060 0.0560 0.1588 0.0855 0.0833 0.0084 0.0840 0.0960 0.0916 0.0031 288-AH 0.0620 0.0875 0.0980 0.1135 0.1360 0.1008 0.0174 0.0260 0.0740 0.1728 0.0993 0.0978 0.0147 0.0620 0.1360 0.1008 0.0174 289-AH 0.0000 0.0300 0.0340 0.0360 0.0360 0.0279 0.0132 0.0060 0.0360 0.4738 0.0128 0.0001 0.0107 0.0340 0.0360 0.0350 0.0010 290-AH 0.0600 0.0830 0.0880 0.0920 0.0980 0.0861 0.0095 0.0090 0.0380 0.1103 0.0855 0.0849 0.0071 0.0740 0.0980 0.0884 0.0061 319 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0500 0.0540 0.0540 0.0560 0.0480 0.0146 0.0040 0.0560 0.3051 0.0361 0.0003 0.0092 0.0480 0.0560 0.0532 0.0022 292-AH 0.0040 0.0080 0.0080 0.0080 0.0080 0.0078 0.0010 0.0000 0.0040 0.1249 0.0077 0.0075 0.0005 0.0080 0.0080 0.0080 0.0000 293-AH 0.0320 0.0680 0.0680 0.0680 0.0680 0.0654 0.0087 0.0000 0.0360 0.1336 0.0645 0.0633 0.0045 0.0680 0.0680 0.0680 0.0000 294-AH 0.0320 0.0540 0.0540 0.0540 0.0540 0.0533 0.0038 0.0000 0.0220 0.0720 0.0531 0.0528 0.0014 0.0540 0.0540 0.0540 0.0000 295-AH 0.0300 0.0615 0.0680 0.0820 0.0880 0.0702 0.0133 0.0205 0.0580 0.1887 0.0688 0.0671 0.0111 0.0540 0.0880 0.0715 0.0113 296-AH 0.0060 0.0380 0.0480 0.0480 0.0480 0.0387 0.0165 0.0100 0.0420 0.4258 0.0320 0.0220 0.0137 0.0440 0.0480 0.0478 0.0009 297-AH 0.0120 0.0180 0.0200 0.0220 0.0240 0.0196 0.0035 0.0040 0.0120 0.1791 0.0193 0.0188 0.0026 0.0120 0.0240 0.0196 0.0035 298-AH 0.0300 0.0440 0.0500 0.0545 0.0560 0.0486 0.0071 0.0105 0.0260 0.1457 0.0480 0.0474 0.0058 0.0300 0.0560 0.0486 0.0071 299-AH 0.0900 0.1320 0.1360 0.1385 0.1480 0.1335 0.0105 0.0065 0.0580 0.0788 0.1331 0.1325 0.0066 0.1240 0.1480 0.1360 0.0058 300-AH 0.0620 0.0780 0.0800 0.0840 0.0840 0.0796 0.0052 0.0060 0.0220 0.0654 0.0795 0.0793 0.0036 0.0700 0.0840 0.0806 0.0034 301-AH 0.0000 0.0080 0.0080 0.0200 0.0280 0.0125 0.0078 0.0120 0.0280 0.6230 0.0089 0.0003 0.0066 0.0000 0.0280 0.0125 0.0078 302-AH 0.0180 0.0300 0.0340 0.0340 0.0340 0.0313 0.0048 0.0040 0.0160 0.1524 0.0308 0.0303 0.0034 0.0280 0.0340 0.0329 0.0017 303-AH 0.0100 0.0240 0.0240 0.0260 0.0280 0.0236 0.0040 0.0020 0.0180 0.1698 0.0232 0.0225 0.0024 0.0220 0.0280 0.0247 0.0019 304-AH 0.0160 0.0220 0.0240 0.0280 0.0300 0.0241 0.0043 0.0060 0.0140 0.1782 0.0237 0.0233 0.0034 0.0160 0.0300 0.0241 0.0043 305-AH 0.0700 0.0920 0.1060 0.1180 0.1220 0.1050 0.0143 0.0260 0.0520 0.1360 0.1040 0.1030 0.0122 0.0700 0.1220 0.1050 0.0143 306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 307-AH 0.0280 0.1115 0.1260 0.1305 0.1440 0.1185 0.0232 0.0190 0.1160 0.1954 0.1148 0.1078 0.0158 0.0940 0.1440 0.1231 0.0136 308-AH 0.0180 0.0200 0.0200 0.0200 0.0220 0.0198 0.0011 0.0000 0.0040 0.0552 0.0197 0.0197 0.0007 0.0200 0.0200 0.0200 0.0000 309-AH 0.0000 0.0160 0.0180 0.0200 0.0200 0.0168 0.0050 0.0040 0.0200 0.2977 0.0112 0.0002 0.0033 0.0120 0.0200 0.0179 0.0026 310-AH 0.0440 0.0570 0.0640 0.0800 0.1020 0.0680 0.0141 0.0230 0.0580 0.2073 0.0666 0.0652 0.0116 0.0440 0.1020 0.0680 0.0141 311-AH 0.0640 0.0860 0.0920 0.0980 0.1000 0.0895 0.0103 0.0120 0.0360 0.1152 0.0889 0.0882 0.0077 0.0740 0.1000 0.0920 0.0068 312-AH 0.0140 0.0600 0.0600 0.0620 0.0620 0.0570 0.0105 0.0020 0.0480 0.1839 0.0554 0.0522 0.0066 0.0600 0.0620 0.0610 0.0010 313-AH 0.0100 0.0155 0.0220 0.0300 0.0340 0.0218 0.0077 0.0145 0.0240 0.3523 0.0204 0.0190 0.0067 0.0100 0.0340 0.0218 0.0077 314-AH 0.0020 0.0300 0.0320 0.0320 0.0340 0.0294 0.0077 0.0020 0.0320 0.2605 0.0262 0.0164 0.0045 0.0280 0.0340 0.0320 0.0014 315-AH 0.0440 0.0715 0.0940 0.1080 0.1160 0.0878 0.0224 0.0365 0.0720 0.2549 0.0846 0.0810 0.0194 0.0440 0.1160 0.0878 0.0224 316-AH 0.0220 0.0935 0.1300 0.1545 0.1760 0.1188 0.0431 0.0610 0.1540 0.3628 0.1080 0.0926 0.0361 0.0220 0.1760 0.1188 0.0431 317-AH 0.0000 0.0475 0.0520 0.0560 0.0560 0.0479 0.0135 0.0085 0.0560 0.2813 0.0302 0.0002 0.0082 0.0380 0.0560 0.0510 0.0056 318-AH 0.0160 0.0180 0.0180 0.0180 0.0180 0.0179 0.0003 0.0000 0.0020 0.0194 0.0179 0.0179 0.0001 0.0180 0.0180 0.0180 0.0000 319-AH 0.0180 0.0240 0.0260 0.0300 0.0340 0.0265 0.0044 0.0060 0.0160 0.1657 0.0261 0.0258 0.0036 0.0180 0.0340 0.0265 0.0044 320-AH 0.0060 0.0155 0.0180 0.0200 0.0220 0.0165 0.0046 0.0045 0.0160 0.2813 0.0156 0.0144 0.0035 0.0120 0.0220 0.0179 0.0029 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0140 0.0180 0.0220 0.0260 0.0280 0.0219 0.0039 0.0080 0.0140 0.1769 0.0215 0.0212 0.0033 0.0140 0.0280 0.0219 0.0039 323-AH 0.0060 0.0360 0.0440 0.0465 0.0500 0.0404 0.0098 0.0105 0.0440 0.2423 0.0383 0.0335 0.0068 0.0260 0.0500 0.0424 0.0060 324-AH 0.0000 0.0355 0.0620 0.1210 0.1380 0.0720 0.0465 0.0855 0.1380 0.6464 0.0349 0.0002 0.0408 0.0000 0.1380 0.0720 0.0465 325-AH 0.0400 0.1180 0.1180 0.1200 0.1200 0.1142 0.0155 0.0020 0.0800 0.1355 0.1125 0.1095 0.0080 0.1180 0.1200 0.1192 0.0010 326-AH 0.0000 0.0040 0.0060 0.0060 0.0080 0.0055 0.0020 0.0020 0.0080 0.3630 0.0039 0.0002 0.0015 0.0040 0.0080 0.0059 0.0015 327-AH 0.0000 0.0075 0.0080 0.0080 0.0080 0.0067 0.0027 0.0005 0.0080 0.3990 0.0034 0.0001 0.0019 0.0080 0.0080 0.0080 0.0000 328-AH 0.0460 0.0460 0.0460 0.0460 0.0460 0.0460 0.0000 0.0000 0.0000 0.0000 0.0460 0.0460 0.0000 0.0460 0.0460 0.0460 0.0000 329-AH 0.0340 0.0340 0.0340 0.0340 0.0340 0.0340 0.0000 0.0000 0.0000 0.0000 0.0340 0.0340 0.0000 0.0340 0.0340 0.0340 0.0000 330-AH 0.0580 0.0955 0.1000 0.1020 0.1020 0.0939 0.0139 0.0065 0.0440 0.1476 0.0927 0.0913 0.0104 0.0860 0.1020 0.1000 0.0035 331-AH 0.0000 0.0340 0.0340 0.0340 0.0340 0.0305 0.0093 0.0000 0.0340 0.3050 0.0195 0.0002 0.0057 0.0340 0.0340 0.0340 0.0000 332-AH 0.0020 0.0135 0.0160 0.0160 0.0160 0.0132 0.0052 0.0025 0.0140 0.3952 0.0113 0.0083 0.0043 0.0160 0.0160 0.0160 0.0000 333-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0090 0.0027 0.0000 0.0100 0.2936 0.0063 0.0002 0.0016 0.0100 0.0100 0.0100 0.0000 334-AH 0.0080 0.0100 0.0100 0.0100 0.0100 0.0097 0.0007 0.0000 0.0020 0.0751 0.0097 0.0096 0.0005 0.0100 0.0100 0.0100 0.0000 335-AH 0.0220 0.0260 0.0280 0.0300 0.0300 0.0271 0.0027 0.0040 0.0080 0.0995 0.0270 0.0268 0.0022 0.0220 0.0300 0.0271 0.0027 336-AH 0.0000 0.0020 0.0160 0.0260 0.0340 0.0157 0.0110 0.0240 0.0340 0.7016 0.0056 0.0001 0.0093 0.0000 0.0340 0.0157 0.0110 337-AH 0.0320 0.0395 0.0400 0.0400 0.0400 0.0391 0.0021 0.0005 0.0080 0.0529 0.0390 0.0390 0.0014 0.0400 0.0400 0.0400 0.0000 338-AH 0.0000 0.0200 0.0200 0.0200 0.0200 0.0182 0.0051 0.0000 0.0200 0.2778 0.0122 0.0002 0.0029 0.0200 0.0200 0.0200 0.0000 339-AH 0.0000 0.0380 0.0380 0.0380 0.0380 0.0330 0.0126 0.0000 0.0380 0.3825 0.0138 0.0001 0.0084 0.0380 0.0380 0.0380 0.0000 340-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 320 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0080 0.0120 0.0120 0.0120 0.0120 0.0116 0.0011 0.0000 0.0040 0.0907 0.0116 0.0115 0.0006 0.0120 0.0120 0.0120 0.0000 342-AH 0.0000 0.1520 0.1900 0.1920 0.1920 0.1673 0.0475 0.0400 0.1920 0.2840 0.1147 0.0003 0.0312 0.1340 0.1920 0.1780 0.0211 343-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 344-AH 0.0580 0.0620 0.0640 0.0640 0.0660 0.0634 0.0023 0.0020 0.0080 0.0357 0.0634 0.0633 0.0017 0.0600 0.0660 0.0637 0.0018 345-AH 0.0020 0.0160 0.0180 0.0180 0.0180 0.0159 0.0037 0.0020 0.0160 0.2313 0.0150 0.0130 0.0025 0.0140 0.0180 0.0172 0.0013 346-AH 0.0000 0.0200 0.0220 0.0220 0.0220 0.0186 0.0071 0.0020 0.0220 0.3796 0.0133 0.0003 0.0050 0.0180 0.0220 0.0215 0.0012 347-AH 0.0100 0.0140 0.0160 0.0160 0.0180 0.0151 0.0017 0.0020 0.0080 0.1152 0.0150 0.0149 0.0014 0.0120 0.0180 0.0153 0.0015 348-AH 0.0000 0.0030 0.0040 0.0040 0.0040 0.0030 0.0017 0.0010 0.0040 0.5745 0.0009 0.0000 0.0015 0.0040 0.0040 0.0040 0.0000 349-AH 0.0240 0.0540 0.0540 0.0540 0.0540 0.0531 0.0052 0.0000 0.0300 0.0984 0.0527 0.0520 0.0018 0.0540 0.0540 0.0540 0.0000 350-AH 0.0180 0.0200 0.0200 0.0200 0.0200 0.0199 0.0005 0.0000 0.0020 0.0244 0.0199 0.0199 0.0002 0.0200 0.0200 0.0200 0.0000 321 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 142-AH 0.0070 0.0078 0.0080 0.0080 0.0080 0.0078 0.0004 0.0003 0.0010 0.0561 0.0077 0.0077 0.0004 0.0080 0.0080 0.0080 0.0000 143-AH 0.0380 0.0390 0.0390 0.0390 0.0390 0.0389 0.0003 0.0000 0.0010 0.0075 0.0389 0.0389 0.0002 0.0390 0.0390 0.0390 0.0000 144-AH 0.0010 0.0030 0.0030 0.0030 0.0030 0.0027 0.0007 0.0000 0.0020 0.2472 0.0026 0.0024 0.0005 0.0030 0.0030 0.0030 0.0000 145-AH 0.0360 0.0370 0.0370 0.0370 0.0370 0.0369 0.0003 0.0000 0.0010 0.0079 0.0369 0.0369 0.0002 0.0370 0.0370 0.0370 0.0000 146-AH 0.0010 0.0020 0.0020 0.0020 0.0020 0.0018 0.0004 0.0000 0.0010 0.2322 0.0017 0.0017 0.0003 0.0020 0.0020 0.0020 0.0000 147-AH 0.0480 0.0510 0.0510 0.0510 0.0510 0.0507 0.0007 0.0000 0.0030 0.0145 0.0507 0.0507 0.0005 0.0510 0.0510 0.0510 0.0000 148-AH 0.0010 0.0038 0.0050 0.0060 0.0060 0.0047 0.0014 0.0022 0.0050 0.3034 0.0044 0.0040 0.0013 0.0010 0.0060 0.0047 0.0014 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0080 0.0090 0.0100 0.0100 0.0083 0.0022 0.0020 0.0100 0.2674 0.0068 0.0003 0.0015 0.0060 0.0100 0.0088 0.0012 151-AH 0.0020 0.0090 0.0090 0.0100 0.0110 0.0087 0.0021 0.0010 0.0090 0.2390 0.0083 0.0076 0.0014 0.0080 0.0110 0.0094 0.0008 152-AH 0.0040 0.0100 0.0110 0.0110 0.0110 0.0103 0.0016 0.0010 0.0070 0.1524 0.0101 0.0099 0.0009 0.0100 0.0110 0.0107 0.0005 153-AH 0.0000 0.0000 0.0000 0.0010 0.0010 0.0004 0.0005 0.0010 0.0010 1.1830 0.0001 0.0000 0.0005 0.0000 0.0010 0.0004 0.0005 154-AH 0.0180 0.0200 0.0210 0.0210 0.0210 0.0203 0.0009 0.0010 0.0030 0.0438 0.0203 0.0203 0.0007 0.0200 0.0210 0.0206 0.0005 155-AH 0.0020 0.0030 0.0030 0.0030 0.0030 0.0028 0.0004 0.0000 0.0010 0.1489 0.0028 0.0027 0.0003 0.0030 0.0030 0.0030 0.0000 156-AH 0.0070 0.0160 0.0200 0.0200 0.0210 0.0177 0.0038 0.0040 0.0140 0.2126 0.0172 0.0165 0.0029 0.0120 0.0210 0.0186 0.0025 157-AH 0.0020 0.1157 0.1300 0.1370 0.1380 0.1150 0.0357 0.0212 0.1360 0.3105 0.0936 0.0261 0.0250 0.0930 0.1380 0.1295 0.0099 158-AH 0.0010 0.0330 0.0340 0.0340 0.0340 0.0323 0.0057 0.0010 0.0330 0.1777 0.0299 0.0168 0.0023 0.0320 0.0340 0.0335 0.0007 159-AH 0.0400 0.0467 0.0490 0.0510 0.0540 0.0487 0.0036 0.0043 0.0140 0.0731 0.0485 0.0484 0.0028 0.0440 0.0540 0.0492 0.0029 160-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 163-AH 0.1170 0.1210 0.1210 0.1210 0.1210 0.1208 0.0008 0.0000 0.0040 0.0062 0.1208 0.1208 0.0004 0.1210 0.1210 0.1210 0.0000 164-AH 0.0150 0.0240 0.0250 0.0270 0.0270 0.0246 0.0028 0.0030 0.0120 0.1128 0.0244 0.0242 0.0019 0.0220 0.0270 0.0253 0.0015 165-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0002 0.0000 0.0010 0.2579 0.0008 0.0001 0.0001 0.0010 0.0010 0.0010 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0047 0.0012 0.0000 0.0050 0.2606 0.0034 0.0002 0.0006 0.0050 0.0050 0.0050 0.0000 168-AH 0.0040 0.0175 0.0180 0.0180 0.0180 0.0158 0.0045 0.0005 0.0140 0.2838 0.0147 0.0132 0.0034 0.0180 0.0180 0.0180 0.0000 169-AH 0.0010 0.0038 0.0060 0.0060 0.0060 0.0046 0.0019 0.0022 0.0050 0.4100 0.0040 0.0031 0.0016 0.0010 0.0060 0.0046 0.0019 170-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 171-AH 0.0010 0.0130 0.0180 0.0180 0.0190 0.0142 0.0064 0.0050 0.0180 0.4479 0.0110 0.0060 0.0051 0.0090 0.0190 0.0169 0.0026 172-AH 0.0040 0.0070 0.0070 0.0070 0.0070 0.0068 0.0006 0.0000 0.0030 0.0932 0.0068 0.0067 0.0003 0.0070 0.0070 0.0070 0.0000 173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 174-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 175-AH 0.0060 0.0070 0.0070 0.0070 0.0070 0.0069 0.0003 0.0000 0.0010 0.0423 0.0069 0.0069 0.0002 0.0070 0.0070 0.0070 0.0000 176-AH 0.0340 0.0390 0.0390 0.0390 0.0390 0.0388 0.0009 0.0000 0.0050 0.0224 0.0388 0.0388 0.0003 0.0390 0.0390 0.0390 0.0000 177-AH 0.0080 0.0130 0.0130 0.0130 0.0130 0.0126 0.0011 0.0000 0.0050 0.0890 0.0125 0.0124 0.0007 0.0130 0.0130 0.0130 0.0000 178-AH 0.0000 0.0020 0.0030 0.0040 0.0040 0.0029 0.0010 0.0020 0.0040 0.3555 0.0021 0.0002 0.0007 0.0000 0.0040 0.0029 0.0010 179-AH 0.0100 0.0210 0.0220 0.0220 0.0220 0.0214 0.0021 0.0010 0.0120 0.0985 0.0212 0.0210 0.0009 0.0200 0.0220 0.0217 0.0005 180-AH 0.0130 0.0372 0.0400 0.0400 0.0400 0.0376 0.0053 0.0027 0.0270 0.1407 0.0371 0.0360 0.0034 0.0350 0.0400 0.0394 0.0016 181-AH 0.0850 0.0900 0.0920 0.0920 0.0920 0.0909 0.0017 0.0020 0.0070 0.0188 0.0909 0.0908 0.0013 0.0880 0.0920 0.0912 0.0012 182-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 183-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 184-AH 0.0060 0.0090 0.0090 0.0090 0.0090 0.0088 0.0006 0.0000 0.0030 0.0720 0.0088 0.0088 0.0003 0.0090 0.0090 0.0090 0.0000 185-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0003 0.0000 0.0010 0.3211 0.0007 0.0001 0.0002 0.0010 0.0010 0.0010 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0010 0.0002 0.0000 0.0010 0.1795 0.0009 0.0003 0.0001 0.0010 0.0010 0.0010 0.0000 188-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0002 0.0000 0.0010 0.2579 0.0008 0.0001 0.0001 0.0010 0.0010 0.0010 0.0000 189-AH 0.0040 0.0070 0.0070 0.0070 0.0070 0.0069 0.0005 0.0000 0.0030 0.0793 0.0069 0.0068 0.0002 0.0070 0.0070 0.0070 0.0000 190-AH 0.0060 0.0070 0.0070 0.0083 0.0090 0.0076 0.0009 0.0012 0.0030 0.1172 0.0076 0.0075 0.0008 0.0060 0.0090 0.0076 0.0009 322 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0058 0.0004 0.0000 0.0010 0.0623 0.0058 0.0058 0.0003 0.0060 0.0060 0.0060 0.0000 193-AH 0.0040 0.0070 0.0070 0.0070 0.0070 0.0068 0.0006 0.0000 0.0030 0.0856 0.0068 0.0067 0.0003 0.0070 0.0070 0.0070 0.0000 194-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0002 0.0000 0.0010 0.2579 0.0008 0.0001 0.0001 0.0010 0.0010 0.0010 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 197-AH 0.0130 0.0500 0.0500 0.0500 0.0500 0.0475 0.0079 0.0000 0.0370 0.1671 0.0463 0.0440 0.0040 0.0500 0.0500 0.0500 0.0000 198-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 199-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 200-AH 0.0070 0.0090 0.0090 0.0090 0.0090 0.0087 0.0006 0.0000 0.0020 0.0658 0.0087 0.0087 0.0004 0.0090 0.0090 0.0090 0.0000 251-AH 0.0330 0.0520 0.0570 0.0590 0.0600 0.0541 0.0071 0.0070 0.0270 0.1321 0.0535 0.0529 0.0053 0.0470 0.0600 0.0559 0.0041 252-AH 0.0200 0.0290 0.0290 0.0290 0.0290 0.0286 0.0016 0.0000 0.0090 0.0573 0.0286 0.0285 0.0007 0.0290 0.0290 0.0290 0.0000 253-AH 0.0240 0.0855 0.1350 0.1522 0.1600 0.1172 0.0448 0.0667 0.1360 0.3820 0.1043 0.0861 0.0376 0.0240 0.1600 0.1172 0.0448 254-AH 0.0740 0.1560 0.1730 0.1830 0.1980 0.1667 0.0239 0.0270 0.1240 0.1433 0.1645 0.1615 0.0171 0.1320 0.1980 0.1696 0.0174 255-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0002 0.0000 0.0010 0.0615 0.0039 0.0039 0.0001 0.0040 0.0040 0.0040 0.0000 256-AH 0.0010 0.0297 0.0340 0.0340 0.0340 0.0297 0.0082 0.0043 0.0330 0.2747 0.0265 0.0149 0.0055 0.0290 0.0340 0.0330 0.0016 257-AH 0.0320 0.0525 0.0560 0.0610 0.0630 0.0546 0.0079 0.0085 0.0310 0.1446 0.0540 0.0532 0.0056 0.0440 0.0630 0.0566 0.0048 258-AH 0.0010 0.0020 0.0040 0.0040 0.0040 0.0031 0.0012 0.0020 0.0030 0.3738 0.0028 0.0024 0.0010 0.0010 0.0040 0.0031 0.0012 259-AH 0.0000 0.0030 0.0030 0.0030 0.0030 0.0027 0.0008 0.0000 0.0030 0.2855 0.0020 0.0002 0.0005 0.0030 0.0030 0.0030 0.0000 260-AH 0.0010 0.0620 0.0620 0.0620 0.0630 0.0582 0.0148 0.0000 0.0620 0.2537 0.0482 0.0132 0.0069 0.0620 0.0620 0.0620 0.0000 261-AH 0.0070 0.0145 0.0200 0.0220 0.0280 0.0189 0.0055 0.0075 0.0210 0.2934 0.0180 0.0170 0.0045 0.0070 0.0280 0.0189 0.0055 262-AH 0.0200 0.0448 0.0640 0.0735 0.0800 0.0592 0.0178 0.0287 0.0600 0.3010 0.0557 0.0512 0.0146 0.0200 0.0800 0.0592 0.0178 263-AH 0.0190 0.0417 0.0460 0.0470 0.0480 0.0426 0.0083 0.0052 0.0290 0.1940 0.0415 0.0399 0.0057 0.0390 0.0480 0.0454 0.0028 264-AH 0.0130 0.0200 0.0210 0.0210 0.0220 0.0202 0.0020 0.0010 0.0090 0.0981 0.0201 0.0200 0.0013 0.0190 0.0220 0.0209 0.0008 265-AH 0.0020 0.0050 0.0060 0.0060 0.0060 0.0054 0.0011 0.0010 0.0040 0.1957 0.0053 0.0051 0.0008 0.0040 0.0060 0.0056 0.0008 266-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0036 0.0008 0.0000 0.0020 0.2322 0.0035 0.0033 0.0007 0.0040 0.0040 0.0040 0.0000 267-AH 0.0000 0.0200 0.0210 0.0210 0.0210 0.0194 0.0043 0.0010 0.0210 0.2202 0.0157 0.0003 0.0021 0.0190 0.0210 0.0206 0.0006 268-AH 0.0000 0.0030 0.0030 0.0030 0.0030 0.0027 0.0008 0.0000 0.0030 0.2915 0.0020 0.0002 0.0005 0.0030 0.0030 0.0030 0.0000 269-AH 0.0070 0.0080 0.0080 0.0080 0.0090 0.0080 0.0004 0.0000 0.0020 0.0491 0.0080 0.0080 0.0002 0.0080 0.0080 0.0080 0.0000 270-AH 0.0080 0.0548 0.0560 0.0570 0.0570 0.0509 0.0134 0.0022 0.0490 0.2639 0.0475 0.0407 0.0086 0.0520 0.0570 0.0561 0.0012 271-AH 0.0030 0.0230 0.0240 0.0240 0.0240 0.0230 0.0037 0.0010 0.0210 0.1586 0.0222 0.0196 0.0014 0.0220 0.0240 0.0237 0.0007 272-AH 0.0040 0.0087 0.0130 0.0140 0.0140 0.0115 0.0032 0.0053 0.0100 0.2822 0.0109 0.0100 0.0027 0.0040 0.0140 0.0115 0.0032 273-AH 0.0160 0.0790 0.0820 0.0830 0.0830 0.0788 0.0117 0.0040 0.0670 0.1482 0.0768 0.0718 0.0050 0.0750 0.0830 0.0813 0.0021 274-AH 0.0060 0.0130 0.0150 0.0160 0.0160 0.0145 0.0023 0.0030 0.0100 0.1564 0.0143 0.0139 0.0017 0.0100 0.0160 0.0148 0.0017 275-AH 0.0010 0.0568 0.0610 0.0630 0.0650 0.0552 0.0153 0.0063 0.0640 0.2764 0.0476 0.0189 0.0090 0.0530 0.0650 0.0602 0.0032 276-AH 0.0440 0.0580 0.0590 0.0590 0.0590 0.0575 0.0030 0.0010 0.0150 0.0527 0.0575 0.0574 0.0019 0.0570 0.0590 0.0587 0.0006 277-AH 0.0120 0.0160 0.0170 0.0180 0.0250 0.0177 0.0026 0.0020 0.0130 0.1455 0.0175 0.0173 0.0017 0.0150 0.0200 0.0172 0.0012 278-AH 0.0040 0.0140 0.0160 0.0200 0.0210 0.0165 0.0040 0.0060 0.0170 0.2451 0.0159 0.0148 0.0033 0.0100 0.0210 0.0169 0.0034 279-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0040 0.0002 0.0000 0.0010 0.0439 0.0040 0.0040 0.0001 0.0040 0.0040 0.0040 0.0000 280-AH 0.0010 0.0170 0.0190 0.0220 0.0240 0.0181 0.0058 0.0050 0.0230 0.3190 0.0160 0.0106 0.0040 0.0150 0.0240 0.0200 0.0026 281-AH 0.0000 0.0410 0.0420 0.0420 0.0420 0.0389 0.0102 0.0010 0.0420 0.2614 0.0250 0.0002 0.0051 0.0400 0.0420 0.0418 0.0005 282-AH 0.0010 0.0230 0.0250 0.0290 0.0310 0.0241 0.0076 0.0060 0.0300 0.3141 0.0203 0.0098 0.0047 0.0210 0.0310 0.0262 0.0030 283-AH 0.0130 0.0270 0.0320 0.0350 0.0380 0.0308 0.0057 0.0080 0.0250 0.1865 0.0302 0.0293 0.0044 0.0170 0.0380 0.0314 0.0049 284-AH 0.0380 0.0380 0.0380 0.0380 0.0380 0.0380 0.0000 0.0000 0.0000 0.0000 0.0380 0.0380 0.0000 0.0380 0.0380 0.0380 0.0000 285-AH 0.0000 0.0657 0.0680 0.0690 0.0690 0.0615 0.0174 0.0032 0.0690 0.2820 0.0382 0.0002 0.0105 0.0630 0.0690 0.0677 0.0015 286-AH 0.0010 0.0078 0.0090 0.0100 0.0110 0.0084 0.0023 0.0022 0.0100 0.2704 0.0078 0.0064 0.0016 0.0060 0.0110 0.0088 0.0014 287-AH 0.0320 0.0470 0.0480 0.0480 0.0490 0.0464 0.0044 0.0010 0.0170 0.0954 0.0461 0.0458 0.0028 0.0460 0.0490 0.0481 0.0007 288-AH 0.0430 0.0555 0.0580 0.0663 0.0740 0.0589 0.0079 0.0107 0.0310 0.1338 0.0584 0.0578 0.0064 0.0430 0.0740 0.0589 0.0079 289-AH 0.0000 0.0160 0.0170 0.0180 0.0180 0.0146 0.0059 0.0020 0.0180 0.4041 0.0088 0.0002 0.0044 0.0170 0.0180 0.0175 0.0005 290-AH 0.0390 0.0450 0.0480 0.0490 0.0490 0.0469 0.0023 0.0040 0.0100 0.0494 0.0469 0.0468 0.0018 0.0430 0.0490 0.0472 0.0019 323 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0170 0.0278 0.0280 0.0290 0.0300 0.0273 0.0028 0.0012 0.0130 0.1013 0.0272 0.0270 0.0017 0.0270 0.0300 0.0283 0.0007 292-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 293-AH 0.0180 0.0340 0.0340 0.0340 0.0340 0.0330 0.0039 0.0000 0.0160 0.1174 0.0327 0.0323 0.0018 0.0340 0.0340 0.0340 0.0000 294-AH 0.0210 0.0270 0.0270 0.0270 0.0270 0.0268 0.0010 0.0000 0.0060 0.0389 0.0268 0.0268 0.0004 0.0270 0.0270 0.0270 0.0000 295-AH 0.0170 0.0330 0.0390 0.0440 0.0470 0.0382 0.0064 0.0110 0.0300 0.1684 0.0375 0.0367 0.0052 0.0170 0.0470 0.0382 0.0064 296-AH 0.0030 0.0213 0.0240 0.0240 0.0240 0.0198 0.0078 0.0027 0.0210 0.3924 0.0168 0.0120 0.0063 0.0230 0.0240 0.0239 0.0003 297-AH 0.0100 0.0110 0.0120 0.0120 0.0120 0.0115 0.0008 0.0010 0.0020 0.0658 0.0114 0.0114 0.0007 0.0100 0.0120 0.0115 0.0008 298-AH 0.0190 0.0250 0.0280 0.0290 0.0300 0.0271 0.0026 0.0040 0.0110 0.0961 0.0270 0.0268 0.0021 0.0220 0.0300 0.0273 0.0022 299-AH 0.0510 0.0730 0.0740 0.0750 0.0760 0.0732 0.0044 0.0020 0.0250 0.0606 0.0730 0.0728 0.0022 0.0710 0.0760 0.0742 0.0013 300-AH 0.0380 0.0400 0.0420 0.0420 0.0420 0.0411 0.0011 0.0020 0.0040 0.0263 0.0411 0.0411 0.0009 0.0380 0.0420 0.0411 0.0011 301-AH 0.0010 0.0050 0.0050 0.0112 0.0160 0.0076 0.0044 0.0063 0.0150 0.5792 0.0064 0.0053 0.0037 0.0010 0.0160 0.0076 0.0044 302-AH 0.0130 0.0150 0.0170 0.0170 0.0170 0.0162 0.0013 0.0020 0.0040 0.0779 0.0161 0.0161 0.0010 0.0130 0.0170 0.0162 0.0013 303-AH 0.0070 0.0120 0.0130 0.0140 0.0140 0.0128 0.0017 0.0020 0.0070 0.1315 0.0126 0.0125 0.0012 0.0100 0.0140 0.0131 0.0010 304-AH 0.0080 0.0130 0.0130 0.0150 0.0150 0.0133 0.0019 0.0020 0.0070 0.1462 0.0131 0.0129 0.0014 0.0110 0.0150 0.0137 0.0013 305-AH 0.0400 0.0480 0.0600 0.0610 0.0610 0.0556 0.0065 0.0130 0.0210 0.1162 0.0552 0.0548 0.0058 0.0400 0.0610 0.0556 0.0065 306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 307-AH 0.0170 0.0638 0.0710 0.0722 0.0760 0.0664 0.0115 0.0085 0.0590 0.1738 0.0647 0.0614 0.0075 0.0530 0.0760 0.0688 0.0059 308-AH 0.0090 0.0100 0.0100 0.0110 0.0110 0.0102 0.0007 0.0010 0.0020 0.0682 0.0102 0.0102 0.0006 0.0090 0.0110 0.0102 0.0007 309-AH 0.0010 0.0100 0.0100 0.0100 0.0100 0.0093 0.0021 0.0000 0.0090 0.2244 0.0087 0.0070 0.0011 0.0100 0.0100 0.0100 0.0000 310-AH 0.0330 0.0405 0.0450 0.0500 0.0570 0.0442 0.0065 0.0095 0.0240 0.1467 0.0437 0.0433 0.0051 0.0330 0.0570 0.0442 0.0065 311-AH 0.0420 0.0477 0.0500 0.0520 0.0530 0.0493 0.0034 0.0043 0.0110 0.0679 0.0492 0.0491 0.0027 0.0420 0.0530 0.0493 0.0034 312-AH 0.0080 0.0310 0.0310 0.0310 0.0310 0.0296 0.0047 0.0000 0.0230 0.1593 0.0290 0.0276 0.0023 0.0310 0.0310 0.0310 0.0000 313-AH 0.0050 0.0090 0.0130 0.0160 0.0180 0.0124 0.0038 0.0070 0.0130 0.3098 0.0117 0.0110 0.0033 0.0050 0.0180 0.0124 0.0038 314-AH 0.0010 0.0160 0.0170 0.0170 0.0170 0.0156 0.0038 0.0010 0.0160 0.2466 0.0139 0.0085 0.0020 0.0160 0.0170 0.0167 0.0005 315-AH 0.0260 0.0377 0.0520 0.0560 0.0590 0.0472 0.0105 0.0183 0.0330 0.2218 0.0460 0.0446 0.0093 0.0260 0.0590 0.0472 0.0105 316-AH 0.0530 0.0820 0.0960 0.1010 0.1060 0.0900 0.0149 0.0190 0.0530 0.1656 0.0886 0.0870 0.0120 0.0580 0.1060 0.0912 0.0136 317-AH 0.0000 0.0280 0.0290 0.0290 0.0300 0.0265 0.0070 0.0010 0.0300 0.2635 0.0200 0.0003 0.0039 0.0270 0.0300 0.0288 0.0008 318-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000 319-AH 0.0100 0.0130 0.0130 0.0160 0.0170 0.0140 0.0019 0.0030 0.0070 0.1327 0.0139 0.0138 0.0016 0.0100 0.0170 0.0140 0.0019 320-AH 0.0050 0.0090 0.0110 0.0112 0.0130 0.0102 0.0022 0.0023 0.0080 0.2175 0.0099 0.0095 0.0017 0.0060 0.0130 0.0105 0.0018 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0090 0.0100 0.0120 0.0140 0.0140 0.0121 0.0018 0.0040 0.0050 0.1453 0.0120 0.0118 0.0015 0.0090 0.0140 0.0121 0.0018 323-AH 0.0040 0.0220 0.0240 0.0250 0.0260 0.0225 0.0047 0.0030 0.0220 0.2075 0.0216 0.0195 0.0028 0.0200 0.0260 0.0238 0.0017 324-AH 0.0000 0.0197 0.0360 0.0650 0.0690 0.0397 0.0237 0.0452 0.0690 0.5974 0.0211 0.0002 0.0205 0.0000 0.0690 0.0397 0.0237 325-AH 0.0310 0.0590 0.0610 0.0610 0.0610 0.0591 0.0054 0.0020 0.0300 0.0907 0.0588 0.0583 0.0024 0.0560 0.0610 0.0602 0.0011 326-AH 0.0000 0.0030 0.0030 0.0040 0.0040 0.0031 0.0010 0.0010 0.0040 0.3279 0.0023 0.0002 0.0007 0.0020 0.0040 0.0033 0.0007 327-AH 0.0010 0.0040 0.0040 0.0040 0.0040 0.0036 0.0009 0.0000 0.0030 0.2556 0.0034 0.0030 0.0006 0.0040 0.0040 0.0040 0.0000 328-AH 0.0230 0.0230 0.0230 0.0230 0.0230 0.0230 0.0000 0.0000 0.0000 0.0000 0.0230 0.0230 0.0000 0.0230 0.0230 0.0230 0.0000 329-AH 0.0170 0.0170 0.0170 0.0170 0.0170 0.0170 0.0000 0.0000 0.0000 0.0000 0.0170 0.0170 0.0000 0.0170 0.0170 0.0170 0.0000 330-AH 0.0350 0.0490 0.0510 0.0510 0.0510 0.0486 0.0047 0.0020 0.0160 0.0959 0.0484 0.0481 0.0034 0.0460 0.0510 0.0506 0.0011 331-AH 0.0000 0.0170 0.0170 0.0170 0.0170 0.0156 0.0041 0.0000 0.0170 0.2603 0.0124 0.0003 0.0024 0.0170 0.0170 0.0170 0.0000 332-AH 0.0010 0.0070 0.0080 0.0080 0.0080 0.0068 0.0023 0.0010 0.0070 0.3371 0.0061 0.0051 0.0019 0.0080 0.0080 0.0080 0.0000 333-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0047 0.0010 0.0000 0.0050 0.2226 0.0040 0.0003 0.0006 0.0050 0.0050 0.0050 0.0000 334-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0050 0.0002 0.0000 0.0010 0.0350 0.0050 0.0050 0.0001 0.0050 0.0050 0.0050 0.0000 335-AH 0.0130 0.0147 0.0150 0.0150 0.0150 0.0147 0.0006 0.0002 0.0020 0.0398 0.0147 0.0147 0.0005 0.0150 0.0150 0.0150 0.0000 336-AH 0.0000 0.0018 0.0110 0.0140 0.0170 0.0093 0.0058 0.0123 0.0170 0.6282 0.0036 0.0001 0.0050 0.0000 0.0170 0.0093 0.0058 337-AH 0.0180 0.0197 0.0200 0.0200 0.0200 0.0197 0.0005 0.0003 0.0020 0.0262 0.0197 0.0197 0.0004 0.0200 0.0200 0.0200 0.0000 338-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0093 0.0023 0.0000 0.0100 0.2533 0.0074 0.0003 0.0013 0.0100 0.0100 0.0100 0.0000 339-AH 0.0000 0.0190 0.0190 0.0190 0.0190 0.0167 0.0063 0.0000 0.0190 0.3773 0.0076 0.0001 0.0040 0.0190 0.0190 0.0190 0.0000 340-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 324 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0040 0.0060 0.0060 0.0060 0.0060 0.0058 0.0005 0.0000 0.0020 0.0868 0.0058 0.0058 0.0003 0.0060 0.0060 0.0060 0.0000 342-AH 0.0050 0.0928 0.0960 0.0960 0.0960 0.0894 0.0184 0.0032 0.0910 0.2057 0.0835 0.0592 0.0096 0.0910 0.0960 0.0953 0.0013 343-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 344-AH 0.0300 0.0330 0.0330 0.0330 0.0330 0.0325 0.0010 0.0000 0.0030 0.0318 0.0325 0.0325 0.0008 0.0330 0.0330 0.0330 0.0000 345-AH 0.0010 0.0087 0.0090 0.0090 0.0090 0.0084 0.0016 0.0002 0.0080 0.1933 0.0080 0.0069 0.0010 0.0090 0.0090 0.0090 0.0000 346-AH 0.0000 0.0110 0.0110 0.0110 0.0110 0.0099 0.0026 0.0000 0.0110 0.2638 0.0081 0.0003 0.0017 0.0110 0.0110 0.0110 0.0000 347-AH 0.0070 0.0080 0.0080 0.0080 0.0090 0.0080 0.0006 0.0000 0.0020 0.0799 0.0079 0.0079 0.0004 0.0080 0.0080 0.0080 0.0000 348-AH 0.0000 0.0015 0.0020 0.0020 0.0020 0.0015 0.0009 0.0005 0.0020 0.5745 0.0006 0.0000 0.0007 0.0020 0.0020 0.0020 0.0000 349-AH 0.0190 0.0270 0.0270 0.0270 0.0270 0.0268 0.0014 0.0000 0.0080 0.0520 0.0267 0.0267 0.0005 0.0270 0.0270 0.0270 0.0000 350-AH 0.0090 0.0100 0.0100 0.0100 0.0100 0.0100 0.0002 0.0000 0.0010 0.0175 0.0100 0.0100 0.0001 0.0100 0.0100 0.0100 0.0000 325 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] 90% reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] Difference 0.5 geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] 0 know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] −0.5 ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] 0 reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] 0 reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] 0 reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] 0 reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] 0 reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] Difference 0.5 geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] 0 know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] −0.5 ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 326 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Ad−Hoc Robust WSD Bilingual English Test Task − Box Plot of the Topics uniba [Experiment UNIBACROSSKEYSYNRF; MAP 37.53%; Not Pooled] uniba [Experiment UNIBACROSSWSDNL0901; MAP 37.31%; Not Pooled] uniba [Experiment UNIBACROSSWSDNL0802; MAP 36.75%; Not Pooled] geneva [Experiment ISINUSWSDTD; MAP 36.63%; Not Pooled] reina [Experiment BILIWSD2; MAP 30.32%; Not Pooled] reina [Experiment BILIWSD4; MAP 29.75%; Not Pooled] know−center [Experiment BILIASSOWSD; MAP 29.64%; Not Pooled] know−center [Experiment BILISYNSETWSD; MAP 28.97%; Not Pooled] know−center [Experiment BILISYNONYMWSD; MAP 28.87%; Not Pooled] Experiments reina [Experiment BILIWSD5; MAP 28.75%; Not Pooled] reina [Experiment BILIWSD1; MAP 28.60%; Not Pooled] reina [Experiment BILIWSD3; MAP 23.18%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; MAP 18.38%; Not Pooled] ixa [Experiment ESEN1STTOPSALLSENSES100DOCS; MAP 18.27%; Not Pooled] ixa [Experiment ESENBESTSENSE500DOCS; MAP 17.72%; Not Pooled] ixa [Experiment ESENALLSENSES100DOCS; MAP 14.02%; Not Pooled] uniba [Experiment UNIBACROSSWSDTDN; MAP 9.69%; Not Pooled] uniba [Experiment UNIBACROSSWSDTD; MAP 9.25%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Average Precision 327 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 10.2455/TUKEY_T_TEST.F7170E5AF7474551B98AE2DF2E02A297 Ad−Hoc Robust WSD Bilingual English Test Task − Tukey T test with "top group" highlighted ISINUSWSDTD UNIBACROSSKEYSYNRF UNIBACROSSWSDNL0901 UNIBACROSSWSDNL0802 BILIWSD2 BILIWSD4 BILIASSOWSD BILISYNSETWSD Experiments BILIWSD5 BILISYNONYMWSD BILIWSD1 BILIWSD3 ESEN1STTOPSBESTSENSE500DOCS ESEN1STTOPSALLSENSES100DOCS ESENBESTSENSE500DOCS ESENALLSENSES100DOCS UNIBACROSSWSDTDN UNIBACROSSWSDTD 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 arcsin(sqrt(Average Precsion)) 328 329 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision 100% uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] 90% reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] Difference 0.5 geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] 0 know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] −0.5 ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] 0 reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] 0 reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] 0 reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] 0 reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] Difference geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] 0 reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] Difference 0.5 geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] 0 know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] −0.5 ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 330 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Ad−Hoc Robust WSD Bilingual English Test Task − Box Plot of the Topics uniba [Experiment UNIBACROSSKEYSYNRF; R−Prec 37.09%; Not Pooled] uniba [Experiment UNIBACROSSWSDNL0802; R−Prec 36.55%; Not Pooled] uniba [Experiment UNIBACROSSWSDNL0901; R−Prec 36.35%; Not Pooled] geneva [Experiment ISINUSWSDTD; R−Prec 35.34%; Not Pooled] know−center [Experiment BILIASSOWSD; R−Prec 30.81%; Not Pooled] reina [Experiment BILIWSD2; R−Prec 30.35%; Not Pooled] know−center [Experiment BILISYNSETWSD; R−Prec 30.08%; Not Pooled] reina [Experiment BILIWSD4; R−Prec 29.90%; Not Pooled] know−center [Experiment BILISYNONYMWSD; R−Prec 29.49%; Not Pooled] Experiments reina [Experiment BILIWSD5; R−Prec 29.45%; Not Pooled] reina [Experiment BILIWSD1; R−Prec 28.76%; Not Pooled] reina [Experiment BILIWSD3; R−Prec 23.45%; Not Pooled] ixa [Experiment ESEN1STTOPSBESTSENSE500DOCS; R−Prec 19.50%; Not Pooled] ixa [Experiment ESEN1STTOPSALLSENSES100DOCS; R−Prec 19.14%; Not Pooled] ixa [Experiment ESENBESTSENSE500DOCS; R−Prec 17.91%; Not Pooled] ixa [Experiment ESENALLSENSES100DOCS; R−Prec 14.91%; Not Pooled] uniba [Experiment UNIBACROSSWSDTDN; R−Prec 10.29%; Not Pooled] uniba [Experiment UNIBACROSSWSDTD; R−Prec 10.29%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% R−Precision 331 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Ad−Hoc Robust WSD Bilingual English Test Task − Tukey T test with "top group" highlighted UNIBACROSSKEYSYNRF UNIBACROSSWSDNL0802 UNIBACROSSWSDNL0901 ISINUSWSDTD BILIASSOWSD BILIWSD2 BILISYNSETWSD BILIWSD4 Experiments BILISYNONYMWSD BILIWSD5 BILIWSD1 BILIWSD3 ESEN1STTOPSBESTSENSE500DOCS ESEN1STTOPSALLSENSES100DOCS ESENBESTSENSE500DOCS ESENALLSENSES100DOCS UNIBACROSSWSDTDN UNIBACROSSWSDTD 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 arcsin(sqrt(R−Precision)) 332 333 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.00 0.00 1.00 1.00 1.00 0.72 0.46 1.00 1.00 0.64 0.04 0.00 0.40 0.00 1.00 0.72 0.46 142-AH 6.00 8.00 8.00 8.00 8.00 7.83 0.51 0.00 2.00 0.07 7.81 7.79 0.30 8.00 8.00 8.00 0.00 143-AH 2.00 9.00 39.00 39.00 39.00 28.61 15.32 30.00 37.00 0.54 21.18 11.52 13.74 2.00 39.00 28.61 15.32 144-AH 1.00 1.00 2.00 3.00 3.00 2.00 0.91 2.00 2.00 0.45 1.79 1.59 0.78 1.00 3.00 2.00 0.91 145-AH 3.00 26.00 35.00 37.00 37.00 29.61 10.37 11.00 34.00 0.35 26.03 18.61 7.77 20.00 37.00 32.62 5.82 146-AH 1.00 1.00 1.00 2.00 2.00 1.39 0.50 1.00 1.00 0.36 1.31 1.24 0.48 1.00 2.00 1.39 0.50 147-AH 2.00 26.00 49.00 50.00 51.00 38.67 16.29 24.00 49.00 0.42 31.17 16.30 13.52 2.00 51.00 38.67 16.29 148-AH 0.00 2.00 3.50 4.00 6.00 3.06 2.18 2.00 6.00 0.71 0.21 0.00 1.83 0.00 6.00 3.06 2.18 149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 150-AH 0.00 5.00 6.50 8.00 10.00 6.28 2.70 3.00 10.00 0.43 2.96 0.00 2.06 2.00 10.00 6.65 2.26 151-AH 1.00 2.00 3.00 8.00 10.00 4.61 3.40 6.00 9.00 0.74 3.42 2.51 3.08 1.00 10.00 4.61 3.40 152-AH 0.00 1.00 8.00 11.00 11.00 6.61 4.69 10.00 11.00 0.71 0.36 0.00 4.14 0.00 11.00 6.61 4.69 153-AH 0.00 0.00 1.00 1.00 1.00 0.56 0.51 1.00 1.00 0.92 0.01 0.00 0.49 0.00 1.00 0.56 0.51 154-AH 2.00 18.00 19.00 20.00 20.00 17.44 5.33 2.00 18.00 0.31 15.54 11.37 3.21 18.00 20.00 19.25 0.86 155-AH 0.00 1.00 2.00 3.00 3.00 1.94 1.06 2.00 3.00 0.54 0.52 0.00 0.85 0.00 3.00 1.94 1.06 156-AH 13.00 15.00 18.00 20.00 21.00 17.44 2.81 5.00 8.00 0.16 17.22 16.98 2.40 13.00 21.00 17.44 2.81 157-AH 19.00 121.00 130.50 132.00 137.00 114.67 36.20 11.00 118.00 0.32 102.75 79.57 24.33 116.00 137.00 129.27 5.34 158-AH 1.00 12.00 33.00 34.00 34.00 24.44 13.40 22.00 33.00 0.55 16.87 7.19 11.85 1.00 34.00 24.44 13.40 159-AH 1.00 12.00 37.50 44.00 51.00 31.56 17.90 32.00 50.00 0.57 21.05 8.05 14.81 1.00 51.00 31.56 17.90 160-AH 0.00 1.00 2.00 2.00 2.00 1.61 0.70 1.00 2.00 0.43 0.46 0.00 0.56 0.00 2.00 1.61 0.70 161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 162-AH 0.00 1.00 1.00 1.00 1.00 0.78 0.43 0.00 1.00 0.55 0.08 0.00 0.35 1.00 1.00 1.00 0.00 163-AH 94.00 109.00 114.50 121.00 121.00 113.94 7.67 12.00 27.00 0.07 113.69 113.42 5.95 94.00 121.00 113.94 7.67 164-AH 2.00 6.00 13.50 25.00 27.00 15.17 9.57 19.00 25.00 0.63 11.48 7.65 8.52 2.00 27.00 15.17 9.57 165-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 167-AH 0.00 4.00 5.00 5.00 5.00 4.17 1.58 1.00 5.00 0.38 1.09 0.00 1.02 4.00 5.00 4.69 0.48 168-AH 0.00 18.00 18.00 18.00 18.00 16.11 5.51 0.00 18.00 0.34 7.16 0.00 3.36 18.00 18.00 18.00 0.00 169-AH 0.00 4.00 5.00 5.00 6.00 4.33 1.75 1.00 6.00 0.40 1.12 0.00 1.19 4.00 6.00 4.88 0.81 170-AH 0.00 1.00 1.00 1.00 1.00 0.83 0.38 0.00 1.00 0.46 0.15 0.00 0.28 1.00 1.00 1.00 0.00 171-AH 6.00 17.00 18.00 18.00 19.00 16.33 3.90 1.00 13.00 0.24 15.61 14.46 2.48 16.00 19.00 17.80 0.86 172-AH 0.00 2.00 4.50 7.00 7.00 4.11 3.01 5.00 7.00 0.73 0.26 0.00 2.78 0.00 7.00 4.11 3.01 173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 174-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00 175-AH 0.00 7.00 7.00 7.00 7.00 6.17 2.09 0.00 7.00 0.34 2.92 0.00 1.30 7.00 7.00 7.00 0.00 176-AH 20.00 39.00 39.00 39.00 39.00 36.72 5.64 0.00 19.00 0.15 36.17 35.43 3.54 39.00 39.00 39.00 0.00 177-AH 10.00 12.00 13.00 13.00 13.00 12.61 0.78 1.00 3.00 0.06 12.59 12.56 0.56 12.00 13.00 12.76 0.44 178-AH 0.00 0.00 2.00 2.00 4.00 1.50 1.20 2.00 4.00 0.80 0.07 0.00 1.00 0.00 4.00 1.50 1.20 179-AH 1.00 14.00 17.50 20.00 22.00 14.67 7.29 6.00 21.00 0.50 10.93 5.78 5.70 14.00 22.00 18.29 2.43 180-AH 0.00 0.00 20.00 30.00 40.00 17.78 16.80 30.00 40.00 0.94 0.16 0.00 15.33 0.00 40.00 17.78 16.80 181-AH 88.00 90.00 91.00 92.00 92.00 90.67 1.46 2.00 4.00 0.02 90.66 90.64 1.19 88.00 92.00 90.67 1.46 182-AH 2.00 4.00 4.00 4.00 4.00 3.78 0.55 0.00 2.00 0.15 3.73 3.66 0.37 4.00 4.00 4.00 0.00 183-AH 2.00 4.00 4.00 4.00 4.00 3.72 0.57 0.00 2.00 0.15 3.67 3.60 0.43 4.00 4.00 4.00 0.00 184-AH 1.00 3.00 7.00 7.00 9.00 5.94 2.92 4.00 8.00 0.49 4.76 3.24 2.41 1.00 9.00 5.94 2.92 185-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 187-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 188-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.51 1.00 1.00 1.03 0.00 0.00 0.50 0.00 1.00 0.50 0.51 189-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00 190-AH 2.00 6.00 6.50 7.00 8.00 6.22 1.70 1.00 6.00 0.27 5.91 5.46 1.22 6.00 8.00 6.87 0.83 334 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 192-AH 2.00 4.00 6.00 6.00 6.00 5.11 1.45 2.00 4.00 0.28 4.84 4.46 1.19 2.00 6.00 5.11 1.45 193-AH 1.00 5.00 6.00 7.00 7.00 5.44 1.95 2.00 6.00 0.36 4.82 3.75 1.46 3.00 7.00 6.00 1.15 194-AH 0.00 0.00 1.00 1.00 1.00 0.72 0.46 1.00 1.00 0.64 0.04 0.00 0.40 0.00 1.00 0.72 0.46 195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 196-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 197-AH 7.00 50.00 50.00 50.00 50.00 46.33 11.09 0.00 43.00 0.24 43.36 36.07 6.41 50.00 50.00 50.00 0.00 198-AH 0.00 1.00 1.00 1.00 1.00 0.78 0.43 0.00 1.00 0.55 0.08 0.00 0.35 1.00 1.00 1.00 0.00 199-AH 9.00 10.00 10.00 10.00 10.00 9.83 0.38 0.00 1.00 0.04 9.83 9.82 0.28 10.00 10.00 10.00 0.00 200-AH 6.00 8.00 8.00 9.00 9.00 8.17 0.92 1.00 3.00 0.11 8.11 8.05 0.65 8.00 9.00 8.44 0.51 251-AH 9.00 40.00 51.00 56.00 59.00 48.33 11.86 16.00 50.00 0.25 45.61 39.71 8.19 39.00 59.00 50.65 6.86 252-AH 4.00 26.00 28.00 29.00 29.00 24.78 8.01 3.00 25.00 0.32 22.40 18.11 5.70 26.00 29.00 28.20 1.08 253-AH 7.00 32.00 101.50 134.00 145.00 87.28 48.48 102.00 138.00 0.56 68.23 43.58 43.10 7.00 145.00 87.28 48.48 254-AH 7.00 130.00 152.00 153.00 179.00 131.06 51.00 23.00 172.00 0.39 104.11 48.86 35.03 124.00 179.00 151.53 16.73 255-AH 0.00 4.00 4.00 4.00 4.00 3.56 1.29 0.00 4.00 0.36 0.95 0.00 0.79 4.00 4.00 4.00 0.00 256-AH 4.00 18.00 33.00 33.00 34.00 26.83 10.83 15.00 30.00 0.40 22.88 16.41 9.02 4.00 34.00 26.83 10.83 257-AH 6.00 23.00 48.00 57.00 60.00 40.39 18.54 34.00 54.00 0.46 33.92 25.17 15.70 6.00 60.00 40.39 18.54 258-AH 0.00 0.00 1.50 3.00 4.00 1.50 1.34 3.00 4.00 0.89 0.03 0.00 1.17 0.00 4.00 1.50 1.34 259-AH 0.00 2.00 3.00 3.00 3.00 2.33 0.91 1.00 3.00 0.39 1.18 0.00 0.74 1.00 3.00 2.47 0.72 260-AH 45.00 50.00 54.00 59.00 62.00 54.00 5.77 9.00 17.00 0.11 53.70 53.40 4.89 45.00 62.00 54.00 5.77 261-AH 0.00 9.00 13.00 18.00 23.00 13.44 6.35 9.00 23.00 0.47 6.06 0.00 5.05 0.00 23.00 13.44 6.35 262-AH 3.00 22.00 44.00 53.00 73.00 40.06 21.34 31.00 70.00 0.53 32.34 20.84 18.27 3.00 73.00 40.06 21.34 263-AH 0.00 2.00 6.00 13.00 38.00 12.06 13.77 11.00 38.00 1.14 1.64 0.00 10.85 0.00 13.00 5.29 4.89 264-AH 17.00 18.00 20.00 21.00 22.00 19.56 1.79 3.00 5.00 0.09 19.48 19.40 1.49 17.00 22.00 19.56 1.79 265-AH 0.00 6.00 6.00 6.00 6.00 5.22 1.93 0.00 6.00 0.37 1.34 0.00 1.21 6.00 6.00 6.00 0.00 266-AH 0.00 0.00 1.00 4.00 4.00 1.56 1.72 4.00 4.00 1.11 0.01 0.00 1.51 0.00 4.00 1.56 1.72 267-AH 1.00 12.00 15.50 18.00 21.00 14.83 5.01 6.00 20.00 0.34 13.07 8.37 3.85 10.00 21.00 15.65 3.74 268-AH 0.00 2.00 3.00 3.00 3.00 2.39 0.98 1.00 3.00 0.41 0.66 0.00 0.75 2.00 3.00 2.69 0.48 269-AH 3.00 7.00 8.00 8.00 9.00 7.22 1.35 1.00 6.00 0.19 7.06 6.82 0.98 6.00 9.00 7.47 0.87 270-AH 10.00 47.00 56.00 57.00 57.00 47.11 15.91 10.00 47.00 0.34 42.41 34.44 11.95 33.00 57.00 53.33 6.56 271-AH 6.00 15.00 22.50 23.00 24.00 18.72 5.97 8.00 18.00 0.32 17.40 15.53 4.93 6.00 24.00 18.72 5.97 272-AH 0.00 12.00 12.00 14.00 14.00 11.33 4.30 2.00 14.00 0.38 2.66 0.00 2.70 10.00 14.00 12.75 1.29 273-AH 29.00 38.00 64.00 81.00 83.00 61.50 20.25 43.00 54.00 0.33 57.73 53.51 16.78 29.00 83.00 61.50 20.25 274-AH 2.00 2.00 6.00 10.00 16.00 6.78 4.48 8.00 14.00 0.66 5.28 4.04 3.89 2.00 16.00 6.78 4.48 275-AH 45.00 53.00 57.00 62.00 63.00 56.39 5.72 9.00 18.00 0.10 56.10 55.81 4.75 45.00 63.00 56.39 5.72 276-AH 1.00 21.00 42.00 50.00 59.00 37.00 19.72 29.00 58.00 0.53 25.81 9.40 15.89 1.00 59.00 37.00 19.72 277-AH 9.00 12.00 14.00 19.00 24.00 15.17 4.05 7.00 15.00 0.27 14.67 14.20 3.31 9.00 24.00 15.17 4.05 278-AH 4.00 5.00 7.00 12.00 20.00 9.11 5.69 7.00 16.00 0.62 7.74 6.74 4.48 4.00 20.00 9.11 5.69 279-AH 0.00 3.00 4.00 4.00 4.00 3.22 1.11 1.00 4.00 0.35 1.63 0.00 0.86 2.00 4.00 3.41 0.80 280-AH 5.00 10.00 17.50 22.00 22.00 15.83 5.67 12.00 17.00 0.36 14.63 13.19 4.78 5.00 22.00 15.83 5.67 281-AH 25.00 41.00 42.00 42.00 42.00 40.11 4.99 1.00 17.00 0.12 39.74 39.27 3.02 41.00 42.00 41.81 0.40 282-AH 7.00 20.00 23.50 26.00 29.00 21.72 5.97 6.00 22.00 0.27 20.53 18.73 4.26 18.00 29.00 23.50 3.16 283-AH 8.00 21.00 25.00 28.00 35.00 24.44 7.71 7.00 27.00 0.32 22.84 20.57 5.67 20.00 35.00 26.50 5.18 284-AH 4.00 9.00 31.50 38.00 38.00 25.22 13.79 29.00 34.00 0.55 19.99 14.26 12.51 4.00 38.00 25.22 13.79 285-AH 3.00 16.00 50.50 66.00 67.00 41.33 25.67 50.00 64.00 0.62 29.37 15.84 23.67 3.00 67.00 41.33 25.67 286-AH 0.00 3.00 5.00 6.00 9.00 4.94 2.60 3.00 9.00 0.53 2.22 0.00 1.86 0.00 9.00 4.94 2.60 287-AH 9.00 17.00 46.00 47.00 49.00 37.72 15.65 30.00 40.00 0.41 32.95 26.84 13.51 9.00 49.00 37.72 15.65 288-AH 0.00 22.00 41.00 48.00 58.00 34.44 18.35 26.00 58.00 0.53 13.15 0.00 15.07 0.00 58.00 34.44 18.35 289-AH 0.00 16.00 18.00 18.00 18.00 15.39 5.67 2.00 18.00 0.37 3.50 0.00 3.42 16.00 18.00 17.31 0.95 290-AH 2.00 9.00 39.00 43.00 48.00 30.67 17.68 34.00 46.00 0.58 21.90 11.53 15.89 2.00 48.00 30.67 17.68 335 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 9.00 22.00 28.00 29.00 29.00 24.83 5.64 7.00 20.00 0.23 23.98 22.74 4.44 16.00 29.00 25.76 4.15 292-AH 0.00 4.00 4.00 4.00 4.00 3.50 1.29 0.00 4.00 0.37 0.94 0.00 0.83 4.00 4.00 4.00 0.00 293-AH 0.00 18.00 34.00 34.00 34.00 25.50 12.81 16.00 34.00 0.50 5.10 0.00 11.00 0.00 34.00 25.50 12.81 294-AH 2.00 9.00 27.00 27.00 27.00 19.61 10.13 18.00 25.00 0.52 15.19 9.18 9.03 2.00 27.00 19.61 10.13 295-AH 1.00 9.00 15.00 32.00 44.00 20.50 15.04 23.00 43.00 0.73 14.13 7.39 13.28 1.00 44.00 20.50 15.04 296-AH 2.00 22.00 24.00 24.00 24.00 21.17 6.06 2.00 22.00 0.29 19.13 13.83 4.19 22.00 24.00 23.86 0.53 297-AH 0.00 5.00 8.00 11.00 12.00 7.17 4.18 6.00 12.00 0.58 0.84 0.00 3.39 0.00 12.00 7.17 4.18 298-AH 3.00 20.00 24.00 27.00 28.00 21.44 7.57 7.00 25.00 0.35 18.85 14.02 5.35 13.00 28.00 23.69 4.08 299-AH 1.00 13.00 42.50 68.00 76.00 41.67 26.95 55.00 75.00 0.65 28.68 10.89 24.44 1.00 76.00 41.67 26.95 300-AH 6.00 15.00 35.50 40.00 41.00 30.50 12.62 25.00 35.00 0.41 26.54 21.01 10.50 6.00 41.00 30.50 12.62 301-AH 0.00 3.00 6.00 15.00 16.00 7.72 5.82 12.00 16.00 0.75 2.83 0.00 4.91 0.00 16.00 7.72 5.82 302-AH 5.00 16.00 17.00 17.00 17.00 15.83 2.81 1.00 12.00 0.18 15.40 14.58 1.48 15.00 17.00 16.47 0.80 303-AH 3.00 9.00 11.00 13.00 14.00 10.72 2.89 4.00 11.00 0.27 10.20 9.39 2.12 3.00 14.00 10.72 2.89 304-AH 0.00 7.00 9.00 11.00 15.00 8.50 4.23 4.00 15.00 0.50 3.63 0.00 3.11 1.00 15.00 9.00 3.77 305-AH 2.00 10.00 34.50 52.00 61.00 32.39 23.62 42.00 59.00 0.73 20.88 10.81 22.28 2.00 61.00 32.39 23.62 306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00 307-AH 1.00 6.00 23.50 50.00 70.00 29.06 23.87 44.00 69.00 0.82 16.49 6.75 21.07 1.00 70.00 29.06 23.87 308-AH 9.00 9.00 10.00 10.00 11.00 9.89 0.68 1.00 2.00 0.07 9.87 9.85 0.49 9.00 11.00 9.89 0.68 309-AH 4.00 7.00 9.00 10.00 10.00 8.50 1.79 3.00 6.00 0.21 8.28 8.01 1.50 4.00 10.00 8.50 1.79 310-AH 3.00 4.00 15.00 31.00 41.00 17.22 14.17 27.00 38.00 0.82 11.25 7.26 12.25 3.00 41.00 17.22 14.17 311-AH 22.00 44.00 49.00 51.00 52.00 45.61 8.01 7.00 30.00 0.18 44.74 43.59 6.07 34.00 52.00 47.00 5.59 312-AH 0.00 1.00 24.00 31.00 31.00 16.72 14.71 30.00 31.00 0.88 1.05 0.00 13.98 0.00 31.00 16.72 14.71 313-AH 3.00 8.00 10.00 13.00 16.00 10.11 3.08 5.00 13.00 0.31 9.55 8.79 2.35 3.00 16.00 10.11 3.08 314-AH 1.00 8.00 10.00 12.00 17.00 9.50 4.50 4.00 16.00 0.47 7.57 4.59 3.33 2.00 17.00 10.56 3.48 315-AH 4.00 19.00 27.50 29.00 53.00 27.28 14.02 10.00 49.00 0.51 22.92 17.04 10.17 4.00 38.00 22.40 9.26 316-AH 13.00 41.00 64.50 103.00 105.00 70.06 32.17 62.00 92.00 0.46 60.69 48.91 28.06 13.00 105.00 70.06 32.17 317-AH 6.00 21.00 23.50 28.00 30.00 22.67 6.24 7.00 24.00 0.28 21.46 19.55 4.37 14.00 30.00 23.65 4.80 318-AH 3.00 6.00 8.50 9.00 9.00 7.44 1.98 3.00 6.00 0.27 7.13 6.73 1.68 3.00 9.00 7.44 1.98 319-AH 7.00 12.00 13.00 14.00 15.00 13.06 1.86 2.00 8.00 0.14 12.90 12.69 1.18 12.00 15.00 13.41 1.12 320-AH 3.00 5.00 7.00 11.00 14.00 7.83 3.47 6.00 11.00 0.44 7.06 6.28 2.93 3.00 14.00 7.83 3.47 321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00 322-AH 8.00 10.00 12.00 13.00 14.00 11.72 1.81 3.00 6.00 0.15 11.58 11.43 1.53 8.00 14.00 11.72 1.81 323-AH 6.00 12.00 15.00 18.00 25.00 15.06 4.39 6.00 19.00 0.29 14.38 13.59 3.39 6.00 25.00 15.06 4.39 324-AH 3.00 15.00 38.00 48.00 62.00 34.22 20.72 33.00 59.00 0.61 24.24 12.82 17.40 3.00 62.00 34.22 20.72 325-AH 9.00 18.00 38.50 45.00 61.00 34.56 19.06 27.00 52.00 0.55 28.42 22.17 16.16 9.00 61.00 34.56 19.06 326-AH 1.00 3.00 3.00 4.00 4.00 3.11 0.90 1.00 3.00 0.29 2.92 2.63 0.59 3.00 4.00 3.38 0.50 327-AH 0.00 1.00 2.50 4.00 4.00 2.50 1.58 3.00 4.00 0.63 0.34 0.00 1.39 0.00 4.00 2.50 1.58 328-AH 14.00 20.00 22.00 23.00 23.00 20.89 2.87 3.00 9.00 0.14 20.67 20.43 2.16 17.00 23.00 21.69 1.78 329-AH 13.00 15.00 16.00 17.00 17.00 15.78 1.40 2.00 4.00 0.09 15.72 15.65 1.10 13.00 17.00 15.78 1.40 330-AH 0.00 50.00 50.00 51.00 51.00 44.94 16.00 1.00 51.00 0.36 17.88 0.00 9.77 49.00 51.00 50.44 0.63 331-AH 0.00 17.00 17.00 17.00 17.00 15.78 4.11 0.00 17.00 0.26 7.51 0.00 2.17 17.00 17.00 17.00 0.00 332-AH 0.00 8.00 8.00 8.00 8.00 7.11 2.59 0.00 8.00 0.36 1.77 0.00 1.58 8.00 8.00 8.00 0.00 333-AH 4.00 5.00 5.00 5.00 5.00 4.89 0.32 0.00 1.00 0.07 4.88 4.86 0.20 5.00 5.00 5.00 0.00 334-AH 0.00 4.00 4.00 5.00 5.00 4.00 1.37 1.00 5.00 0.34 1.97 0.00 0.78 4.00 5.00 4.44 0.51 335-AH 0.00 4.00 12.50 14.00 15.00 9.89 5.23 10.00 15.00 0.53 4.22 0.00 4.69 0.00 15.00 9.89 5.23 336-AH 0.00 3.00 11.50 17.00 17.00 10.67 6.73 14.00 17.00 0.63 4.01 0.00 5.89 0.00 17.00 10.67 6.73 337-AH 12.00 19.00 20.00 20.00 20.00 18.94 2.55 1.00 8.00 0.13 18.74 18.47 1.54 19.00 20.00 19.81 0.40 338-AH 4.00 8.00 8.00 10.00 10.00 8.17 1.76 2.00 6.00 0.22 7.95 7.68 1.30 5.00 10.00 8.41 1.46 339-AH 0.00 19.00 19.00 19.00 19.00 16.89 5.97 0.00 19.00 0.35 7.20 0.00 3.64 19.00 19.00 19.00 0.00 340-AH 0.00 1.00 5.00 5.00 5.00 3.78 2.05 4.00 5.00 0.54 0.89 0.00 1.77 0.00 5.00 3.78 2.05 336 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 2.00 4.00 4.50 6.00 6.00 4.50 1.42 2.00 4.00 0.32 4.23 3.91 1.17 2.00 6.00 4.50 1.42 342-AH 73.00 91.00 96.00 96.00 96.00 92.11 6.55 5.00 23.00 0.07 91.87 91.61 4.85 85.00 96.00 94.00 3.50 343-AH 0.00 1.00 1.00 1.00 1.00 0.83 0.38 0.00 1.00 0.46 0.15 0.00 0.28 1.00 1.00 1.00 0.00 344-AH 8.00 29.00 30.50 33.00 33.00 28.06 7.49 4.00 25.00 0.27 26.50 23.99 5.36 23.00 33.00 30.93 2.69 345-AH 0.00 4.00 8.00 9.00 9.00 6.22 3.39 5.00 9.00 0.54 0.75 0.00 2.79 0.00 9.00 6.22 3.39 346-AH 0.00 2.00 4.00 11.00 11.00 5.78 4.58 9.00 11.00 0.79 2.05 0.00 4.31 0.00 11.00 5.78 4.58 347-AH 0.00 7.00 7.00 8.00 9.00 6.67 2.54 1.00 9.00 0.38 1.66 0.00 1.56 6.00 9.00 7.50 0.82 348-AH 0.00 1.00 2.00 2.00 2.00 1.61 0.70 1.00 2.00 0.43 0.46 0.00 0.56 0.00 2.00 1.61 0.70 349-AH 2.00 26.00 27.00 27.00 27.00 23.89 8.01 1.00 25.00 0.34 19.96 11.24 4.86 25.00 27.00 26.80 0.56 350-AH 2.00 10.00 10.00 10.00 10.00 9.06 2.58 0.00 8.00 0.28 8.31 6.89 1.57 10.00 10.00 10.00 0.00 337 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.1418 0.8797 0.9185 0.9338 0.9705 0.8353 0.2498 0.0542 0.8287 0.2991 0.7539 0.5905 0.1514 0.8615 0.9705 0.9204 0.0330 143-AH 0.0002 0.0163 0.6918 0.8191 0.9002 0.4933 0.3693 0.8027 0.9000 0.7486 0.1116 0.0023 0.3243 0.0002 0.9002 0.4933 0.3693 144-AH 0.0026 0.0063 0.0223 0.1111 0.6389 0.1440 0.2408 0.1049 0.6363 1.6725 0.0312 0.0107 0.1868 0.0026 0.1111 0.0239 0.0287 145-AH 0.0026 0.0964 0.4595 0.5861 0.6967 0.3710 0.2766 0.4897 0.6941 0.7457 0.1677 0.0206 0.2483 0.0026 0.6967 0.3710 0.2766 146-AH 0.0016 0.0071 0.1750 0.5013 0.5060 0.2123 0.2071 0.4941 0.5044 0.9758 0.0720 0.0126 0.1790 0.0016 0.5060 0.2123 0.2071 147-AH 0.0061 0.0429 0.4546 0.6376 0.7910 0.3804 0.2861 0.5948 0.7849 0.7521 0.1857 0.0455 0.2577 0.0061 0.7910 0.3804 0.2861 148-AH 0.0000 0.0047 0.0337 0.0369 0.1973 0.0600 0.0762 0.0323 0.1973 1.2690 0.0071 0.0000 0.0605 0.0000 0.0369 0.0212 0.0164 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0042 0.0068 0.0163 0.1108 0.0191 0.0286 0.0122 0.1108 1.4975 0.0066 0.0002 0.0197 0.0000 0.0289 0.0080 0.0073 151-AH 0.0003 0.0007 0.0043 0.0506 0.3984 0.0750 0.1325 0.0499 0.3981 1.7665 0.0069 0.0012 0.1037 0.0003 0.0506 0.0083 0.0144 152-AH 0.0000 0.0003 0.0924 0.1969 0.5450 0.1391 0.1616 0.1966 0.5450 1.1611 0.0079 0.0000 0.1309 0.0000 0.3539 0.1153 0.1297 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0116 0.2211 0.2874 0.3127 0.3439 0.2466 0.1024 0.0916 0.3323 0.4154 0.1953 0.0936 0.0786 0.1228 0.3439 0.2752 0.0633 155-AH 0.0000 0.0007 0.0072 0.0296 0.6790 0.1211 0.2385 0.0289 0.6790 1.9694 0.0058 0.0001 0.1781 0.0000 0.0296 0.0066 0.0082 156-AH 0.0136 0.0274 0.0546 0.0737 0.1578 0.0652 0.0477 0.0463 0.1442 0.7327 0.0500 0.0382 0.0366 0.0136 0.1426 0.0544 0.0383 157-AH 0.0069 0.3417 0.4664 0.5067 0.5647 0.3850 0.1712 0.1650 0.5577 0.4447 0.2637 0.0557 0.1318 0.1462 0.5647 0.4322 0.1086 158-AH 0.0003 0.0156 0.2522 0.3607 0.7653 0.2561 0.2470 0.3451 0.7650 0.9644 0.0641 0.0029 0.1912 0.0003 0.7653 0.2561 0.2470 159-AH 0.0001 0.0056 0.0792 0.2136 0.5311 0.1623 0.1815 0.2080 0.5310 1.1179 0.0320 0.0010 0.1449 0.0001 0.5048 0.1406 0.1612 160-AH 0.0000 0.0012 0.0450 0.1333 0.5159 0.1155 0.1594 0.1322 0.5159 1.3803 0.0159 0.0001 0.1120 0.0000 0.2623 0.0663 0.0748 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.3115 0.4490 0.6466 0.8081 0.8364 0.6269 0.1789 0.3591 0.5250 0.2854 0.6001 0.5713 0.1530 0.3115 0.8364 0.6269 0.1789 164-AH 0.0003 0.0025 0.0076 0.0587 0.2703 0.0475 0.0711 0.0561 0.2701 1.4965 0.0116 0.0024 0.0521 0.0003 0.1312 0.0344 0.0457 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1689 0.2175 0.2331 0.2759 0.1862 0.0829 0.0641 0.2759 0.4454 0.0670 0.0001 0.0631 0.0815 0.2759 0.2095 0.0509 168-AH 0.0000 0.3241 0.4539 0.5303 0.7412 0.3970 0.2289 0.2062 0.7412 0.5765 0.1396 0.0002 0.1777 0.0618 0.7412 0.4467 0.1891 169-AH 0.0000 0.0104 0.0390 0.1305 0.2248 0.0778 0.0756 0.1201 0.2248 0.9725 0.0211 0.0001 0.0637 0.0000 0.2248 0.0778 0.0756 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0058 0.0457 0.0660 0.0847 0.1159 0.0648 0.0307 0.0390 0.1101 0.4738 0.0526 0.0319 0.0228 0.0058 0.1159 0.0648 0.0307 172-AH 0.0000 0.0013 0.0326 0.0903 0.1720 0.0535 0.0614 0.0890 0.1720 1.1493 0.0041 0.0000 0.0526 0.0000 0.1720 0.0535 0.0614 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9907 0.0393 0.0000 0.1667 0.0397 0.9899 0.9890 0.0175 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.5345 0.6779 0.7228 0.7844 0.5893 0.2276 0.1883 0.7844 0.3863 0.2261 0.0002 0.1506 0.5290 0.7844 0.6630 0.0815 176-AH 0.1090 0.7310 0.7558 0.8977 0.9234 0.7446 0.2138 0.1667 0.8143 0.2872 0.6854 0.5584 0.1346 0.6731 0.9234 0.8105 0.0920 177-AH 0.0382 0.1922 0.2652 0.3331 0.4500 0.2507 0.1255 0.1409 0.4118 0.5004 0.2068 0.1503 0.0940 0.0382 0.4500 0.2507 0.1255 178-AH 0.0000 0.0000 0.0132 0.1421 0.4348 0.0855 0.1295 0.1421 0.4348 1.5155 0.0033 0.0000 0.1033 0.0000 0.2553 0.0649 0.0987 179-AH 0.0001 0.0260 0.2630 0.2958 0.7012 0.2425 0.2058 0.2699 0.7011 0.8487 0.0579 0.0007 0.1493 0.0001 0.6287 0.2155 0.1763 180-AH 0.0000 0.0000 0.0122 0.1882 0.6824 0.1319 0.2026 0.1882 0.6824 1.5354 0.0025 0.0000 0.1578 0.0000 0.4467 0.0996 0.1535 181-AH 0.3400 0.6181 0.6741 0.8039 0.8382 0.6741 0.1515 0.1858 0.4982 0.2247 0.6548 0.6318 0.1128 0.3400 0.8382 0.6741 0.1515 182-AH 0.0052 0.0723 0.1667 0.3809 0.5268 0.2321 0.1906 0.3086 0.5216 0.8213 0.1424 0.0529 0.1671 0.0052 0.5268 0.2321 0.1906 183-AH 0.0012 0.0208 0.1968 0.3902 0.5944 0.2226 0.1988 0.3694 0.5933 0.8930 0.0932 0.0128 0.1587 0.0012 0.5944 0.2226 0.1988 184-AH 0.0007 0.0037 0.1123 0.3291 0.5700 0.1846 0.2124 0.3254 0.5693 1.1508 0.0464 0.0052 0.1804 0.0007 0.5700 0.1846 0.2124 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.3664 0.7048 0.7868 0.9094 0.9325 0.7811 0.1509 0.2045 0.5662 0.1932 0.7640 0.7420 0.1174 0.5828 0.9325 0.8055 0.1132 190-AH 0.0007 0.0618 0.1473 0.5589 0.6272 0.2672 0.2516 0.4972 0.6266 0.9415 0.0933 0.0064 0.2288 0.0007 0.6272 0.2672 0.2516 338 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0026 0.0598 0.5384 0.6572 0.8626 0.4142 0.3219 0.5974 0.8600 0.7770 0.1863 0.0300 0.2897 0.0026 0.8626 0.4142 0.3219 193-AH 0.0003 0.2451 0.3248 0.3564 0.5791 0.3095 0.1500 0.1113 0.5788 0.4846 0.1768 0.0048 0.1032 0.1535 0.5075 0.3325 0.0899 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0041 0.4976 0.6612 0.8317 0.9804 0.6320 0.2820 0.3341 0.9763 0.4463 0.4299 0.0585 0.2090 0.0041 0.9804 0.6320 0.2820 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.0689 0.4852 0.5714 0.6459 0.6853 0.5280 0.1781 0.1606 0.6164 0.3372 0.4705 0.3583 0.1283 0.3655 0.6853 0.5813 0.0925 200-AH 0.0090 0.0142 0.2977 0.5337 0.5857 0.2742 0.2301 0.5195 0.5768 0.8393 0.1151 0.0310 0.2043 0.0090 0.5857 0.2742 0.2301 251-AH 0.0637 0.3636 0.4001 0.4738 0.5534 0.3966 0.1163 0.1102 0.4896 0.2932 0.3673 0.3074 0.0811 0.2118 0.5534 0.4162 0.0839 252-AH 0.0019 0.1211 0.2174 0.3958 0.4585 0.2390 0.1545 0.2748 0.4567 0.6462 0.1465 0.0256 0.1371 0.0019 0.4585 0.2390 0.1545 253-AH 0.0005 0.0183 0.1625 0.2777 0.4135 0.1624 0.1424 0.2594 0.4130 0.8773 0.0642 0.0070 0.1171 0.0005 0.4135 0.1624 0.1424 254-AH 0.0011 0.0907 0.1469 0.1612 0.2750 0.1358 0.0790 0.0705 0.2739 0.5817 0.0812 0.0100 0.0591 0.0011 0.2617 0.1276 0.0731 255-AH 0.0000 0.3209 0.3648 0.5500 0.6942 0.3886 0.1938 0.2291 0.6942 0.4987 0.1281 0.0001 0.1375 0.0000 0.6942 0.3886 0.1938 256-AH 0.0159 0.3872 0.7846 0.8377 0.9065 0.6047 0.3267 0.4505 0.8905 0.5403 0.4000 0.1242 0.2810 0.0159 0.9065 0.6047 0.3267 257-AH 0.0017 0.0376 0.1392 0.2247 0.2932 0.1430 0.0998 0.1871 0.2915 0.6979 0.0801 0.0178 0.0803 0.0017 0.2932 0.1430 0.0998 258-AH 0.0000 0.0000 0.0037 0.0039 0.0794 0.0070 0.0183 0.0039 0.0794 2.6026 0.0006 0.0000 0.0084 0.0000 0.0087 0.0028 0.0028 259-AH 0.0000 0.0196 0.0651 0.1161 0.6769 0.1807 0.2539 0.0964 0.6769 1.4047 0.0422 0.0002 0.2008 0.0000 0.1161 0.0516 0.0422 260-AH 0.1397 0.2688 0.3930 0.4530 0.6295 0.3761 0.1290 0.1842 0.4898 0.3431 0.3524 0.3257 0.1018 0.1397 0.6295 0.3761 0.1290 261-AH 0.0000 0.0202 0.0732 0.1813 0.3364 0.1119 0.1177 0.1611 0.3364 1.0519 0.0386 0.0002 0.0966 0.0000 0.3364 0.1119 0.1177 262-AH 0.0001 0.0121 0.0426 0.0569 0.3613 0.0980 0.1389 0.0448 0.3612 1.4168 0.0272 0.0013 0.1112 0.0001 0.0569 0.0265 0.0206 263-AH 0.0000 0.0001 0.0028 0.0085 0.1759 0.0192 0.0422 0.0084 0.1759 2.2006 0.0016 0.0001 0.0256 0.0000 0.0085 0.0027 0.0033 264-AH 0.0765 0.1788 0.2654 0.4612 0.5977 0.3189 0.1504 0.2825 0.5212 0.4717 0.2819 0.2425 0.1334 0.0765 0.5977 0.3189 0.1504 265-AH 0.0000 0.1156 0.1393 0.3343 0.5854 0.2165 0.1931 0.2187 0.5854 0.8918 0.0630 0.0001 0.1558 0.0000 0.5854 0.2165 0.1931 266-AH 0.0000 0.0000 0.0011 0.0124 0.1569 0.0158 0.0383 0.0124 0.1569 2.4212 0.0005 0.0000 0.0210 0.0000 0.0151 0.0040 0.0056 267-AH 0.0000 0.0748 0.1695 0.2766 0.3640 0.1827 0.1248 0.2018 0.3639 0.6832 0.0883 0.0009 0.1055 0.0000 0.3640 0.1827 0.1248 268-AH 0.0000 0.0576 0.3436 0.6695 0.6952 0.3797 0.2934 0.6119 0.6952 0.7728 0.0860 0.0001 0.2632 0.0000 0.6952 0.3797 0.2934 269-AH 0.0017 0.1009 0.1487 0.2566 0.3687 0.1709 0.1064 0.1557 0.3669 0.6224 0.1079 0.0205 0.0860 0.0017 0.3687 0.1709 0.1064 270-AH 0.0031 0.3844 0.5678 0.7243 0.7551 0.5006 0.2601 0.3399 0.7520 0.5196 0.2948 0.0291 0.2112 0.0031 0.7551 0.5006 0.2601 271-AH 0.0079 0.1452 0.3231 0.3855 0.4584 0.2760 0.1550 0.2403 0.4504 0.5615 0.1866 0.0632 0.1301 0.0079 0.4584 0.2760 0.1550 272-AH 0.0000 0.0885 0.1799 0.2424 0.3347 0.1733 0.1106 0.1539 0.3347 0.6380 0.0554 0.0001 0.0937 0.0000 0.3347 0.1733 0.1106 273-AH 0.0196 0.0495 0.3928 0.6358 0.6729 0.3844 0.2525 0.5863 0.6533 0.6568 0.2340 0.0939 0.2086 0.0196 0.6729 0.3844 0.2525 274-AH 0.0007 0.0061 0.0140 0.0251 0.3777 0.0413 0.0872 0.0189 0.3771 2.1105 0.0131 0.0043 0.0469 0.0007 0.0251 0.0112 0.0085 275-AH 0.1122 0.2044 0.3563 0.4481 0.5499 0.3370 0.1333 0.2438 0.4377 0.3956 0.3088 0.2784 0.1114 0.1122 0.5499 0.3370 0.1333 276-AH 0.0001 0.0205 0.1182 0.2304 0.5085 0.1836 0.1764 0.2099 0.5084 0.9608 0.0485 0.0009 0.1458 0.0001 0.5085 0.1836 0.1764 277-AH 0.0106 0.0753 0.0825 0.1328 0.1813 0.0957 0.0434 0.0575 0.1707 0.4530 0.0825 0.0612 0.0354 0.0106 0.1813 0.0957 0.0434 278-AH 0.0011 0.0038 0.0131 0.0268 0.2487 0.0592 0.0942 0.0230 0.2476 1.5907 0.0140 0.0046 0.0754 0.0011 0.0268 0.0108 0.0100 279-AH 0.0000 0.0146 0.0242 0.2843 0.5971 0.1426 0.1892 0.2697 0.5971 1.3268 0.0291 0.0002 0.1551 0.0000 0.5971 0.1426 0.1892 280-AH 0.0022 0.0107 0.0245 0.0674 0.0976 0.0358 0.0296 0.0567 0.0955 0.8269 0.0228 0.0121 0.0251 0.0022 0.0976 0.0358 0.0296 281-AH 0.1394 0.2796 0.3516 0.3831 0.5295 0.3442 0.1140 0.1035 0.3902 0.3313 0.3240 0.3013 0.0838 0.1394 0.5295 0.3442 0.1140 282-AH 0.0020 0.1026 0.1386 0.1586 0.2381 0.1286 0.0599 0.0561 0.2362 0.4657 0.0962 0.0262 0.0433 0.0200 0.2381 0.1361 0.0525 283-AH 0.0076 0.0525 0.1275 0.2614 0.3526 0.1533 0.1120 0.2090 0.3451 0.7306 0.1014 0.0445 0.0903 0.0076 0.3526 0.1533 0.1120 284-AH 0.0008 0.0080 0.1622 0.4317 0.5892 0.2384 0.2354 0.4236 0.5884 0.9873 0.0602 0.0059 0.2097 0.0008 0.5892 0.2384 0.2354 285-AH 0.0004 0.0079 0.1338 0.5262 0.7297 0.2717 0.2596 0.5183 0.7294 0.9554 0.0740 0.0033 0.2354 0.0004 0.7297 0.2717 0.2596 286-AH 0.0000 0.0027 0.0153 0.0305 0.0980 0.0222 0.0251 0.0278 0.0980 1.1314 0.0070 0.0002 0.0182 0.0000 0.0576 0.0177 0.0170 287-AH 0.0021 0.0550 0.3052 0.3660 0.4797 0.2645 0.1708 0.3110 0.4776 0.6457 0.1378 0.0218 0.1417 0.0021 0.4797 0.2645 0.1708 288-AH 0.0000 0.0125 0.0795 0.1446 0.1963 0.0848 0.0718 0.1321 0.1963 0.8469 0.0260 0.0002 0.0603 0.0000 0.1963 0.0848 0.0718 289-AH 0.0000 0.3663 0.5563 0.7462 0.7737 0.5249 0.2499 0.3799 0.7737 0.4761 0.1673 0.0001 0.2004 0.0000 0.7737 0.5249 0.2499 290-AH 0.0001 0.0068 0.0844 0.1475 0.2975 0.0982 0.0906 0.1407 0.2974 0.9221 0.0312 0.0010 0.0717 0.0001 0.2975 0.0982 0.0906 339 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0040 0.0444 0.2121 0.5832 0.6547 0.2856 0.2568 0.5387 0.6507 0.8993 0.1387 0.0372 0.2225 0.0040 0.6547 0.2856 0.2568 292-AH 0.0000 0.2104 0.3862 0.6429 1.0000 0.4294 0.3195 0.4325 1.0000 0.7441 0.1024 0.0001 0.2561 0.0000 1.0000 0.4294 0.3195 293-AH 0.0000 0.0285 0.4893 0.5407 0.6261 0.3322 0.2580 0.5123 0.6261 0.7766 0.0620 0.0001 0.2379 0.0000 0.6261 0.3322 0.2580 294-AH 0.0001 0.0858 0.4744 0.5786 0.7091 0.3626 0.2755 0.4928 0.7089 0.7597 0.1124 0.0017 0.2482 0.0001 0.7091 0.3626 0.2755 295-AH 0.0000 0.0033 0.0294 0.2387 0.2800 0.1040 0.1194 0.2355 0.2799 1.1483 0.0189 0.0004 0.1110 0.0000 0.2800 0.1040 0.1194 296-AH 0.0003 0.2385 0.3967 0.5167 0.7055 0.3708 0.2029 0.2781 0.7052 0.5473 0.2077 0.0044 0.1645 0.0003 0.7055 0.3708 0.2029 297-AH 0.0000 0.0043 0.0552 0.2353 0.3920 0.1312 0.1490 0.2311 0.3920 1.1354 0.0170 0.0001 0.1278 0.0000 0.3920 0.1312 0.1490 298-AH 0.0019 0.0365 0.1148 0.1558 0.2132 0.1022 0.0607 0.1193 0.2113 0.5934 0.0659 0.0178 0.0481 0.0019 0.2132 0.1022 0.0607 299-AH 0.0000 0.0040 0.0865 0.1689 0.4331 0.1165 0.1306 0.1649 0.4331 1.1209 0.0268 0.0003 0.1060 0.0000 0.2993 0.0979 0.1072 300-AH 0.0006 0.0060 0.0923 0.1365 0.2854 0.0879 0.0765 0.1304 0.2848 0.8700 0.0377 0.0058 0.0618 0.0006 0.2854 0.0879 0.0765 301-AH 0.0000 0.0033 0.0753 0.4532 0.5309 0.1888 0.2088 0.4499 0.5309 1.1059 0.0227 0.0001 0.1818 0.0000 0.5309 0.1888 0.2088 302-AH 0.0274 0.2975 0.3708 0.4569 0.4645 0.3523 0.1204 0.1594 0.4371 0.3419 0.3093 0.2063 0.0884 0.1236 0.4645 0.3714 0.0918 303-AH 0.0031 0.0299 0.0718 0.2165 0.4022 0.1169 0.1086 0.1866 0.3991 0.9288 0.0679 0.0279 0.0901 0.0031 0.4022 0.1169 0.1086 304-AH 0.0000 0.0167 0.1172 0.2377 0.3178 0.1375 0.1177 0.2210 0.3178 0.8556 0.0335 0.0002 0.1037 0.0000 0.3178 0.1375 0.1177 305-AH 0.0002 0.0016 0.0957 0.2695 0.2864 0.1229 0.1276 0.2679 0.2862 1.0385 0.0172 0.0014 0.1209 0.0002 0.2864 0.1229 0.1276 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0021 0.0154 0.1093 0.3402 0.0592 0.0846 0.1072 0.3402 1.4301 0.0097 0.0003 0.0615 0.0000 0.1171 0.0426 0.0487 308-AH 0.5335 0.6149 0.6389 0.7255 0.7490 0.6573 0.0709 0.1106 0.2154 0.1079 0.6536 0.6500 0.0608 0.5335 0.7490 0.6573 0.0709 309-AH 0.0064 0.0119 0.0241 0.0539 0.2450 0.0555 0.0669 0.0420 0.2386 1.2043 0.0316 0.0201 0.0455 0.0064 0.0575 0.0284 0.0194 310-AH 0.0004 0.0015 0.0094 0.0234 0.1362 0.0313 0.0456 0.0219 0.1358 1.4554 0.0075 0.0018 0.0352 0.0004 0.0234 0.0087 0.0098 311-AH 0.0131 0.0906 0.2113 0.2381 0.3131 0.1749 0.0929 0.1475 0.3000 0.5313 0.1339 0.0784 0.0790 0.0131 0.3131 0.1749 0.0929 312-AH 0.0000 0.0001 0.0657 0.4581 0.6265 0.2234 0.2643 0.4580 0.6265 1.1830 0.0082 0.0001 0.2422 0.0000 0.6265 0.2234 0.2643 313-AH 0.0020 0.0164 0.0195 0.0258 0.0473 0.0225 0.0132 0.0094 0.0452 0.5883 0.0178 0.0116 0.0100 0.0036 0.0341 0.0190 0.0077 314-AH 0.0005 0.0157 0.0182 0.0424 0.0922 0.0291 0.0255 0.0267 0.0918 0.8765 0.0163 0.0038 0.0201 0.0005 0.0726 0.0254 0.0207 315-AH 0.0002 0.0234 0.2116 0.2337 0.4681 0.1714 0.1535 0.2103 0.4679 0.8957 0.0580 0.0022 0.1294 0.0002 0.4681 0.1714 0.1535 316-AH 0.0049 0.0291 0.0647 0.1570 0.2251 0.0895 0.0701 0.1279 0.2202 0.7825 0.0563 0.0265 0.0618 0.0049 0.2251 0.0895 0.0701 317-AH 0.0030 0.0516 0.0780 0.1625 0.2439 0.0955 0.0672 0.1109 0.2409 0.7036 0.0674 0.0295 0.0531 0.0030 0.2439 0.0955 0.0672 318-AH 0.0053 0.0201 0.0772 0.1743 0.4615 0.1244 0.1405 0.1542 0.4562 1.1299 0.0640 0.0301 0.1044 0.0053 0.2565 0.0826 0.0752 319-AH 0.0446 0.1977 0.3016 0.4082 0.4831 0.3034 0.1240 0.2105 0.4385 0.4086 0.2701 0.2176 0.1010 0.0446 0.4831 0.3034 0.1240 320-AH 0.0006 0.0037 0.0194 0.0355 0.0657 0.0225 0.0191 0.0318 0.0651 0.8507 0.0124 0.0045 0.0157 0.0006 0.0657 0.0225 0.0191 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0082 0.0425 0.0661 0.1187 0.1320 0.0704 0.0434 0.0762 0.1237 0.6162 0.0538 0.0353 0.0344 0.0082 0.1320 0.0704 0.0434 323-AH 0.0209 0.0400 0.0522 0.0878 0.1968 0.0797 0.0626 0.0478 0.1759 0.7848 0.0614 0.0490 0.0494 0.0209 0.0878 0.0487 0.0205 324-AH 0.0002 0.0049 0.1516 0.2702 0.5739 0.1951 0.1999 0.2653 0.5738 1.0248 0.0404 0.0014 0.1565 0.0002 0.5739 0.1951 0.1999 325-AH 0.0017 0.0078 0.0405 0.0672 0.5538 0.1173 0.1787 0.0594 0.5521 1.5240 0.0303 0.0078 0.1406 0.0017 0.0672 0.0269 0.0234 326-AH 0.0011 0.1834 0.3339 0.3883 0.5203 0.2870 0.1613 0.2049 0.5192 0.5620 0.1663 0.0148 0.1274 0.0011 0.5203 0.2870 0.1613 327-AH 0.0000 0.0010 0.0097 0.0293 0.4500 0.0428 0.1048 0.0283 0.4500 2.4506 0.0041 0.0001 0.0549 0.0000 0.0683 0.0151 0.0221 328-AH 0.1754 0.2243 0.4872 0.5593 0.7826 0.4532 0.2017 0.3350 0.6072 0.4452 0.4064 0.3598 0.1708 0.1754 0.7826 0.4532 0.2017 329-AH 0.0736 0.4034 0.6268 0.7056 0.7639 0.5435 0.2083 0.3022 0.6903 0.3833 0.4775 0.3651 0.1691 0.0736 0.7639 0.5435 0.2083 330-AH 0.0000 0.3886 0.6409 0.7078 0.7864 0.5428 0.2472 0.3192 0.7864 0.4553 0.1944 0.0002 0.2019 0.0000 0.7864 0.5428 0.2472 331-AH 0.0000 0.1182 0.1959 0.5238 0.5876 0.2793 0.2086 0.4056 0.5876 0.7468 0.1287 0.0002 0.1819 0.0000 0.5876 0.2793 0.2086 332-AH 0.0000 0.2966 0.3358 0.3727 0.4703 0.3106 0.1227 0.0761 0.4703 0.3952 0.1084 0.0001 0.0768 0.2934 0.4703 0.3494 0.0510 333-AH 0.0049 0.8100 1.0000 1.0000 1.0000 0.8246 0.3333 0.1900 0.9951 0.4042 0.5305 0.0567 0.2452 0.6413 1.0000 0.9585 0.1015 334-AH 0.0000 0.0909 0.1097 0.1409 0.2753 0.1188 0.0592 0.0500 0.2753 0.4981 0.0692 0.0002 0.0396 0.0400 0.1867 0.1164 0.0373 335-AH 0.0000 0.0021 0.0988 0.3076 0.4857 0.1762 0.1780 0.3055 0.4857 1.0102 0.0336 0.0002 0.1528 0.0000 0.4857 0.1762 0.1780 336-AH 0.0000 0.0009 0.0544 0.2160 0.2780 0.1029 0.1090 0.2151 0.2780 1.0593 0.0133 0.0002 0.1003 0.0000 0.2780 0.1029 0.1090 337-AH 0.0359 0.6598 0.7762 0.8105 0.8842 0.6845 0.2468 0.1507 0.8482 0.3605 0.5448 0.2412 0.1586 0.6258 0.8842 0.7654 0.0788 338-AH 0.0076 0.1006 0.2974 0.5006 0.7231 0.3248 0.2333 0.4000 0.7155 0.7184 0.2028 0.0682 0.1932 0.0076 0.7231 0.3248 0.2333 339-AH 0.0000 0.1742 0.3731 0.6745 0.8338 0.3967 0.2725 0.5002 0.8338 0.6869 0.1329 0.0002 0.2310 0.0000 0.8338 0.3967 0.2725 340-AH 0.0000 0.0003 0.1218 0.2110 0.4533 0.1293 0.1237 0.2107 0.4533 0.9567 0.0179 0.0001 0.0952 0.0000 0.4533 0.1293 0.1237 340 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0114 0.0756 0.4532 0.5573 0.8495 0.3853 0.2635 0.4818 0.8381 0.6838 0.2175 0.0697 0.2222 0.0114 0.8495 0.3853 0.2635 342-AH 0.2276 0.4520 0.6142 0.7013 0.7423 0.5596 0.1794 0.2492 0.5147 0.3206 0.5237 0.4793 0.1481 0.2276 0.7423 0.5596 0.1794 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0265 0.1390 0.4689 0.5099 0.6834 0.3803 0.2289 0.3709 0.6569 0.6019 0.2535 0.1160 0.1896 0.0265 0.6834 0.3803 0.2289 345-AH 0.0000 0.0101 0.0378 0.0518 0.1560 0.0457 0.0453 0.0417 0.1560 0.9914 0.0094 0.0001 0.0321 0.0000 0.0960 0.0329 0.0273 346-AH 0.0000 0.0005 0.0011 0.0498 0.0999 0.0275 0.0333 0.0494 0.0999 1.2114 0.0035 0.0001 0.0299 0.0000 0.0999 0.0275 0.0333 347-AH 0.0000 0.0070 0.0264 0.0403 0.2385 0.0505 0.0724 0.0332 0.2385 1.4336 0.0119 0.0001 0.0509 0.0000 0.0445 0.0199 0.0151 348-AH 0.0000 0.2500 1.0000 1.0000 1.0000 0.7546 0.3934 0.7500 1.0000 0.5214 0.2186 0.0001 0.3359 0.0000 1.0000 0.7546 0.3934 349-AH 0.0003 0.2962 0.3259 0.3399 0.4382 0.2914 0.1147 0.0437 0.4378 0.3938 0.1541 0.0035 0.0742 0.2835 0.3749 0.3280 0.0249 350-AH 0.0004 0.5308 0.5886 0.6293 0.6858 0.5237 0.1993 0.0985 0.6854 0.3806 0.2613 0.0036 0.1297 0.4459 0.6858 0.5891 0.0628 341 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.1250 0.8750 0.8750 0.8750 0.8750 0.7847 0.2220 0.0000 0.7500 0.2829 0.7201 0.5870 0.1404 0.8750 0.8750 0.8750 0.0000 143-AH 0.0000 0.0256 0.6410 0.7179 0.7692 0.4544 0.3272 0.6923 0.7692 0.7200 0.0611 0.0001 0.2944 0.0000 0.7692 0.4544 0.3272 144-AH 0.0000 0.0000 0.0000 0.3333 0.6667 0.1481 0.2613 0.3333 0.6667 1.7636 0.0002 0.0000 0.2140 0.0000 0.6667 0.1481 0.2613 145-AH 0.0263 0.1579 0.4737 0.5789 0.6579 0.3816 0.2448 0.4211 0.6316 0.6414 0.2448 0.1065 0.2178 0.0263 0.6579 0.3816 0.2448 146-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2500 0.2572 0.5000 0.5000 1.0290 0.0022 0.0000 0.2500 0.0000 0.5000 0.2500 0.2572 147-AH 0.0196 0.0980 0.5392 0.5686 0.6863 0.3965 0.2467 0.4706 0.6667 0.6222 0.2685 0.1281 0.2256 0.0196 0.6863 0.3965 0.2467 148-AH 0.0000 0.0000 0.0000 0.1667 0.1667 0.0648 0.0836 0.1667 0.1667 1.2899 0.0004 0.0000 0.0792 0.0000 0.1667 0.0648 0.0836 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0111 0.0471 0.0000 0.2000 4.2426 0.0000 0.0000 0.0210 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.1667 0.4167 0.0880 0.1355 0.1667 0.4167 1.5404 0.0005 0.0000 0.1085 0.0000 0.4167 0.0880 0.1355 152-AH 0.0000 0.0000 0.1364 0.1818 0.5455 0.1263 0.1467 0.1818 0.5455 1.1620 0.0025 0.0000 0.1162 0.0000 0.2727 0.1016 0.1060 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0952 0.2381 0.2857 0.3810 0.3810 0.2804 0.0922 0.1429 0.2857 0.3289 0.2610 0.2352 0.0705 0.0952 0.3810 0.2804 0.0922 155-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.1111 0.2287 0.0000 0.6667 2.0580 0.0001 0.0000 0.1728 0.0000 0.0000 0.0000 0.0000 156-AH 0.0000 0.0455 0.0909 0.1818 0.3182 0.1162 0.0828 0.1364 0.3182 0.7130 0.0606 0.0002 0.0662 0.0000 0.3182 0.1162 0.0828 157-AH 0.0288 0.3813 0.5036 0.5252 0.5612 0.4241 0.1633 0.1439 0.5324 0.3850 0.3417 0.1721 0.1180 0.2662 0.5612 0.4735 0.0823 158-AH 0.0000 0.0294 0.2647 0.3824 0.6765 0.2647 0.2229 0.3529 0.6765 0.8419 0.0426 0.0001 0.1797 0.0000 0.6765 0.2647 0.2229 159-AH 0.0000 0.0185 0.1204 0.2963 0.5370 0.1965 0.1877 0.2778 0.5370 0.9551 0.0203 0.0000 0.1607 0.0000 0.5370 0.1965 0.1877 160-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0833 0.1917 0.0000 0.5000 2.3009 0.0001 0.0000 0.1389 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0556 0.2357 0.0000 1.0000 4.2426 0.0000 0.0000 0.1049 0.0000 0.0000 0.0000 0.0000 163-AH 0.4180 0.4918 0.6230 0.7295 0.7623 0.6084 0.1216 0.2377 0.3443 0.1999 0.5964 0.5841 0.1045 0.4180 0.7623 0.6084 0.1216 164-AH 0.0000 0.0000 0.0185 0.0370 0.2222 0.0432 0.0638 0.0370 0.2222 1.4773 0.0008 0.0000 0.0466 0.0000 0.0370 0.0132 0.0184 165-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6111 0.5016 1.0000 1.0000 0.8209 0.0114 0.0000 0.4753 0.0000 1.0000 0.6111 0.5016 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.2222 0.1166 0.0000 0.4000 0.5247 0.0776 0.0001 0.0790 0.2000 0.2000 0.2000 0.0000 168-AH 0.0000 0.3333 0.4444 0.5000 0.6111 0.3796 0.2037 0.1667 0.6111 0.5365 0.1131 0.0001 0.1615 0.3333 0.6111 0.4802 0.0710 169-AH 0.0000 0.0000 0.0833 0.1667 0.1667 0.0833 0.0857 0.1667 0.1667 1.0290 0.0013 0.0000 0.0833 0.0000 0.1667 0.0833 0.0857 170-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6667 0.4851 1.0000 1.0000 0.7276 0.0215 0.0000 0.4444 0.0000 1.0000 0.6667 0.4851 171-AH 0.0526 0.0526 0.0526 0.1053 0.1579 0.0760 0.0324 0.0526 0.1053 0.4263 0.0705 0.0661 0.0286 0.0526 0.1579 0.0760 0.0324 172-AH 0.0000 0.0000 0.0000 0.1429 0.2857 0.0635 0.1007 0.1429 0.2857 1.5858 0.0003 0.0000 0.0847 0.0000 0.2857 0.0635 0.1007 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9722 0.1179 0.0000 0.5000 0.1212 0.9622 0.9474 0.0525 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.5714 0.7143 0.7143 0.8571 0.5952 0.2311 0.1429 0.8571 0.3883 0.1935 0.0001 0.1481 0.5714 0.8571 0.6696 0.0860 176-AH 0.2308 0.6410 0.6538 0.8205 0.8718 0.6766 0.1699 0.1795 0.6410 0.2511 0.6478 0.6057 0.1193 0.6154 0.8718 0.7260 0.0949 177-AH 0.0000 0.1538 0.3077 0.3846 0.5385 0.2906 0.1721 0.2308 0.5385 0.5923 0.0568 0.0001 0.1358 0.0000 0.5385 0.2906 0.1721 178-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.0972 0.1519 0.2500 0.5000 1.5626 0.0003 0.0000 0.1296 0.0000 0.5000 0.0972 0.1519 179-AH 0.0000 0.0455 0.3182 0.4091 0.7273 0.2854 0.2142 0.3636 0.7273 0.7507 0.0318 0.0000 0.1678 0.0000 0.7273 0.2854 0.2142 180-AH 0.0000 0.0000 0.0250 0.3500 0.5750 0.1542 0.2006 0.3500 0.5750 1.3012 0.0015 0.0000 0.1773 0.0000 0.5750 0.1542 0.2006 181-AH 0.3261 0.5870 0.6902 0.7391 0.8152 0.6522 0.1271 0.1522 0.4891 0.1950 0.6377 0.6196 0.0978 0.4348 0.8152 0.6714 0.1007 182-AH 0.0000 0.0000 0.2500 0.5000 0.7500 0.2917 0.2876 0.5000 0.7500 0.9861 0.0113 0.0000 0.2269 0.0000 0.7500 0.2917 0.2876 183-AH 0.0000 0.0000 0.2500 0.2500 0.5000 0.1667 0.1715 0.2500 0.5000 1.0290 0.0030 0.0000 0.1481 0.0000 0.5000 0.1667 0.1715 184-AH 0.0000 0.0000 0.1111 0.3333 0.6667 0.1914 0.2312 0.3333 0.6667 1.2083 0.0030 0.0000 0.1968 0.0000 0.6667 0.1914 0.2312 185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.2778 0.4609 1.0000 1.0000 1.6592 0.0002 0.0000 0.4012 0.0000 1.0000 0.2778 0.4609 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.2857 0.5714 0.6429 0.7143 0.8571 0.6587 0.1481 0.1429 0.5714 0.2249 0.6402 0.6171 0.1190 0.5714 0.8571 0.6807 0.1188 190-AH 0.0000 0.1111 0.1111 0.5556 0.6667 0.2778 0.2477 0.4444 0.6667 0.8918 0.0462 0.0001 0.2284 0.0000 0.6667 0.2778 0.2477 342 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.1667 0.5000 0.6667 0.8333 0.3981 0.2750 0.5000 0.8333 0.6907 0.0703 0.0001 0.2428 0.0000 0.8333 0.3981 0.2750 193-AH 0.0000 0.2857 0.2857 0.2857 0.4286 0.2778 0.1247 0.0000 0.4286 0.4488 0.0962 0.0001 0.0767 0.2857 0.2857 0.2857 0.0000 194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1667 0.3835 0.0000 1.0000 2.3009 0.0001 0.0000 0.2778 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3333 0.4851 1.0000 1.0000 1.4552 0.0005 0.0000 0.4444 0.0000 1.0000 0.3333 0.4851 197-AH 0.0000 0.4600 0.6000 0.7200 0.9400 0.5700 0.2534 0.2600 0.9400 0.4445 0.2780 0.0002 0.1822 0.4000 0.9400 0.6400 0.1603 198-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1667 0.3835 0.0000 1.0000 2.3009 0.0001 0.0000 0.2778 0.0000 0.0000 0.0000 0.0000 199-AH 0.0000 0.4000 0.5000 0.6000 0.7000 0.5000 0.1940 0.2000 0.7000 0.3881 0.2710 0.0002 0.1333 0.1000 0.7000 0.5294 0.1532 200-AH 0.0000 0.0000 0.4444 0.5556 0.7778 0.3457 0.2900 0.5556 0.7778 0.8388 0.0134 0.0000 0.2455 0.0000 0.7778 0.3457 0.2900 251-AH 0.0769 0.3538 0.4154 0.4615 0.5538 0.4077 0.1121 0.1077 0.4769 0.2749 0.3822 0.3320 0.0786 0.2615 0.5538 0.4271 0.0782 252-AH 0.0000 0.1724 0.2586 0.3448 0.4138 0.2586 0.1219 0.1724 0.4138 0.4714 0.1416 0.0002 0.0977 0.0000 0.4138 0.2586 0.1219 253-AH 0.0105 0.0632 0.2553 0.3684 0.4737 0.2281 0.1593 0.3053 0.4632 0.6985 0.1482 0.0696 0.1378 0.0105 0.4737 0.2281 0.1593 254-AH 0.0262 0.1659 0.2358 0.2664 0.3624 0.2123 0.0959 0.1004 0.3362 0.4517 0.1775 0.1222 0.0713 0.0262 0.3624 0.2123 0.0959 255-AH 0.0000 0.2500 0.3750 0.5000 0.7500 0.3750 0.2144 0.2500 0.7500 0.5717 0.1200 0.0001 0.1806 0.0000 0.7500 0.3750 0.2144 256-AH 0.0588 0.1765 0.7353 0.7941 0.8235 0.5621 0.3006 0.6176 0.7647 0.5348 0.4173 0.2414 0.2603 0.0588 0.8235 0.5621 0.3006 257-AH 0.0159 0.1270 0.2381 0.3016 0.3810 0.2169 0.1211 0.1746 0.3651 0.5584 0.1627 0.0917 0.0964 0.0159 0.3810 0.2169 0.1211 258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.1296 0.2592 0.0000 0.6667 1.9994 0.0001 0.0000 0.2016 0.0000 0.0000 0.0000 0.0000 260-AH 0.2540 0.3333 0.4286 0.4603 0.5873 0.4083 0.0933 0.1270 0.3333 0.2286 0.3977 0.3866 0.0759 0.2540 0.5873 0.4083 0.0933 261-AH 0.0000 0.0588 0.1324 0.2059 0.4412 0.1601 0.1470 0.1471 0.4412 0.9178 0.0463 0.0001 0.1122 0.0000 0.2647 0.1039 0.0769 262-AH 0.0000 0.0471 0.0882 0.1294 0.4706 0.1490 0.1625 0.0824 0.4706 1.0902 0.0398 0.0001 0.1272 0.0000 0.1294 0.0672 0.0427 263-AH 0.0000 0.0000 0.0313 0.0417 0.2917 0.0382 0.0660 0.0417 0.2917 1.7274 0.0026 0.0000 0.0312 0.0000 0.0417 0.0233 0.0193 264-AH 0.1818 0.2727 0.3636 0.4091 0.5909 0.3535 0.1052 0.1364 0.4091 0.2976 0.3385 0.3233 0.0870 0.1818 0.5909 0.3535 0.1052 265-AH 0.0000 0.1667 0.1667 0.1667 0.3333 0.1667 0.1143 0.0000 0.3333 0.6860 0.0224 0.0000 0.0741 0.1667 0.1667 0.1667 0.0000 266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.1429 0.1905 0.2857 0.3810 0.2063 0.1211 0.1429 0.3810 0.5870 0.0685 0.0001 0.1023 0.0000 0.3810 0.2063 0.1211 268-AH 0.0000 0.0000 0.3333 0.6667 0.6667 0.3704 0.3001 0.6667 0.6667 0.8102 0.0141 0.0000 0.2634 0.0000 0.6667 0.3704 0.3001 269-AH 0.0000 0.1111 0.2222 0.3333 0.3333 0.2037 0.1159 0.2222 0.3333 0.5690 0.0434 0.0001 0.0885 0.0000 0.3333 0.2037 0.1159 270-AH 0.0175 0.3860 0.4825 0.6316 0.6491 0.4552 0.2039 0.2456 0.6316 0.4480 0.3498 0.1497 0.1570 0.0351 0.6491 0.4809 0.1775 271-AH 0.0833 0.2500 0.3750 0.3750 0.4583 0.3125 0.1223 0.1250 0.3750 0.3914 0.2764 0.2258 0.0995 0.0833 0.4583 0.3125 0.1223 272-AH 0.0000 0.0714 0.2143 0.2857 0.3571 0.2024 0.1279 0.2143 0.3571 0.6319 0.0414 0.0001 0.1032 0.0000 0.3571 0.2024 0.1279 273-AH 0.0482 0.1325 0.4096 0.6024 0.6265 0.3929 0.2128 0.4699 0.5783 0.5417 0.3014 0.1895 0.1709 0.0482 0.6265 0.3929 0.2128 274-AH 0.0000 0.0000 0.0625 0.0625 0.3750 0.0590 0.0896 0.0625 0.3750 1.5181 0.0015 0.0000 0.0525 0.0000 0.1250 0.0404 0.0439 275-AH 0.1667 0.2879 0.3939 0.4242 0.5303 0.3645 0.1040 0.1364 0.3636 0.2853 0.3489 0.3317 0.0849 0.1667 0.5303 0.3645 0.1040 276-AH 0.0000 0.0678 0.1949 0.3559 0.5254 0.2448 0.1859 0.2881 0.5254 0.7592 0.0441 0.0001 0.1609 0.0000 0.5254 0.2448 0.1859 277-AH 0.0769 0.1923 0.2115 0.2692 0.3462 0.2179 0.0710 0.0769 0.2692 0.3260 0.2038 0.1854 0.0556 0.0769 0.3462 0.2179 0.0710 278-AH 0.0000 0.0000 0.0476 0.0476 0.2381 0.0582 0.0776 0.0476 0.2381 1.3328 0.0015 0.0000 0.0588 0.0000 0.0476 0.0204 0.0245 279-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1389 0.1960 0.2500 0.5000 1.4109 0.0006 0.0000 0.1698 0.0000 0.5000 0.1389 0.1960 280-AH 0.0000 0.0000 0.0400 0.1200 0.1200 0.0578 0.0553 0.1200 0.1200 0.9564 0.0025 0.0000 0.0509 0.0000 0.1200 0.0578 0.0553 281-AH 0.1190 0.2857 0.3571 0.4048 0.5000 0.3505 0.0972 0.1190 0.3810 0.2774 0.3349 0.3144 0.0735 0.1190 0.5000 0.3505 0.0972 282-AH 0.0000 0.1613 0.2097 0.2581 0.3871 0.2007 0.1076 0.0968 0.3871 0.5360 0.1040 0.0002 0.0860 0.0323 0.3871 0.2125 0.0981 283-AH 0.0526 0.1316 0.2105 0.2895 0.3947 0.2047 0.0983 0.1579 0.3421 0.4802 0.1770 0.1455 0.0796 0.0526 0.3947 0.2047 0.0983 284-AH 0.0000 0.0263 0.2237 0.4737 0.5526 0.2544 0.2183 0.4474 0.5526 0.8582 0.0394 0.0001 0.1920 0.0000 0.5526 0.2544 0.2183 285-AH 0.0000 0.0290 0.2174 0.5072 0.7101 0.2995 0.2480 0.4783 0.7101 0.8278 0.0718 0.0001 0.2201 0.0000 0.7101 0.2995 0.2480 286-AH 0.0000 0.0000 0.0000 0.0833 0.0833 0.0324 0.0418 0.0833 0.0833 1.2899 0.0003 0.0000 0.0396 0.0000 0.0833 0.0324 0.0418 287-AH 0.0000 0.1633 0.4082 0.4490 0.5510 0.3243 0.1835 0.2857 0.5510 0.5658 0.1500 0.0002 0.1527 0.0000 0.5510 0.3243 0.1835 288-AH 0.0000 0.0395 0.1513 0.2368 0.2895 0.1499 0.1067 0.1974 0.2895 0.7121 0.0301 0.0001 0.0914 0.0000 0.2895 0.1499 0.1067 289-AH 0.0000 0.4444 0.5556 0.7222 0.8333 0.5401 0.2611 0.2778 0.8333 0.4835 0.1706 0.0001 0.1996 0.2778 0.8333 0.6076 0.1831 290-AH 0.0000 0.0408 0.1327 0.2449 0.3878 0.1474 0.1134 0.2041 0.3878 0.7695 0.0437 0.0001 0.0899 0.0000 0.3878 0.1474 0.1134 343 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0333 0.2667 0.5667 0.6333 0.2963 0.2473 0.5333 0.6333 0.8347 0.0474 0.0001 0.2070 0.0000 0.6333 0.2963 0.2473 292-AH 0.0000 0.2500 0.3750 0.5000 1.0000 0.4028 0.2988 0.2500 1.0000 0.7417 0.0722 0.0001 0.2361 0.0000 0.7500 0.3281 0.2183 293-AH 0.0000 0.0588 0.5294 0.5588 0.6176 0.3497 0.2586 0.5000 0.6176 0.7394 0.0353 0.0000 0.2393 0.0000 0.6176 0.3497 0.2586 294-AH 0.0000 0.2222 0.4444 0.6296 0.6667 0.3930 0.2560 0.4074 0.6667 0.6514 0.0710 0.0001 0.2243 0.0000 0.6667 0.3930 0.2560 295-AH 0.0000 0.0196 0.0784 0.3137 0.3529 0.1547 0.1505 0.2941 0.3529 0.9731 0.0164 0.0000 0.1389 0.0000 0.3529 0.1547 0.1505 296-AH 0.0000 0.3333 0.4167 0.5000 0.6667 0.4005 0.1825 0.1667 0.6667 0.4558 0.1331 0.0001 0.1366 0.2917 0.6667 0.4505 0.1171 297-AH 0.0000 0.0000 0.1250 0.2500 0.4167 0.1574 0.1454 0.2500 0.4167 0.9239 0.0075 0.0000 0.1296 0.0000 0.4167 0.1574 0.1454 298-AH 0.0000 0.0667 0.2000 0.2333 0.3333 0.1778 0.1035 0.1667 0.3333 0.5824 0.0573 0.0001 0.0840 0.0000 0.3333 0.1778 0.1035 299-AH 0.0000 0.0132 0.1382 0.2500 0.4474 0.1535 0.1453 0.2368 0.4474 0.9467 0.0354 0.0001 0.1257 0.0000 0.4474 0.1535 0.1453 300-AH 0.0000 0.0000 0.1429 0.1667 0.3333 0.1019 0.0955 0.1667 0.3333 0.9378 0.0082 0.0000 0.0826 0.0000 0.3333 0.1019 0.0955 301-AH 0.0000 0.0000 0.1875 0.4375 0.6250 0.2431 0.2357 0.4375 0.6250 0.9697 0.0098 0.0000 0.2006 0.0000 0.6250 0.2431 0.2357 302-AH 0.1176 0.3529 0.3529 0.4118 0.4706 0.3595 0.1007 0.0588 0.3529 0.2800 0.3386 0.3064 0.0661 0.2941 0.4706 0.3897 0.0521 303-AH 0.0000 0.0714 0.1429 0.2857 0.4286 0.1706 0.1253 0.2143 0.4286 0.7341 0.0536 0.0001 0.1102 0.0000 0.4286 0.1706 0.1253 304-AH 0.0000 0.0000 0.1667 0.2667 0.4000 0.1778 0.1372 0.2667 0.4000 0.7717 0.0141 0.0000 0.1185 0.0000 0.4000 0.1778 0.1372 305-AH 0.0000 0.0000 0.1311 0.3279 0.3443 0.1530 0.1574 0.3279 0.3443 1.0290 0.0026 0.0000 0.1512 0.0000 0.3443 0.1530 0.1574 306-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4444 0.5113 1.0000 1.0000 1.1504 0.0017 0.0000 0.4938 0.0000 1.0000 0.4444 0.5113 307-AH 0.0000 0.0130 0.0714 0.1948 0.4805 0.1212 0.1296 0.1818 0.4805 1.0689 0.0202 0.0001 0.1020 0.0000 0.2597 0.1001 0.0964 308-AH 0.5455 0.5455 0.6364 0.7273 0.7273 0.6313 0.0793 0.1818 0.1818 0.1257 0.6266 0.6220 0.0668 0.5455 0.7273 0.6313 0.0793 309-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0556 0.0784 0.1000 0.2000 1.4109 0.0004 0.0000 0.0679 0.0000 0.2000 0.0556 0.0784 310-AH 0.0000 0.0159 0.0317 0.0476 0.2222 0.0600 0.0788 0.0317 0.2222 1.3143 0.0106 0.0001 0.0598 0.0000 0.0476 0.0215 0.0160 311-AH 0.0000 0.1481 0.2593 0.3148 0.4444 0.2315 0.1305 0.1667 0.4444 0.5639 0.0750 0.0001 0.1039 0.0000 0.4444 0.2315 0.1305 312-AH 0.0000 0.0000 0.0968 0.4516 0.5806 0.2168 0.2344 0.4516 0.5806 1.0810 0.0050 0.0000 0.2159 0.0000 0.5806 0.2168 0.2344 313-AH 0.0000 0.0000 0.0250 0.0500 0.1500 0.0361 0.0447 0.0500 0.1500 1.2389 0.0008 0.0000 0.0361 0.0000 0.1000 0.0294 0.0356 314-AH 0.0000 0.0000 0.0000 0.0556 0.1667 0.0340 0.0544 0.0556 0.1667 1.6012 0.0003 0.0000 0.0415 0.0000 0.0556 0.0174 0.0266 315-AH 0.0000 0.0847 0.2966 0.3559 0.4746 0.2298 0.1709 0.2712 0.4746 0.7439 0.0645 0.0001 0.1534 0.0000 0.4746 0.2298 0.1709 316-AH 0.0085 0.0424 0.0975 0.2034 0.2458 0.1224 0.0852 0.1610 0.2373 0.6956 0.0815 0.0403 0.0757 0.0085 0.2458 0.1224 0.0852 317-AH 0.0000 0.1000 0.1333 0.2000 0.3000 0.1444 0.0816 0.1000 0.3000 0.5653 0.0512 0.0001 0.0642 0.0000 0.3000 0.1444 0.0816 318-AH 0.0000 0.0000 0.0000 0.2222 0.4444 0.1049 0.1499 0.2222 0.4444 1.4285 0.0008 0.0000 0.1166 0.0000 0.4444 0.1049 0.1499 319-AH 0.1053 0.2632 0.3158 0.4737 0.5263 0.3538 0.1167 0.2105 0.4211 0.3299 0.3320 0.3043 0.0949 0.1053 0.5263 0.3538 0.1167 320-AH 0.0000 0.0000 0.0625 0.1250 0.1250 0.0556 0.0563 0.1250 0.1250 1.0128 0.0016 0.0000 0.0494 0.0000 0.1250 0.0556 0.0563 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0714 0.1071 0.2857 0.2857 0.1310 0.1102 0.2143 0.2857 0.8419 0.0170 0.0000 0.0913 0.0000 0.2857 0.1310 0.1102 323-AH 0.0385 0.0385 0.0962 0.1538 0.1923 0.0983 0.0531 0.1154 0.1538 0.5406 0.0833 0.0696 0.0470 0.0385 0.1923 0.0983 0.0531 324-AH 0.0000 0.0135 0.2703 0.3514 0.6351 0.2575 0.2230 0.3378 0.6351 0.8661 0.0241 0.0000 0.1793 0.0000 0.6351 0.2575 0.2230 325-AH 0.0000 0.0328 0.0984 0.1148 0.5738 0.1585 0.1922 0.0820 0.5738 1.2126 0.0240 0.0001 0.1500 0.0000 0.1148 0.0621 0.0473 326-AH 0.0000 0.2500 0.2500 0.5000 0.5000 0.2778 0.1691 0.2500 0.5000 0.6088 0.0560 0.0001 0.1235 0.0000 0.5000 0.2778 0.1691 327-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0139 0.0589 0.0000 0.2500 4.2426 0.0000 0.0000 0.0262 0.0000 0.0000 0.0000 0.0000 328-AH 0.1739 0.3478 0.4783 0.6087 0.6957 0.4638 0.1674 0.2609 0.5217 0.3610 0.4310 0.3949 0.1417 0.1739 0.6957 0.4638 0.1674 329-AH 0.1176 0.4706 0.5294 0.5882 0.6471 0.5065 0.1485 0.1176 0.5294 0.2931 0.4713 0.4116 0.1049 0.4118 0.6471 0.5515 0.0740 330-AH 0.0000 0.4314 0.6373 0.6863 0.7255 0.5283 0.2313 0.2549 0.7255 0.4377 0.1705 0.0001 0.1801 0.2941 0.7255 0.5944 0.1369 331-AH 0.0000 0.0588 0.1765 0.4706 0.6471 0.2516 0.2227 0.4118 0.6471 0.8849 0.1009 0.0002 0.1964 0.0000 0.6471 0.2516 0.2227 332-AH 0.0000 0.2500 0.3750 0.3750 0.3750 0.3125 0.1231 0.1250 0.3750 0.3941 0.1088 0.0001 0.0903 0.2500 0.3750 0.3516 0.0504 333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8000 0.3498 0.2000 1.0000 0.4372 0.2452 0.0001 0.2667 0.8000 1.0000 0.9714 0.0726 334-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0889 0.1231 0.2000 0.4000 1.3853 0.0005 0.0000 0.1086 0.0000 0.4000 0.0889 0.1231 335-AH 0.0000 0.0000 0.2000 0.2000 0.4667 0.1815 0.1646 0.2000 0.4667 0.9069 0.0085 0.0000 0.1263 0.0000 0.4667 0.1815 0.1646 336-AH 0.0000 0.0000 0.0588 0.2353 0.2941 0.1046 0.1133 0.2353 0.2941 1.0838 0.0022 0.0000 0.1031 0.0000 0.2941 0.1046 0.1133 337-AH 0.0000 0.6500 0.7250 0.7500 0.8000 0.6333 0.2282 0.1000 0.8000 0.3603 0.3282 0.0002 0.1389 0.6000 0.8000 0.7094 0.0584 338-AH 0.0000 0.1000 0.4000 0.5000 0.6000 0.3389 0.2090 0.4000 0.6000 0.6168 0.1634 0.0002 0.1858 0.0000 0.6000 0.3389 0.2090 339-AH 0.0000 0.1579 0.3684 0.6316 0.7895 0.3830 0.2533 0.4737 0.7895 0.6612 0.1147 0.0001 0.2193 0.0000 0.7895 0.3830 0.2533 340-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1000 0.1715 0.2000 0.6000 1.7150 0.0003 0.0000 0.1333 0.0000 0.4000 0.0706 0.1213 344 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.1667 0.5000 0.5000 0.8333 0.3796 0.2669 0.3333 0.8333 0.7032 0.0412 0.0000 0.2263 0.0000 0.8333 0.3796 0.2669 342-AH 0.2812 0.5208 0.5781 0.6771 0.7188 0.5480 0.1537 0.1562 0.4375 0.2804 0.5224 0.4919 0.1181 0.2917 0.7188 0.5814 0.1269 343-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0556 0.2357 0.0000 1.0000 4.2426 0.0000 0.0000 0.1049 0.0000 0.0000 0.0000 0.0000 344-AH 0.0303 0.0909 0.4848 0.5152 0.6364 0.3889 0.2123 0.4242 0.6061 0.5459 0.2929 0.1739 0.1818 0.0303 0.6364 0.3889 0.2123 345-AH 0.0000 0.0000 0.0000 0.1111 0.1111 0.0432 0.0557 0.1111 0.1111 1.2899 0.0004 0.0000 0.0528 0.0000 0.1111 0.0432 0.0557 346-AH 0.0000 0.0000 0.0000 0.0909 0.0909 0.0354 0.0456 0.0909 0.0909 1.2899 0.0003 0.0000 0.0432 0.0000 0.0909 0.0354 0.0456 347-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0556 0.1278 0.0000 0.3333 2.3009 0.0001 0.0000 0.0926 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7778 0.3524 0.5000 1.0000 0.4531 0.2385 0.0001 0.2963 0.0000 1.0000 0.7778 0.3524 349-AH 0.0000 0.2963 0.3333 0.3704 0.4444 0.3066 0.1211 0.0741 0.4444 0.3949 0.1071 0.0001 0.0738 0.2963 0.4444 0.3449 0.0501 350-AH 0.0000 0.5000 0.5000 0.6000 0.7000 0.4778 0.1957 0.1000 0.7000 0.4096 0.1578 0.0001 0.1346 0.4000 0.7000 0.5533 0.0743 345 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.3281 0.8594 0.8750 0.9219 1.0000 0.8377 0.1674 0.0625 0.6719 0.1999 0.8137 0.7775 0.0976 0.8438 1.0000 0.8926 0.0467 143-AH 0.0256 0.1571 0.7137 0.8047 0.9349 0.5323 0.3413 0.6476 0.9093 0.6411 0.3261 0.1270 0.2983 0.0256 0.9349 0.5323 0.3413 144-AH 0.0000 0.0000 0.0000 0.2222 0.6667 0.1481 0.2499 0.2222 0.6667 1.6869 0.0005 0.0000 0.1893 0.0000 0.2222 0.0444 0.0819 145-AH 0.0762 0.3927 0.5069 0.6247 0.7168 0.4839 0.1846 0.2320 0.6406 0.3815 0.4293 0.3393 0.1426 0.0762 0.7168 0.4839 0.1846 146-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2083 0.2144 0.5000 0.5000 1.0290 0.0034 0.0000 0.1852 0.0000 0.5000 0.2083 0.2144 147-AH 0.0319 0.2576 0.6223 0.6763 0.7859 0.4904 0.2517 0.4187 0.7539 0.5132 0.3840 0.2221 0.2283 0.0319 0.7859 0.4904 0.2517 148-AH 0.0000 0.0000 0.0000 0.0556 0.1667 0.0448 0.0695 0.0556 0.1667 1.5519 0.0004 0.0000 0.0566 0.0000 0.0556 0.0099 0.0207 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.0800 0.0067 0.0206 0.0000 0.0800 3.0870 0.0000 0.0000 0.0119 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0278 0.1944 0.3889 0.0984 0.1301 0.1944 0.3889 1.3220 0.0013 0.0000 0.1103 0.0000 0.3889 0.0984 0.1301 152-AH 0.0000 0.0000 0.1364 0.2975 0.5289 0.1873 0.1906 0.2975 0.5289 1.0175 0.0076 0.0000 0.1659 0.0000 0.5289 0.1873 0.1906 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0862 0.2245 0.2755 0.3129 0.3696 0.2662 0.0718 0.0884 0.2834 0.2699 0.2538 0.2363 0.0533 0.1565 0.3696 0.2768 0.0578 155-AH 0.0000 0.0000 0.0000 0.1111 0.6667 0.1235 0.2407 0.1111 0.6667 1.9497 0.0002 0.0000 0.1797 0.0000 0.2222 0.0222 0.0623 156-AH 0.0000 0.0372 0.0713 0.0971 0.1777 0.0815 0.0543 0.0599 0.1777 0.6661 0.0444 0.0002 0.0418 0.0000 0.1777 0.0815 0.0543 157-AH 0.1298 0.5541 0.5847 0.6169 0.6995 0.5427 0.1525 0.0628 0.5696 0.2811 0.5038 0.4338 0.0944 0.4984 0.6995 0.5931 0.0449 158-AH 0.0260 0.1081 0.2344 0.3365 0.6972 0.2699 0.2045 0.2284 0.6713 0.7577 0.1946 0.1231 0.1570 0.0260 0.5986 0.2448 0.1798 159-AH 0.0000 0.0806 0.1804 0.3433 0.6447 0.2374 0.2104 0.2627 0.6447 0.8861 0.0605 0.0001 0.1724 0.0000 0.6447 0.2374 0.2104 160-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0694 0.1673 0.0000 0.5000 2.4088 0.0001 0.0000 0.1157 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0556 0.2357 0.0000 1.0000 4.2426 0.0000 0.0000 0.1049 0.0000 0.0000 0.0000 0.0000 163-AH 0.6840 0.7329 0.8176 0.9004 0.9375 0.8165 0.0891 0.1676 0.2536 0.1091 0.8119 0.8071 0.0754 0.6840 0.9375 0.8165 0.0891 164-AH 0.0000 0.0041 0.0295 0.0494 0.1824 0.0407 0.0489 0.0453 0.1824 1.2012 0.0056 0.0000 0.0359 0.0000 0.1043 0.0324 0.0348 165-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6111 0.5016 1.0000 1.0000 0.8209 0.0114 0.0000 0.4753 0.0000 1.0000 0.6111 0.5016 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1200 0.1400 0.2000 0.2400 0.1511 0.0758 0.0800 0.2400 0.5019 0.0549 0.0001 0.0622 0.0800 0.2400 0.1700 0.0556 168-AH 0.0000 0.2716 0.4105 0.4475 0.6667 0.3577 0.1846 0.1759 0.6667 0.5161 0.1822 0.0002 0.1400 0.0802 0.6667 0.3787 0.1665 169-AH 0.0000 0.0000 0.0833 0.1111 0.1944 0.0756 0.0705 0.1111 0.1944 0.9328 0.0031 0.0000 0.0610 0.0000 0.1944 0.0756 0.0705 170-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6667 0.4851 1.0000 1.0000 0.7276 0.0215 0.0000 0.4444 0.0000 1.0000 0.6667 0.4851 171-AH 0.0194 0.0416 0.0526 0.0665 0.1163 0.0542 0.0219 0.0249 0.0970 0.4046 0.0500 0.0457 0.0153 0.0194 0.0748 0.0505 0.0160 172-AH 0.0000 0.0000 0.0000 0.0816 0.1837 0.0420 0.0669 0.0816 0.1837 1.5959 0.0002 0.0000 0.0559 0.0000 0.1837 0.0420 0.0669 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9861 0.0589 0.0000 0.2500 0.0598 0.9841 0.9818 0.0262 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.4490 0.6429 0.6939 0.7959 0.5669 0.2298 0.2449 0.7959 0.4053 0.1841 0.0001 0.1653 0.4490 0.7959 0.6378 0.1079 176-AH 0.3609 0.6818 0.7890 0.8955 0.9218 0.7609 0.1596 0.2137 0.5608 0.2097 0.7411 0.7161 0.1247 0.4563 0.9218 0.7844 0.1283 177-AH 0.0000 0.1420 0.2633 0.4024 0.4497 0.2607 0.1482 0.2604 0.4497 0.5683 0.1262 0.0002 0.1193 0.0000 0.4497 0.2607 0.1482 178-AH 0.0000 0.0000 0.0000 0.2500 0.4375 0.1076 0.1498 0.2500 0.4375 1.3913 0.0005 0.0000 0.1316 0.0000 0.4375 0.1076 0.1498 179-AH 0.0207 0.1550 0.3058 0.3864 0.6880 0.3000 0.1887 0.2314 0.6674 0.6288 0.2148 0.1162 0.1405 0.0207 0.6880 0.3000 0.1887 180-AH 0.0000 0.0000 0.0341 0.4531 0.7300 0.1835 0.2425 0.4531 0.7300 1.3218 0.0025 0.0000 0.2118 0.0000 0.7300 0.1835 0.2425 181-AH 0.6392 0.7664 0.7896 0.8565 0.8919 0.7918 0.0761 0.0900 0.2527 0.0961 0.7882 0.7845 0.0565 0.6392 0.8919 0.7918 0.0761 182-AH 0.0000 0.0625 0.1250 0.2500 0.5625 0.2083 0.2111 0.1875 0.5625 1.0134 0.0223 0.0000 0.1713 0.0000 0.2500 0.1071 0.0931 183-AH 0.0000 0.0000 0.1875 0.2500 0.5625 0.1597 0.1622 0.2500 0.5625 1.0153 0.0047 0.0000 0.1281 0.0000 0.5625 0.1597 0.1622 184-AH 0.0000 0.0123 0.0988 0.2593 0.5679 0.1770 0.1999 0.2469 0.5679 1.1298 0.0166 0.0000 0.1646 0.0000 0.5679 0.1770 0.1999 185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3333 0.4851 1.0000 1.0000 1.4552 0.0005 0.0000 0.4444 0.0000 1.0000 0.3333 0.4851 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.2857 0.5714 0.6633 0.9184 0.9184 0.7098 0.1884 0.3469 0.6327 0.2655 0.6821 0.6489 0.1605 0.2857 0.9184 0.7098 0.1884 190-AH 0.0000 0.0988 0.2407 0.5309 0.6296 0.2929 0.2342 0.4321 0.6296 0.7997 0.0501 0.0001 0.2119 0.0000 0.6296 0.2929 0.2342 346 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0278 0.1667 0.4583 0.5833 0.8333 0.4120 0.2644 0.4167 0.8056 0.6418 0.2893 0.1457 0.2243 0.0278 0.8333 0.4120 0.2644 193-AH 0.0000 0.2449 0.2857 0.2857 0.5102 0.2732 0.1262 0.0408 0.5102 0.4619 0.1507 0.0002 0.0860 0.2449 0.2857 0.2816 0.0129 194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1667 0.3835 0.0000 1.0000 2.3009 0.0001 0.0000 0.2778 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3889 0.5016 1.0000 1.0000 1.2899 0.0009 0.0000 0.4753 0.0000 1.0000 0.3889 0.5016 197-AH 0.1192 0.5956 0.7610 0.8576 0.9816 0.7034 0.2298 0.2620 0.8624 0.3268 0.6452 0.5408 0.1800 0.3280 0.9816 0.7377 0.1832 198-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1667 0.3835 0.0000 1.0000 2.3009 0.0001 0.0000 0.2778 0.0000 0.0000 0.0000 0.0000 199-AH 0.0000 0.3900 0.5850 0.6300 0.6900 0.4872 0.2065 0.2400 0.6900 0.4239 0.2554 0.0002 0.1656 0.0600 0.6900 0.5159 0.1721 200-AH 0.0000 0.0000 0.3580 0.5062 0.6543 0.2915 0.2550 0.5062 0.6543 0.8748 0.0115 0.0000 0.2276 0.0000 0.6543 0.2915 0.2550 251-AH 0.1238 0.3735 0.4412 0.4888 0.5636 0.4228 0.1053 0.1153 0.4398 0.2490 0.4041 0.3743 0.0761 0.2464 0.5636 0.4403 0.0765 252-AH 0.0868 0.1736 0.2342 0.3080 0.3722 0.2432 0.0840 0.1344 0.2854 0.3455 0.2282 0.2119 0.0709 0.0868 0.3722 0.2432 0.0840 253-AH 0.0358 0.1596 0.4670 0.5944 0.6404 0.3999 0.2105 0.4348 0.6047 0.5265 0.3210 0.2144 0.1876 0.0358 0.6404 0.3999 0.2105 254-AH 0.0301 0.4716 0.4927 0.5242 0.6150 0.4460 0.1662 0.0526 0.5848 0.3727 0.3639 0.1924 0.1118 0.4627 0.5991 0.5058 0.0372 255-AH 0.0000 0.2500 0.2812 0.5625 0.7500 0.3785 0.2273 0.3125 0.7500 0.6007 0.1197 0.0001 0.1914 0.0000 0.7500 0.3785 0.2273 256-AH 0.0744 0.4645 0.8019 0.8227 0.8936 0.6310 0.3059 0.3581 0.8192 0.4849 0.4910 0.3045 0.2537 0.0744 0.8936 0.6310 0.3059 257-AH 0.0834 0.1469 0.2302 0.2744 0.3230 0.2138 0.0739 0.1275 0.2396 0.3458 0.2005 0.1863 0.0661 0.0834 0.3230 0.2138 0.0739 258-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0139 0.0404 0.0000 0.1250 2.9104 0.0000 0.0000 0.0247 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0000 0.2222 0.6667 0.1605 0.2619 0.2222 0.6667 1.6318 0.0004 0.0000 0.2140 0.0000 0.4444 0.0593 0.1319 260-AH 0.2268 0.3875 0.5088 0.6188 0.7095 0.4903 0.1405 0.2313 0.4827 0.2865 0.4683 0.4436 0.1163 0.2268 0.7095 0.4903 0.1405 261-AH 0.0000 0.1107 0.1587 0.2855 0.4689 0.2108 0.1404 0.1747 0.4689 0.6659 0.1103 0.0002 0.1164 0.0000 0.4689 0.2108 0.1404 262-AH 0.0329 0.1128 0.2390 0.3224 0.4669 0.2383 0.1449 0.2096 0.4339 0.6078 0.1874 0.1351 0.1291 0.0329 0.4669 0.2383 0.1449 263-AH 0.0000 0.0082 0.0237 0.0369 0.2274 0.0454 0.0590 0.0286 0.2274 1.2988 0.0062 0.0000 0.0423 0.0000 0.0369 0.0183 0.0142 264-AH 0.0930 0.2045 0.2779 0.4112 0.5868 0.3057 0.1223 0.2066 0.4938 0.4002 0.2811 0.2543 0.1029 0.0930 0.5868 0.3057 0.1223 265-AH 0.0000 0.0556 0.0833 0.1667 0.3611 0.1281 0.1286 0.1111 0.3611 1.0039 0.0237 0.0001 0.1029 0.0000 0.3333 0.0990 0.1029 266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.1361 0.1610 0.2494 0.3447 0.1867 0.1043 0.1134 0.3447 0.5587 0.0650 0.0001 0.0832 0.0000 0.3447 0.1867 0.1043 268-AH 0.0000 0.0000 0.3333 0.6667 0.6667 0.3642 0.3020 0.6667 0.6667 0.8293 0.0138 0.0000 0.2689 0.0000 0.6667 0.3642 0.3020 269-AH 0.0000 0.0617 0.1852 0.2469 0.3086 0.1653 0.0997 0.1852 0.3086 0.6031 0.0545 0.0001 0.0819 0.0000 0.3086 0.1653 0.0997 270-AH 0.1551 0.6051 0.6436 0.6922 0.7581 0.5964 0.1763 0.0871 0.6030 0.2956 0.5524 0.4777 0.1211 0.5319 0.7581 0.6648 0.0605 271-AH 0.0556 0.1979 0.3316 0.3507 0.3993 0.2846 0.1102 0.1528 0.3437 0.3873 0.2529 0.2076 0.0908 0.0556 0.3993 0.2846 0.1102 272-AH 0.0000 0.1071 0.1505 0.2806 0.2857 0.1601 0.1004 0.1735 0.2857 0.6271 0.0349 0.0001 0.0818 0.0000 0.2857 0.1601 0.1004 273-AH 0.3089 0.4012 0.5785 0.7023 0.7505 0.5689 0.1564 0.3011 0.4416 0.2750 0.5456 0.5199 0.1303 0.3089 0.7505 0.5689 0.1564 274-AH 0.0000 0.0195 0.0605 0.1484 0.3516 0.0881 0.0868 0.1289 0.3516 0.9853 0.0254 0.0001 0.0665 0.0000 0.1641 0.0726 0.0584 275-AH 0.1832 0.2952 0.3857 0.4190 0.5528 0.3795 0.0952 0.1237 0.3696 0.2508 0.3673 0.3540 0.0720 0.1832 0.5528 0.3795 0.0952 276-AH 0.0155 0.2531 0.3200 0.3398 0.5090 0.2900 0.1400 0.0868 0.4935 0.4828 0.2281 0.1211 0.1043 0.1721 0.4657 0.3261 0.0827 277-AH 0.1095 0.1198 0.1760 0.1953 0.2160 0.1645 0.0383 0.0754 0.1065 0.2325 0.1601 0.1555 0.0336 0.1095 0.2160 0.1645 0.0383 278-AH 0.0000 0.0249 0.0476 0.0884 0.1995 0.0664 0.0597 0.0635 0.1995 0.8999 0.0285 0.0002 0.0472 0.0000 0.1610 0.0586 0.0512 279-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1181 0.1700 0.2500 0.5000 1.4400 0.0008 0.0000 0.1373 0.0000 0.5000 0.1181 0.1700 280-AH 0.0000 0.0160 0.0512 0.0736 0.0912 0.0468 0.0324 0.0576 0.0912 0.6914 0.0117 0.0001 0.0289 0.0000 0.0912 0.0468 0.0324 281-AH 0.0992 0.2613 0.3336 0.3452 0.4603 0.3176 0.0947 0.0839 0.3611 0.2982 0.3004 0.2773 0.0713 0.1638 0.4603 0.3304 0.0798 282-AH 0.0000 0.1394 0.1904 0.2549 0.3267 0.1921 0.0794 0.1155 0.3267 0.4132 0.1120 0.0002 0.0614 0.0000 0.3267 0.1921 0.0794 283-AH 0.0346 0.1849 0.2098 0.2839 0.3490 0.2111 0.0888 0.0990 0.3144 0.4208 0.1831 0.1385 0.0627 0.0367 0.3490 0.2215 0.0795 284-AH 0.0921 0.1496 0.4020 0.4377 0.5547 0.3310 0.1661 0.2881 0.4626 0.5018 0.2797 0.2251 0.1487 0.0921 0.5547 0.3310 0.1661 285-AH 0.0365 0.1159 0.4014 0.5898 0.7645 0.3848 0.2435 0.4738 0.7280 0.6326 0.2782 0.1647 0.2157 0.0365 0.7645 0.3848 0.2435 286-AH 0.0000 0.0000 0.0139 0.0833 0.1528 0.0421 0.0492 0.0833 0.1528 1.1697 0.0012 0.0000 0.0436 0.0000 0.1528 0.0421 0.0492 287-AH 0.0283 0.1391 0.3494 0.3778 0.4702 0.2865 0.1515 0.2387 0.4419 0.5288 0.2193 0.1336 0.1252 0.0283 0.4702 0.2865 0.1515 288-AH 0.0000 0.1769 0.2350 0.2708 0.2749 0.2037 0.0833 0.0938 0.2749 0.4090 0.1140 0.0002 0.0638 0.1015 0.2749 0.2269 0.0513 289-AH 0.0000 0.5494 0.5910 0.7778 0.8302 0.5748 0.2503 0.2284 0.8302 0.4355 0.1843 0.0001 0.1745 0.3210 0.8302 0.6466 0.1465 290-AH 0.0292 0.0862 0.1628 0.2170 0.3095 0.1590 0.0803 0.1308 0.2803 0.5049 0.1355 0.1083 0.0697 0.0292 0.3095 0.1590 0.0803 347 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0111 0.0867 0.2089 0.5889 0.6500 0.2917 0.2530 0.5022 0.6389 0.8673 0.1621 0.0651 0.2216 0.0111 0.6500 0.2917 0.2530 292-AH 0.0000 0.1875 0.3125 0.5000 1.0000 0.3750 0.3194 0.3125 1.0000 0.8518 0.0637 0.0001 0.2500 0.0000 0.8750 0.2969 0.2388 293-AH 0.0000 0.1825 0.4987 0.5311 0.5891 0.3657 0.2080 0.3486 0.5891 0.5689 0.1144 0.0001 0.1870 0.0000 0.5891 0.3657 0.2080 294-AH 0.0247 0.2209 0.5528 0.6118 0.7010 0.4316 0.2378 0.3909 0.6763 0.5509 0.3172 0.1569 0.2161 0.0247 0.7010 0.4316 0.2378 295-AH 0.0165 0.0738 0.1077 0.2941 0.3230 0.1696 0.1172 0.2203 0.3064 0.6910 0.1280 0.0879 0.1086 0.0165 0.3230 0.1696 0.1172 296-AH 0.0000 0.2934 0.3993 0.5278 0.6806 0.3935 0.1873 0.2344 0.6806 0.4759 0.2087 0.0002 0.1510 0.0000 0.6806 0.3935 0.1873 297-AH 0.0000 0.0000 0.1076 0.2500 0.3681 0.1470 0.1366 0.2500 0.3681 0.9292 0.0110 0.0000 0.1223 0.0000 0.3681 0.1470 0.1366 298-AH 0.0000 0.1322 0.1706 0.1967 0.2700 0.1593 0.0640 0.0644 0.2700 0.4021 0.0931 0.0002 0.0465 0.0611 0.2700 0.1686 0.0518 299-AH 0.0109 0.1264 0.2648 0.3014 0.4791 0.2312 0.1204 0.1750 0.4681 0.5208 0.1818 0.0967 0.0989 0.0109 0.4791 0.2312 0.1204 300-AH 0.0312 0.0476 0.1003 0.1344 0.3118 0.1030 0.0689 0.0867 0.2806 0.6689 0.0839 0.0675 0.0471 0.0312 0.1706 0.0907 0.0465 301-AH 0.0000 0.0430 0.1211 0.4609 0.5352 0.2151 0.1982 0.4180 0.5352 0.9218 0.0342 0.0001 0.1726 0.0000 0.5352 0.2151 0.1982 302-AH 0.0830 0.2630 0.3322 0.3772 0.4464 0.3155 0.1038 0.1142 0.3633 0.3290 0.2902 0.2511 0.0778 0.2595 0.4464 0.3443 0.0650 303-AH 0.0000 0.0408 0.0765 0.1939 0.3929 0.1230 0.1058 0.1531 0.3929 0.8597 0.0563 0.0002 0.0891 0.0000 0.3929 0.1230 0.1058 304-AH 0.0000 0.1022 0.1733 0.2489 0.3244 0.1627 0.1066 0.1467 0.3244 0.6549 0.0326 0.0001 0.0877 0.0000 0.3244 0.1627 0.1066 305-AH 0.0271 0.1330 0.2295 0.2682 0.3083 0.1960 0.0921 0.1352 0.2811 0.4698 0.1651 0.1226 0.0793 0.0271 0.3083 0.1960 0.0921 306-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4444 0.5113 1.0000 1.0000 1.1504 0.0017 0.0000 0.4938 0.0000 1.0000 0.4444 0.5113 307-AH 0.0128 0.0686 0.1891 0.2808 0.4036 0.1999 0.1391 0.2122 0.3908 0.6957 0.1387 0.0769 0.1176 0.0128 0.4036 0.1999 0.1391 308-AH 0.5372 0.5702 0.6116 0.6860 0.7190 0.6249 0.0658 0.1157 0.1818 0.1053 0.6216 0.6184 0.0589 0.5372 0.7190 0.6249 0.0658 309-AH 0.0000 0.0000 0.0050 0.0400 0.2000 0.0411 0.0689 0.0400 0.2000 1.6767 0.0007 0.0000 0.0495 0.0000 0.0500 0.0120 0.0174 310-AH 0.0270 0.0401 0.0532 0.1046 0.2013 0.0808 0.0568 0.0645 0.1744 0.7027 0.0664 0.0568 0.0462 0.0270 0.1892 0.0737 0.0497 311-AH 0.0439 0.1783 0.2608 0.3193 0.3553 0.2324 0.0971 0.1409 0.3114 0.4180 0.2042 0.1653 0.0807 0.0439 0.3553 0.2324 0.0971 312-AH 0.0000 0.0291 0.1904 0.4745 0.6243 0.2632 0.2488 0.4454 0.6243 0.9453 0.0363 0.0001 0.2261 0.0000 0.6243 0.2632 0.2488 313-AH 0.0000 0.0000 0.0163 0.0475 0.0675 0.0225 0.0257 0.0475 0.0675 1.1408 0.0009 0.0000 0.0219 0.0000 0.0675 0.0225 0.0257 314-AH 0.0000 0.0000 0.0000 0.0278 0.3086 0.0352 0.0840 0.0278 0.3086 2.3891 0.0002 0.0000 0.0507 0.0000 0.0463 0.0073 0.0147 315-AH 0.0488 0.2063 0.3085 0.3485 0.5329 0.2854 0.1409 0.1422 0.4841 0.4939 0.2410 0.1827 0.1129 0.0488 0.5329 0.2854 0.1409 316-AH 0.0875 0.1808 0.2229 0.2639 0.3765 0.2299 0.0767 0.0830 0.2890 0.3337 0.2170 0.2028 0.0583 0.0875 0.3765 0.2299 0.0767 317-AH 0.0167 0.0756 0.1100 0.1822 0.2589 0.1262 0.0693 0.1067 0.2422 0.5492 0.1034 0.0754 0.0589 0.0167 0.2589 0.1262 0.0693 318-AH 0.0000 0.0000 0.0926 0.1852 0.4198 0.1200 0.1363 0.1852 0.4198 1.1354 0.0085 0.0000 0.1042 0.0000 0.4198 0.1200 0.1363 319-AH 0.2105 0.2521 0.3172 0.4211 0.4737 0.3347 0.0916 0.1690 0.2632 0.2737 0.3226 0.3107 0.0795 0.2105 0.4737 0.3347 0.0916 320-AH 0.0000 0.0117 0.0469 0.0586 0.0938 0.0371 0.0288 0.0469 0.0938 0.7771 0.0063 0.0000 0.0250 0.0000 0.0938 0.0371 0.0288 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0408 0.0638 0.1684 0.1888 0.0879 0.0704 0.1276 0.1888 0.8007 0.0128 0.0000 0.0592 0.0000 0.1888 0.0879 0.0704 323-AH 0.0251 0.0370 0.0754 0.1050 0.1568 0.0805 0.0461 0.0680 0.1317 0.5730 0.0684 0.0580 0.0364 0.0251 0.1568 0.0805 0.0461 324-AH 0.0307 0.0847 0.2140 0.3775 0.6611 0.2813 0.2218 0.2927 0.6304 0.7887 0.1853 0.1064 0.1849 0.0307 0.6611 0.2813 0.2218 325-AH 0.0486 0.1346 0.1817 0.2459 0.5751 0.2400 0.1718 0.1113 0.5265 0.7160 0.1899 0.1482 0.1326 0.0486 0.2459 0.1552 0.0591 326-AH 0.0000 0.1875 0.2500 0.3750 0.5000 0.2639 0.1447 0.1875 0.5000 0.5483 0.0894 0.0001 0.1034 0.0000 0.5000 0.2639 0.1447 327-AH 0.0000 0.0000 0.0000 0.0000 0.3125 0.0174 0.0737 0.0000 0.3125 4.2426 0.0000 0.0000 0.0328 0.0000 0.0000 0.0000 0.0000 328-AH 0.2495 0.3705 0.4924 0.5992 0.7429 0.4926 0.1560 0.2287 0.4934 0.3167 0.4677 0.4419 0.1280 0.2495 0.7429 0.4926 0.1560 329-AH 0.1453 0.5675 0.5952 0.6367 0.7163 0.5652 0.1437 0.0692 0.5709 0.2542 0.5365 0.4873 0.0936 0.5433 0.7163 0.6198 0.0532 330-AH 0.0000 0.6428 0.7499 0.7620 0.8258 0.6520 0.2414 0.1192 0.8258 0.3703 0.3287 0.0002 0.1543 0.5890 0.8258 0.7315 0.0733 331-AH 0.0000 0.0104 0.1125 0.4014 0.5467 0.2007 0.2069 0.3910 0.5467 1.0308 0.0556 0.0002 0.1830 0.0000 0.5467 0.2007 0.2069 332-AH 0.0000 0.2188 0.2812 0.2969 0.3750 0.2431 0.0981 0.0781 0.3750 0.4037 0.0869 0.0001 0.0675 0.2031 0.3750 0.2734 0.0453 333-AH 0.0000 0.8400 1.0000 1.0000 1.0000 0.8067 0.3555 0.1600 1.0000 0.4407 0.2454 0.0001 0.2741 0.8400 1.0000 0.9829 0.0463 334-AH 0.0000 0.0000 0.0000 0.1200 0.3200 0.0578 0.0912 0.1200 0.3200 1.5791 0.0004 0.0000 0.0726 0.0000 0.1600 0.0424 0.0655 335-AH 0.0000 0.0800 0.1178 0.3289 0.4400 0.1820 0.1496 0.2489 0.4400 0.8219 0.0531 0.0001 0.1306 0.0000 0.4400 0.1820 0.1496 336-AH 0.0000 0.0000 0.0952 0.2042 0.2215 0.1025 0.0939 0.2042 0.2215 0.9164 0.0083 0.0000 0.0844 0.0000 0.2215 0.1025 0.0939 337-AH 0.0650 0.6775 0.7538 0.7975 0.8725 0.6757 0.2305 0.1200 0.8075 0.3411 0.5739 0.3554 0.1431 0.6200 0.8725 0.7516 0.0703 338-AH 0.0000 0.1000 0.3000 0.4800 0.7300 0.3339 0.2372 0.3800 0.7300 0.7104 0.1523 0.0002 0.2043 0.0000 0.7300 0.3339 0.2372 339-AH 0.0000 0.1163 0.3296 0.6565 0.7839 0.3627 0.2670 0.5402 0.7839 0.7361 0.1535 0.0002 0.2227 0.0000 0.7839 0.3627 0.2670 340-AH 0.0000 0.0000 0.0000 0.0800 0.4400 0.0578 0.1141 0.0800 0.4400 1.9757 0.0002 0.0000 0.0790 0.0000 0.1600 0.0250 0.0503 348 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.1111 0.4861 0.5556 0.8333 0.3827 0.2641 0.4444 0.8333 0.6902 0.0413 0.0000 0.2236 0.0000 0.8333 0.3827 0.2641 342-AH 0.3151 0.6070 0.6628 0.7662 0.8044 0.6316 0.1626 0.1592 0.4893 0.2574 0.6068 0.5769 0.1242 0.3719 0.8044 0.6704 0.1244 343-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0556 0.2357 0.0000 1.0000 4.2426 0.0000 0.0000 0.1049 0.0000 0.0000 0.0000 0.0000 344-AH 0.0083 0.4490 0.4798 0.5014 0.6391 0.4512 0.1558 0.0523 0.6309 0.3454 0.3688 0.1128 0.1028 0.4178 0.5418 0.4807 0.0295 345-AH 0.0000 0.0000 0.0000 0.0864 0.1111 0.0384 0.0464 0.0864 0.1111 1.2072 0.0006 0.0000 0.0428 0.0000 0.1111 0.0384 0.0464 346-AH 0.0000 0.0000 0.0000 0.0083 0.0331 0.0073 0.0116 0.0083 0.0331 1.5858 0.0002 0.0000 0.0090 0.0000 0.0165 0.0028 0.0051 347-AH 0.0000 0.0000 0.0000 0.0000 0.2469 0.0405 0.0931 0.0000 0.2469 2.3017 0.0001 0.0000 0.0674 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.2500 1.0000 1.0000 1.0000 0.7500 0.3930 0.7500 1.0000 0.5239 0.2174 0.0001 0.3333 0.0000 1.0000 0.7500 0.3930 349-AH 0.0192 0.2263 0.2929 0.3155 0.3663 0.2609 0.0977 0.0892 0.3471 0.3743 0.2169 0.1254 0.0701 0.1907 0.3663 0.2906 0.0489 350-AH 0.0300 0.4400 0.5150 0.5500 0.6600 0.4550 0.1736 0.1100 0.6300 0.3815 0.3710 0.1976 0.1239 0.2800 0.6600 0.5075 0.0877 349 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9352 0.1908 0.0000 0.6667 0.2040 0.9053 0.8571 0.1152 1.0000 1.0000 1.0000 0.0000 143-AH 0.0047 0.1356 1.0000 1.0000 1.0000 0.6876 0.4559 0.8644 0.9953 0.6630 0.3146 0.0414 0.4165 0.0047 1.0000 0.6876 0.4559 144-AH 0.0056 0.0082 0.0651 0.3333 0.7500 0.2064 0.2805 0.3251 0.7444 1.3588 0.0649 0.0207 0.2279 0.0056 0.7500 0.2064 0.2805 145-AH 0.0328 1.0000 1.0000 1.0000 1.0000 0.7912 0.4020 0.0000 0.9672 0.5081 0.5291 0.2021 0.3248 1.0000 1.0000 1.0000 0.0000 146-AH 0.0033 0.0143 0.3500 1.0000 1.0000 0.4222 0.4117 0.9857 0.9967 0.9753 0.1436 0.0252 0.3556 0.0033 1.0000 0.4222 0.4117 147-AH 0.0824 0.5000 1.0000 1.0000 1.0000 0.8040 0.3387 0.5000 0.9176 0.4212 0.6711 0.4541 0.2832 0.0824 1.0000 0.8040 0.3387 148-AH 0.0000 0.0179 0.1339 0.2000 1.0000 0.2921 0.3952 0.1821 1.0000 1.3529 0.0221 0.0000 0.3146 0.0000 0.2000 0.0898 0.0773 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0082 0.0211 0.0265 0.2500 0.0359 0.0570 0.0184 0.2500 1.5850 0.0143 0.0002 0.0325 0.0000 0.0494 0.0174 0.0120 151-AH 0.0021 0.0034 0.0209 0.2500 1.0000 0.2353 0.3642 0.2466 0.9979 1.5480 0.0359 0.0076 0.2860 0.0021 0.2500 0.0525 0.0820 152-AH 0.0000 0.0027 0.5625 1.0000 1.0000 0.5129 0.5023 0.9973 1.0000 0.9793 0.0239 0.0000 0.4871 0.0000 1.0000 0.5129 0.5023 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8644 0.2794 0.0000 0.8571 0.3233 0.7818 0.6316 0.2109 1.0000 1.0000 1.0000 0.0000 155-AH 0.0000 0.0021 0.0127 0.0833 1.0000 0.1958 0.3781 0.0812 1.0000 1.9312 0.0106 0.0001 0.2834 0.0000 0.0833 0.0136 0.0214 156-AH 0.0392 0.0909 0.1744 0.3333 1.0000 0.2600 0.2394 0.2424 0.9608 0.9205 0.1845 0.1337 0.1732 0.0392 0.5000 0.2165 0.1570 157-AH 0.2000 0.5769 0.7862 1.0000 1.0000 0.7537 0.2761 0.4231 0.8000 0.3663 0.6841 0.5868 0.2278 0.2000 1.0000 0.7537 0.2761 158-AH 0.0100 0.0833 1.0000 1.0000 1.0000 0.6290 0.4476 0.9167 0.9900 0.7116 0.3122 0.0753 0.4122 0.0100 1.0000 0.6290 0.4476 159-AH 0.0053 0.0645 0.5333 1.0000 1.0000 0.5220 0.4445 0.9355 0.9947 0.8516 0.1898 0.0283 0.4132 0.0053 1.0000 0.5220 0.4445 160-AH 0.0000 0.0023 0.0528 0.1667 1.0000 0.1987 0.3164 0.1643 1.0000 1.5925 0.0233 0.0001 0.2173 0.0000 0.2500 0.0717 0.0778 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.7647 1.0000 1.0000 1.0000 1.0000 0.9869 0.0555 0.0000 0.2353 0.0562 0.9852 0.9832 0.0247 1.0000 1.0000 1.0000 0.0000 164-AH 0.0046 0.0200 0.0353 0.2000 1.0000 0.1880 0.2696 0.1800 0.9954 1.4338 0.0639 0.0246 0.1956 0.0046 0.2000 0.0631 0.0710 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.3333 0.3750 0.5000 1.0000 0.4497 0.2913 0.1667 1.0000 0.6477 0.1392 0.0001 0.2058 0.2500 0.5000 0.3919 0.0846 168-AH 0.0000 0.4800 1.0000 1.0000 1.0000 0.6981 0.3932 0.5200 1.0000 0.5632 0.2640 0.0002 0.3354 0.0000 1.0000 0.6981 0.3932 169-AH 0.0000 0.0303 0.1938 0.3333 1.0000 0.2893 0.3512 0.3030 1.0000 1.2140 0.0589 0.0001 0.2652 0.0000 0.5000 0.1472 0.1411 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0526 0.1111 0.2250 1.0000 1.0000 0.4401 0.4114 0.8889 0.9474 0.9349 0.2736 0.1765 0.3733 0.0526 1.0000 0.4401 0.4114 172-AH 0.0000 0.0046 0.0658 0.2000 0.5000 0.1512 0.1925 0.1954 0.5000 1.2734 0.0093 0.0000 0.1547 0.0000 0.4000 0.0815 0.1172 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8890 0.3232 0.0000 1.0000 0.3635 0.3654 0.0002 0.1974 1.0000 1.0000 1.0000 0.0000 176-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9722 0.1179 0.0000 0.5000 0.1212 0.9622 0.9474 0.0525 1.0000 1.0000 1.0000 0.0000 177-AH 0.0515 0.3750 0.5278 1.0000 1.0000 0.5631 0.3367 0.6250 0.9485 0.5978 0.4269 0.2660 0.2751 0.0515 1.0000 0.5631 0.3367 178-AH 0.0000 0.0000 0.0507 0.5000 1.0000 0.2842 0.4130 0.5000 1.0000 1.4533 0.0080 0.0000 0.3421 0.0000 1.0000 0.2842 0.4130 179-AH 0.0012 0.0789 1.0000 1.0000 1.0000 0.6926 0.4528 0.9211 0.9988 0.6538 0.2617 0.0124 0.4099 0.0012 1.0000 0.6926 0.4528 180-AH 0.0000 0.0000 0.0558 0.3793 1.0000 0.2954 0.4070 0.3793 1.0000 1.3776 0.0060 0.0000 0.3283 0.0000 0.3793 0.0941 0.1420 181-AH 0.8298 1.0000 1.0000 1.0000 1.0000 0.9668 0.0643 0.0000 0.1702 0.0665 0.9647 0.9624 0.0516 1.0000 1.0000 1.0000 0.0000 182-AH 0.0172 0.2000 0.3333 0.7500 1.0000 0.4385 0.3150 0.5500 0.9828 0.7184 0.3062 0.1484 0.2701 0.0172 1.0000 0.4385 0.3150 183-AH 0.0026 0.0588 0.5000 0.5000 1.0000 0.4235 0.3734 0.4412 0.9974 0.8816 0.1850 0.0291 0.3072 0.0026 1.0000 0.4235 0.3734 184-AH 0.0065 0.0227 0.2778 1.0000 1.0000 0.4170 0.4386 0.9773 0.9935 1.0518 0.1426 0.0328 0.3886 0.0065 1.0000 0.4170 0.4386 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 190-AH 0.0037 0.1429 0.7500 1.0000 1.0000 0.5817 0.4441 0.8571 0.9963 0.7635 0.2539 0.0277 0.4183 0.0037 1.0000 0.5817 0.4441 350 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0084 0.3333 1.0000 1.0000 1.0000 0.6921 0.4119 0.6667 0.9916 0.5951 0.4306 0.1006 0.3763 0.0084 1.0000 0.6921 0.4119 193-AH 0.0020 1.0000 1.0000 1.0000 1.0000 0.8537 0.3424 0.0000 0.9980 0.4011 0.5500 0.0333 0.2438 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0370 1.0000 1.0000 1.0000 1.0000 0.8948 0.3063 0.0000 0.9630 0.3423 0.7177 0.3130 0.1871 1.0000 1.0000 1.0000 0.0000 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1212 0.7500 1.0000 1.0000 1.0000 0.8619 0.2753 0.2500 0.8788 0.3194 0.7718 0.5929 0.1995 0.6923 1.0000 0.9495 0.1092 200-AH 0.0139 0.0238 0.6667 0.8000 1.0000 0.5102 0.4074 0.7762 0.9861 0.7985 0.2134 0.0540 0.3708 0.0139 1.0000 0.5102 0.4074 251-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 252-AH 0.0278 0.4118 0.6786 1.0000 1.0000 0.6646 0.3551 0.5882 0.9722 0.5343 0.5025 0.2424 0.3195 0.0278 1.0000 0.6646 0.3551 253-AH 0.0200 0.5000 0.6970 1.0000 1.0000 0.6710 0.3589 0.5000 0.9800 0.5349 0.4617 0.1613 0.2987 0.0200 1.0000 0.6710 0.3589 254-AH 0.0336 0.2273 0.5833 1.0000 1.0000 0.5692 0.3470 0.7727 0.9664 0.6095 0.4147 0.2181 0.2974 0.0336 1.0000 0.5692 0.3470 255-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8056 0.3346 0.3333 1.0000 0.4153 0.2502 0.0001 0.2593 0.5000 1.0000 0.9063 0.1718 256-AH 0.0741 1.0000 1.0000 1.0000 1.0000 0.9069 0.2727 0.0000 0.9259 0.3006 0.8012 0.5373 0.1655 1.0000 1.0000 1.0000 0.0000 257-AH 0.0417 0.2857 0.5000 0.5625 1.0000 0.4878 0.2884 0.2768 0.9583 0.5913 0.3838 0.2488 0.2028 0.0417 0.5833 0.3854 0.1832 258-AH 0.0000 0.0000 0.0057 0.0106 0.1818 0.0168 0.0419 0.0106 0.1818 2.5017 0.0011 0.0000 0.0201 0.0000 0.0263 0.0071 0.0081 259-AH 0.0000 0.0588 0.1339 0.2500 1.0000 0.3035 0.3895 0.1912 1.0000 1.2833 0.0798 0.0002 0.3095 0.0000 0.2500 0.1045 0.0807 260-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9444 0.1617 0.0000 0.5000 0.1712 0.9259 0.9000 0.0988 1.0000 1.0000 1.0000 0.0000 261-AH 0.0000 0.3333 1.0000 1.0000 1.0000 0.6791 0.3984 0.6667 1.0000 0.5866 0.2972 0.0002 0.3644 0.0000 1.0000 0.6791 0.3984 262-AH 0.0030 0.0952 0.2250 0.5000 1.0000 0.3480 0.3610 0.4048 0.9970 1.0372 0.1702 0.0372 0.2908 0.0030 1.0000 0.3480 0.3610 263-AH 0.0000 0.0025 0.0657 0.0833 0.4000 0.0659 0.0903 0.0808 0.4000 1.3706 0.0140 0.0001 0.0487 0.0000 0.0870 0.0462 0.0356 264-AH 0.2000 0.6667 1.0000 1.0000 1.0000 0.8370 0.2821 0.3333 0.8000 0.3370 0.7675 0.6667 0.2354 0.2000 1.0000 0.8370 0.2821 265-AH 0.0000 0.2000 0.2321 1.0000 1.0000 0.4139 0.3813 0.8000 1.0000 0.9213 0.1106 0.0001 0.3256 0.0000 1.0000 0.4139 0.3813 266-AH 0.0000 0.0000 0.0043 0.0270 0.2000 0.0265 0.0512 0.0270 0.2000 1.9348 0.0007 0.0000 0.0327 0.0000 0.0556 0.0107 0.0168 267-AH 0.0010 0.2857 1.0000 1.0000 1.0000 0.6927 0.4113 0.7143 0.9990 0.5938 0.3733 0.0172 0.3756 0.0010 1.0000 0.6927 0.4113 268-AH 0.0000 0.1429 0.5000 1.0000 1.0000 0.5742 0.4222 0.8571 1.0000 0.7353 0.1352 0.0001 0.3785 0.0000 1.0000 0.5742 0.4222 269-AH 0.0093 0.2000 0.4000 1.0000 1.0000 0.4874 0.3588 0.8000 0.9907 0.7361 0.2904 0.0704 0.2876 0.0093 1.0000 0.4874 0.3588 270-AH 0.0408 1.0000 1.0000 1.0000 1.0000 0.8934 0.3101 0.0000 0.9592 0.3471 0.7012 0.2776 0.1894 1.0000 1.0000 1.0000 0.0000 271-AH 0.0909 0.6154 1.0000 1.0000 1.0000 0.8183 0.3233 0.3846 0.9091 0.3951 0.6964 0.4864 0.2625 0.0909 1.0000 0.8183 0.3233 272-AH 0.0000 0.2105 0.3417 0.4167 0.5000 0.3057 0.1571 0.2061 0.5000 0.5141 0.0994 0.0001 0.1230 0.0000 0.5000 0.3057 0.1571 273-AH 0.2500 0.5000 1.0000 1.0000 1.0000 0.8214 0.3030 0.5000 0.7500 0.3689 0.7403 0.6316 0.2579 0.2500 1.0000 0.8214 0.3030 274-AH 0.0061 0.0426 0.0702 0.2500 0.7500 0.1899 0.2222 0.2074 0.7439 1.1701 0.0856 0.0317 0.1745 0.0061 0.5000 0.1570 0.1781 275-AH 0.3750 0.8750 1.0000 1.0000 1.0000 0.9167 0.1819 0.1250 0.6250 0.1984 0.8911 0.8533 0.1204 0.8750 1.0000 0.9766 0.0504 276-AH 0.0036 0.1111 0.3475 0.6250 1.0000 0.4462 0.3730 0.5139 0.9964 0.8360 0.2038 0.0334 0.3229 0.0036 1.0000 0.4462 0.3730 277-AH 0.1000 0.2778 0.3333 0.5000 1.0000 0.4088 0.2364 0.2222 0.9000 0.5783 0.3594 0.3158 0.1618 0.1000 0.5000 0.3349 0.1044 278-AH 0.0060 0.0185 0.0794 0.5000 1.0000 0.3298 0.4077 0.4815 0.9940 1.2363 0.0961 0.0292 0.3546 0.0060 1.0000 0.3298 0.4077 279-AH 0.0000 0.0294 0.0416 0.5000 1.0000 0.3085 0.4049 0.4706 1.0000 1.3125 0.0596 0.0002 0.3341 0.0000 1.0000 0.3085 0.4049 280-AH 0.0152 0.0440 0.0889 0.2000 0.5000 0.1300 0.1248 0.1560 0.4848 0.9595 0.0814 0.0501 0.0964 0.0152 0.2500 0.1083 0.0865 281-AH 0.2727 1.0000 1.0000 1.0000 1.0000 0.8943 0.2486 0.0000 0.7273 0.2780 0.8385 0.7493 0.1762 1.0000 1.0000 1.0000 0.0000 282-AH 0.0108 0.4286 0.5000 0.6667 1.0000 0.5452 0.2971 0.2381 0.9892 0.5450 0.4110 0.1359 0.2186 0.1250 1.0000 0.5766 0.2737 283-AH 0.1250 0.1818 1.0000 1.0000 1.0000 0.6788 0.3860 0.8182 0.8750 0.5687 0.5239 0.3613 0.3569 0.1250 1.0000 0.6788 0.3860 284-AH 0.0135 0.0536 0.5500 1.0000 1.0000 0.5507 0.4485 0.9464 0.9865 0.8144 0.2431 0.0641 0.4048 0.0135 1.0000 0.5507 0.4485 285-AH 0.0118 0.1340 1.0000 1.0000 1.0000 0.6764 0.4352 0.8660 0.9882 0.6435 0.3752 0.0869 0.3956 0.0118 1.0000 0.6764 0.4352 286-AH 0.0000 0.0097 0.0415 0.2000 1.0000 0.1600 0.2514 0.1903 1.0000 1.5711 0.0315 0.0002 0.1681 0.0000 0.3333 0.0863 0.1053 287-AH 0.0198 0.3333 0.5607 1.0000 1.0000 0.5956 0.3685 0.6667 0.9802 0.6187 0.4101 0.1645 0.3146 0.0198 1.0000 0.5956 0.3685 288-AH 0.0000 0.1429 0.3542 0.4286 1.0000 0.3837 0.3314 0.2857 1.0000 0.8638 0.1337 0.0002 0.2409 0.0000 0.6250 0.2604 0.1889 289-AH 0.0000 0.6500 1.0000 1.0000 1.0000 0.7896 0.3485 0.3500 1.0000 0.4413 0.2420 0.0001 0.2776 0.4000 1.0000 0.8883 0.2100 290-AH 0.0021 0.1429 0.2667 1.0000 1.0000 0.4438 0.4156 0.8571 0.9979 0.9363 0.2072 0.0269 0.3708 0.0021 1.0000 0.4438 0.4156 351 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0170 0.0714 1.0000 1.0000 1.0000 0.6905 0.4290 0.9286 0.9830 0.6213 0.4018 0.1277 0.3783 0.0170 1.0000 0.6905 0.4290 292-AH 0.0000 0.4000 0.6190 1.0000 1.0000 0.6412 0.3788 0.6000 1.0000 0.5907 0.1569 0.0001 0.3217 0.0000 1.0000 0.6412 0.3788 293-AH 0.0000 0.2500 0.7159 1.0000 1.0000 0.6032 0.4059 0.7500 1.0000 0.6730 0.1410 0.0001 0.3571 0.0000 1.0000 0.6032 0.4059 294-AH 0.0023 0.3333 0.7500 1.0000 1.0000 0.6169 0.4149 0.6667 0.9977 0.6726 0.3036 0.0270 0.3831 0.0023 1.0000 0.6169 0.4149 295-AH 0.0015 0.0278 0.3095 0.8333 1.0000 0.4544 0.3948 0.8056 0.9985 0.8689 0.1657 0.0160 0.3503 0.0015 1.0000 0.4544 0.3948 296-AH 0.0032 0.6000 0.7136 0.8000 1.0000 0.6567 0.2781 0.2000 0.9968 0.4235 0.4603 0.0512 0.1943 0.4000 1.0000 0.7350 0.1692 297-AH 0.0000 0.0217 0.2500 0.7500 1.0000 0.4036 0.3950 0.7283 1.0000 0.9787 0.0507 0.0001 0.3435 0.0000 1.0000 0.4036 0.3950 298-AH 0.0256 0.1000 0.3717 0.5000 1.0000 0.4012 0.3144 0.4000 0.9744 0.7839 0.2705 0.1480 0.2233 0.0256 1.0000 0.4012 0.3144 299-AH 0.0014 0.0804 0.3125 0.5333 1.0000 0.3981 0.3832 0.4529 0.9986 0.9626 0.1685 0.0206 0.3278 0.0014 1.0000 0.3981 0.3832 300-AH 0.0066 0.0219 0.1923 0.3000 0.5714 0.1867 0.1607 0.2781 0.5648 0.8606 0.0999 0.0391 0.1349 0.0066 0.5714 0.1867 0.1607 301-AH 0.0000 0.0417 0.5000 1.0000 1.0000 0.5400 0.4548 0.9583 1.0000 0.8422 0.1095 0.0002 0.4088 0.0000 1.0000 0.5400 0.4548 302-AH 0.2075 0.6667 0.7500 0.8000 1.0000 0.7165 0.2295 0.1333 0.7925 0.3203 0.6651 0.5888 0.1576 0.5000 1.0000 0.7792 0.1481 303-AH 0.0238 0.1000 0.2111 1.0000 1.0000 0.4801 0.4341 0.9000 0.9762 0.9041 0.2714 0.1365 0.4043 0.0238 1.0000 0.4801 0.4341 304-AH 0.0000 0.0556 0.5000 0.7500 1.0000 0.4970 0.3762 0.6944 1.0000 0.7569 0.1358 0.0002 0.3088 0.0000 1.0000 0.4970 0.3762 305-AH 0.0068 0.0140 0.2309 1.0000 1.0000 0.4512 0.4750 0.9860 0.9932 1.0525 0.1061 0.0233 0.4384 0.0068 1.0000 0.4512 0.4750 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0021 0.0251 0.1495 0.3750 0.6667 0.1913 0.1846 0.3499 0.6646 0.9649 0.0839 0.0169 0.1457 0.0021 0.6667 0.1913 0.1846 308-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9889 0.0471 0.0000 0.2000 0.0477 0.9877 0.9863 0.0210 1.0000 1.0000 1.0000 0.0000 309-AH 0.0135 0.0441 0.0611 0.1333 1.0000 0.1842 0.2838 0.0892 0.9865 1.5408 0.0808 0.0469 0.1979 0.0135 0.1500 0.0655 0.0439 310-AH 0.0089 0.0282 0.1769 0.5000 1.0000 0.3425 0.3875 0.4718 0.9911 1.1314 0.1375 0.0463 0.3097 0.0089 1.0000 0.3425 0.3875 311-AH 0.0526 0.3000 0.5000 0.5556 1.0000 0.5048 0.3189 0.2556 0.9474 0.6317 0.3723 0.2180 0.2257 0.0526 0.5556 0.3633 0.1897 312-AH 0.0000 0.0044 0.2963 0.7500 1.0000 0.4079 0.4204 0.7456 1.0000 1.0307 0.0316 0.0001 0.3782 0.0000 1.0000 0.4079 0.4204 313-AH 0.0115 0.0519 0.0938 0.1111 0.1765 0.0841 0.0445 0.0592 0.1649 0.5296 0.0698 0.0518 0.0363 0.0115 0.1765 0.0841 0.0445 314-AH 0.0081 0.0435 0.0763 0.0816 0.5000 0.0979 0.1132 0.0382 0.4919 1.1565 0.0645 0.0402 0.0636 0.0081 0.1143 0.0632 0.0302 315-AH 0.0041 0.1538 1.0000 1.0000 1.0000 0.6668 0.4261 0.8462 0.9959 0.6391 0.3195 0.0356 0.3795 0.0041 1.0000 0.6668 0.4261 316-AH 0.0357 0.2550 0.3017 0.4000 1.0000 0.3966 0.2987 0.1450 0.9643 0.7533 0.3003 0.2011 0.2134 0.0802 0.5000 0.2930 0.1054 317-AH 0.0203 0.2222 0.2500 0.5000 0.5714 0.3010 0.1669 0.2778 0.5511 0.5547 0.2359 0.1417 0.1389 0.0203 0.5714 0.3010 0.1669 318-AH 0.0204 0.0588 0.1250 0.3333 1.0000 0.2908 0.3479 0.2745 0.9796 1.1963 0.1533 0.0878 0.2644 0.0204 0.5000 0.1489 0.1327 319-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9278 0.1987 0.0000 0.8000 0.2142 0.8857 0.7941 0.1204 1.0000 1.0000 1.0000 0.0000 320-AH 0.0036 0.0196 0.1099 0.2000 0.5000 0.1251 0.1243 0.1804 0.4964 0.9939 0.0652 0.0244 0.0945 0.0036 0.2500 0.1030 0.0844 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0238 0.1020 0.2250 0.3333 0.4000 0.2068 0.1344 0.2313 0.3762 0.6502 0.1508 0.0949 0.1157 0.0238 0.4000 0.2068 0.1344 323-AH 0.1000 0.5000 0.5000 1.0000 1.0000 0.6272 0.3302 0.5000 0.9000 0.5264 0.5220 0.3978 0.2899 0.1000 1.0000 0.6272 0.3302 324-AH 0.0051 0.0462 0.9199 1.0000 1.0000 0.6250 0.4477 0.9538 0.9949 0.7162 0.2487 0.0362 0.3995 0.0051 1.0000 0.6250 0.4477 325-AH 0.0174 0.0556 0.1455 0.2222 1.0000 0.2358 0.2737 0.1667 0.9826 1.1607 0.1280 0.0698 0.2038 0.0174 0.2222 0.1047 0.0672 326-AH 0.0044 0.5000 1.0000 1.0000 1.0000 0.7570 0.3793 0.5000 0.9956 0.5011 0.4633 0.0572 0.3240 0.0044 1.0000 0.7570 0.3793 327-AH 0.0000 0.0040 0.0159 0.0625 0.5000 0.0599 0.1167 0.0585 0.5000 1.9484 0.0076 0.0001 0.0663 0.0000 0.1111 0.0340 0.0406 328-AH 0.6923 1.0000 1.0000 1.0000 1.0000 0.9408 0.1191 0.0000 0.3077 0.1266 0.9325 0.9231 0.0921 1.0000 1.0000 1.0000 0.0000 329-AH 0.1364 1.0000 1.0000 1.0000 1.0000 0.9224 0.2154 0.0000 0.8636 0.2335 0.8645 0.7176 0.1293 1.0000 1.0000 1.0000 0.0000 330-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8182 0.3317 0.2000 1.0000 0.4055 0.3443 0.0002 0.2424 0.6250 1.0000 0.9483 0.1136 331-AH 0.0000 0.1800 0.2812 1.0000 1.0000 0.4780 0.3914 0.8200 1.0000 0.8189 0.2096 0.0002 0.3480 0.0000 1.0000 0.4780 0.3914 332-AH 0.0000 0.4286 0.6667 1.0000 1.0000 0.6733 0.3456 0.5714 1.0000 0.5133 0.2058 0.0001 0.2904 0.0000 1.0000 0.6733 0.3456 333-AH 0.0099 1.0000 1.0000 1.0000 1.0000 0.8906 0.3184 0.0000 0.9901 0.3575 0.6241 0.1091 0.1945 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.1739 0.2000 0.2500 0.6667 0.2507 0.1570 0.0761 0.6667 0.6264 0.1361 0.0002 0.1108 0.1429 0.3333 0.2033 0.0461 335-AH 0.0000 0.0114 0.6250 1.0000 1.0000 0.5449 0.4755 0.9886 1.0000 0.8726 0.1166 0.0002 0.4551 0.0000 1.0000 0.5449 0.4755 336-AH 0.0000 0.0066 0.3000 1.0000 1.0000 0.4629 0.4758 0.9934 1.0000 1.0277 0.0631 0.0002 0.4445 0.0000 1.0000 0.4629 0.4758 337-AH 0.0833 1.0000 1.0000 1.0000 1.0000 0.8988 0.2945 0.0000 0.9167 0.3277 0.7644 0.4675 0.1799 1.0000 1.0000 1.0000 0.0000 338-AH 0.0278 0.3333 1.0000 1.0000 1.0000 0.7448 0.3570 0.6667 0.9722 0.4794 0.5740 0.2641 0.3120 0.0278 1.0000 0.7448 0.3570 339-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7817 0.3584 0.4000 1.0000 0.4585 0.3179 0.0002 0.2911 0.0019 1.0000 0.8276 0.3099 340-AH 0.0000 0.0013 0.1639 0.2727 0.6000 0.1736 0.1663 0.2714 0.6000 0.9577 0.0290 0.0001 0.1273 0.0000 0.6000 0.1736 0.1663 352 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0190 0.3333 1.0000 1.0000 1.0000 0.7626 0.3977 0.6667 0.9810 0.5215 0.5338 0.1946 0.3429 0.0190 1.0000 0.7626 0.3977 342-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.1000 0.4000 1.0000 1.0000 1.0000 0.7929 0.3483 0.6000 0.9000 0.4393 0.6641 0.4764 0.2991 0.1000 1.0000 0.7929 0.3483 345-AH 0.0000 0.0294 0.0588 0.1667 1.0000 0.1749 0.2602 0.1373 1.0000 1.4875 0.0216 0.0001 0.1815 0.0000 0.3333 0.0766 0.0902 346-AH 0.0000 0.0032 0.0076 0.1111 0.1765 0.0553 0.0626 0.1080 0.1765 1.1308 0.0126 0.0002 0.0571 0.0000 0.1765 0.0553 0.0626 347-AH 0.0000 0.0140 0.0540 0.0833 1.0000 0.1642 0.2915 0.0693 1.0000 1.7746 0.0248 0.0001 0.2045 0.0000 0.0952 0.0415 0.0327 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.8056 0.3489 0.5000 1.0000 0.4331 0.2479 0.0001 0.2809 0.0000 1.0000 0.8056 0.3489 349-AH 0.0066 0.6667 1.0000 1.0000 1.0000 0.7825 0.3332 0.3333 0.9934 0.4259 0.5019 0.0585 0.2658 0.5000 1.0000 0.8795 0.1888 350-AH 0.0020 1.0000 1.0000 1.0000 1.0000 0.8891 0.3226 0.0000 0.9980 0.3629 0.5082 0.0199 0.1971 1.0000 1.0000 1.0000 0.0000 353 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9352 0.1908 0.0000 0.6667 0.2040 0.9053 0.8571 0.1152 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0968 1.0000 1.0000 1.0000 0.6698 0.4584 0.9032 1.0000 0.6843 0.1324 0.0001 0.4180 0.0000 1.0000 0.6698 0.4584 144-AH 0.0056 0.0082 0.0651 0.3333 0.7500 0.2064 0.2805 0.3251 0.7444 1.3588 0.0649 0.0207 0.2279 0.0056 0.7500 0.2064 0.2805 145-AH 0.0000 0.2083 0.9545 1.0000 1.0000 0.6494 0.4285 0.7917 1.0000 0.6598 0.2398 0.0002 0.3962 0.0000 1.0000 0.6494 0.4285 146-AH 0.0033 0.0143 0.3500 1.0000 1.0000 0.4222 0.4117 0.9857 0.9967 0.9753 0.1436 0.0252 0.3556 0.0033 1.0000 0.4222 0.4117 147-AH 0.0000 0.1000 0.5833 1.0000 1.0000 0.5805 0.4168 0.9000 1.0000 0.7180 0.1449 0.0001 0.3661 0.0000 1.0000 0.5805 0.4168 148-AH 0.0000 0.0179 0.1339 0.2000 1.0000 0.2921 0.3952 0.1821 1.0000 1.3529 0.0221 0.0000 0.3146 0.0000 0.2000 0.0898 0.0773 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0082 0.0211 0.0265 0.2500 0.0359 0.0570 0.0184 0.2500 1.5850 0.0143 0.0002 0.0325 0.0000 0.0494 0.0174 0.0120 151-AH 0.0000 0.0027 0.0063 0.1765 1.0000 0.1965 0.3453 0.1738 1.0000 1.7571 0.0075 0.0001 0.2738 0.0000 0.1765 0.0205 0.0470 152-AH 0.0000 0.0000 0.1385 0.3333 1.0000 0.3025 0.3980 0.3333 1.0000 1.3157 0.0115 0.0000 0.3134 0.0000 0.3333 0.1032 0.1213 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.6667 0.8000 1.0000 1.0000 0.7127 0.3185 0.3333 1.0000 0.4469 0.3421 0.0002 0.2372 0.2308 1.0000 0.7998 0.2052 155-AH 0.0000 0.0021 0.0127 0.0833 1.0000 0.1958 0.3781 0.0812 1.0000 1.9312 0.0106 0.0001 0.2834 0.0000 0.0833 0.0136 0.0214 156-AH 0.0292 0.0588 0.1109 0.2000 0.5000 0.1665 0.1463 0.1412 0.4708 0.8786 0.1153 0.0813 0.1134 0.0292 0.3750 0.1292 0.1038 157-AH 0.0230 0.5758 0.6890 0.7419 0.7600 0.5876 0.2266 0.1662 0.7370 0.3857 0.4534 0.1747 0.1593 0.4091 0.7600 0.6578 0.1044 158-AH 0.0000 0.0667 0.5130 0.7500 1.0000 0.4756 0.3914 0.6833 1.0000 0.8231 0.0878 0.0001 0.3432 0.0000 1.0000 0.4756 0.3914 159-AH 0.0000 0.0245 0.1593 0.6000 1.0000 0.3287 0.3304 0.5755 1.0000 1.0052 0.0405 0.0001 0.2932 0.0000 1.0000 0.3287 0.3304 160-AH 0.0000 0.0023 0.0528 0.1667 1.0000 0.1987 0.3164 0.1643 1.0000 1.5925 0.0233 0.0001 0.2173 0.0000 0.2500 0.0717 0.0778 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.6667 0.8667 0.9456 1.0000 1.0000 0.9218 0.1014 0.1333 0.3333 0.1100 0.9160 0.9096 0.0795 0.6667 1.0000 0.9218 0.1014 164-AH 0.0000 0.0115 0.0203 0.0741 0.2857 0.0652 0.0843 0.0626 0.2857 1.2924 0.0149 0.0001 0.0642 0.0000 0.1667 0.0421 0.0526 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.3333 0.3750 0.5000 1.0000 0.4497 0.2913 0.1667 1.0000 0.6477 0.1392 0.0001 0.2058 0.2500 0.5000 0.3919 0.0846 168-AH 0.0000 0.4800 0.6667 0.7500 1.0000 0.5963 0.3347 0.2700 1.0000 0.5613 0.2336 0.0002 0.2605 0.1200 1.0000 0.6707 0.2717 169-AH 0.0000 0.0303 0.1938 0.3333 1.0000 0.2893 0.3512 0.3030 1.0000 1.2140 0.0589 0.0001 0.2652 0.0000 0.5000 0.1472 0.1411 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0134 0.0638 0.1000 0.1765 0.2500 0.1171 0.0697 0.1126 0.2366 0.5958 0.0924 0.0606 0.0544 0.0134 0.2500 0.1171 0.0697 172-AH 0.0000 0.0046 0.0658 0.2000 0.5000 0.1512 0.1925 0.1954 0.5000 1.2734 0.0093 0.0000 0.1547 0.0000 0.4000 0.0815 0.1172 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8890 0.3232 0.0000 1.0000 0.3635 0.3654 0.0002 0.1974 1.0000 1.0000 1.0000 0.0000 176-AH 0.4286 1.0000 1.0000 1.0000 1.0000 0.9683 0.1347 0.0000 0.5714 0.1391 0.9540 0.9310 0.0600 1.0000 1.0000 1.0000 0.0000 177-AH 0.0515 0.3750 0.5000 0.6667 1.0000 0.5045 0.2972 0.2917 0.9485 0.5890 0.3927 0.2575 0.2228 0.0515 1.0000 0.5045 0.2972 178-AH 0.0000 0.0000 0.0507 0.5000 1.0000 0.2842 0.4130 0.5000 1.0000 1.4533 0.0080 0.0000 0.3421 0.0000 1.0000 0.2842 0.4130 179-AH 0.0000 0.0789 0.4722 1.0000 1.0000 0.5129 0.3868 0.9211 1.0000 0.7541 0.0682 0.0001 0.3218 0.0000 1.0000 0.5129 0.3868 180-AH 0.0000 0.0000 0.0242 0.3793 1.0000 0.2213 0.3161 0.3793 1.0000 1.4285 0.0035 0.0000 0.2603 0.0000 0.7143 0.1755 0.2570 181-AH 0.5882 0.8367 0.8660 1.0000 1.0000 0.8775 0.1136 0.1633 0.4118 0.1294 0.8699 0.8615 0.0841 0.7143 1.0000 0.8945 0.0904 182-AH 0.0172 0.2000 0.3333 0.7500 1.0000 0.4385 0.3150 0.5500 0.9828 0.7184 0.3062 0.1484 0.2701 0.0172 1.0000 0.4385 0.3150 183-AH 0.0026 0.0588 0.5000 0.5000 1.0000 0.4235 0.3734 0.4412 0.9974 0.8816 0.1850 0.0291 0.3072 0.0026 1.0000 0.4235 0.3734 184-AH 0.0065 0.0227 0.2778 1.0000 1.0000 0.4170 0.4386 0.9773 0.9935 1.0518 0.1426 0.0328 0.3886 0.0065 1.0000 0.4170 0.4386 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 190-AH 0.0037 0.1429 0.7500 1.0000 1.0000 0.5817 0.4441 0.8571 0.9963 0.7635 0.2539 0.0277 0.4183 0.0037 1.0000 0.5817 0.4441 354 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0084 0.3333 1.0000 1.0000 1.0000 0.6921 0.4119 0.6667 0.9916 0.5951 0.4306 0.1006 0.3763 0.0084 1.0000 0.6921 0.4119 193-AH 0.0020 1.0000 1.0000 1.0000 1.0000 0.8537 0.3424 0.0000 0.9980 0.4011 0.5500 0.0333 0.2438 1.0000 1.0000 1.0000 0.0000 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0370 1.0000 1.0000 1.0000 1.0000 0.8793 0.3041 0.0000 0.9630 0.3458 0.7059 0.3113 0.1887 1.0000 1.0000 1.0000 0.0000 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1212 0.7500 1.0000 1.0000 1.0000 0.8619 0.2753 0.2500 0.8788 0.3194 0.7718 0.5929 0.1995 0.6923 1.0000 0.9495 0.1092 200-AH 0.0139 0.0238 0.6667 0.8000 1.0000 0.5102 0.4074 0.7762 0.9861 0.7985 0.2134 0.0540 0.3708 0.0139 1.0000 0.5102 0.4074 251-AH 0.0116 1.0000 1.0000 1.0000 1.0000 0.9289 0.2321 0.0000 0.9884 0.2499 0.7675 0.1740 0.1111 1.0000 1.0000 1.0000 0.0000 252-AH 0.0116 0.2500 0.3934 0.8000 1.0000 0.5184 0.3353 0.5500 0.9884 0.6469 0.3597 0.1293 0.2956 0.0116 1.0000 0.5184 0.3353 253-AH 0.0000 0.0516 0.4178 0.6129 0.7907 0.3645 0.2865 0.5613 0.7907 0.7861 0.1335 0.0002 0.2524 0.0000 0.7907 0.3645 0.2865 254-AH 0.0000 0.2045 0.2637 0.3204 0.5610 0.2668 0.1568 0.1158 0.5610 0.5879 0.0880 0.0001 0.1077 0.0878 0.3636 0.2464 0.0685 255-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8056 0.3346 0.3333 1.0000 0.4153 0.2502 0.0001 0.2593 0.5000 1.0000 0.9063 0.1718 256-AH 0.0400 1.0000 1.0000 1.0000 1.0000 0.8941 0.3082 0.0000 0.9600 0.3447 0.7111 0.3025 0.1882 1.0000 1.0000 1.0000 0.0000 257-AH 0.0000 0.1509 0.3043 0.5000 0.5833 0.3022 0.1903 0.3491 0.5833 0.6295 0.1396 0.0002 0.1501 0.0000 0.5833 0.3022 0.1903 258-AH 0.0000 0.0000 0.0057 0.0106 0.1818 0.0168 0.0419 0.0106 0.1818 2.5017 0.0011 0.0000 0.0201 0.0000 0.0263 0.0071 0.0081 259-AH 0.0000 0.0588 0.1339 0.2500 1.0000 0.3035 0.3895 0.1912 1.0000 1.2833 0.0798 0.0002 0.3095 0.0000 0.2500 0.1045 0.0807 260-AH 0.3438 0.5385 0.8375 0.9333 1.0000 0.7710 0.2287 0.3949 0.6562 0.2967 0.7310 0.6837 0.1868 0.3438 1.0000 0.7710 0.2287 261-AH 0.0000 0.0245 0.2060 0.7143 1.0000 0.3509 0.3698 0.6897 1.0000 1.0540 0.0940 0.0002 0.3241 0.0000 1.0000 0.3509 0.3698 262-AH 0.0000 0.0495 0.0929 0.1731 0.8333 0.2423 0.3165 0.1236 0.8333 1.3063 0.0718 0.0002 0.2520 0.0000 0.1731 0.0803 0.0574 263-AH 0.0000 0.0000 0.0070 0.0318 0.3871 0.0403 0.0907 0.0318 0.3871 2.2494 0.0009 0.0000 0.0495 0.0000 0.0783 0.0199 0.0281 264-AH 0.1818 0.4000 0.7500 1.0000 1.0000 0.6934 0.2950 0.6000 0.8182 0.4254 0.6216 0.5403 0.2629 0.1818 1.0000 0.6934 0.2950 265-AH 0.0000 0.2000 0.2321 1.0000 1.0000 0.4139 0.3813 0.8000 1.0000 0.9213 0.1106 0.0001 0.3256 0.0000 1.0000 0.4139 0.3813 266-AH 0.0000 0.0000 0.0043 0.0270 0.2000 0.0265 0.0512 0.0270 0.2000 1.9348 0.0007 0.0000 0.0327 0.0000 0.0556 0.0107 0.0168 267-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6283 0.4029 0.7500 1.0000 0.6414 0.2571 0.0002 0.3617 0.0000 1.0000 0.6283 0.4029 268-AH 0.0000 0.1429 0.5000 1.0000 1.0000 0.5742 0.4222 0.8571 1.0000 0.7353 0.1352 0.0001 0.3785 0.0000 1.0000 0.5742 0.4222 269-AH 0.0093 0.2000 0.4000 1.0000 1.0000 0.4874 0.3588 0.8000 0.9907 0.7361 0.2904 0.0704 0.2876 0.0093 1.0000 0.4874 0.3588 270-AH 0.0124 0.7778 1.0000 1.0000 1.0000 0.8191 0.3403 0.2222 0.9876 0.4155 0.5641 0.1108 0.2613 0.4667 1.0000 0.9197 0.1846 271-AH 0.0079 0.2727 0.6667 0.8333 1.0000 0.5958 0.3400 0.5606 0.9921 0.5707 0.3682 0.0747 0.2717 0.0079 1.0000 0.5958 0.3400 272-AH 0.0000 0.2105 0.3417 0.4167 0.5000 0.3057 0.1571 0.2061 0.5000 0.5141 0.0994 0.0001 0.1230 0.0000 0.5000 0.3057 0.1571 273-AH 0.0672 0.1667 0.9333 1.0000 1.0000 0.7154 0.3927 0.8333 0.9328 0.5489 0.5147 0.2823 0.3424 0.0672 1.0000 0.7154 0.3927 274-AH 0.0021 0.0034 0.0239 0.0690 0.7500 0.0926 0.1814 0.0655 0.7479 1.9597 0.0223 0.0076 0.1101 0.0021 0.1111 0.0278 0.0325 275-AH 0.2000 0.4167 0.8059 0.8750 0.9000 0.6737 0.2460 0.4583 0.7000 0.3651 0.6195 0.5540 0.2209 0.2000 0.9000 0.6737 0.2460 276-AH 0.0000 0.1029 0.3427 0.5652 0.8571 0.3659 0.2901 0.4623 0.8571 0.7928 0.0843 0.0001 0.2476 0.0000 0.8571 0.3659 0.2901 277-AH 0.0211 0.2500 0.2817 0.3214 0.3529 0.2656 0.0840 0.0714 0.3318 0.3163 0.2356 0.1592 0.0567 0.2222 0.3529 0.2911 0.0394 278-AH 0.0054 0.0116 0.0198 0.0741 1.0000 0.1964 0.3433 0.0625 0.9946 1.7480 0.0367 0.0153 0.2738 0.0054 0.0741 0.0204 0.0185 279-AH 0.0000 0.0294 0.0416 0.5000 1.0000 0.3085 0.4049 0.4706 1.0000 1.3125 0.0596 0.0002 0.3341 0.0000 1.0000 0.3085 0.4049 280-AH 0.0124 0.0198 0.0455 0.1667 0.2308 0.0908 0.0794 0.1469 0.2184 0.8745 0.0584 0.0371 0.0709 0.0124 0.2308 0.0908 0.0794 281-AH 0.2188 0.5385 0.7143 0.8000 1.0000 0.6670 0.2279 0.2615 0.7812 0.3417 0.6209 0.5633 0.1705 0.2188 1.0000 0.6670 0.2279 282-AH 0.0108 0.2105 0.2912 0.4167 0.5714 0.3050 0.1546 0.2061 0.5607 0.5068 0.2410 0.1122 0.1229 0.0108 0.5714 0.3050 0.1546 283-AH 0.0345 0.1778 0.3709 1.0000 1.0000 0.4721 0.3610 0.8222 0.9655 0.7648 0.3200 0.1725 0.2935 0.0345 1.0000 0.4721 0.3610 284-AH 0.0066 0.0364 0.4773 0.6000 1.0000 0.4165 0.3618 0.5636 0.9934 0.8686 0.1543 0.0318 0.3069 0.0066 1.0000 0.4165 0.3618 285-AH 0.0000 0.0235 0.4444 1.0000 1.0000 0.5116 0.4191 0.9765 1.0000 0.8192 0.0993 0.0001 0.3706 0.0000 1.0000 0.5116 0.4191 286-AH 0.0000 0.0097 0.0327 0.0952 0.1429 0.0544 0.0514 0.0855 0.1429 0.9448 0.0147 0.0001 0.0459 0.0000 0.1429 0.0544 0.0514 287-AH 0.0096 0.1731 0.4626 0.5789 1.0000 0.4187 0.2594 0.4059 0.9904 0.6197 0.2720 0.0870 0.1990 0.0096 1.0000 0.4187 0.2594 288-AH 0.0000 0.0504 0.2484 0.3478 0.5789 0.2440 0.2029 0.2974 0.5789 0.8315 0.0592 0.0001 0.1723 0.0000 0.5789 0.2440 0.2029 289-AH 0.0000 0.6500 0.9615 1.0000 1.0000 0.7757 0.3446 0.3500 1.0000 0.4442 0.2382 0.0001 0.2727 0.4000 1.0000 0.8727 0.2105 290-AH 0.0000 0.0161 0.1729 0.2449 0.5294 0.1740 0.1505 0.2288 0.5294 0.8649 0.0429 0.0001 0.1212 0.0000 0.5294 0.1740 0.1505 355 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0170 0.0693 0.5000 1.0000 1.0000 0.5282 0.4229 0.9307 0.9830 0.8007 0.2862 0.1098 0.3749 0.0170 1.0000 0.5282 0.4229 292-AH 0.0000 0.4000 0.6190 1.0000 1.0000 0.6412 0.3788 0.6000 1.0000 0.5907 0.1569 0.0001 0.3217 0.0000 1.0000 0.6412 0.3788 293-AH 0.0000 0.0577 0.6742 0.7500 1.0000 0.4950 0.3684 0.6923 1.0000 0.7443 0.1064 0.0001 0.3295 0.0000 1.0000 0.4950 0.3684 294-AH 0.0000 0.2759 0.5500 0.8182 1.0000 0.5068 0.3510 0.5423 1.0000 0.6926 0.1304 0.0001 0.2989 0.0000 1.0000 0.5068 0.3510 295-AH 0.0000 0.0114 0.0722 0.5625 0.7273 0.2749 0.3121 0.5511 0.7273 1.1351 0.0277 0.0001 0.2902 0.0000 0.7273 0.2749 0.3121 296-AH 0.0000 0.6000 0.7136 0.7500 1.0000 0.6155 0.2606 0.1500 1.0000 0.4234 0.3143 0.0002 0.1898 0.6000 0.8182 0.7149 0.0708 297-AH 0.0000 0.0217 0.1895 0.7500 1.0000 0.3801 0.4112 0.7283 1.0000 1.0819 0.0414 0.0001 0.3618 0.0000 1.0000 0.3801 0.4112 298-AH 0.0071 0.1000 0.3717 0.5000 0.5000 0.3139 0.1797 0.4000 0.4929 0.5724 0.2067 0.0649 0.1498 0.0071 0.5000 0.3139 0.1797 299-AH 0.0000 0.0270 0.1667 0.5333 0.7273 0.2468 0.2538 0.5063 0.7273 1.0284 0.0732 0.0002 0.2170 0.0000 0.7273 0.2468 0.2538 300-AH 0.0066 0.0214 0.1754 0.2000 0.5714 0.1461 0.1374 0.1786 0.5648 0.9401 0.0813 0.0340 0.1012 0.0066 0.2381 0.1211 0.0899 301-AH 0.0000 0.0069 0.5000 1.0000 1.0000 0.5336 0.4622 0.9931 1.0000 0.8662 0.0492 0.0001 0.4146 0.0000 1.0000 0.5336 0.4622 302-AH 0.2075 0.6667 0.7500 0.8000 1.0000 0.6868 0.1989 0.1333 0.7925 0.2896 0.6437 0.5766 0.1346 0.5000 1.0000 0.7458 0.1069 303-AH 0.0238 0.0667 0.2053 0.5000 1.0000 0.2852 0.2639 0.4333 0.9762 0.9253 0.1807 0.1087 0.2086 0.0238 1.0000 0.2852 0.2639 304-AH 0.0000 0.0556 0.5000 0.7500 1.0000 0.4968 0.3765 0.6944 1.0000 0.7578 0.1008 0.0001 0.3091 0.0000 1.0000 0.4968 0.3765 305-AH 0.0000 0.0110 0.2028 0.5556 0.6471 0.2790 0.2835 0.5446 0.6471 1.0162 0.0264 0.0001 0.2688 0.0000 0.6471 0.2790 0.2835 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0551 0.2188 0.4875 0.1187 0.1376 0.2188 0.4875 1.1593 0.0078 0.0000 0.1134 0.0000 0.4875 0.1187 0.1376 308-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9889 0.0471 0.0000 0.2000 0.0477 0.9877 0.9863 0.0210 1.0000 1.0000 1.0000 0.0000 309-AH 0.0135 0.0441 0.0611 0.1333 1.0000 0.1842 0.2838 0.0892 0.9865 1.5408 0.0808 0.0469 0.1979 0.0135 0.1500 0.0655 0.0439 310-AH 0.0000 0.0000 0.0231 0.0551 0.3571 0.0784 0.1289 0.0551 0.3571 1.6438 0.0015 0.0000 0.0965 0.0000 0.1366 0.0244 0.0375 311-AH 0.0353 0.2000 0.4059 0.4583 0.5000 0.3320 0.1634 0.2583 0.4647 0.4922 0.2620 0.1673 0.1374 0.0353 0.5000 0.3320 0.1634 312-AH 0.0000 0.0000 0.1385 0.6667 1.0000 0.3457 0.4040 0.6667 1.0000 1.1687 0.0041 0.0000 0.3629 0.0000 1.0000 0.3457 0.4040 313-AH 0.0115 0.0519 0.0903 0.1034 0.1765 0.0828 0.0440 0.0515 0.1649 0.5317 0.0689 0.0515 0.0352 0.0115 0.1765 0.0828 0.0440 314-AH 0.0000 0.0325 0.0763 0.0816 0.5000 0.0903 0.1111 0.0492 0.5000 1.2294 0.0278 0.0001 0.0590 0.0000 0.1143 0.0587 0.0330 315-AH 0.0000 0.0745 0.6528 0.8571 0.8889 0.5126 0.3626 0.7827 0.8889 0.7073 0.1210 0.0001 0.3219 0.0000 0.8889 0.5126 0.3626 316-AH 0.0151 0.0918 0.1301 0.2667 0.4167 0.1732 0.1154 0.1749 0.4016 0.6666 0.1295 0.0830 0.1014 0.0151 0.4167 0.1732 0.1154 317-AH 0.0203 0.1290 0.1954 0.3333 0.5714 0.2202 0.1384 0.2043 0.5511 0.6285 0.1751 0.1200 0.1060 0.0203 0.5714 0.2202 0.1384 318-AH 0.0204 0.0588 0.1250 0.3333 1.0000 0.2908 0.3479 0.2745 0.9796 1.1963 0.1533 0.0878 0.2644 0.0204 0.5000 0.1489 0.1327 319-AH 0.2000 0.7500 1.0000 1.0000 1.0000 0.8460 0.2605 0.2500 0.8000 0.3079 0.7839 0.6857 0.2053 0.4444 1.0000 0.9184 0.1612 320-AH 0.0031 0.0189 0.0495 0.1250 0.1667 0.0725 0.0582 0.1061 0.1635 0.8034 0.0437 0.0203 0.0534 0.0031 0.1667 0.0725 0.0582 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0171 0.0714 0.1270 0.2857 0.4000 0.1775 0.1336 0.2143 0.3829 0.7529 0.1257 0.0800 0.1115 0.0171 0.4000 0.1775 0.1336 323-AH 0.0185 0.0635 0.1496 0.1905 1.0000 0.2825 0.3510 0.1270 0.9815 1.2427 0.1493 0.0873 0.2713 0.0185 0.1905 0.1081 0.0561 324-AH 0.0000 0.0292 0.3214 0.7500 0.9231 0.4065 0.3558 0.7208 0.9231 0.8753 0.0536 0.0001 0.3125 0.0000 0.9231 0.4065 0.3558 325-AH 0.0116 0.0279 0.0994 0.1522 0.7778 0.1964 0.2496 0.1242 0.7662 1.2706 0.0880 0.0410 0.1950 0.0116 0.1522 0.0711 0.0498 326-AH 0.0044 0.5000 1.0000 1.0000 1.0000 0.7570 0.3793 0.5000 0.9956 0.5011 0.4633 0.0572 0.3240 0.0044 1.0000 0.7570 0.3793 327-AH 0.0000 0.0040 0.0159 0.0625 0.5000 0.0599 0.1167 0.0585 0.5000 1.9484 0.0076 0.0001 0.0663 0.0000 0.1111 0.0340 0.0406 328-AH 0.3636 0.6000 0.7500 1.0000 1.0000 0.7595 0.1993 0.4000 0.6364 0.2624 0.7319 0.7014 0.1635 0.3636 1.0000 0.7595 0.1993 329-AH 0.1364 0.8000 1.0000 1.0000 1.0000 0.8854 0.2279 0.2000 0.8636 0.2574 0.8264 0.6901 0.1656 0.6667 1.0000 0.9294 0.1343 330-AH 0.0000 0.7778 0.8819 0.9167 1.0000 0.7648 0.3061 0.1389 1.0000 0.4002 0.2404 0.0001 0.2156 0.6190 1.0000 0.8844 0.0994 331-AH 0.0000 0.1800 0.2812 1.0000 1.0000 0.4756 0.3937 0.8200 1.0000 0.8278 0.2055 0.0002 0.3496 0.0000 1.0000 0.4756 0.3937 332-AH 0.0000 0.4286 0.6667 1.0000 1.0000 0.6733 0.3456 0.5714 1.0000 0.5133 0.2058 0.0001 0.2904 0.0000 1.0000 0.6733 0.3456 333-AH 0.0099 1.0000 1.0000 1.0000 1.0000 0.8906 0.3184 0.0000 0.9901 0.3575 0.6241 0.1091 0.1945 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.1739 0.2000 0.2500 0.6667 0.2507 0.1570 0.0761 0.6667 0.6264 0.1361 0.0002 0.1108 0.1429 0.3333 0.2033 0.0461 335-AH 0.0000 0.0112 0.3571 1.0000 1.0000 0.4925 0.4517 0.9888 1.0000 0.9172 0.1041 0.0002 0.4150 0.0000 1.0000 0.4925 0.4517 336-AH 0.0000 0.0066 0.0778 1.0000 1.0000 0.3872 0.4494 0.9934 1.0000 1.1607 0.0389 0.0001 0.4118 0.0000 1.0000 0.3872 0.4494 337-AH 0.0833 1.0000 1.0000 1.0000 1.0000 0.8988 0.2945 0.0000 0.9167 0.3277 0.7644 0.4675 0.1799 1.0000 1.0000 1.0000 0.0000 338-AH 0.0278 0.3333 1.0000 1.0000 1.0000 0.7448 0.3570 0.6667 0.9722 0.4794 0.5740 0.2641 0.3120 0.0278 1.0000 0.7448 0.3570 339-AH 0.0000 0.2857 0.7500 1.0000 1.0000 0.6147 0.3639 0.7143 1.0000 0.5921 0.1796 0.0001 0.3170 0.0000 1.0000 0.6147 0.3639 340-AH 0.0000 0.0013 0.1639 0.2727 0.6000 0.1736 0.1663 0.2714 0.6000 0.9577 0.0290 0.0001 0.1273 0.0000 0.6000 0.1736 0.1663 356 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0190 0.3333 1.0000 1.0000 1.0000 0.7626 0.3977 0.6667 0.9810 0.5215 0.5338 0.1946 0.3429 0.0190 1.0000 0.7626 0.3977 342-AH 0.4630 0.7692 0.8889 0.9231 1.0000 0.8338 0.1501 0.1538 0.5370 0.1800 0.8181 0.7990 0.1137 0.6667 1.0000 0.8763 0.0896 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0685 0.1892 0.8782 1.0000 1.0000 0.6665 0.3979 0.8108 0.9315 0.5969 0.4697 0.2618 0.3620 0.0685 1.0000 0.6665 0.3979 345-AH 0.0000 0.0294 0.0588 0.1667 1.0000 0.1749 0.2602 0.1373 1.0000 1.4875 0.0216 0.0001 0.1815 0.0000 0.3333 0.0766 0.0902 346-AH 0.0000 0.0021 0.0040 0.0702 0.1765 0.0457 0.0579 0.0681 0.1765 1.2656 0.0039 0.0000 0.0488 0.0000 0.1538 0.0380 0.0493 347-AH 0.0000 0.0140 0.0540 0.0833 1.0000 0.1642 0.2915 0.0693 1.0000 1.7746 0.0248 0.0001 0.2045 0.0000 0.0952 0.0415 0.0327 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.8056 0.3489 0.5000 1.0000 0.4331 0.2479 0.0001 0.2809 0.0000 1.0000 0.8056 0.3489 349-AH 0.0000 0.3889 0.5000 0.6667 0.8000 0.4939 0.2260 0.2778 0.8000 0.4575 0.1602 0.0001 0.1663 0.0000 0.8000 0.4939 0.2260 350-AH 0.0020 1.0000 1.0000 1.0000 1.0000 0.8891 0.3226 0.0000 0.9980 0.3629 0.5082 0.0199 0.1971 1.0000 1.0000 1.0000 0.0000 357 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9185 0.2382 0.0000 0.8000 0.2594 0.8603 0.7500 0.1449 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0513 0.9000 1.0000 1.0000 0.6189 0.4437 0.9487 1.0000 0.7170 0.0800 0.0001 0.3933 0.0000 1.0000 0.6189 0.4437 144-AH 0.0056 0.0082 0.0651 0.3333 0.7500 0.2064 0.2805 0.3251 0.7444 1.3588 0.0649 0.0207 0.2279 0.0056 0.7500 0.2064 0.2805 145-AH 0.0000 0.1481 0.8787 1.0000 1.0000 0.6110 0.4259 0.8519 1.0000 0.6970 0.2163 0.0002 0.3950 0.0000 1.0000 0.6110 0.4259 146-AH 0.0033 0.0143 0.3500 1.0000 1.0000 0.4222 0.4117 0.9857 0.9967 0.9753 0.1436 0.0252 0.3556 0.0033 1.0000 0.4222 0.4117 147-AH 0.0000 0.0957 0.5833 0.9333 1.0000 0.5550 0.4065 0.8377 1.0000 0.7324 0.1336 0.0001 0.3577 0.0000 1.0000 0.5550 0.4065 148-AH 0.0000 0.0101 0.0318 0.0465 0.0536 0.0290 0.0206 0.0365 0.0536 0.7098 0.0055 0.0000 0.0178 0.0000 0.0536 0.0290 0.0206 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0078 0.0156 0.0265 0.2500 0.0341 0.0576 0.0188 0.2500 1.6909 0.0125 0.0002 0.0333 0.0000 0.0494 0.0151 0.0121 151-AH 0.0000 0.0000 0.0063 0.1765 1.0000 0.1959 0.3456 0.1765 1.0000 1.7640 0.0022 0.0000 0.2740 0.0000 0.1765 0.0198 0.0473 152-AH 0.0000 0.0000 0.0918 0.2308 1.0000 0.1681 0.2549 0.2308 1.0000 1.5161 0.0059 0.0000 0.1730 0.0000 0.5000 0.1192 0.1524 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.3846 0.5903 0.7143 1.0000 0.5055 0.2792 0.3297 1.0000 0.5524 0.1531 0.0001 0.2197 0.0000 1.0000 0.5055 0.2792 155-AH 0.0000 0.0021 0.0127 0.0833 1.0000 0.1958 0.3781 0.0812 1.0000 1.9312 0.0106 0.0001 0.2834 0.0000 0.0833 0.0136 0.0214 156-AH 0.0292 0.0429 0.0775 0.1765 0.3333 0.1203 0.0981 0.1335 0.3042 0.8156 0.0864 0.0636 0.0834 0.0292 0.3333 0.1203 0.0981 157-AH 0.0000 0.4783 0.6402 0.6905 0.7458 0.5495 0.2305 0.2122 0.7458 0.4194 0.1780 0.0001 0.1713 0.3295 0.7458 0.6182 0.1221 158-AH 0.0000 0.0157 0.3509 0.7000 1.0000 0.4013 0.3714 0.6843 1.0000 0.9254 0.0325 0.0000 0.3096 0.0000 1.0000 0.4013 0.3714 159-AH 0.0000 0.0160 0.1518 0.4118 0.7619 0.2570 0.2694 0.3958 0.7619 1.0484 0.0234 0.0000 0.2202 0.0000 0.7619 0.2570 0.2694 160-AH 0.0000 0.0023 0.0528 0.1667 1.0000 0.1987 0.3164 0.1643 1.0000 1.5925 0.0233 0.0001 0.2173 0.0000 0.2500 0.0717 0.0778 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.5745 0.7073 0.8932 1.0000 1.0000 0.8526 0.1433 0.2927 0.4255 0.1681 0.8403 0.8270 0.1210 0.5745 1.0000 0.8526 0.1433 164-AH 0.0000 0.0101 0.0196 0.0741 0.2857 0.0594 0.0782 0.0640 0.2857 1.3156 0.0097 0.0001 0.0590 0.0000 0.1449 0.0380 0.0460 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.3333 0.3750 0.5000 1.0000 0.4497 0.2913 0.1667 1.0000 0.6477 0.1392 0.0001 0.2058 0.2500 0.5000 0.3919 0.0846 168-AH 0.0000 0.4800 0.6061 0.7143 1.0000 0.5606 0.3406 0.2343 1.0000 0.6076 0.1533 0.0001 0.2595 0.4800 1.0000 0.7114 0.2029 169-AH 0.0000 0.0152 0.0639 0.1429 0.1875 0.0752 0.0669 0.1277 0.1875 0.8893 0.0217 0.0001 0.0577 0.0000 0.1875 0.0752 0.0669 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0134 0.0556 0.0714 0.0833 0.1739 0.0717 0.0347 0.0278 0.1605 0.4845 0.0622 0.0489 0.0216 0.0526 0.1081 0.0726 0.0153 172-AH 0.0000 0.0045 0.0450 0.1176 0.4000 0.0868 0.1161 0.1132 0.4000 1.3378 0.0070 0.0000 0.0840 0.0000 0.1429 0.0518 0.0580 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8036 0.3239 0.3333 1.0000 0.4030 0.2512 0.0001 0.2401 0.6667 1.0000 0.9040 0.1483 176-AH 0.2759 1.0000 1.0000 1.0000 1.0000 0.9530 0.1701 0.0000 0.7241 0.1785 0.9245 0.8673 0.0783 1.0000 1.0000 1.0000 0.0000 177-AH 0.0515 0.3043 0.5000 0.6000 1.0000 0.4578 0.2482 0.2957 0.9485 0.5423 0.3668 0.2502 0.1904 0.0515 1.0000 0.4578 0.2482 178-AH 0.0000 0.0000 0.0507 0.5000 1.0000 0.2842 0.4130 0.5000 1.0000 1.4533 0.0080 0.0000 0.3421 0.0000 1.0000 0.2842 0.4130 179-AH 0.0000 0.0388 0.4643 0.5455 1.0000 0.4138 0.3274 0.5067 1.0000 0.7911 0.0407 0.0000 0.2552 0.0000 1.0000 0.4138 0.3274 180-AH 0.0000 0.0000 0.0242 0.3793 0.9091 0.2072 0.2902 0.3793 0.9091 1.4004 0.0025 0.0000 0.2435 0.0000 0.9091 0.2072 0.2902 181-AH 0.5556 0.8367 0.8660 0.9667 1.0000 0.8584 0.1353 0.1299 0.4444 0.1577 0.8468 0.8337 0.0952 0.6552 1.0000 0.8941 0.0920 182-AH 0.0172 0.2000 0.3333 0.7500 1.0000 0.4385 0.3150 0.5500 0.9828 0.7184 0.3062 0.1484 0.2701 0.0172 1.0000 0.4385 0.3150 183-AH 0.0026 0.0588 0.5000 0.5000 1.0000 0.4235 0.3734 0.4412 0.9974 0.8816 0.1850 0.0291 0.3072 0.0026 1.0000 0.4235 0.3734 184-AH 0.0000 0.0137 0.2265 1.0000 1.0000 0.3690 0.4193 0.9863 1.0000 1.1363 0.0390 0.0001 0.3571 0.0000 1.0000 0.3690 0.4193 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 190-AH 0.0037 0.1053 0.2159 1.0000 1.0000 0.4450 0.4231 0.8947 0.9963 0.9507 0.1806 0.0267 0.3909 0.0037 1.0000 0.4450 0.4231 358 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0072 0.0230 1.0000 1.0000 1.0000 0.6249 0.4845 0.9770 0.9928 0.7754 0.2270 0.0396 0.4585 0.0072 1.0000 0.6249 0.4845 193-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7783 0.3826 0.5000 1.0000 0.4915 0.2288 0.0001 0.3202 0.0000 1.0000 0.7783 0.3826 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.7333 0.9375 1.0000 1.0000 0.8092 0.3062 0.2667 1.0000 0.3785 0.4111 0.0002 0.2115 0.6316 1.0000 0.9064 0.1245 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1212 0.6667 0.7500 1.0000 1.0000 0.7714 0.2713 0.3333 0.8788 0.3517 0.6904 0.5474 0.2032 0.2000 1.0000 0.8097 0.2242 200-AH 0.0135 0.0205 0.6667 0.8000 1.0000 0.5096 0.4081 0.7795 0.9865 0.8008 0.2068 0.0495 0.3714 0.0135 1.0000 0.5096 0.4081 251-AH 0.0000 0.8667 0.9212 0.9375 0.9524 0.8203 0.2555 0.0708 0.9524 0.3115 0.4494 0.0002 0.1520 0.8125 0.9524 0.9053 0.0444 252-AH 0.0000 0.1875 0.3522 0.4667 0.8571 0.3571 0.2350 0.2792 0.8571 0.6581 0.1629 0.0002 0.1814 0.0000 0.8571 0.3571 0.2350 253-AH 0.0000 0.0000 0.3125 0.5652 0.7213 0.2987 0.2577 0.5652 0.7213 0.8627 0.0187 0.0000 0.2218 0.0000 0.7213 0.2987 0.2577 254-AH 0.0000 0.1704 0.2464 0.2873 0.4579 0.2344 0.1289 0.1169 0.4579 0.5501 0.0793 0.0001 0.0938 0.0000 0.4579 0.2344 0.1289 255-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8056 0.3346 0.3333 1.0000 0.4153 0.2502 0.0001 0.2593 0.5000 1.0000 0.9063 0.1718 256-AH 0.0000 0.4286 1.0000 1.0000 1.0000 0.7505 0.4235 0.5714 1.0000 0.5642 0.1856 0.0001 0.3604 0.0000 1.0000 0.7505 0.4235 257-AH 0.0000 0.0542 0.2442 0.3514 0.4340 0.2305 0.1561 0.2972 0.4340 0.6772 0.0427 0.0001 0.1288 0.0000 0.4340 0.2305 0.1561 258-AH 0.0000 0.0000 0.0057 0.0106 0.1818 0.0168 0.0419 0.0106 0.1818 2.5017 0.0011 0.0000 0.0201 0.0000 0.0263 0.0071 0.0081 259-AH 0.0000 0.0588 0.1339 0.2500 1.0000 0.3035 0.3895 0.1912 1.0000 1.2833 0.0798 0.0002 0.3095 0.0000 0.2500 0.1045 0.0807 260-AH 0.2857 0.4595 0.6671 0.7500 0.9333 0.6212 0.1935 0.2905 0.6476 0.3115 0.5873 0.5484 0.1558 0.2857 0.9333 0.6212 0.1935 261-AH 0.0000 0.0231 0.0415 0.2800 0.7143 0.1910 0.2733 0.2569 0.7143 1.4306 0.0438 0.0002 0.2223 0.0000 0.5333 0.0864 0.1424 262-AH 0.0000 0.0244 0.0608 0.0954 0.7083 0.1757 0.2499 0.0710 0.7083 1.4222 0.0326 0.0001 0.1994 0.0000 0.0954 0.0476 0.0345 263-AH 0.0000 0.0000 0.0000 0.0203 0.3871 0.0371 0.0915 0.0203 0.3871 2.4692 0.0003 0.0000 0.0510 0.0000 0.0203 0.0043 0.0086 264-AH 0.1296 0.3571 0.4921 0.8889 1.0000 0.5998 0.2959 0.5317 0.8704 0.4933 0.5231 0.4416 0.2695 0.1296 1.0000 0.5998 0.2959 265-AH 0.0000 0.1333 0.1875 0.2857 1.0000 0.3420 0.3690 0.1524 1.0000 1.0788 0.0861 0.0001 0.2924 0.0000 0.2857 0.1540 0.0820 266-AH 0.0000 0.0000 0.0043 0.0270 0.2000 0.0265 0.0512 0.0270 0.2000 1.9348 0.0007 0.0000 0.0327 0.0000 0.0556 0.0107 0.0168 267-AH 0.0000 0.0741 0.1716 0.4167 1.0000 0.3491 0.3761 0.3426 1.0000 1.0776 0.1208 0.0002 0.2977 0.0000 0.4167 0.1631 0.1319 268-AH 0.0000 0.1429 0.5000 1.0000 1.0000 0.5742 0.4222 0.8571 1.0000 0.7353 0.1352 0.0001 0.3785 0.0000 1.0000 0.5742 0.4222 269-AH 0.0034 0.2000 0.4000 0.5000 1.0000 0.3935 0.2811 0.3000 0.9966 0.7142 0.2361 0.0399 0.1931 0.0034 0.6667 0.3177 0.1854 270-AH 0.0000 0.6500 1.0000 1.0000 1.0000 0.7926 0.3635 0.3500 1.0000 0.4586 0.2395 0.0001 0.2943 0.2927 1.0000 0.8917 0.2356 271-AH 0.0070 0.2727 0.5994 0.7143 1.0000 0.5431 0.3256 0.4416 0.9930 0.5996 0.3029 0.0498 0.2540 0.0070 1.0000 0.5431 0.3256 272-AH 0.0000 0.2105 0.2981 0.4167 0.5000 0.2835 0.1544 0.2061 0.5000 0.5446 0.0896 0.0001 0.1146 0.0000 0.5000 0.2835 0.1544 273-AH 0.0421 0.1233 0.8759 0.9000 1.0000 0.6511 0.3764 0.7767 0.9579 0.5782 0.4345 0.2011 0.3293 0.0421 1.0000 0.6511 0.3764 274-AH 0.0000 0.0000 0.0103 0.0432 0.4615 0.0500 0.1077 0.0432 0.4615 2.1556 0.0016 0.0000 0.0585 0.0000 0.0923 0.0258 0.0335 275-AH 0.1705 0.3636 0.5559 0.7500 0.8824 0.5492 0.2279 0.3864 0.7119 0.4150 0.4998 0.4472 0.1907 0.1705 0.8824 0.5492 0.2279 276-AH 0.0000 0.0516 0.2271 0.5652 0.7619 0.3241 0.2755 0.5136 0.7619 0.8500 0.0328 0.0000 0.2469 0.0000 0.7619 0.3241 0.2755 277-AH 0.0128 0.2000 0.2361 0.3214 0.3529 0.2335 0.0998 0.1214 0.3402 0.4273 0.1919 0.1071 0.0791 0.0440 0.3529 0.2464 0.0857 278-AH 0.0000 0.0054 0.0110 0.0254 0.2632 0.0596 0.0983 0.0200 0.2632 1.6496 0.0046 0.0000 0.0787 0.0000 0.0254 0.0090 0.0080 279-AH 0.0000 0.0294 0.0416 0.5000 1.0000 0.3085 0.4049 0.4706 1.0000 1.3125 0.0596 0.0002 0.3341 0.0000 1.0000 0.3085 0.4049 280-AH 0.0069 0.0164 0.0448 0.1071 0.1667 0.0608 0.0472 0.0908 0.1598 0.7770 0.0420 0.0269 0.0394 0.0069 0.1667 0.0608 0.0472 281-AH 0.2188 0.4091 0.4500 0.6000 1.0000 0.5369 0.2395 0.1909 0.7812 0.4460 0.4933 0.4557 0.1811 0.2188 0.7143 0.4443 0.1204 282-AH 0.0085 0.1607 0.2296 0.2692 0.4348 0.2215 0.1200 0.1085 0.4263 0.5417 0.1649 0.0715 0.0930 0.0085 0.4167 0.2089 0.1108 283-AH 0.0086 0.1370 0.2614 0.5238 1.0000 0.3796 0.3230 0.3868 0.9914 0.8509 0.2223 0.0627 0.2618 0.0086 1.0000 0.3796 0.3230 284-AH 0.0000 0.0148 0.2861 0.6000 0.8889 0.3481 0.3335 0.5852 0.8889 0.9580 0.0402 0.0001 0.2909 0.0000 0.8889 0.3481 0.3335 285-AH 0.0000 0.0218 0.2593 0.7778 0.9474 0.4226 0.3679 0.7560 0.9474 0.8705 0.0568 0.0001 0.3382 0.0000 0.9474 0.4226 0.3679 286-AH 0.0000 0.0084 0.0128 0.0171 0.1000 0.0241 0.0315 0.0088 0.1000 1.3042 0.0037 0.0000 0.0237 0.0000 0.0171 0.0089 0.0064 287-AH 0.0000 0.1667 0.4626 0.5500 0.5909 0.3768 0.2148 0.3833 0.5909 0.5702 0.1714 0.0002 0.1830 0.0000 0.5909 0.3768 0.2148 288-AH 0.0000 0.0426 0.1324 0.2759 0.3878 0.1665 0.1404 0.2333 0.3878 0.8435 0.0200 0.0000 0.1189 0.0000 0.3878 0.1665 0.1404 289-AH 0.0000 0.5714 0.7750 1.0000 1.0000 0.7090 0.3242 0.4286 1.0000 0.4573 0.2197 0.0001 0.2481 0.0000 1.0000 0.7090 0.3242 290-AH 0.0000 0.0000 0.1243 0.2449 0.5263 0.1512 0.1515 0.2449 0.5263 1.0017 0.0073 0.0000 0.1194 0.0000 0.5263 0.1512 0.1515 359 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0147 0.0635 0.3239 0.9000 1.0000 0.4301 0.3971 0.8365 0.9853 0.9232 0.2117 0.0780 0.3438 0.0147 1.0000 0.4301 0.3971 292-AH 0.0000 0.4000 0.6190 1.0000 1.0000 0.6412 0.3788 0.6000 1.0000 0.5907 0.1569 0.0001 0.3217 0.0000 1.0000 0.6412 0.3788 293-AH 0.0000 0.0517 0.6345 0.7500 0.9091 0.4580 0.3550 0.6983 0.9091 0.7751 0.0950 0.0001 0.3253 0.0000 0.9091 0.4580 0.3550 294-AH 0.0000 0.2759 0.5145 0.6667 1.0000 0.4711 0.3204 0.3908 1.0000 0.6803 0.1216 0.0001 0.2714 0.0000 1.0000 0.4711 0.3204 295-AH 0.0000 0.0000 0.0473 0.5000 0.5238 0.2065 0.2465 0.5000 0.5238 1.1941 0.0043 0.0000 0.2323 0.0000 0.5238 0.2065 0.2465 296-AH 0.0000 0.5455 0.7071 0.7500 0.8750 0.5912 0.2529 0.2045 0.8750 0.4277 0.2864 0.0002 0.1880 0.3529 0.8750 0.6639 0.1472 297-AH 0.0000 0.0083 0.1277 0.7500 1.0000 0.3397 0.3935 0.7417 1.0000 1.1586 0.0334 0.0001 0.3402 0.0000 1.0000 0.3397 0.3935 298-AH 0.0000 0.0909 0.3000 0.3333 0.3684 0.2368 0.1348 0.2424 0.3684 0.5695 0.0743 0.0001 0.1149 0.0000 0.3684 0.2368 0.1348 299-AH 0.0000 0.0000 0.1411 0.3617 0.6296 0.1877 0.1965 0.3617 0.6296 1.0469 0.0118 0.0000 0.1626 0.0000 0.6296 0.1877 0.1965 300-AH 0.0000 0.0188 0.1639 0.2000 0.5625 0.1381 0.1340 0.1813 0.5625 0.9704 0.0372 0.0001 0.0965 0.0000 0.2128 0.1131 0.0846 301-AH 0.0000 0.0000 0.1026 0.6667 1.0000 0.3403 0.3914 0.6667 1.0000 1.1500 0.0105 0.0000 0.3382 0.0000 1.0000 0.3403 0.3914 302-AH 0.0430 0.4444 0.5774 0.8000 0.8333 0.5664 0.2228 0.3556 0.7903 0.3933 0.4898 0.3240 0.1767 0.0430 0.8333 0.5664 0.2228 303-AH 0.0062 0.0580 0.2053 0.4000 0.6667 0.2401 0.2004 0.3420 0.6605 0.8344 0.1444 0.0572 0.1644 0.0062 0.6667 0.2401 0.2004 304-AH 0.0000 0.0261 0.2246 0.7500 1.0000 0.3396 0.3386 0.7239 1.0000 0.9971 0.0425 0.0001 0.2953 0.0000 1.0000 0.3396 0.3386 305-AH 0.0000 0.0000 0.1690 0.4250 0.5652 0.2173 0.2263 0.4250 0.5652 1.0414 0.0048 0.0000 0.2127 0.0000 0.5652 0.2173 0.2263 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0325 0.2000 0.4875 0.1070 0.1392 0.2000 0.4875 1.3009 0.0031 0.0000 0.1147 0.0000 0.4875 0.1070 0.1392 308-AH 0.7778 1.0000 1.0000 1.0000 1.0000 0.9765 0.0684 0.0000 0.2222 0.0700 0.9740 0.9711 0.0417 1.0000 1.0000 1.0000 0.0000 309-AH 0.0135 0.0274 0.0547 0.1333 1.0000 0.1800 0.2855 0.1059 0.9865 1.5855 0.0756 0.0440 0.1992 0.0135 0.1500 0.0605 0.0422 310-AH 0.0000 0.0000 0.0209 0.0551 0.2708 0.0615 0.0967 0.0551 0.2708 1.5719 0.0013 0.0000 0.0741 0.0000 0.1366 0.0221 0.0364 311-AH 0.0353 0.1867 0.3265 0.4400 0.5000 0.3005 0.1598 0.2533 0.4647 0.5319 0.2371 0.1581 0.1385 0.0353 0.5000 0.3005 0.1598 312-AH 0.0000 0.0000 0.1260 0.6667 0.8000 0.2983 0.3393 0.6667 0.8000 1.1374 0.0038 0.0000 0.3078 0.0000 0.8000 0.2983 0.3393 313-AH 0.0000 0.0168 0.0497 0.0822 0.1136 0.0502 0.0329 0.0654 0.1136 0.6562 0.0270 0.0002 0.0269 0.0000 0.1136 0.0502 0.0329 314-AH 0.0000 0.0323 0.0432 0.0800 0.1818 0.0605 0.0526 0.0477 0.1818 0.8681 0.0142 0.0001 0.0392 0.0000 0.1143 0.0459 0.0326 315-AH 0.0000 0.0335 0.4194 0.6316 0.8333 0.3580 0.3254 0.5981 0.8333 0.9089 0.0717 0.0001 0.2898 0.0000 0.8333 0.3580 0.3254 316-AH 0.0000 0.0679 0.1159 0.2484 0.3636 0.1420 0.1034 0.1805 0.3636 0.7280 0.0465 0.0001 0.0843 0.0000 0.3636 0.1420 0.1034 317-AH 0.0078 0.0841 0.1285 0.2609 0.5000 0.1786 0.1389 0.1768 0.4922 0.7773 0.1245 0.0647 0.1106 0.0078 0.5000 0.1786 0.1389 318-AH 0.0204 0.0556 0.1250 0.2609 1.0000 0.2286 0.2956 0.2053 0.9796 1.2931 0.1257 0.0761 0.1923 0.0204 0.3333 0.1322 0.0987 319-AH 0.1111 0.4444 0.7321 0.8000 1.0000 0.6674 0.2641 0.3556 0.8889 0.3958 0.5966 0.4898 0.2100 0.1111 1.0000 0.6674 0.2641 320-AH 0.0000 0.0086 0.0314 0.0444 0.0625 0.0285 0.0203 0.0359 0.0625 0.7127 0.0107 0.0001 0.0177 0.0000 0.0625 0.0285 0.0203 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0150 0.0556 0.1020 0.2857 0.4000 0.1640 0.1379 0.2302 0.3850 0.8406 0.1084 0.0646 0.1150 0.0150 0.4000 0.1640 0.1379 323-AH 0.0073 0.0385 0.0846 0.1154 0.1905 0.0854 0.0525 0.0769 0.1832 0.6146 0.0653 0.0417 0.0426 0.0073 0.1905 0.0854 0.0525 324-AH 0.0000 0.0156 0.2885 0.5172 0.8421 0.3462 0.3155 0.5016 0.8421 0.9112 0.0291 0.0000 0.2707 0.0000 0.8421 0.3462 0.3155 325-AH 0.0000 0.0196 0.0523 0.1259 0.7097 0.1659 0.2399 0.1063 0.7097 1.4463 0.0134 0.0000 0.1897 0.0000 0.1259 0.0439 0.0419 326-AH 0.0044 0.5000 1.0000 1.0000 1.0000 0.7570 0.3793 0.5000 0.9956 0.5011 0.4633 0.0572 0.3240 0.0044 1.0000 0.7570 0.3793 327-AH 0.0000 0.0040 0.0159 0.0625 0.5000 0.0599 0.1167 0.0585 0.5000 1.9484 0.0076 0.0001 0.0663 0.0000 0.1111 0.0340 0.0406 328-AH 0.1875 0.5385 0.6923 0.8333 1.0000 0.6631 0.2307 0.2949 0.8125 0.3479 0.6107 0.5385 0.1754 0.1875 1.0000 0.6631 0.2307 329-AH 0.1064 0.7500 1.0000 1.0000 1.0000 0.8184 0.2986 0.2500 0.8936 0.3648 0.7092 0.5052 0.2282 0.5000 1.0000 0.9060 0.1654 330-AH 0.0000 0.6190 0.8486 0.9167 1.0000 0.7221 0.2987 0.2976 1.0000 0.4137 0.2274 0.0001 0.2243 0.4583 1.0000 0.8124 0.1514 331-AH 0.0000 0.1800 0.2812 0.6667 1.0000 0.4214 0.3400 0.4867 1.0000 0.8068 0.1842 0.0002 0.2863 0.0000 1.0000 0.4214 0.3400 332-AH 0.0000 0.4286 0.5000 0.6667 1.0000 0.5159 0.2336 0.2381 1.0000 0.4528 0.1675 0.0001 0.1543 0.4286 1.0000 0.5804 0.1480 333-AH 0.0099 1.0000 1.0000 1.0000 1.0000 0.8906 0.3184 0.0000 0.9901 0.3575 0.6241 0.1091 0.1945 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.1739 0.2000 0.2500 0.6667 0.2507 0.1570 0.0761 0.6667 0.6264 0.1361 0.0002 0.1108 0.1429 0.3333 0.2033 0.0461 335-AH 0.0000 0.0092 0.2143 1.0000 1.0000 0.3641 0.4193 0.9908 1.0000 1.1516 0.0695 0.0002 0.3533 0.0000 1.0000 0.3641 0.4193 336-AH 0.0000 0.0000 0.0411 0.3636 0.6667 0.1926 0.2456 0.3636 0.6667 1.2756 0.0059 0.0000 0.2092 0.0000 0.6667 0.1926 0.2456 337-AH 0.0667 1.0000 1.0000 1.0000 1.0000 0.8966 0.3011 0.0000 0.9333 0.3358 0.7430 0.4000 0.1839 1.0000 1.0000 1.0000 0.0000 338-AH 0.0127 0.1875 0.6333 1.0000 1.0000 0.5862 0.3952 0.8125 0.9873 0.6742 0.3573 0.1121 0.3428 0.0127 1.0000 0.5862 0.3952 339-AH 0.0000 0.1429 0.5000 0.8182 1.0000 0.5039 0.3519 0.6753 1.0000 0.6983 0.1386 0.0001 0.2874 0.0000 1.0000 0.5039 0.3519 340-AH 0.0000 0.0013 0.1639 0.2727 0.6000 0.1736 0.1663 0.2714 0.6000 0.9577 0.0290 0.0001 0.1273 0.0000 0.6000 0.1736 0.1663 360 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0144 0.0833 1.0000 1.0000 1.0000 0.6721 0.4474 0.9167 0.9856 0.6657 0.3144 0.0623 0.4008 0.0144 1.0000 0.6721 0.4474 342-AH 0.3818 0.6452 0.8394 0.8929 0.9600 0.7620 0.1890 0.2477 0.5782 0.2481 0.7342 0.7005 0.1542 0.3818 0.9600 0.7620 0.1890 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0443 0.1892 0.7778 0.9000 1.0000 0.5945 0.3571 0.7108 0.9557 0.6008 0.3991 0.1883 0.3178 0.0443 1.0000 0.5945 0.3571 345-AH 0.0000 0.0294 0.0438 0.0652 0.1538 0.0455 0.0367 0.0358 0.1538 0.8070 0.0113 0.0001 0.0250 0.0000 0.0800 0.0391 0.0256 346-AH 0.0000 0.0000 0.0040 0.0667 0.1765 0.0403 0.0520 0.0667 0.1765 1.2925 0.0011 0.0000 0.0438 0.0000 0.1176 0.0322 0.0406 347-AH 0.0000 0.0140 0.0540 0.0769 0.6667 0.1448 0.2418 0.0629 0.6667 1.6702 0.0239 0.0001 0.1740 0.0000 0.0952 0.0404 0.0314 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.8056 0.3489 0.5000 1.0000 0.4331 0.2479 0.0001 0.2809 0.0000 1.0000 0.8056 0.3489 349-AH 0.0000 0.3889 0.4495 0.5000 0.6154 0.4153 0.1726 0.1111 0.6154 0.4155 0.1394 0.0001 0.1169 0.3333 0.6154 0.4672 0.0887 350-AH 0.0020 1.0000 1.0000 1.0000 1.0000 0.8891 0.3227 0.0000 0.9980 0.3630 0.5031 0.0183 0.1971 1.0000 1.0000 1.0000 0.0000 361 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.1875 1.0000 1.0000 1.0000 1.0000 0.9178 0.2405 0.0000 0.8125 0.2620 0.8572 0.7397 0.1461 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.8125 1.0000 1.0000 0.5819 0.4372 1.0000 1.0000 0.7513 0.0303 0.0000 0.3846 0.0000 1.0000 0.5819 0.4372 144-AH 0.0056 0.0082 0.0651 0.3333 0.7500 0.2064 0.2805 0.3251 0.7444 1.3588 0.0649 0.0207 0.2279 0.0056 0.7500 0.2064 0.2805 145-AH 0.0000 0.0959 0.8036 0.9231 1.0000 0.5587 0.4237 0.8272 1.0000 0.7584 0.1248 0.0001 0.3902 0.0000 1.0000 0.5587 0.4237 146-AH 0.0033 0.0143 0.3500 1.0000 1.0000 0.4222 0.4117 0.9857 0.9967 0.9753 0.1436 0.0252 0.3556 0.0033 1.0000 0.4222 0.4117 147-AH 0.0000 0.0541 0.5833 0.8421 1.0000 0.4889 0.3845 0.7880 1.0000 0.7865 0.1060 0.0001 0.3466 0.0000 1.0000 0.4889 0.3845 148-AH 0.0000 0.0101 0.0318 0.0465 0.0536 0.0290 0.0206 0.0365 0.0536 0.7098 0.0055 0.0000 0.0178 0.0000 0.0536 0.0290 0.0206 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0073 0.0156 0.0265 0.2308 0.0325 0.0537 0.0192 0.2308 1.6504 0.0086 0.0001 0.0318 0.0000 0.0494 0.0145 0.0126 151-AH 0.0000 0.0000 0.0000 0.0727 0.6667 0.1078 0.2195 0.0727 0.6667 2.0358 0.0004 0.0000 0.1576 0.0000 0.0727 0.0065 0.0193 152-AH 0.0000 0.0000 0.0722 0.2000 1.0000 0.1465 0.2387 0.2000 1.0000 1.6293 0.0053 0.0000 0.1481 0.0000 0.3333 0.0963 0.1111 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.1400 0.2066 0.4118 0.4706 0.2514 0.1609 0.2718 0.4706 0.6402 0.0804 0.0001 0.1408 0.0000 0.4706 0.2514 0.1609 155-AH 0.0000 0.0021 0.0127 0.0833 1.0000 0.1958 0.3781 0.0812 1.0000 1.9312 0.0106 0.0001 0.2834 0.0000 0.0833 0.0136 0.0214 156-AH 0.0171 0.0294 0.0508 0.0909 0.3182 0.0766 0.0718 0.0615 0.3011 0.9374 0.0568 0.0444 0.0480 0.0171 0.1400 0.0624 0.0403 157-AH 0.0000 0.4757 0.6315 0.6714 0.7458 0.5247 0.2312 0.1957 0.7458 0.4406 0.1688 0.0001 0.1765 0.2275 0.7458 0.5903 0.1388 158-AH 0.0000 0.0150 0.2447 0.4583 1.0000 0.3245 0.3411 0.4434 1.0000 1.0511 0.0268 0.0000 0.2622 0.0000 1.0000 0.3245 0.3411 159-AH 0.0000 0.0000 0.1216 0.2931 0.7500 0.2288 0.2619 0.2931 0.7500 1.1446 0.0140 0.0000 0.1994 0.0000 0.7308 0.1637 0.1924 160-AH 0.0000 0.0023 0.0528 0.1667 1.0000 0.1987 0.3164 0.1643 1.0000 1.5925 0.0233 0.0001 0.2173 0.0000 0.2500 0.0717 0.0778 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.5632 0.6129 0.8702 0.9348 0.9756 0.8099 0.1498 0.3219 0.4124 0.1850 0.7956 0.7803 0.1319 0.5632 0.9756 0.8099 0.1498 164-AH 0.0000 0.0000 0.0190 0.0639 0.2857 0.0555 0.0800 0.0639 0.2857 1.4421 0.0020 0.0000 0.0599 0.0000 0.1449 0.0335 0.0472 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1111 0.2679 0.3750 0.5000 0.2581 0.1724 0.2639 0.5000 0.6678 0.0772 0.0001 0.1453 0.0000 0.5000 0.2581 0.1724 168-AH 0.0000 0.4783 0.5374 0.6000 1.0000 0.5058 0.3076 0.1217 1.0000 0.6082 0.1416 0.0001 0.2168 0.4783 0.7500 0.5543 0.0765 169-AH 0.0000 0.0152 0.0639 0.1429 0.1875 0.0752 0.0669 0.1277 0.1875 0.8893 0.0217 0.0001 0.0577 0.0000 0.1875 0.0752 0.0669 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0113 0.0460 0.0602 0.0698 0.1333 0.0597 0.0263 0.0238 0.1221 0.4401 0.0527 0.0425 0.0173 0.0113 0.0833 0.0554 0.0194 172-AH 0.0000 0.0000 0.0332 0.1034 0.2500 0.0546 0.0675 0.1034 0.2500 1.2359 0.0020 0.0000 0.0534 0.0000 0.2500 0.0546 0.0675 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.6000 0.7321 0.8333 1.0000 0.6996 0.2892 0.2333 1.0000 0.4134 0.2217 0.0001 0.1923 0.6000 1.0000 0.7871 0.1462 176-AH 0.2069 0.9412 0.9762 1.0000 1.0000 0.9163 0.1918 0.0588 0.7931 0.2093 0.8769 0.7924 0.1046 0.9375 1.0000 0.9751 0.0293 177-AH 0.0515 0.3043 0.4444 0.5556 0.7143 0.4027 0.1933 0.2512 0.6627 0.4800 0.3340 0.2398 0.1555 0.0515 0.7143 0.4027 0.1933 178-AH 0.0000 0.0000 0.0044 0.0208 0.5000 0.0434 0.1198 0.0208 0.5000 2.7594 0.0007 0.0000 0.0642 0.0000 0.0211 0.0049 0.0073 179-AH 0.0000 0.0388 0.3478 0.4348 1.0000 0.3400 0.3148 0.3960 1.0000 0.9257 0.0329 0.0000 0.2331 0.0000 1.0000 0.3400 0.3148 180-AH 0.0000 0.0000 0.0242 0.3750 0.8750 0.1869 0.2637 0.3750 0.8750 1.4105 0.0024 0.0000 0.2187 0.0000 0.8750 0.1869 0.2637 181-AH 0.3944 0.8261 0.8644 0.9667 0.9722 0.8272 0.1660 0.1406 0.5779 0.2006 0.8068 0.7803 0.1127 0.8108 0.9722 0.8937 0.0629 182-AH 0.0034 0.0513 0.1292 0.5000 0.7500 0.2632 0.2909 0.4487 0.7466 1.1051 0.1140 0.0273 0.2426 0.0034 0.7500 0.2632 0.2909 183-AH 0.0020 0.0233 0.1678 0.4000 0.6667 0.2089 0.1975 0.3767 0.6647 0.9455 0.0857 0.0155 0.1592 0.0020 0.6667 0.2089 0.1975 184-AH 0.0000 0.0060 0.2225 0.4286 1.0000 0.3169 0.3681 0.4225 1.0000 1.1615 0.0240 0.0000 0.2901 0.0000 1.0000 0.3169 0.3681 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.3750 1.0000 1.0000 1.0000 1.0000 0.9468 0.1628 0.0000 0.6250 0.1720 0.9259 0.8926 0.0947 1.0000 1.0000 1.0000 0.0000 190-AH 0.0000 0.0882 0.2132 0.8333 1.0000 0.4280 0.4182 0.7451 1.0000 0.9769 0.1197 0.0002 0.3856 0.0000 1.0000 0.4280 0.4182 362 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0072 0.0230 1.0000 1.0000 1.0000 0.6249 0.4845 0.9770 0.9928 0.7754 0.2270 0.0396 0.4585 0.0072 1.0000 0.6249 0.4845 193-AH 0.0000 0.0811 0.1882 0.3000 1.0000 0.2940 0.3208 0.2189 1.0000 1.0909 0.0722 0.0001 0.2422 0.0000 0.6000 0.1695 0.1492 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.6250 0.9077 1.0000 1.0000 0.7770 0.3166 0.3750 1.0000 0.4075 0.3842 0.0002 0.2408 0.5714 1.0000 0.8715 0.1666 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1212 0.5556 0.7033 0.7500 0.7500 0.6149 0.1917 0.1944 0.6288 0.3118 0.5644 0.4766 0.1416 0.4000 0.7500 0.6717 0.1025 200-AH 0.0135 0.0205 0.6667 0.7778 1.0000 0.4818 0.3798 0.7573 0.9865 0.7883 0.2003 0.0494 0.3467 0.0135 1.0000 0.4818 0.3798 251-AH 0.0000 0.5405 0.7370 0.8000 0.9524 0.6604 0.2370 0.2595 0.9524 0.3588 0.3635 0.0002 0.1759 0.2800 0.9524 0.6993 0.1755 252-AH 0.0000 0.1364 0.2598 0.4091 0.5625 0.2727 0.1798 0.2727 0.5625 0.6594 0.1172 0.0002 0.1573 0.0000 0.5625 0.2727 0.1798 253-AH 0.0000 0.0000 0.2250 0.4711 0.6552 0.2405 0.2286 0.4711 0.6552 0.9504 0.0062 0.0000 0.1935 0.0000 0.6552 0.2405 0.2286 254-AH 0.0000 0.1667 0.2355 0.2464 0.4142 0.2117 0.1130 0.0798 0.4142 0.5340 0.0728 0.0001 0.0827 0.0702 0.2642 0.2043 0.0544 255-AH 0.0000 0.1818 0.3929 0.6667 1.0000 0.4639 0.3459 0.4848 1.0000 0.7456 0.1280 0.0001 0.3046 0.0000 1.0000 0.4639 0.3459 256-AH 0.0000 0.4286 0.9615 1.0000 1.0000 0.7271 0.4156 0.5714 1.0000 0.5715 0.1699 0.0001 0.3512 0.0000 1.0000 0.7271 0.4156 257-AH 0.0000 0.0345 0.2397 0.3333 0.4340 0.2108 0.1515 0.2989 0.4340 0.7186 0.0253 0.0000 0.1208 0.0000 0.4340 0.2108 0.1515 258-AH 0.0000 0.0000 0.0025 0.0057 0.1818 0.0132 0.0423 0.0057 0.1818 3.2051 0.0003 0.0000 0.0187 0.0000 0.0114 0.0033 0.0039 259-AH 0.0000 0.0588 0.1339 0.2500 1.0000 0.3035 0.3895 0.1912 1.0000 1.2833 0.0798 0.0002 0.3095 0.0000 0.2500 0.1045 0.0807 260-AH 0.2209 0.4222 0.5492 0.6562 0.7692 0.5216 0.1623 0.2340 0.5483 0.3110 0.4933 0.4603 0.1298 0.2209 0.7692 0.5216 0.1623 261-AH 0.0000 0.0000 0.0252 0.1746 0.7059 0.1495 0.2622 0.1746 0.7059 1.7534 0.0019 0.0000 0.1920 0.0000 0.1833 0.0383 0.0623 262-AH 0.0000 0.0000 0.0587 0.0954 0.5962 0.1495 0.2205 0.0954 0.5962 1.4749 0.0035 0.0000 0.1753 0.0000 0.0954 0.0368 0.0406 263-AH 0.0000 0.0000 0.0000 0.0000 0.3077 0.0293 0.0749 0.0000 0.3077 2.5556 0.0001 0.0000 0.0456 0.0000 0.0000 0.0000 0.0000 264-AH 0.1296 0.2188 0.4152 0.8750 1.0000 0.5270 0.3183 0.6562 0.8704 0.6039 0.4267 0.3375 0.2914 0.1296 1.0000 0.5270 0.3183 265-AH 0.0000 0.1333 0.1875 0.2857 1.0000 0.3420 0.3690 0.1524 1.0000 1.0788 0.0861 0.0001 0.2924 0.0000 0.2857 0.1540 0.0820 266-AH 0.0000 0.0000 0.0000 0.0096 0.2000 0.0194 0.0513 0.0096 0.2000 2.6397 0.0003 0.0000 0.0296 0.0000 0.0103 0.0028 0.0041 267-AH 0.0000 0.0741 0.1177 0.3182 0.7000 0.2117 0.2074 0.2441 0.7000 0.9797 0.0851 0.0002 0.1684 0.0000 0.5833 0.1830 0.1730 268-AH 0.0000 0.1429 0.5000 1.0000 1.0000 0.5742 0.4222 0.8571 1.0000 0.7353 0.1352 0.0001 0.3785 0.0000 1.0000 0.5742 0.4222 269-AH 0.0030 0.1724 0.3000 0.3333 0.5000 0.2637 0.1436 0.1609 0.4970 0.5446 0.1767 0.0364 0.1121 0.0030 0.5000 0.2637 0.1436 270-AH 0.0000 0.5000 0.9499 1.0000 1.0000 0.7453 0.3843 0.5000 1.0000 0.5156 0.2135 0.0001 0.3216 0.0000 1.0000 0.7453 0.3843 271-AH 0.0000 0.1778 0.3810 0.5000 0.6923 0.3469 0.2149 0.3222 0.6923 0.6195 0.0989 0.0001 0.1760 0.0000 0.6923 0.3469 0.2149 272-AH 0.0000 0.1500 0.2481 0.3500 0.4545 0.2404 0.1565 0.2000 0.4545 0.6507 0.0732 0.0001 0.1341 0.0000 0.4545 0.2404 0.1565 273-AH 0.0308 0.0820 0.7121 0.8108 0.8966 0.5559 0.3423 0.7288 0.8657 0.6157 0.3467 0.1408 0.2906 0.0308 0.8966 0.5559 0.3423 274-AH 0.0000 0.0000 0.0082 0.0432 0.4615 0.0493 0.1079 0.0432 0.4615 2.1902 0.0015 0.0000 0.0588 0.0000 0.0923 0.0250 0.0336 275-AH 0.1509 0.3056 0.4534 0.6364 0.6667 0.4487 0.1712 0.3308 0.5157 0.3814 0.4131 0.3736 0.1424 0.1509 0.6667 0.4487 0.1712 276-AH 0.0000 0.0336 0.1861 0.4865 0.7037 0.2844 0.2517 0.4528 0.7037 0.8849 0.0287 0.0000 0.2254 0.0000 0.7037 0.2844 0.2517 277-AH 0.0128 0.1039 0.1351 0.2857 0.3478 0.1755 0.1078 0.1818 0.3350 0.6142 0.1322 0.0785 0.0911 0.0128 0.3478 0.1755 0.1078 278-AH 0.0000 0.0000 0.0042 0.0188 0.2500 0.0533 0.0944 0.0188 0.2500 1.7702 0.0007 0.0000 0.0758 0.0000 0.0188 0.0046 0.0068 279-AH 0.0000 0.0108 0.0381 0.2000 1.0000 0.1818 0.2821 0.1892 1.0000 1.5513 0.0352 0.0002 0.2084 0.0000 0.4000 0.0738 0.1108 280-AH 0.0000 0.0142 0.0441 0.1047 0.1562 0.0562 0.0461 0.0904 0.1562 0.8207 0.0268 0.0002 0.0380 0.0000 0.1562 0.0562 0.0461 281-AH 0.2188 0.3023 0.4054 0.4571 0.7368 0.4314 0.1722 0.1548 0.5181 0.3992 0.4015 0.3749 0.1297 0.2188 0.6842 0.3723 0.1163 282-AH 0.0000 0.1220 0.1909 0.2391 0.4348 0.1893 0.1172 0.1172 0.4348 0.6191 0.0641 0.0001 0.0867 0.0000 0.2632 0.1597 0.0846 283-AH 0.0000 0.0714 0.1571 0.2727 0.8000 0.2249 0.2321 0.2013 0.8000 1.0318 0.0588 0.0001 0.1668 0.0000 0.5217 0.1589 0.1375 284-AH 0.0000 0.0000 0.2084 0.5833 0.6667 0.2804 0.2681 0.5833 0.6667 0.9563 0.0155 0.0000 0.2413 0.0000 0.6667 0.2804 0.2681 285-AH 0.0000 0.0000 0.1564 0.7143 0.8846 0.3573 0.3527 0.7143 0.8846 0.9870 0.0196 0.0000 0.3282 0.0000 0.8846 0.3573 0.3527 286-AH 0.0000 0.0000 0.0112 0.0152 0.0816 0.0167 0.0226 0.0152 0.0816 1.3474 0.0021 0.0000 0.0151 0.0000 0.0155 0.0077 0.0065 287-AH 0.0000 0.0462 0.4236 0.5172 0.5714 0.3346 0.2162 0.4711 0.5714 0.6462 0.0884 0.0001 0.1842 0.0000 0.5714 0.3346 0.2162 288-AH 0.0000 0.0000 0.1085 0.2110 0.2667 0.1195 0.1022 0.2110 0.2667 0.8552 0.0101 0.0000 0.0856 0.0000 0.2667 0.1195 0.1022 289-AH 0.0000 0.4444 0.7000 0.8571 1.0000 0.6480 0.2995 0.4127 1.0000 0.4622 0.2028 0.0001 0.2302 0.0000 1.0000 0.6480 0.2995 290-AH 0.0000 0.0000 0.1112 0.2388 0.4848 0.1369 0.1372 0.2388 0.4848 1.0020 0.0069 0.0000 0.1085 0.0000 0.4848 0.1369 0.1372 363 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0130 0.0553 0.2656 0.9000 1.0000 0.4139 0.3989 0.8447 0.9870 0.9637 0.1985 0.0727 0.3500 0.0130 1.0000 0.4139 0.3989 292-AH 0.0000 0.1333 0.5000 0.6667 1.0000 0.4927 0.3570 0.5333 1.0000 0.7246 0.1136 0.0001 0.2904 0.0000 1.0000 0.4927 0.3570 293-AH 0.0000 0.0327 0.6331 0.7222 0.7857 0.4315 0.3350 0.6895 0.7857 0.7763 0.0571 0.0001 0.3109 0.0000 0.7857 0.4315 0.3350 294-AH 0.0000 0.2250 0.5145 0.6667 0.8182 0.4308 0.2921 0.4417 0.8182 0.6781 0.0736 0.0001 0.2555 0.0000 0.8182 0.4308 0.2921 295-AH 0.0000 0.0000 0.0102 0.3269 0.4857 0.1594 0.2064 0.3269 0.4857 1.2945 0.0014 0.0000 0.1901 0.0000 0.4857 0.1594 0.2064 296-AH 0.0000 0.3810 0.6619 0.7333 0.8182 0.5382 0.2772 0.3524 0.8182 0.5149 0.2467 0.0002 0.2256 0.0000 0.8182 0.5382 0.2772 297-AH 0.0000 0.0083 0.0628 0.3077 0.8000 0.2148 0.2736 0.2994 0.8000 1.2735 0.0223 0.0001 0.2232 0.0000 0.6667 0.1804 0.2385 298-AH 0.0000 0.0588 0.1545 0.1837 0.3333 0.1402 0.0931 0.1248 0.3333 0.6643 0.0465 0.0001 0.0719 0.0000 0.3333 0.1402 0.0931 299-AH 0.0000 0.0000 0.1197 0.2500 0.5349 0.1537 0.1707 0.2500 0.5349 1.1107 0.0044 0.0000 0.1376 0.0000 0.5349 0.1537 0.1707 300-AH 0.0000 0.0164 0.1605 0.1806 0.4643 0.1285 0.1151 0.1642 0.4643 0.8963 0.0352 0.0001 0.0887 0.0000 0.2090 0.1087 0.0814 301-AH 0.0000 0.0000 0.0637 0.6250 0.7143 0.2669 0.3014 0.6250 0.7143 1.1293 0.0080 0.0000 0.2745 0.0000 0.7143 0.2669 0.3014 302-AH 0.0000 0.3750 0.4387 0.5833 0.7500 0.4623 0.1904 0.2083 0.7500 0.4118 0.2559 0.0002 0.1455 0.2075 0.7500 0.4895 0.1561 303-AH 0.0000 0.0417 0.0936 0.1351 0.6250 0.1247 0.1422 0.0935 0.6250 1.1404 0.0542 0.0002 0.0879 0.0000 0.2273 0.0953 0.0702 304-AH 0.0000 0.0119 0.1054 0.2941 0.5556 0.1662 0.1793 0.2822 0.5556 1.0793 0.0220 0.0001 0.1516 0.0000 0.5556 0.1662 0.1793 305-AH 0.0000 0.0000 0.1057 0.3279 0.3922 0.1576 0.1649 0.3279 0.3922 1.0465 0.0041 0.0000 0.1531 0.0000 0.3922 0.1576 0.1649 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0126 0.1788 0.4875 0.0871 0.1278 0.1788 0.4875 1.4672 0.0011 0.0000 0.0993 0.0000 0.1852 0.0636 0.0822 308-AH 0.7778 1.0000 1.0000 1.0000 1.0000 0.9642 0.0825 0.0000 0.2222 0.0856 0.9605 0.9564 0.0597 1.0000 1.0000 1.0000 0.0000 309-AH 0.0090 0.0242 0.0547 0.0816 0.1500 0.0587 0.0360 0.0574 0.1410 0.6135 0.0466 0.0337 0.0278 0.0090 0.1500 0.0587 0.0360 310-AH 0.0000 0.0000 0.0000 0.0551 0.1959 0.0418 0.0669 0.0551 0.1959 1.6005 0.0003 0.0000 0.0532 0.0000 0.1366 0.0245 0.0467 311-AH 0.0353 0.1650 0.2642 0.3333 0.4722 0.2479 0.1331 0.1683 0.4369 0.5368 0.1976 0.1370 0.1052 0.0353 0.4722 0.2479 0.1331 312-AH 0.0000 0.0000 0.0949 0.5455 0.7692 0.2666 0.3100 0.5455 0.7692 1.1632 0.0035 0.0000 0.2814 0.0000 0.7692 0.2666 0.3100 313-AH 0.0000 0.0168 0.0364 0.0519 0.0923 0.0412 0.0285 0.0351 0.0923 0.6912 0.0226 0.0002 0.0229 0.0000 0.0923 0.0412 0.0285 314-AH 0.0000 0.0166 0.0284 0.0629 0.1818 0.0443 0.0466 0.0462 0.1818 1.0510 0.0100 0.0001 0.0349 0.0000 0.1143 0.0362 0.0325 315-AH 0.0000 0.0233 0.3120 0.4091 0.7917 0.2832 0.2874 0.3858 0.7917 1.0146 0.0343 0.0001 0.2383 0.0000 0.7917 0.2832 0.2874 316-AH 0.0000 0.0439 0.1098 0.1970 0.2680 0.1198 0.0917 0.1531 0.2680 0.7654 0.0252 0.0001 0.0776 0.0000 0.2680 0.1198 0.0917 317-AH 0.0000 0.0643 0.1008 0.2093 0.4737 0.1386 0.1136 0.1450 0.4737 0.8193 0.0691 0.0002 0.0840 0.0000 0.2647 0.1189 0.0792 318-AH 0.0097 0.0435 0.1250 0.2609 1.0000 0.2114 0.2692 0.2174 0.9903 1.2730 0.1108 0.0569 0.1778 0.0097 0.3000 0.1254 0.0983 319-AH 0.0737 0.2727 0.4286 0.7500 0.8571 0.4833 0.2551 0.4773 0.7835 0.5278 0.4001 0.3010 0.2218 0.0737 0.8571 0.4833 0.2551 320-AH 0.0000 0.0069 0.0250 0.0391 0.0593 0.0240 0.0197 0.0322 0.0593 0.8175 0.0045 0.0000 0.0169 0.0000 0.0593 0.0240 0.0197 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0115 0.0446 0.0991 0.1471 0.3333 0.1056 0.0863 0.1024 0.3219 0.8168 0.0763 0.0509 0.0595 0.0115 0.2857 0.0922 0.0669 323-AH 0.0000 0.0271 0.0619 0.0989 0.1905 0.0694 0.0518 0.0718 0.1905 0.7461 0.0358 0.0002 0.0407 0.0000 0.1905 0.0694 0.0518 324-AH 0.0000 0.0000 0.2018 0.4444 0.7419 0.2822 0.2805 0.4444 0.7419 0.9942 0.0108 0.0000 0.2359 0.0000 0.7419 0.2822 0.2805 325-AH 0.0000 0.0000 0.0482 0.1159 0.7097 0.1549 0.2330 0.1159 0.7097 1.5043 0.0080 0.0000 0.1831 0.0000 0.1159 0.0372 0.0390 326-AH 0.0000 0.1250 0.3095 0.5000 1.0000 0.3610 0.3287 0.3750 1.0000 0.9107 0.0952 0.0001 0.2439 0.0000 1.0000 0.3610 0.3287 327-AH 0.0000 0.0000 0.0061 0.0221 0.5000 0.0458 0.1169 0.0221 0.5000 2.5549 0.0021 0.0000 0.0616 0.0000 0.0221 0.0062 0.0075 328-AH 0.1569 0.4706 0.6538 0.7143 1.0000 0.5951 0.2338 0.2437 0.8431 0.3930 0.5362 0.4594 0.1840 0.1569 1.0000 0.5951 0.2338 329-AH 0.0897 0.6667 0.8819 1.0000 1.0000 0.7650 0.2926 0.3333 0.9103 0.3824 0.6573 0.4590 0.2251 0.5000 1.0000 0.8474 0.1786 330-AH 0.0000 0.5161 0.8205 0.8378 0.9524 0.6547 0.2906 0.3217 0.9524 0.4439 0.2056 0.0001 0.2307 0.3333 0.9524 0.7366 0.1773 331-AH 0.0000 0.1800 0.2812 0.6364 0.7500 0.3610 0.2463 0.4564 0.7500 0.6823 0.1694 0.0002 0.2143 0.0000 0.7500 0.3610 0.2463 332-AH 0.0000 0.2500 0.4286 0.4286 0.6000 0.3687 0.1605 0.1786 0.6000 0.4354 0.1241 0.0001 0.1215 0.0000 0.6000 0.3687 0.1605 333-AH 0.0099 1.0000 1.0000 1.0000 1.0000 0.8480 0.3353 0.0000 0.9901 0.3954 0.5871 0.1080 0.2364 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.1600 0.1818 0.2000 0.6667 0.1905 0.1347 0.0400 0.6667 0.7071 0.0660 0.0001 0.0651 0.1429 0.2308 0.1842 0.0247 335-AH 0.0000 0.0000 0.1154 0.3000 0.6250 0.1945 0.2148 0.3000 0.6250 1.1041 0.0107 0.0000 0.1752 0.0000 0.6250 0.1945 0.2148 336-AH 0.0000 0.0000 0.0333 0.1304 0.2857 0.0732 0.0884 0.1304 0.2857 1.2078 0.0037 0.0000 0.0713 0.0000 0.2857 0.0732 0.0884 337-AH 0.0667 0.8571 1.0000 1.0000 1.0000 0.8604 0.2944 0.1429 0.9333 0.3422 0.7146 0.3934 0.1813 0.8182 1.0000 0.9593 0.0655 338-AH 0.0127 0.1739 0.4722 1.0000 1.0000 0.5235 0.3886 0.8261 0.9873 0.7423 0.3106 0.1002 0.3346 0.0127 1.0000 0.5235 0.3886 339-AH 0.0000 0.1429 0.4500 0.8182 1.0000 0.4726 0.3524 0.6753 1.0000 0.7458 0.1291 0.0001 0.2990 0.0000 1.0000 0.4726 0.3524 340-AH 0.0000 0.0000 0.1639 0.2727 0.6000 0.1712 0.1650 0.2727 0.6000 0.9637 0.0127 0.0000 0.1259 0.0000 0.6000 0.1712 0.1650 364 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0144 0.0833 1.0000 1.0000 1.0000 0.6721 0.4474 0.9167 0.9856 0.6657 0.3144 0.0623 0.4008 0.0144 1.0000 0.6721 0.4474 342-AH 0.2885 0.5341 0.7735 0.7895 0.9600 0.6854 0.2233 0.2554 0.6715 0.3257 0.6394 0.5826 0.1833 0.2885 0.9600 0.6854 0.2233 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.1892 0.7208 0.7778 0.9231 0.5487 0.3412 0.5886 0.9231 0.6219 0.2087 0.0002 0.2982 0.0000 0.9231 0.5487 0.3412 345-AH 0.0000 0.0265 0.0438 0.0652 0.1389 0.0437 0.0347 0.0387 0.1389 0.7940 0.0077 0.0000 0.0244 0.0000 0.0800 0.0381 0.0261 346-AH 0.0000 0.0000 0.0040 0.0667 0.1765 0.0403 0.0520 0.0667 0.1765 1.2925 0.0011 0.0000 0.0438 0.0000 0.1176 0.0322 0.0406 347-AH 0.0000 0.0125 0.0369 0.0667 0.3750 0.0829 0.1237 0.0542 0.3750 1.4909 0.0177 0.0001 0.0881 0.0000 0.0714 0.0301 0.0229 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.8056 0.3489 0.5000 1.0000 0.4331 0.2479 0.0001 0.2809 0.0000 1.0000 0.8056 0.3489 349-AH 0.0000 0.3125 0.3819 0.4091 0.5882 0.3416 0.1463 0.0966 0.5882 0.4283 0.1167 0.0001 0.1023 0.2308 0.4545 0.3707 0.0638 350-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.8028 0.3301 0.2500 1.0000 0.4112 0.2499 0.0001 0.2410 0.5000 1.0000 0.9031 0.1638 365 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.1600 1.0000 1.0000 1.0000 1.0000 0.9101 0.2618 0.0000 0.8400 0.2876 0.8308 0.6729 0.1598 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.8000 0.9545 1.0000 0.5646 0.4229 0.9545 1.0000 0.7491 0.0297 0.0000 0.3730 0.0000 1.0000 0.5646 0.4229 144-AH 0.0000 0.0000 0.0029 0.0063 0.7500 0.1450 0.2890 0.0063 0.7500 1.9935 0.0011 0.0000 0.2226 0.0000 0.0063 0.0019 0.0022 145-AH 0.0000 0.0922 0.5056 0.8000 0.8421 0.4308 0.3394 0.7078 0.8421 0.7877 0.1016 0.0001 0.3078 0.0000 0.8421 0.4308 0.3394 146-AH 0.0033 0.0143 0.3500 1.0000 1.0000 0.4222 0.4117 0.9857 0.9967 0.9753 0.1436 0.0252 0.3556 0.0033 1.0000 0.4222 0.4117 147-AH 0.0000 0.0444 0.5833 0.8077 0.9130 0.4574 0.3607 0.7633 0.9130 0.7886 0.0969 0.0001 0.3290 0.0000 0.9130 0.4574 0.3607 148-AH 0.0000 0.0000 0.0165 0.0319 0.0536 0.0180 0.0200 0.0319 0.0536 1.1114 0.0008 0.0000 0.0163 0.0000 0.0536 0.0180 0.0200 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0073 0.0156 0.0220 0.2105 0.0306 0.0492 0.0146 0.2105 1.6056 0.0083 0.0001 0.0298 0.0000 0.0220 0.0115 0.0077 151-AH 0.0000 0.0000 0.0000 0.0142 0.5556 0.0754 0.1546 0.0142 0.5556 2.0499 0.0003 0.0000 0.1138 0.0000 0.0142 0.0023 0.0047 152-AH 0.0000 0.0000 0.0667 0.1429 0.6667 0.1212 0.1694 0.1429 0.6667 1.3975 0.0049 0.0000 0.1162 0.0000 0.2941 0.0891 0.1040 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.0840 0.1104 0.2000 0.3750 0.1477 0.1051 0.1160 0.3750 0.7118 0.0495 0.0001 0.0824 0.0000 0.3103 0.1343 0.0913 155-AH 0.0000 0.0000 0.0068 0.0146 1.0000 0.1549 0.3315 0.0146 1.0000 2.1406 0.0022 0.0000 0.2336 0.0000 0.0146 0.0047 0.0048 156-AH 0.0171 0.0284 0.0429 0.0652 0.2250 0.0593 0.0523 0.0368 0.2079 0.8811 0.0457 0.0375 0.0369 0.0171 0.1184 0.0449 0.0275 157-AH 0.0000 0.3875 0.5728 0.6222 0.6905 0.4750 0.2173 0.2347 0.6905 0.4575 0.1531 0.0001 0.1700 0.1818 0.6905 0.5343 0.1403 158-AH 0.0000 0.0000 0.2167 0.3500 0.9333 0.2807 0.2995 0.3500 0.9333 1.0669 0.0161 0.0000 0.2310 0.0000 0.7778 0.2423 0.2591 159-AH 0.0000 0.0000 0.1011 0.2421 0.6875 0.1854 0.2175 0.2421 0.6875 1.1731 0.0119 0.0000 0.1639 0.0000 0.5789 0.1559 0.1832 160-AH 0.0000 0.0023 0.0528 0.1667 1.0000 0.1987 0.3164 0.1643 1.0000 1.5925 0.0233 0.0001 0.2173 0.0000 0.2500 0.0717 0.0778 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.4811 0.5778 0.8137 0.9273 0.9608 0.7641 0.1699 0.3495 0.4797 0.2223 0.7445 0.7237 0.1492 0.4811 0.9608 0.7641 0.1699 164-AH 0.0000 0.0000 0.0146 0.0639 0.2586 0.0526 0.0750 0.0639 0.2586 1.4255 0.0019 0.0000 0.0577 0.0000 0.1375 0.0320 0.0455 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1111 0.2679 0.3750 0.5000 0.2581 0.1724 0.2639 0.5000 0.6678 0.0772 0.0001 0.1453 0.0000 0.5000 0.2581 0.1724 168-AH 0.0000 0.4583 0.5000 0.5333 1.0000 0.4585 0.2730 0.0750 1.0000 0.5954 0.1316 0.0001 0.1892 0.4583 0.5333 0.5048 0.0272 169-AH 0.0000 0.0091 0.0327 0.0625 0.1875 0.0438 0.0498 0.0534 0.1875 1.1383 0.0125 0.0001 0.0355 0.0000 0.1304 0.0353 0.0357 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0000 0.0452 0.0517 0.0652 0.0833 0.0504 0.0214 0.0200 0.0833 0.4256 0.0213 0.0001 0.0145 0.0426 0.0833 0.0567 0.0119 172-AH 0.0000 0.0000 0.0332 0.1034 0.2500 0.0546 0.0675 0.1034 0.2500 1.2359 0.0020 0.0000 0.0534 0.0000 0.2500 0.0546 0.0675 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.6000 0.7321 0.8333 1.0000 0.6996 0.2892 0.2333 1.0000 0.4134 0.2217 0.0001 0.1923 0.6000 1.0000 0.7871 0.1462 176-AH 0.0535 0.9412 0.9499 1.0000 1.0000 0.8723 0.2777 0.0588 0.9465 0.3183 0.7496 0.4416 0.1677 0.8889 1.0000 0.9666 0.0374 177-AH 0.0476 0.2000 0.3043 0.4000 0.6000 0.3125 0.1667 0.2000 0.5524 0.5336 0.2617 0.2015 0.1284 0.0476 0.6000 0.3125 0.1667 178-AH 0.0000 0.0000 0.0044 0.0208 0.5000 0.0434 0.1198 0.0208 0.5000 2.7594 0.0007 0.0000 0.0642 0.0000 0.0211 0.0049 0.0073 179-AH 0.0000 0.0388 0.3333 0.4286 0.9231 0.3097 0.2734 0.3898 0.9231 0.8829 0.0314 0.0000 0.2062 0.0000 0.9231 0.3097 0.2734 180-AH 0.0000 0.0000 0.0225 0.3636 0.8421 0.1697 0.2458 0.3636 0.8421 1.4490 0.0022 0.0000 0.1997 0.0000 0.8421 0.1697 0.2458 181-AH 0.3277 0.8261 0.8541 0.9250 0.9500 0.8035 0.1798 0.0989 0.6223 0.2238 0.7773 0.7413 0.1302 0.7115 0.9500 0.8755 0.0664 182-AH 0.0034 0.0513 0.1292 0.5000 0.7500 0.2632 0.2909 0.4487 0.7466 1.1051 0.1140 0.0273 0.2426 0.0034 0.7500 0.2632 0.2909 183-AH 0.0020 0.0233 0.1678 0.4000 0.6667 0.2089 0.1975 0.3767 0.6647 0.9455 0.0857 0.0155 0.1592 0.0020 0.6667 0.2089 0.1975 184-AH 0.0000 0.0000 0.1082 0.2941 0.7143 0.2106 0.2478 0.2941 0.7143 1.1765 0.0128 0.0000 0.2004 0.0000 0.7143 0.2106 0.2478 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.3750 1.0000 1.0000 1.0000 1.0000 0.9468 0.1628 0.0000 0.6250 0.1720 0.9259 0.8926 0.0947 1.0000 1.0000 1.0000 0.0000 190-AH 0.0000 0.0374 0.1875 0.8333 1.0000 0.4053 0.4177 0.7960 1.0000 1.0304 0.0690 0.0001 0.3847 0.0000 1.0000 0.4053 0.4177 366 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0114 0.5357 0.7500 1.0000 0.4454 0.3899 0.7386 1.0000 0.8755 0.0651 0.0001 0.3520 0.0000 1.0000 0.4454 0.3899 193-AH 0.0000 0.0811 0.1882 0.3000 1.0000 0.2940 0.3208 0.2189 1.0000 1.0909 0.0722 0.0001 0.2422 0.0000 0.6000 0.1695 0.1492 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.5263 0.8880 1.0000 1.0000 0.7466 0.3242 0.4737 1.0000 0.4342 0.3638 0.0002 0.2544 0.0000 1.0000 0.7466 0.3242 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1212 0.5000 0.6364 0.7273 0.7500 0.5807 0.1858 0.2273 0.6288 0.3199 0.5340 0.4567 0.1431 0.2000 0.7500 0.6077 0.1506 200-AH 0.0086 0.0205 0.5000 0.7143 0.8333 0.4209 0.3315 0.6938 0.8247 0.7877 0.1781 0.0437 0.2994 0.0086 0.8333 0.4209 0.3315 251-AH 0.0000 0.2955 0.4741 0.7027 0.8667 0.4868 0.2430 0.4072 0.8667 0.4993 0.2580 0.0002 0.1971 0.0000 0.8667 0.4868 0.2430 252-AH 0.0000 0.1096 0.2089 0.3542 0.5217 0.2295 0.1669 0.2446 0.5217 0.7271 0.0439 0.0001 0.1455 0.0000 0.5217 0.2295 0.1669 253-AH 0.0000 0.0000 0.1766 0.3234 0.5714 0.1884 0.1881 0.3234 0.5714 0.9984 0.0052 0.0000 0.1569 0.0000 0.5714 0.1884 0.1881 254-AH 0.0000 0.1478 0.1820 0.2317 0.3239 0.1752 0.0963 0.0839 0.3239 0.5496 0.0389 0.0001 0.0689 0.1463 0.3239 0.2103 0.0580 255-AH 0.0000 0.1818 0.3929 0.6667 1.0000 0.4639 0.3459 0.4848 1.0000 0.7456 0.1280 0.0001 0.3046 0.0000 1.0000 0.4639 0.3459 256-AH 0.0000 0.4286 0.9375 1.0000 1.0000 0.7075 0.4140 0.5714 1.0000 0.5852 0.1062 0.0001 0.3483 0.0000 1.0000 0.7075 0.4140 257-AH 0.0000 0.0000 0.1868 0.3118 0.3857 0.1810 0.1393 0.3118 0.3857 0.7699 0.0143 0.0000 0.1091 0.0000 0.3857 0.1810 0.1393 258-AH 0.0000 0.0000 0.0025 0.0057 0.1818 0.0132 0.0423 0.0057 0.1818 3.2051 0.0003 0.0000 0.0187 0.0000 0.0114 0.0033 0.0039 259-AH 0.0000 0.0050 0.0397 0.1667 1.0000 0.2293 0.3738 0.1616 1.0000 1.6302 0.0155 0.0001 0.2870 0.0000 0.1667 0.0448 0.0584 260-AH 0.1182 0.3069 0.4754 0.5000 0.7105 0.4178 0.1611 0.1931 0.5923 0.3856 0.3794 0.3311 0.1322 0.1182 0.7105 0.4178 0.1611 261-AH 0.0000 0.0000 0.0000 0.1014 0.4839 0.0957 0.1797 0.1014 0.4839 1.8776 0.0006 0.0000 0.1319 0.0000 0.1308 0.0193 0.0405 262-AH 0.0000 0.0000 0.0560 0.0710 0.5075 0.1265 0.1884 0.0710 0.5075 1.4894 0.0032 0.0000 0.1496 0.0000 0.0710 0.0303 0.0326 263-AH 0.0000 0.0000 0.0000 0.0000 0.2532 0.0263 0.0632 0.0000 0.2532 2.4035 0.0001 0.0000 0.0409 0.0000 0.0000 0.0000 0.0000 264-AH 0.0882 0.2045 0.3218 0.5625 0.9000 0.4055 0.2446 0.3580 0.8118 0.6033 0.3350 0.2711 0.2110 0.0882 0.9000 0.4055 0.2446 265-AH 0.0000 0.0968 0.1875 0.2857 0.4000 0.1876 0.1269 0.1889 0.4000 0.6768 0.0605 0.0001 0.1015 0.0000 0.4000 0.1876 0.1269 266-AH 0.0000 0.0000 0.0000 0.0096 0.2000 0.0194 0.0513 0.0096 0.2000 2.6397 0.0003 0.0000 0.0296 0.0000 0.0103 0.0028 0.0041 267-AH 0.0000 0.0662 0.0796 0.1765 0.2250 0.1064 0.0703 0.1103 0.2250 0.6609 0.0547 0.0002 0.0593 0.0000 0.2250 0.1064 0.0703 268-AH 0.0000 0.0299 0.5000 1.0000 1.0000 0.5497 0.4469 0.9701 1.0000 0.8130 0.0966 0.0001 0.4002 0.0000 1.0000 0.5497 0.4469 269-AH 0.0000 0.1212 0.1410 0.1905 0.4286 0.1750 0.1226 0.0693 0.4286 0.7010 0.0852 0.0002 0.0892 0.0727 0.2667 0.1482 0.0497 270-AH 0.0000 0.4030 0.8366 0.9200 0.9583 0.6473 0.3553 0.5170 0.9583 0.5489 0.1819 0.0001 0.3033 0.0000 0.9583 0.6473 0.3553 271-AH 0.0000 0.1471 0.3269 0.4062 0.4583 0.2689 0.1636 0.2592 0.4583 0.6087 0.0796 0.0001 0.1414 0.0000 0.4583 0.2689 0.1636 272-AH 0.0000 0.1500 0.2242 0.3333 0.3889 0.2159 0.1384 0.1833 0.3889 0.6410 0.0647 0.0001 0.1201 0.0000 0.3889 0.2159 0.1384 273-AH 0.0000 0.0435 0.4350 0.7778 0.7917 0.4496 0.3183 0.7343 0.7917 0.7079 0.0701 0.0001 0.2716 0.0000 0.7917 0.4496 0.3183 274-AH 0.0000 0.0000 0.0040 0.0272 0.4500 0.0383 0.1042 0.0272 0.4500 2.7195 0.0006 0.0000 0.0481 0.0000 0.0490 0.0141 0.0178 275-AH 0.1371 0.2174 0.3916 0.4576 0.6585 0.3752 0.1618 0.2402 0.5215 0.4313 0.3396 0.3033 0.1257 0.1371 0.6585 0.3752 0.1618 276-AH 0.0000 0.0000 0.1519 0.3200 0.6667 0.2218 0.2166 0.3200 0.6667 0.9766 0.0150 0.0000 0.1774 0.0000 0.6667 0.2218 0.2166 277-AH 0.0000 0.0604 0.0750 0.0881 0.2683 0.0943 0.0748 0.0276 0.2683 0.7935 0.0326 0.0001 0.0526 0.0307 0.1236 0.0746 0.0215 278-AH 0.0000 0.0000 0.0000 0.0174 0.1961 0.0427 0.0773 0.0174 0.1961 1.8112 0.0003 0.0000 0.0621 0.0000 0.0174 0.0028 0.0058 279-AH 0.0000 0.0108 0.0381 0.2000 1.0000 0.1818 0.2821 0.1892 1.0000 1.5513 0.0352 0.0002 0.2084 0.0000 0.4000 0.0738 0.1108 280-AH 0.0000 0.0108 0.0399 0.0893 0.1562 0.0486 0.0467 0.0784 0.1562 0.9603 0.0073 0.0000 0.0365 0.0000 0.1562 0.0486 0.0467 281-AH 0.1139 0.2881 0.3619 0.4146 0.6071 0.3633 0.1377 0.1265 0.4932 0.3791 0.3363 0.3058 0.1034 0.1139 0.5862 0.3490 0.1273 282-AH 0.0000 0.0695 0.1143 0.2063 0.3421 0.1443 0.1030 0.1368 0.3421 0.7142 0.0470 0.0001 0.0888 0.0000 0.3421 0.1443 0.1030 283-AH 0.0000 0.0304 0.0689 0.1032 0.4103 0.0877 0.0927 0.0728 0.4103 1.0566 0.0277 0.0001 0.0569 0.0000 0.1735 0.0687 0.0474 284-AH 0.0000 0.0000 0.1812 0.5667 0.5926 0.2617 0.2620 0.5667 0.5926 1.0012 0.0093 0.0000 0.2373 0.0000 0.5926 0.2617 0.2620 285-AH 0.0000 0.0000 0.1182 0.6364 0.8108 0.2993 0.3339 0.6364 0.8108 1.1156 0.0038 0.0000 0.3063 0.0000 0.8108 0.2993 0.3339 286-AH 0.0000 0.0000 0.0079 0.0145 0.0195 0.0082 0.0064 0.0145 0.0195 0.7844 0.0015 0.0000 0.0053 0.0000 0.0195 0.0082 0.0064 287-AH 0.0000 0.0000 0.4141 0.4576 0.5714 0.3174 0.2207 0.4576 0.5714 0.6954 0.0221 0.0000 0.1886 0.0000 0.5714 0.3174 0.2207 288-AH 0.0000 0.0000 0.0737 0.1549 0.2199 0.0800 0.0733 0.1549 0.2199 0.9165 0.0049 0.0000 0.0621 0.0000 0.2199 0.0800 0.0733 289-AH 0.0000 0.4444 0.6464 0.8182 0.9231 0.6138 0.2825 0.3737 0.9231 0.4603 0.1937 0.0001 0.2142 0.0000 0.9231 0.6138 0.2825 290-AH 0.0000 0.0000 0.0884 0.1786 0.3571 0.1082 0.1067 0.1786 0.3571 0.9867 0.0059 0.0000 0.0848 0.0000 0.3571 0.1082 0.1067 367 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0437 0.2367 0.8235 0.9375 0.3758 0.3803 0.7798 0.9375 1.0121 0.1153 0.0002 0.3376 0.0000 0.9375 0.3758 0.3803 292-AH 0.0000 0.1333 0.5000 0.6667 1.0000 0.4927 0.3570 0.5333 1.0000 0.7246 0.1136 0.0001 0.2904 0.0000 1.0000 0.4927 0.3570 293-AH 0.0000 0.0269 0.6087 0.6667 0.7500 0.4065 0.3210 0.6397 0.7500 0.7897 0.0354 0.0000 0.2971 0.0000 0.7500 0.4065 0.3210 294-AH 0.0000 0.0000 0.5140 0.6667 0.7222 0.3748 0.3101 0.6667 0.7222 0.8275 0.0135 0.0000 0.2847 0.0000 0.7222 0.3748 0.3101 295-AH 0.0000 0.0000 0.0000 0.1875 0.3143 0.0961 0.1302 0.1875 0.3143 1.3541 0.0005 0.0000 0.1175 0.0000 0.3143 0.0961 0.1302 296-AH 0.0000 0.3235 0.4417 0.6316 0.7368 0.4316 0.2468 0.3080 0.7368 0.5717 0.1976 0.0002 0.2080 0.0000 0.7368 0.4316 0.2468 297-AH 0.0000 0.0068 0.0347 0.2083 0.5556 0.1169 0.1555 0.2015 0.5556 1.3302 0.0099 0.0000 0.1248 0.0000 0.3571 0.0911 0.1139 298-AH 0.0000 0.0377 0.0751 0.1395 0.2453 0.0949 0.0733 0.1018 0.2453 0.7722 0.0315 0.0001 0.0597 0.0000 0.2453 0.0949 0.0733 299-AH 0.0000 0.0000 0.0839 0.1845 0.4767 0.1187 0.1346 0.1845 0.4767 1.1339 0.0037 0.0000 0.1085 0.0000 0.2783 0.0976 0.1037 300-AH 0.0000 0.0000 0.1295 0.1735 0.2157 0.1030 0.0799 0.1735 0.2157 0.7754 0.0093 0.0000 0.0716 0.0000 0.2157 0.1030 0.0799 301-AH 0.0000 0.0000 0.0000 0.5385 0.7000 0.1793 0.2813 0.5385 0.7000 1.5689 0.0009 0.0000 0.2422 0.0000 0.7000 0.1793 0.2813 302-AH 0.0000 0.3182 0.4303 0.5000 0.5833 0.3974 0.1449 0.1818 0.5833 0.3646 0.2251 0.0002 0.1106 0.2075 0.5833 0.4208 0.1089 303-AH 0.0000 0.0294 0.0593 0.1200 0.6000 0.0963 0.1331 0.0906 0.6000 1.3831 0.0403 0.0002 0.0716 0.0000 0.1395 0.0666 0.0452 304-AH 0.0000 0.0087 0.0636 0.1714 0.4000 0.1054 0.1313 0.1627 0.4000 1.2461 0.0144 0.0001 0.1053 0.0000 0.4000 0.1054 0.1313 305-AH 0.0000 0.0000 0.0828 0.2551 0.3375 0.1221 0.1338 0.2551 0.3375 1.0959 0.0015 0.0000 0.1221 0.0000 0.3375 0.1221 0.1338 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0000 0.1558 0.4875 0.0775 0.1254 0.1558 0.4875 1.6171 0.0005 0.0000 0.0948 0.0000 0.1602 0.0534 0.0747 308-AH 0.7778 1.0000 1.0000 1.0000 1.0000 0.9642 0.0825 0.0000 0.2222 0.0856 0.9605 0.9564 0.0597 1.0000 1.0000 1.0000 0.0000 309-AH 0.0090 0.0174 0.0255 0.0685 0.0980 0.0405 0.0291 0.0511 0.0891 0.7188 0.0315 0.0247 0.0246 0.0090 0.0980 0.0405 0.0291 310-AH 0.0000 0.0000 0.0000 0.0385 0.1469 0.0272 0.0493 0.0385 0.1469 1.8100 0.0001 0.0000 0.0393 0.0000 0.0929 0.0138 0.0318 311-AH 0.0284 0.0827 0.2513 0.2973 0.4583 0.2243 0.1304 0.2146 0.4299 0.5816 0.1739 0.1187 0.1067 0.0284 0.4583 0.2243 0.1304 312-AH 0.0000 0.0000 0.0522 0.5405 0.6842 0.2466 0.2897 0.5405 0.6842 1.1746 0.0032 0.0000 0.2665 0.0000 0.6842 0.2466 0.2897 313-AH 0.0000 0.0106 0.0150 0.0519 0.0899 0.0289 0.0294 0.0414 0.0899 1.0179 0.0048 0.0000 0.0246 0.0000 0.0899 0.0289 0.0294 314-AH 0.0000 0.0095 0.0178 0.0258 0.1143 0.0273 0.0312 0.0163 0.1143 1.1433 0.0045 0.0000 0.0229 0.0000 0.0258 0.0126 0.0094 315-AH 0.0000 0.0000 0.0978 0.2105 0.6000 0.1563 0.1979 0.2105 0.6000 1.2658 0.0026 0.0000 0.1533 0.0000 0.5000 0.1302 0.1690 316-AH 0.0000 0.0000 0.1038 0.1917 0.2558 0.1087 0.0915 0.1917 0.2558 0.8419 0.0095 0.0000 0.0791 0.0000 0.2558 0.1087 0.0915 317-AH 0.0000 0.0598 0.0856 0.1884 0.2791 0.1122 0.0817 0.1286 0.2791 0.7287 0.0569 0.0002 0.0666 0.0000 0.2791 0.1122 0.0817 318-AH 0.0000 0.0178 0.1250 0.2105 0.8000 0.1643 0.2011 0.1927 0.8000 1.2239 0.0529 0.0002 0.1327 0.0000 0.2609 0.1036 0.0865 319-AH 0.0000 0.1455 0.2571 0.6154 0.6667 0.3220 0.2333 0.4699 0.6667 0.7246 0.1529 0.0002 0.2021 0.0000 0.6667 0.3220 0.2333 320-AH 0.0000 0.0000 0.0111 0.0273 0.0593 0.0160 0.0181 0.0273 0.0593 1.1323 0.0011 0.0000 0.0145 0.0000 0.0593 0.0160 0.0181 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0115 0.0314 0.0630 0.0921 0.2857 0.0775 0.0703 0.0607 0.2742 0.9073 0.0562 0.0402 0.0450 0.0115 0.0952 0.0554 0.0281 323-AH 0.0000 0.0185 0.0427 0.0797 0.1304 0.0494 0.0363 0.0612 0.1304 0.7350 0.0178 0.0001 0.0294 0.0000 0.1304 0.0494 0.0363 324-AH 0.0000 0.0000 0.0718 0.3571 0.7018 0.2105 0.2667 0.3571 0.7018 1.2669 0.0074 0.0000 0.2182 0.0000 0.7018 0.2105 0.2667 325-AH 0.0000 0.0000 0.0416 0.0947 0.6923 0.1451 0.2295 0.0947 0.6923 1.5813 0.0032 0.0000 0.1808 0.0000 0.0947 0.0289 0.0343 326-AH 0.0000 0.1250 0.3095 0.5000 1.0000 0.3610 0.3287 0.3750 1.0000 0.9107 0.0952 0.0001 0.2439 0.0000 1.0000 0.3610 0.3287 327-AH 0.0000 0.0000 0.0061 0.0221 0.5000 0.0458 0.1169 0.0221 0.5000 2.5549 0.0021 0.0000 0.0616 0.0000 0.0221 0.0062 0.0075 328-AH 0.0709 0.1692 0.5487 0.7143 0.8462 0.4795 0.2833 0.5451 0.7752 0.5908 0.3728 0.2633 0.2533 0.0709 0.8462 0.4795 0.2833 329-AH 0.0897 0.5000 0.8819 1.0000 1.0000 0.7430 0.3054 0.5000 0.9103 0.4110 0.6327 0.4452 0.2521 0.0897 1.0000 0.7430 0.3054 330-AH 0.0000 0.4792 0.7333 0.8205 0.9167 0.6094 0.2804 0.3413 0.9167 0.4601 0.1916 0.0001 0.2258 0.0000 0.9167 0.6094 0.2804 331-AH 0.0000 0.1800 0.2812 0.5385 0.6471 0.3387 0.2195 0.3585 0.6471 0.6481 0.1602 0.0002 0.1914 0.0000 0.6471 0.3387 0.2195 332-AH 0.0000 0.2424 0.2500 0.4000 0.4000 0.2716 0.1197 0.1576 0.4000 0.4409 0.0948 0.0001 0.0851 0.2353 0.4000 0.3055 0.0720 333-AH 0.0099 1.0000 1.0000 1.0000 1.0000 0.8480 0.3353 0.0000 0.9901 0.3954 0.5871 0.1080 0.2364 1.0000 1.0000 1.0000 0.0000 334-AH 0.0000 0.1600 0.1818 0.2000 0.6667 0.1905 0.1347 0.0400 0.6667 0.7071 0.0660 0.0001 0.0651 0.1429 0.2308 0.1842 0.0247 335-AH 0.0000 0.0000 0.1154 0.3000 0.5455 0.1830 0.2058 0.3000 0.5455 1.1247 0.0073 0.0000 0.1654 0.0000 0.5455 0.1830 0.2058 336-AH 0.0000 0.0000 0.0333 0.1159 0.1892 0.0603 0.0677 0.1159 0.1892 1.1226 0.0034 0.0000 0.0577 0.0000 0.1892 0.0603 0.0677 337-AH 0.0649 0.8182 0.8889 0.9231 1.0000 0.8041 0.2768 0.1049 0.9351 0.3442 0.6696 0.3748 0.1643 0.8000 1.0000 0.8963 0.0723 338-AH 0.0103 0.1026 0.4222 0.8000 1.0000 0.4593 0.3594 0.6974 0.9897 0.7825 0.2549 0.0736 0.2983 0.0103 1.0000 0.4593 0.3594 339-AH 0.0000 0.1389 0.3785 0.7857 1.0000 0.4346 0.3299 0.6468 1.0000 0.7590 0.1200 0.0001 0.2803 0.0000 1.0000 0.4346 0.3299 340-AH 0.0000 0.0000 0.1639 0.2727 0.6000 0.1712 0.1650 0.2727 0.6000 0.9637 0.0127 0.0000 0.1259 0.0000 0.6000 0.1712 0.1650 368 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0234 0.5000 1.0000 1.0000 0.4808 0.4138 0.9766 1.0000 0.8606 0.0572 0.0001 0.3565 0.0000 1.0000 0.4808 0.4138 342-AH 0.1370 0.5341 0.6810 0.7595 0.9600 0.6143 0.2348 0.2254 0.8230 0.3823 0.5489 0.4563 0.1838 0.2642 0.9600 0.6715 0.1762 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.1892 0.5762 0.7273 0.7895 0.4787 0.2959 0.5381 0.7895 0.6182 0.1273 0.0001 0.2465 0.0000 0.7895 0.4787 0.2959 345-AH 0.0000 0.0062 0.0438 0.0652 0.1389 0.0426 0.0356 0.0590 0.1389 0.8364 0.0071 0.0000 0.0255 0.0000 0.1389 0.0426 0.0356 346-AH 0.0000 0.0000 0.0000 0.0667 0.1765 0.0365 0.0490 0.0667 0.1765 1.3427 0.0005 0.0000 0.0406 0.0000 0.0877 0.0283 0.0354 347-AH 0.0000 0.0088 0.0324 0.0407 0.0714 0.0281 0.0189 0.0319 0.0714 0.6734 0.0109 0.0001 0.0153 0.0000 0.0714 0.0281 0.0189 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.8056 0.3489 0.5000 1.0000 0.4331 0.2479 0.0001 0.2809 0.0000 1.0000 0.8056 0.3489 349-AH 0.0000 0.2917 0.3213 0.3889 0.4545 0.3112 0.1304 0.0972 0.4545 0.4191 0.1075 0.0001 0.0873 0.1964 0.4545 0.3501 0.0689 350-AH 0.0000 0.5556 0.7500 0.8000 1.0000 0.6608 0.3047 0.2444 1.0000 0.4611 0.2067 0.0001 0.2331 0.3750 1.0000 0.7434 0.1993 369 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.1600 1.0000 1.0000 1.0000 1.0000 0.9101 0.2618 0.0000 0.8400 0.2876 0.8308 0.6729 0.1598 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.7500 0.9545 1.0000 0.5555 0.4221 0.9545 1.0000 0.7600 0.0189 0.0000 0.3706 0.0000 1.0000 0.5555 0.4221 144-AH 0.0000 0.0000 0.0029 0.0063 0.7500 0.1450 0.2890 0.0063 0.7500 1.9935 0.0011 0.0000 0.2226 0.0000 0.0063 0.0019 0.0022 145-AH 0.0000 0.0802 0.4503 0.6786 0.8000 0.3882 0.3124 0.5984 0.8000 0.8049 0.0888 0.0001 0.2820 0.0000 0.8000 0.3882 0.3124 146-AH 0.0033 0.0143 0.3500 1.0000 1.0000 0.4222 0.4117 0.9857 0.9967 0.9753 0.1436 0.0252 0.3556 0.0033 1.0000 0.4222 0.4117 147-AH 0.0000 0.0302 0.5833 0.7222 0.8857 0.4289 0.3471 0.6921 0.8857 0.8092 0.0365 0.0000 0.3182 0.0000 0.8857 0.4289 0.3471 148-AH 0.0000 0.0000 0.0165 0.0319 0.0536 0.0180 0.0200 0.0319 0.0536 1.1114 0.0008 0.0000 0.0163 0.0000 0.0536 0.0180 0.0200 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0073 0.0156 0.0211 0.0962 0.0237 0.0272 0.0138 0.0962 1.1465 0.0055 0.0001 0.0199 0.0000 0.0211 0.0109 0.0081 151-AH 0.0000 0.0000 0.0000 0.0142 0.2609 0.0497 0.0932 0.0142 0.2609 1.8737 0.0003 0.0000 0.0740 0.0000 0.0142 0.0022 0.0045 152-AH 0.0000 0.0000 0.0493 0.1364 0.6667 0.1068 0.1625 0.1364 0.6667 1.5209 0.0043 0.0000 0.1055 0.0000 0.2609 0.0739 0.0855 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.0692 0.0917 0.1392 0.2821 0.1081 0.0753 0.0701 0.2821 0.6972 0.0382 0.0001 0.0562 0.0000 0.2115 0.0887 0.0526 155-AH 0.0000 0.0000 0.0068 0.0146 1.0000 0.1549 0.3315 0.0146 1.0000 2.1406 0.0022 0.0000 0.2336 0.0000 0.0146 0.0047 0.0048 156-AH 0.0171 0.0274 0.0393 0.0509 0.2000 0.0490 0.0420 0.0236 0.1829 0.8577 0.0396 0.0339 0.0250 0.0171 0.0797 0.0401 0.0191 157-AH 0.0000 0.3535 0.5121 0.5645 0.6034 0.4229 0.1923 0.2110 0.6034 0.4548 0.1381 0.0001 0.1486 0.1525 0.6034 0.4758 0.1229 158-AH 0.0000 0.0000 0.1868 0.2500 0.8571 0.2411 0.2658 0.2500 0.8571 1.1027 0.0143 0.0000 0.1979 0.0000 0.5667 0.1450 0.1564 159-AH 0.0000 0.0000 0.0794 0.1637 0.5490 0.1473 0.1881 0.1637 0.5490 1.2769 0.0098 0.0000 0.1339 0.0000 0.1728 0.0697 0.0652 160-AH 0.0000 0.0023 0.0528 0.1667 1.0000 0.1987 0.3164 0.1643 1.0000 1.5925 0.0233 0.0001 0.2173 0.0000 0.2500 0.0717 0.0778 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.2241 0.4959 0.7547 0.8841 0.9118 0.6818 0.2189 0.3881 0.6876 0.3211 0.6401 0.5882 0.1888 0.2241 0.9118 0.6818 0.2189 164-AH 0.0000 0.0000 0.0076 0.0639 0.2586 0.0472 0.0705 0.0639 0.2586 1.4935 0.0008 0.0000 0.0540 0.0000 0.1333 0.0348 0.0483 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0545 0.1938 0.2308 0.4286 0.1778 0.1343 0.1762 0.4286 0.7555 0.0531 0.0001 0.1074 0.0000 0.4286 0.1778 0.1343 168-AH 0.0000 0.4000 0.4914 0.5294 0.7692 0.4234 0.2328 0.1294 0.7692 0.5498 0.1249 0.0001 0.1762 0.4000 0.7143 0.5170 0.0780 169-AH 0.0000 0.0091 0.0327 0.0625 0.1875 0.0438 0.0498 0.0534 0.1875 1.1383 0.0125 0.0001 0.0355 0.0000 0.1304 0.0353 0.0357 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0000 0.0400 0.0471 0.0621 0.0746 0.0457 0.0203 0.0221 0.0746 0.4444 0.0194 0.0001 0.0143 0.0353 0.0746 0.0514 0.0124 172-AH 0.0000 0.0000 0.0299 0.0784 0.1163 0.0438 0.0480 0.0784 0.1163 1.0971 0.0009 0.0000 0.0438 0.0000 0.1163 0.0438 0.0480 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.5714 0.7143 0.8000 1.0000 0.6690 0.2730 0.2286 1.0000 0.4080 0.2134 0.0001 0.1815 0.5714 1.0000 0.7527 0.1316 176-AH 0.0200 0.8333 0.9111 0.9565 1.0000 0.8158 0.2870 0.1232 0.9800 0.3518 0.6362 0.2171 0.1718 0.8333 1.0000 0.9124 0.0600 177-AH 0.0405 0.2000 0.3043 0.3684 0.5385 0.2818 0.1404 0.1684 0.4980 0.4983 0.2355 0.1749 0.1121 0.0405 0.5385 0.2818 0.1404 178-AH 0.0000 0.0000 0.0044 0.0208 0.5000 0.0434 0.1198 0.0208 0.5000 2.7594 0.0007 0.0000 0.0642 0.0000 0.0211 0.0049 0.0073 179-AH 0.0000 0.0381 0.1926 0.2391 0.9231 0.2393 0.2687 0.2011 0.9231 1.1231 0.0242 0.0000 0.1788 0.0000 0.5000 0.1586 0.1385 180-AH 0.0000 0.0000 0.0144 0.3175 0.6364 0.1397 0.2018 0.3175 0.6364 1.4444 0.0013 0.0000 0.1712 0.0000 0.6364 0.1397 0.2018 181-AH 0.2396 0.6765 0.8190 0.8500 0.9020 0.7341 0.1902 0.1735 0.6624 0.2591 0.7002 0.6506 0.1471 0.4513 0.9020 0.7861 0.1192 182-AH 0.0034 0.0513 0.1292 0.5000 0.7500 0.2632 0.2909 0.4487 0.7466 1.1051 0.1140 0.0273 0.2426 0.0034 0.7500 0.2632 0.2909 183-AH 0.0020 0.0233 0.1678 0.4000 0.6667 0.2089 0.1975 0.3767 0.6647 0.9455 0.0857 0.0155 0.1592 0.0020 0.6667 0.2089 0.1975 184-AH 0.0000 0.0000 0.0842 0.2941 0.7143 0.1902 0.2301 0.2941 0.7143 1.2097 0.0113 0.0000 0.1864 0.0000 0.7143 0.1902 0.2301 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.3333 0.8750 1.0000 1.0000 1.0000 0.9213 0.1720 0.1250 0.6667 0.1867 0.8972 0.8577 0.1137 0.8333 1.0000 0.9740 0.0567 190-AH 0.0000 0.0329 0.1831 0.7143 0.8333 0.3413 0.3483 0.6814 0.8333 1.0206 0.0413 0.0001 0.3171 0.0000 0.8333 0.3413 0.3483 370 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0114 0.5357 0.7500 1.0000 0.4454 0.3899 0.7386 1.0000 0.8755 0.0651 0.0001 0.3520 0.0000 1.0000 0.4454 0.3899 193-AH 0.0000 0.0702 0.1056 0.1429 0.5000 0.1210 0.1132 0.0727 0.5000 0.9356 0.0255 0.0001 0.0703 0.0000 0.2105 0.0987 0.0641 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.4643 0.8258 1.0000 1.0000 0.6931 0.3306 0.5357 1.0000 0.4770 0.3335 0.0002 0.2762 0.0000 1.0000 0.6931 0.3306 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1129 0.5000 0.6307 0.7273 0.7500 0.5732 0.1926 0.2273 0.6371 0.3360 0.5219 0.4378 0.1476 0.1818 0.7500 0.6003 0.1594 200-AH 0.0086 0.0186 0.2452 0.7143 0.8333 0.3356 0.3195 0.6957 0.8247 0.9518 0.1384 0.0404 0.2813 0.0086 0.8333 0.3356 0.3195 251-AH 0.0000 0.1976 0.2968 0.4648 0.5789 0.3204 0.1722 0.2672 0.5789 0.5376 0.1690 0.0002 0.1394 0.0000 0.5789 0.3204 0.1722 252-AH 0.0000 0.1096 0.1908 0.3208 0.4324 0.2051 0.1429 0.2112 0.4324 0.6968 0.0407 0.0001 0.1257 0.0000 0.4324 0.2051 0.1429 253-AH 0.0000 0.0000 0.1145 0.2176 0.4750 0.1418 0.1572 0.2176 0.4750 1.1089 0.0026 0.0000 0.1321 0.0000 0.4750 0.1418 0.1572 254-AH 0.0000 0.1420 0.1757 0.2105 0.2650 0.1597 0.0829 0.0685 0.2650 0.5190 0.0364 0.0001 0.0595 0.1404 0.2650 0.1916 0.0422 255-AH 0.0000 0.1818 0.3929 0.6667 1.0000 0.4639 0.3459 0.4848 1.0000 0.7456 0.1280 0.0001 0.3046 0.0000 1.0000 0.4639 0.3459 256-AH 0.0000 0.4286 0.9250 1.0000 1.0000 0.6970 0.4151 0.5714 1.0000 0.5955 0.0697 0.0000 0.3541 0.0000 1.0000 0.6970 0.4151 257-AH 0.0000 0.0000 0.1364 0.2000 0.3077 0.1237 0.1001 0.2000 0.3077 0.8093 0.0106 0.0000 0.0788 0.0000 0.3077 0.1237 0.1001 258-AH 0.0000 0.0000 0.0025 0.0057 0.1818 0.0132 0.0423 0.0057 0.1818 3.2051 0.0003 0.0000 0.0187 0.0000 0.0114 0.0033 0.0039 259-AH 0.0000 0.0050 0.0397 0.1667 1.0000 0.2293 0.3738 0.1616 1.0000 1.6302 0.0155 0.0001 0.2870 0.0000 0.1667 0.0448 0.0584 260-AH 0.1159 0.2773 0.3838 0.4533 0.6038 0.3559 0.1436 0.1760 0.4879 0.4036 0.3234 0.2866 0.1140 0.1159 0.6038 0.3559 0.1436 261-AH 0.0000 0.0000 0.0000 0.0406 0.1700 0.0322 0.0617 0.0406 0.1700 1.9165 0.0001 0.0000 0.0465 0.0000 0.0540 0.0063 0.0168 262-AH 0.0000 0.0000 0.0235 0.0606 0.4175 0.0893 0.1377 0.0606 0.4175 1.5423 0.0011 0.0000 0.1069 0.0000 0.0606 0.0206 0.0288 263-AH 0.0000 0.0000 0.0000 0.0000 0.2202 0.0229 0.0550 0.0000 0.2202 2.4024 0.0001 0.0000 0.0356 0.0000 0.0000 0.0000 0.0000 264-AH 0.0797 0.1591 0.1965 0.3235 0.8462 0.2542 0.1733 0.1644 0.7664 0.6819 0.2182 0.1925 0.1151 0.0797 0.4231 0.2194 0.0934 265-AH 0.0000 0.0968 0.1875 0.2857 0.4000 0.1876 0.1269 0.1889 0.4000 0.6768 0.0605 0.0001 0.1015 0.0000 0.4000 0.1876 0.1269 266-AH 0.0000 0.0000 0.0000 0.0096 0.2000 0.0194 0.0513 0.0096 0.2000 2.6397 0.0003 0.0000 0.0296 0.0000 0.0103 0.0028 0.0041 267-AH 0.0000 0.0192 0.0780 0.1038 0.1410 0.0641 0.0493 0.0845 0.1410 0.7687 0.0143 0.0001 0.0448 0.0000 0.1410 0.0641 0.0493 268-AH 0.0000 0.0299 0.5000 1.0000 1.0000 0.5497 0.4469 0.9701 1.0000 0.8130 0.0966 0.0001 0.4002 0.0000 1.0000 0.5497 0.4469 269-AH 0.0000 0.0575 0.0950 0.1724 0.4286 0.1378 0.1325 0.1149 0.4286 0.9612 0.0567 0.0002 0.0981 0.0000 0.1852 0.0855 0.0604 270-AH 0.0000 0.1856 0.4422 0.7143 0.7632 0.4296 0.2926 0.5287 0.7632 0.6812 0.0755 0.0001 0.2611 0.0000 0.7632 0.4296 0.2926 271-AH 0.0000 0.0876 0.3049 0.3611 0.4062 0.2367 0.1508 0.2735 0.4062 0.6371 0.0692 0.0001 0.1350 0.0000 0.4062 0.2367 0.1508 272-AH 0.0000 0.1167 0.2083 0.3333 0.3889 0.2063 0.1435 0.2167 0.3889 0.6954 0.0593 0.0001 0.1296 0.0000 0.3889 0.2063 0.1435 273-AH 0.0000 0.0000 0.2902 0.7241 0.7500 0.3686 0.3120 0.7241 0.7500 0.8464 0.0228 0.0000 0.2798 0.0000 0.7500 0.3686 0.3120 274-AH 0.0000 0.0000 0.0000 0.0247 0.4500 0.0357 0.1043 0.0247 0.4500 2.9252 0.0004 0.0000 0.0462 0.0000 0.0362 0.0113 0.0144 275-AH 0.1156 0.1908 0.3743 0.4459 0.6182 0.3425 0.1486 0.2552 0.5025 0.4338 0.3087 0.2738 0.1209 0.1156 0.6182 0.3425 0.1486 276-AH 0.0000 0.0000 0.1129 0.2752 0.5263 0.1734 0.1906 0.2752 0.5263 1.0991 0.0119 0.0000 0.1544 0.0000 0.5263 0.1734 0.1906 277-AH 0.0000 0.0000 0.0428 0.0578 0.1970 0.0456 0.0487 0.0578 0.1970 1.0665 0.0033 0.0000 0.0333 0.0000 0.0881 0.0367 0.0316 278-AH 0.0000 0.0000 0.0000 0.0162 0.1692 0.0262 0.0530 0.0162 0.1692 2.0230 0.0001 0.0000 0.0390 0.0000 0.0162 0.0012 0.0043 279-AH 0.0000 0.0108 0.0381 0.2000 1.0000 0.1818 0.2821 0.1892 1.0000 1.5513 0.0352 0.0002 0.2084 0.0000 0.4000 0.0738 0.1108 280-AH 0.0000 0.0000 0.0355 0.0667 0.0850 0.0350 0.0304 0.0667 0.0850 0.8683 0.0029 0.0000 0.0237 0.0000 0.0850 0.0350 0.0304 281-AH 0.0643 0.2376 0.2808 0.3860 0.5122 0.3034 0.1318 0.1483 0.4479 0.4343 0.2691 0.2259 0.1085 0.0643 0.5122 0.3034 0.1318 282-AH 0.0000 0.0435 0.0744 0.1231 0.2286 0.0895 0.0653 0.0796 0.2286 0.7295 0.0310 0.0001 0.0529 0.0000 0.2286 0.0895 0.0653 283-AH 0.0000 0.0257 0.0522 0.0754 0.2405 0.0578 0.0535 0.0497 0.2405 0.9246 0.0205 0.0001 0.0326 0.0000 0.1092 0.0471 0.0288 284-AH 0.0000 0.0000 0.1485 0.4872 0.5758 0.2380 0.2432 0.4872 0.5758 1.0220 0.0058 0.0000 0.2204 0.0000 0.5758 0.2380 0.2432 285-AH 0.0000 0.0000 0.0882 0.5738 0.7708 0.2630 0.3049 0.5738 0.7708 1.1595 0.0035 0.0000 0.2726 0.0000 0.7708 0.2630 0.3049 286-AH 0.0000 0.0000 0.0000 0.0069 0.0189 0.0046 0.0066 0.0069 0.0189 1.4491 0.0002 0.0000 0.0056 0.0000 0.0152 0.0037 0.0058 287-AH 0.0000 0.0000 0.3836 0.4576 0.5600 0.3020 0.2100 0.4576 0.5600 0.6954 0.0213 0.0000 0.1794 0.0000 0.5600 0.3020 0.2100 288-AH 0.0000 0.0000 0.0593 0.0990 0.1674 0.0556 0.0566 0.0990 0.1674 1.0169 0.0016 0.0000 0.0507 0.0000 0.1674 0.0556 0.0566 289-AH 0.0000 0.4000 0.6464 0.8182 0.9231 0.5986 0.2827 0.4182 0.9231 0.4723 0.1881 0.0001 0.2175 0.0000 0.9231 0.5986 0.2827 290-AH 0.0000 0.0000 0.0882 0.1046 0.2857 0.0919 0.0885 0.1046 0.2857 0.9632 0.0053 0.0000 0.0662 0.0000 0.2500 0.0805 0.0764 371 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0433 0.1951 0.7895 0.9375 0.3610 0.3805 0.7462 0.9375 1.0541 0.1067 0.0002 0.3399 0.0000 0.9375 0.3610 0.3805 292-AH 0.0000 0.1333 0.5000 0.6667 1.0000 0.4927 0.3570 0.5333 1.0000 0.7246 0.1136 0.0001 0.2904 0.0000 1.0000 0.4927 0.3570 293-AH 0.0000 0.0206 0.5806 0.6176 0.7500 0.3720 0.2991 0.5971 0.7500 0.8042 0.0325 0.0000 0.2785 0.0000 0.7500 0.3720 0.2991 294-AH 0.0000 0.0000 0.5140 0.6667 0.7143 0.3736 0.3104 0.6667 0.7143 0.8309 0.0133 0.0000 0.2853 0.0000 0.7143 0.3736 0.3104 295-AH 0.0000 0.0000 0.0000 0.1097 0.2755 0.0710 0.1053 0.1097 0.2755 1.4840 0.0004 0.0000 0.0868 0.0000 0.1354 0.0301 0.0521 296-AH 0.0000 0.1263 0.3837 0.6000 0.7368 0.3834 0.2531 0.4737 0.7368 0.6602 0.1126 0.0001 0.2189 0.0000 0.7368 0.3834 0.2531 297-AH 0.0000 0.0000 0.0249 0.1200 0.2308 0.0601 0.0774 0.1200 0.2308 1.2876 0.0030 0.0000 0.0654 0.0000 0.2308 0.0601 0.0774 298-AH 0.0000 0.0313 0.0565 0.0798 0.2174 0.0654 0.0576 0.0485 0.2174 0.8805 0.0151 0.0001 0.0406 0.0000 0.1210 0.0492 0.0342 299-AH 0.0000 0.0000 0.0490 0.1583 0.4767 0.1012 0.1287 0.1583 0.4767 1.2723 0.0014 0.0000 0.1015 0.0000 0.2222 0.0791 0.0910 300-AH 0.0000 0.0000 0.0945 0.1615 0.2157 0.0931 0.0736 0.1615 0.2157 0.7911 0.0086 0.0000 0.0640 0.0000 0.2157 0.0931 0.0736 301-AH 0.0000 0.0000 0.0000 0.5000 0.6923 0.1710 0.2747 0.5000 0.6923 1.6064 0.0008 0.0000 0.2365 0.0000 0.6923 0.1710 0.2747 302-AH 0.0000 0.2903 0.3274 0.4286 0.5263 0.3388 0.1240 0.1382 0.5263 0.3660 0.1944 0.0002 0.0881 0.2075 0.5263 0.3587 0.0935 303-AH 0.0000 0.0224 0.0411 0.0964 0.4118 0.0733 0.0930 0.0739 0.4118 1.2690 0.0317 0.0002 0.0562 0.0000 0.1373 0.0534 0.0402 304-AH 0.0000 0.0000 0.0191 0.1067 0.3333 0.0828 0.1245 0.1067 0.3333 1.5026 0.0047 0.0000 0.1004 0.0000 0.2500 0.0353 0.0655 305-AH 0.0000 0.0000 0.0742 0.1845 0.2562 0.0987 0.1057 0.1845 0.2562 1.0711 0.0014 0.0000 0.0987 0.0000 0.2562 0.0987 0.1057 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0000 0.0872 0.4875 0.0620 0.1180 0.0872 0.4875 1.9030 0.0004 0.0000 0.0758 0.0000 0.1439 0.0370 0.0532 308-AH 0.6667 0.7778 0.9286 1.0000 1.0000 0.8863 0.1264 0.2222 0.3333 0.1426 0.8773 0.8680 0.1137 0.6667 1.0000 0.8863 0.1264 309-AH 0.0000 0.0115 0.0218 0.0459 0.0980 0.0335 0.0287 0.0344 0.0980 0.8564 0.0170 0.0002 0.0233 0.0000 0.0794 0.0297 0.0245 310-AH 0.0000 0.0000 0.0000 0.0000 0.0870 0.0153 0.0304 0.0000 0.0870 1.9867 0.0001 0.0000 0.0238 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0722 0.1995 0.2569 0.4219 0.1885 0.1192 0.1847 0.4219 0.6320 0.0961 0.0002 0.0942 0.0000 0.4219 0.1885 0.1192 312-AH 0.0000 0.0000 0.0476 0.5405 0.6176 0.2289 0.2721 0.5405 0.6176 1.1886 0.0030 0.0000 0.2542 0.0000 0.6176 0.2289 0.2721 313-AH 0.0000 0.0000 0.0118 0.0340 0.0387 0.0161 0.0154 0.0340 0.0387 0.9527 0.0016 0.0000 0.0133 0.0000 0.0387 0.0161 0.0154 314-AH 0.0000 0.0000 0.0156 0.0192 0.1136 0.0252 0.0319 0.0192 0.1136 1.2688 0.0028 0.0000 0.0238 0.0000 0.0192 0.0099 0.0081 315-AH 0.0000 0.0000 0.0000 0.0000 0.4918 0.0784 0.1666 0.0000 0.4918 2.1241 0.0001 0.0000 0.1220 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0801 0.1917 0.2390 0.0959 0.0922 0.1917 0.2390 0.9615 0.0035 0.0000 0.0813 0.0000 0.2390 0.0959 0.0922 317-AH 0.0000 0.0410 0.0668 0.1765 0.2353 0.0889 0.0729 0.1355 0.2353 0.8205 0.0195 0.0001 0.0593 0.0000 0.2353 0.0889 0.0729 318-AH 0.0000 0.0136 0.1206 0.1471 0.3571 0.1137 0.1047 0.1335 0.3571 0.9207 0.0298 0.0001 0.0808 0.0000 0.2778 0.0994 0.0879 319-AH 0.0000 0.0901 0.1887 0.3333 0.6250 0.2318 0.1811 0.2432 0.6250 0.7815 0.1082 0.0002 0.1447 0.0000 0.6250 0.2318 0.1811 320-AH 0.0000 0.0000 0.0000 0.0273 0.0464 0.0128 0.0167 0.0273 0.0464 1.3087 0.0003 0.0000 0.0142 0.0000 0.0464 0.0128 0.0167 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0102 0.0221 0.0630 0.0921 0.1489 0.0615 0.0379 0.0700 0.1387 0.6168 0.0483 0.0349 0.0292 0.0102 0.1489 0.0615 0.0379 323-AH 0.0000 0.0000 0.0223 0.0491 0.1304 0.0324 0.0330 0.0491 0.1304 1.0169 0.0038 0.0000 0.0248 0.0000 0.0696 0.0266 0.0228 324-AH 0.0000 0.0000 0.0425 0.1551 0.7018 0.1767 0.2698 0.1551 0.7018 1.5268 0.0036 0.0000 0.2149 0.0000 0.1551 0.0385 0.0495 325-AH 0.0000 0.0000 0.0415 0.0749 0.5965 0.1313 0.2077 0.0749 0.5965 1.5819 0.0030 0.0000 0.1642 0.0000 0.0749 0.0257 0.0287 326-AH 0.0000 0.1250 0.3095 0.5000 1.0000 0.3610 0.3287 0.3750 1.0000 0.9107 0.0952 0.0001 0.2439 0.0000 1.0000 0.3610 0.3287 327-AH 0.0000 0.0000 0.0061 0.0221 0.5000 0.0458 0.1169 0.0221 0.5000 2.5549 0.0021 0.0000 0.0616 0.0000 0.0221 0.0062 0.0075 328-AH 0.0486 0.1463 0.5000 0.6500 0.8125 0.4317 0.2836 0.5037 0.7639 0.6568 0.3053 0.1826 0.2515 0.0486 0.8125 0.4317 0.2836 329-AH 0.0186 0.5000 0.6923 0.9000 1.0000 0.6352 0.2829 0.4000 0.9814 0.4453 0.4993 0.2048 0.2208 0.0186 1.0000 0.6352 0.2829 330-AH 0.0000 0.3614 0.7222 0.8000 0.8378 0.5828 0.2812 0.4386 0.8378 0.4826 0.1818 0.0001 0.2349 0.0000 0.8378 0.5828 0.2812 331-AH 0.0000 0.1406 0.2628 0.4444 0.6471 0.2953 0.1959 0.3038 0.6471 0.6634 0.1401 0.0002 0.1681 0.0000 0.6471 0.2953 0.1959 332-AH 0.0000 0.2424 0.2500 0.4000 0.4000 0.2716 0.1197 0.1576 0.4000 0.4409 0.0948 0.0001 0.0851 0.2353 0.4000 0.3055 0.0720 333-AH 0.0099 0.8333 1.0000 1.0000 1.0000 0.8161 0.3486 0.1667 0.9901 0.4272 0.5469 0.0938 0.2675 0.8333 1.0000 0.9881 0.0445 334-AH 0.0000 0.1364 0.1538 0.2000 0.2308 0.1395 0.0717 0.0636 0.2308 0.5142 0.0491 0.0001 0.0537 0.0513 0.2308 0.1655 0.0434 335-AH 0.0000 0.0000 0.0769 0.2424 0.5000 0.1470 0.1682 0.2424 0.5000 1.1440 0.0061 0.0000 0.1383 0.0000 0.5000 0.1470 0.1682 336-AH 0.0000 0.0000 0.0333 0.0687 0.1579 0.0405 0.0438 0.0687 0.1579 1.0831 0.0028 0.0000 0.0350 0.0000 0.1579 0.0405 0.0438 337-AH 0.0649 0.7647 0.8333 0.9231 1.0000 0.7606 0.2674 0.1584 0.9351 0.3516 0.6352 0.3651 0.1655 0.7059 1.0000 0.8474 0.0933 338-AH 0.0000 0.0877 0.2390 0.6250 1.0000 0.3790 0.3490 0.5373 1.0000 0.9211 0.1240 0.0002 0.2909 0.0000 1.0000 0.3790 0.3490 339-AH 0.0000 0.1389 0.3646 0.7143 1.0000 0.4213 0.3205 0.5754 1.0000 0.7607 0.1172 0.0001 0.2696 0.0000 1.0000 0.4213 0.3205 340-AH 0.0000 0.0000 0.1569 0.2632 0.6000 0.1580 0.1541 0.2632 0.6000 0.9750 0.0121 0.0000 0.1127 0.0000 0.6000 0.1580 0.1541 372 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0234 0.5000 1.0000 1.0000 0.4808 0.4138 0.9766 1.0000 0.8606 0.0572 0.0001 0.3565 0.0000 1.0000 0.4808 0.4138 342-AH 0.1370 0.5263 0.6194 0.7013 0.9600 0.5823 0.2215 0.1750 0.8230 0.3803 0.5236 0.4415 0.1641 0.2642 0.9600 0.6357 0.1680 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.1892 0.4487 0.6296 0.7308 0.4043 0.2506 0.4404 0.7308 0.6198 0.1099 0.0001 0.1979 0.0000 0.7308 0.4043 0.2506 345-AH 0.0000 0.0000 0.0436 0.0652 0.1389 0.0417 0.0356 0.0652 0.1389 0.8540 0.0049 0.0000 0.0255 0.0000 0.1389 0.0417 0.0356 346-AH 0.0000 0.0000 0.0000 0.0667 0.1765 0.0358 0.0486 0.0667 0.1765 1.3565 0.0005 0.0000 0.0398 0.0000 0.0822 0.0275 0.0346 347-AH 0.0000 0.0073 0.0273 0.0397 0.0714 0.0260 0.0188 0.0324 0.0714 0.7220 0.0099 0.0001 0.0150 0.0000 0.0714 0.0260 0.0188 348-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.8056 0.3489 0.5000 1.0000 0.4331 0.2479 0.0001 0.2809 0.0000 1.0000 0.8056 0.3489 349-AH 0.0000 0.2800 0.3137 0.3659 0.4545 0.2890 0.1224 0.0859 0.4545 0.4235 0.1004 0.0001 0.0840 0.1667 0.4545 0.3251 0.0667 350-AH 0.0000 0.5000 0.5903 0.7500 1.0000 0.5983 0.2868 0.2500 1.0000 0.4793 0.1889 0.0001 0.2073 0.3750 1.0000 0.6731 0.1988 373 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.0575 1.0000 1.0000 1.0000 1.0000 0.8987 0.2950 0.0000 0.9425 0.3283 0.7581 0.4306 0.1801 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.7426 0.8387 1.0000 0.5245 0.3988 0.8387 1.0000 0.7605 0.0182 0.0000 0.3499 0.0000 1.0000 0.5245 0.3988 144-AH 0.0000 0.0000 0.0029 0.0063 0.7500 0.1450 0.2890 0.0063 0.7500 1.9935 0.0011 0.0000 0.2226 0.0000 0.0063 0.0019 0.0022 145-AH 0.0000 0.0443 0.2968 0.5610 0.7931 0.3080 0.2880 0.5166 0.7931 0.9351 0.0416 0.0001 0.2659 0.0000 0.7931 0.3080 0.2880 146-AH 0.0000 0.0000 0.0000 0.0043 0.0120 0.0024 0.0036 0.0043 0.0120 1.5108 0.0001 0.0000 0.0029 0.0000 0.0077 0.0018 0.0027 147-AH 0.0000 0.0000 0.4788 0.5517 0.8857 0.3658 0.3087 0.5517 0.8857 0.8438 0.0208 0.0000 0.2741 0.0000 0.8857 0.3658 0.3087 148-AH 0.0000 0.0000 0.0021 0.0199 0.0513 0.0140 0.0185 0.0199 0.0513 1.3172 0.0005 0.0000 0.0151 0.0000 0.0421 0.0094 0.0135 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0108 0.0211 0.0741 0.0178 0.0231 0.0211 0.0741 1.2984 0.0011 0.0000 0.0175 0.0000 0.0377 0.0088 0.0109 151-AH 0.0000 0.0000 0.0000 0.0103 0.1538 0.0291 0.0554 0.0103 0.1538 1.9057 0.0001 0.0000 0.0441 0.0000 0.0103 0.0007 0.0028 152-AH 0.0000 0.0000 0.0276 0.1167 0.3043 0.0752 0.0930 0.1167 0.3043 1.2366 0.0025 0.0000 0.0761 0.0000 0.2188 0.0618 0.0757 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.0504 0.0631 0.1261 0.2453 0.0854 0.0629 0.0758 0.2453 0.7366 0.0303 0.0001 0.0490 0.0000 0.1667 0.0759 0.0501 155-AH 0.0000 0.0000 0.0068 0.0146 1.0000 0.1549 0.3315 0.0146 1.0000 2.1406 0.0022 0.0000 0.2336 0.0000 0.0146 0.0047 0.0048 156-AH 0.0000 0.0196 0.0315 0.0473 0.1284 0.0350 0.0295 0.0277 0.1284 0.8440 0.0093 0.0001 0.0200 0.0000 0.0612 0.0295 0.0187 157-AH 0.0000 0.3043 0.4523 0.4916 0.5584 0.3732 0.1761 0.1873 0.5584 0.4720 0.1211 0.0001 0.1345 0.0862 0.5584 0.4198 0.1194 158-AH 0.0000 0.0000 0.1230 0.1810 0.8400 0.1970 0.2477 0.1810 0.8400 1.2574 0.0079 0.0000 0.1831 0.0000 0.3962 0.1004 0.1086 159-AH 0.0000 0.0000 0.0613 0.1417 0.5000 0.1305 0.1736 0.1417 0.5000 1.3309 0.0056 0.0000 0.1241 0.0000 0.1594 0.0590 0.0612 160-AH 0.0000 0.0000 0.0158 0.0476 0.1333 0.0332 0.0419 0.0476 0.1333 1.2634 0.0029 0.0000 0.0324 0.0000 0.1111 0.0273 0.0346 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.2216 0.3628 0.6395 0.8242 0.8706 0.6065 0.2268 0.4614 0.6490 0.3739 0.5580 0.5034 0.1937 0.2216 0.8706 0.6065 0.2268 164-AH 0.0000 0.0000 0.0000 0.0639 0.2568 0.0403 0.0650 0.0639 0.2568 1.6124 0.0005 0.0000 0.0472 0.0000 0.0960 0.0276 0.0373 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0545 0.1938 0.2308 0.4286 0.1778 0.1343 0.1762 0.4286 0.7555 0.0531 0.0001 0.1074 0.0000 0.4286 0.1778 0.1343 168-AH 0.0000 0.3548 0.4001 0.4828 0.6875 0.3692 0.2016 0.1279 0.6875 0.5462 0.1120 0.0001 0.1511 0.3548 0.5600 0.4482 0.0656 169-AH 0.0000 0.0050 0.0274 0.0460 0.1143 0.0347 0.0377 0.0410 0.1143 1.0861 0.0093 0.0001 0.0295 0.0000 0.0851 0.0248 0.0258 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0000 0.0265 0.0358 0.0486 0.0686 0.0368 0.0191 0.0221 0.0686 0.5190 0.0156 0.0001 0.0150 0.0000 0.0686 0.0368 0.0191 172-AH 0.0000 0.0000 0.0142 0.0602 0.1163 0.0328 0.0391 0.0602 0.1163 1.1936 0.0008 0.0000 0.0333 0.0000 0.1163 0.0328 0.0391 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.4167 0.7143 0.7143 0.8571 0.5830 0.2508 0.2976 0.8571 0.4301 0.1870 0.0001 0.1922 0.0000 0.8571 0.5830 0.2508 176-AH 0.0000 0.6857 0.7313 0.9231 1.0000 0.7217 0.2900 0.2374 1.0000 0.4019 0.2287 0.0001 0.1908 0.6316 1.0000 0.8119 0.1312 177-AH 0.0335 0.1231 0.1909 0.2500 0.3333 0.1805 0.0799 0.1269 0.2998 0.4423 0.1589 0.1308 0.0646 0.0335 0.3333 0.1805 0.0799 178-AH 0.0000 0.0000 0.0000 0.0000 0.2308 0.0139 0.0542 0.0000 0.2308 3.8880 0.0000 0.0000 0.0241 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0281 0.1109 0.1458 0.7500 0.1459 0.1878 0.1177 0.7500 1.2874 0.0163 0.0000 0.1149 0.0000 0.1972 0.0870 0.0659 180-AH 0.0000 0.0000 0.0140 0.1667 0.5682 0.1070 0.1719 0.1667 0.5682 1.6064 0.0011 0.0000 0.1349 0.0000 0.4030 0.0799 0.1317 181-AH 0.1364 0.6095 0.7386 0.8235 0.8485 0.6759 0.2028 0.2140 0.7120 0.3000 0.6278 0.5442 0.1545 0.3554 0.8485 0.7076 0.1563 182-AH 0.0000 0.0283 0.0953 0.3000 0.7500 0.2354 0.2935 0.2717 0.7500 1.2472 0.0598 0.0002 0.2375 0.0000 0.3000 0.0883 0.0889 183-AH 0.0000 0.0233 0.1231 0.2727 0.6000 0.1701 0.1716 0.2495 0.6000 1.0087 0.0533 0.0002 0.1377 0.0000 0.6000 0.1701 0.1716 184-AH 0.0000 0.0000 0.0440 0.1395 0.6667 0.1438 0.2107 0.1395 0.6667 1.4659 0.0078 0.0000 0.1640 0.0000 0.1395 0.0383 0.0420 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.3125 0.3846 0.7292 0.8750 1.0000 0.6749 0.2733 0.4904 0.6875 0.4050 0.6161 0.5569 0.2471 0.3125 1.0000 0.6749 0.2733 190-AH 0.0000 0.0163 0.0589 0.2857 0.6667 0.1669 0.2264 0.2695 0.6667 1.3563 0.0212 0.0001 0.1782 0.0000 0.6667 0.1669 0.2264 374 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0087 0.2277 0.6667 1.0000 0.3457 0.3618 0.6580 1.0000 1.0465 0.0306 0.0001 0.3257 0.0000 1.0000 0.3457 0.3618 193-AH 0.0000 0.0073 0.0185 0.1000 0.5000 0.0688 0.1189 0.0927 0.5000 1.7283 0.0090 0.0001 0.0740 0.0000 0.1613 0.0434 0.0521 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.3896 0.5907 0.9677 1.0000 0.6197 0.3300 0.5781 1.0000 0.5325 0.1898 0.0001 0.2678 0.0000 1.0000 0.6197 0.3300 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1129 0.4444 0.6154 0.7273 0.7500 0.5540 0.1931 0.2828 0.6371 0.3486 0.5039 0.4255 0.1530 0.1129 0.7500 0.5540 0.1931 200-AH 0.0065 0.0186 0.0708 0.2857 0.7778 0.2142 0.2775 0.2671 0.7713 1.2957 0.0799 0.0295 0.2111 0.0065 0.3158 0.1015 0.1089 251-AH 0.0000 0.0863 0.1473 0.2440 0.4643 0.1841 0.1293 0.1578 0.4643 0.7022 0.0935 0.0002 0.1028 0.0000 0.4643 0.1841 0.1293 252-AH 0.0000 0.0796 0.1799 0.2750 0.3958 0.1798 0.1270 0.1954 0.3958 0.7063 0.0363 0.0001 0.1081 0.0000 0.3958 0.1798 0.1270 253-AH 0.0000 0.0000 0.0000 0.1891 0.3631 0.0960 0.1344 0.1891 0.3631 1.4002 0.0005 0.0000 0.1173 0.0000 0.3631 0.0960 0.1344 254-AH 0.0000 0.0000 0.1631 0.1906 0.2404 0.1164 0.0987 0.1906 0.2404 0.8487 0.0041 0.0000 0.0905 0.0000 0.2404 0.1164 0.0987 255-AH 0.0000 0.0930 0.1786 0.3333 0.7500 0.2534 0.2374 0.2403 0.7500 0.9366 0.0649 0.0001 0.1881 0.0000 0.5000 0.1914 0.1639 256-AH 0.0000 0.0000 0.8304 1.0000 1.0000 0.6383 0.4300 1.0000 1.0000 0.6736 0.0368 0.0000 0.3779 0.0000 1.0000 0.6383 0.4300 257-AH 0.0000 0.0000 0.1027 0.1836 0.2657 0.1016 0.0904 0.1836 0.2657 0.8902 0.0058 0.0000 0.0708 0.0000 0.2657 0.1016 0.0904 258-AH 0.0000 0.0000 0.0000 0.0031 0.0057 0.0014 0.0024 0.0031 0.0057 1.7042 0.0001 0.0000 0.0021 0.0000 0.0057 0.0014 0.0024 259-AH 0.0000 0.0050 0.0397 0.1667 1.0000 0.2293 0.3738 0.1616 1.0000 1.6302 0.0155 0.0001 0.2870 0.0000 0.1667 0.0448 0.0584 260-AH 0.1003 0.1979 0.3574 0.3918 0.5938 0.3141 0.1386 0.1938 0.4935 0.4413 0.2809 0.2452 0.1162 0.1003 0.5938 0.3141 0.1386 261-AH 0.0000 0.0000 0.0000 0.0000 0.0445 0.0084 0.0167 0.0000 0.0445 1.9803 0.0001 0.0000 0.0131 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0570 0.2267 0.0570 0.0889 0.0570 0.2267 1.5611 0.0004 0.0000 0.0697 0.0000 0.0570 0.0122 0.0242 263-AH 0.0000 0.0000 0.0000 0.0000 0.1390 0.0158 0.0359 0.0000 0.1390 2.2691 0.0001 0.0000 0.0246 0.0000 0.0000 0.0000 0.0000 264-AH 0.0395 0.0959 0.1582 0.2000 0.5833 0.1702 0.1233 0.1041 0.5438 0.7242 0.1388 0.1126 0.0789 0.0395 0.2692 0.1459 0.0696 265-AH 0.0000 0.0833 0.1251 0.2381 0.4000 0.1553 0.1326 0.1548 0.4000 0.8542 0.0400 0.0001 0.1036 0.0000 0.4000 0.1553 0.1326 266-AH 0.0000 0.0000 0.0000 0.0068 0.2000 0.0156 0.0478 0.0068 0.2000 3.0618 0.0001 0.0000 0.0248 0.0000 0.0103 0.0017 0.0037 267-AH 0.0000 0.0000 0.0401 0.0884 0.1171 0.0436 0.0415 0.0884 0.1171 0.9532 0.0031 0.0000 0.0356 0.0000 0.1171 0.0436 0.0415 268-AH 0.0000 0.0299 0.5000 1.0000 1.0000 0.5497 0.4469 0.9701 1.0000 0.8130 0.0966 0.0001 0.4002 0.0000 1.0000 0.5497 0.4469 269-AH 0.0000 0.0268 0.0592 0.1250 0.4286 0.0944 0.1055 0.0982 0.4286 1.1180 0.0365 0.0002 0.0748 0.0000 0.2308 0.0747 0.0667 270-AH 0.0000 0.1446 0.3501 0.6316 0.7143 0.3642 0.2748 0.4870 0.7143 0.7545 0.0388 0.0000 0.2391 0.0000 0.7143 0.3642 0.2748 271-AH 0.0000 0.0182 0.1965 0.2542 0.3000 0.1523 0.1164 0.2360 0.3000 0.7643 0.0180 0.0000 0.1017 0.0000 0.3000 0.1523 0.1164 272-AH 0.0000 0.0675 0.1848 0.2812 0.3243 0.1702 0.1240 0.2138 0.3243 0.7288 0.0489 0.0001 0.1123 0.0000 0.3243 0.1702 0.1240 273-AH 0.0000 0.0000 0.1955 0.6098 0.6579 0.2897 0.2676 0.6098 0.6579 0.9239 0.0182 0.0000 0.2385 0.0000 0.6579 0.2897 0.2676 274-AH 0.0000 0.0000 0.0000 0.0158 0.3226 0.0224 0.0754 0.0158 0.3226 3.3669 0.0001 0.0000 0.0335 0.0000 0.0233 0.0047 0.0090 275-AH 0.0849 0.1347 0.2817 0.3448 0.5181 0.2741 0.1304 0.2101 0.4332 0.4758 0.2410 0.2065 0.1009 0.0849 0.5181 0.2741 0.1304 276-AH 0.0000 0.0000 0.0896 0.1644 0.4444 0.1374 0.1560 0.1644 0.4444 1.1351 0.0099 0.0000 0.1222 0.0000 0.3913 0.1003 0.1198 277-AH 0.0000 0.0000 0.0000 0.0325 0.1046 0.0208 0.0322 0.0325 0.1046 1.5478 0.0003 0.0000 0.0255 0.0000 0.0651 0.0159 0.0252 278-AH 0.0000 0.0000 0.0000 0.0000 0.1625 0.0246 0.0517 0.0000 0.1625 2.0993 0.0001 0.0000 0.0383 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0058 0.0321 0.1111 0.3750 0.0748 0.1027 0.1053 0.3750 1.3735 0.0076 0.0000 0.0783 0.0000 0.2308 0.0571 0.0724 280-AH 0.0000 0.0000 0.0289 0.0404 0.0687 0.0259 0.0212 0.0404 0.0687 0.8211 0.0024 0.0000 0.0174 0.0000 0.0687 0.0259 0.0212 281-AH 0.0000 0.1857 0.2627 0.2889 0.4000 0.2380 0.1046 0.1032 0.4000 0.4393 0.1313 0.0002 0.0773 0.0426 0.4000 0.2520 0.0887 282-AH 0.0000 0.0235 0.0488 0.1050 0.1727 0.0599 0.0484 0.0815 0.1727 0.8079 0.0139 0.0001 0.0404 0.0000 0.1727 0.0599 0.0484 283-AH 0.0000 0.0000 0.0283 0.0456 0.1608 0.0321 0.0394 0.0456 0.1608 1.2270 0.0017 0.0000 0.0270 0.0000 0.0648 0.0246 0.0236 284-AH 0.0000 0.0000 0.1109 0.3731 0.5652 0.1982 0.2166 0.3731 0.5652 1.0930 0.0050 0.0000 0.1952 0.0000 0.5652 0.1982 0.2166 285-AH 0.0000 0.0000 0.0520 0.4479 0.7460 0.2278 0.2716 0.4479 0.7460 1.1924 0.0020 0.0000 0.2415 0.0000 0.7460 0.2278 0.2716 286-AH 0.0000 0.0000 0.0000 0.0000 0.0146 0.0024 0.0054 0.0000 0.0146 2.3028 0.0000 0.0000 0.0039 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.3594 0.4167 0.5085 0.2761 0.1908 0.4167 0.5085 0.6912 0.0200 0.0000 0.1625 0.0000 0.5085 0.2761 0.1908 288-AH 0.0000 0.0000 0.0000 0.0689 0.1075 0.0233 0.0398 0.0689 0.1075 1.7043 0.0001 0.0000 0.0337 0.0000 0.1075 0.0233 0.0398 289-AH 0.0000 0.3824 0.5607 0.8125 0.9231 0.5626 0.2906 0.4301 0.9231 0.5166 0.1734 0.0001 0.2244 0.0000 0.9231 0.5626 0.2906 290-AH 0.0000 0.0000 0.0739 0.0955 0.2055 0.0767 0.0703 0.0955 0.2055 0.9168 0.0048 0.0000 0.0560 0.0000 0.2055 0.0767 0.0703 375 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0362 0.1408 0.5000 0.8182 0.2780 0.3113 0.4638 0.8182 1.1198 0.0548 0.0001 0.2700 0.0000 0.8182 0.2780 0.3113 292-AH 0.0000 0.0303 0.1940 0.5714 1.0000 0.3359 0.3451 0.5411 1.0000 1.0274 0.0608 0.0001 0.2923 0.0000 1.0000 0.3359 0.3451 293-AH 0.0000 0.0000 0.4676 0.5250 0.6176 0.3100 0.2533 0.5250 0.6176 0.8168 0.0123 0.0000 0.2362 0.0000 0.6176 0.3100 0.2533 294-AH 0.0000 0.0000 0.5082 0.6552 0.7000 0.3689 0.3072 0.6552 0.7000 0.8329 0.0130 0.0000 0.2831 0.0000 0.7000 0.3689 0.3072 295-AH 0.0000 0.0000 0.0000 0.0385 0.1829 0.0402 0.0684 0.0385 0.1829 1.7016 0.0003 0.0000 0.0506 0.0000 0.0674 0.0117 0.0214 296-AH 0.0000 0.0789 0.3389 0.5172 0.7143 0.3219 0.2412 0.4383 0.7143 0.7495 0.0859 0.0001 0.2116 0.0000 0.7143 0.3219 0.2412 297-AH 0.0000 0.0000 0.0064 0.0370 0.1250 0.0263 0.0420 0.0370 0.1250 1.5956 0.0006 0.0000 0.0315 0.0000 0.0396 0.0090 0.0137 298-AH 0.0000 0.0257 0.0455 0.0612 0.1759 0.0511 0.0421 0.0355 0.1759 0.8233 0.0127 0.0001 0.0290 0.0000 0.1034 0.0438 0.0292 299-AH 0.0000 0.0000 0.0362 0.1484 0.3241 0.0780 0.0937 0.1484 0.3241 1.2021 0.0012 0.0000 0.0786 0.0000 0.3241 0.0780 0.0937 300-AH 0.0000 0.0000 0.0908 0.1333 0.2061 0.0816 0.0648 0.1333 0.2061 0.7938 0.0079 0.0000 0.0543 0.0000 0.2061 0.0816 0.0648 301-AH 0.0000 0.0000 0.0000 0.4167 0.6250 0.1443 0.2442 0.4167 0.6250 1.6920 0.0002 0.0000 0.2084 0.0000 0.6250 0.1443 0.2442 302-AH 0.0000 0.2075 0.2895 0.4194 0.4615 0.2961 0.1171 0.2118 0.4615 0.3955 0.1696 0.0002 0.0861 0.0000 0.4615 0.2961 0.1171 303-AH 0.0000 0.0143 0.0215 0.0855 0.3913 0.0551 0.0903 0.0711 0.3913 1.6382 0.0097 0.0001 0.0539 0.0000 0.0900 0.0353 0.0343 304-AH 0.0000 0.0000 0.0147 0.0419 0.2381 0.0595 0.0943 0.0419 0.2381 1.5863 0.0012 0.0000 0.0753 0.0000 0.0419 0.0110 0.0150 305-AH 0.0000 0.0000 0.0634 0.1751 0.1888 0.0821 0.0860 0.1751 0.1888 1.0471 0.0013 0.0000 0.0821 0.0000 0.1888 0.0821 0.0860 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0000 0.0663 0.4234 0.0495 0.1008 0.0663 0.4234 2.0353 0.0004 0.0000 0.0605 0.0000 0.1033 0.0275 0.0393 308-AH 0.2000 0.5385 0.7778 1.0000 1.0000 0.7116 0.2424 0.4615 0.8000 0.3406 0.6623 0.5982 0.2019 0.2000 1.0000 0.7116 0.2424 309-AH 0.0000 0.0098 0.0168 0.0458 0.0643 0.0278 0.0212 0.0360 0.0643 0.7638 0.0148 0.0002 0.0183 0.0000 0.0643 0.0278 0.0212 310-AH 0.0000 0.0000 0.0000 0.0000 0.0605 0.0063 0.0184 0.0000 0.0605 2.9171 0.0000 0.0000 0.0112 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0722 0.1540 0.2292 0.3009 0.1530 0.0891 0.1570 0.3009 0.5824 0.0805 0.0002 0.0727 0.0000 0.3009 0.1530 0.0891 312-AH 0.0000 0.0000 0.0392 0.4878 0.6176 0.2101 0.2518 0.4878 0.6176 1.1986 0.0028 0.0000 0.2354 0.0000 0.6176 0.2101 0.2518 313-AH 0.0000 0.0000 0.0000 0.0142 0.0357 0.0064 0.0103 0.0142 0.0357 1.6189 0.0001 0.0000 0.0085 0.0000 0.0187 0.0046 0.0075 314-AH 0.0000 0.0000 0.0000 0.0175 0.0749 0.0179 0.0269 0.0175 0.0749 1.5038 0.0004 0.0000 0.0210 0.0000 0.0175 0.0044 0.0072 315-AH 0.0000 0.0000 0.0000 0.0000 0.3711 0.0523 0.1135 0.0000 0.3711 2.1702 0.0001 0.0000 0.0814 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.1875 0.1989 0.0766 0.0898 0.1875 0.1989 1.1734 0.0008 0.0000 0.0851 0.0000 0.1989 0.0766 0.0898 317-AH 0.0000 0.0366 0.0480 0.1268 0.2143 0.0707 0.0613 0.0902 0.2143 0.8663 0.0159 0.0001 0.0479 0.0000 0.2143 0.0707 0.0613 318-AH 0.0000 0.0112 0.0736 0.1250 0.2609 0.0821 0.0767 0.1138 0.2609 0.9342 0.0156 0.0001 0.0618 0.0000 0.2609 0.0821 0.0767 319-AH 0.0000 0.0502 0.1127 0.1912 0.2353 0.1189 0.0704 0.1410 0.2353 0.5922 0.0640 0.0002 0.0566 0.0000 0.2353 0.1189 0.0704 320-AH 0.0000 0.0000 0.0000 0.0162 0.0266 0.0071 0.0095 0.0162 0.0266 1.3402 0.0002 0.0000 0.0086 0.0000 0.0266 0.0071 0.0095 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0194 0.0257 0.0556 0.0699 0.0360 0.0231 0.0361 0.0699 0.6400 0.0206 0.0002 0.0207 0.0000 0.0699 0.0360 0.0231 323-AH 0.0000 0.0000 0.0093 0.0368 0.0958 0.0218 0.0278 0.0368 0.0958 1.2791 0.0006 0.0000 0.0221 0.0000 0.0696 0.0174 0.0214 324-AH 0.0000 0.0000 0.0000 0.0672 0.6620 0.1385 0.2506 0.0672 0.6620 1.8100 0.0003 0.0000 0.2011 0.0000 0.0672 0.0092 0.0233 325-AH 0.0000 0.0000 0.0224 0.0637 0.5522 0.1140 0.1892 0.0637 0.5522 1.6593 0.0012 0.0000 0.1485 0.0000 0.0637 0.0186 0.0263 326-AH 0.0000 0.0113 0.0211 0.0370 0.0811 0.0273 0.0235 0.0257 0.0811 0.8590 0.0103 0.0001 0.0176 0.0000 0.0732 0.0242 0.0199 327-AH 0.0000 0.0000 0.0018 0.0221 0.5000 0.0435 0.1171 0.0221 0.5000 2.6919 0.0006 0.0000 0.0607 0.0000 0.0221 0.0045 0.0075 328-AH 0.0302 0.1129 0.4098 0.6364 0.7778 0.3939 0.2697 0.5235 0.7475 0.6846 0.2635 0.1390 0.2384 0.0302 0.7778 0.3939 0.2697 329-AH 0.0175 0.2857 0.4315 0.5789 0.9167 0.4487 0.2631 0.2932 0.8992 0.5864 0.3341 0.1553 0.1969 0.0175 0.9167 0.4487 0.2631 330-AH 0.0000 0.3400 0.6373 0.7209 0.8378 0.5363 0.2703 0.3809 0.8378 0.5040 0.1671 0.0001 0.2242 0.0000 0.8378 0.5363 0.2703 331-AH 0.0000 0.1188 0.2473 0.4231 0.6471 0.2751 0.1861 0.3043 0.6471 0.6764 0.1297 0.0002 0.1556 0.0000 0.6471 0.2751 0.1861 332-AH 0.0000 0.2083 0.2419 0.2500 0.2632 0.2100 0.0784 0.0417 0.2632 0.3736 0.0769 0.0001 0.0474 0.2083 0.2632 0.2362 0.0190 333-AH 0.0099 0.8333 1.0000 1.0000 1.0000 0.8161 0.3486 0.1667 0.9901 0.4272 0.5469 0.0938 0.2675 0.8333 1.0000 0.9881 0.0445 334-AH 0.0000 0.1364 0.1538 0.2000 0.2308 0.1395 0.0717 0.0636 0.2308 0.5142 0.0491 0.0001 0.0537 0.0513 0.2308 0.1655 0.0434 335-AH 0.0000 0.0000 0.0562 0.1136 0.5000 0.1207 0.1644 0.1136 0.5000 1.3621 0.0034 0.0000 0.1258 0.0000 0.1136 0.0399 0.0443 336-AH 0.0000 0.0000 0.0155 0.0588 0.0764 0.0292 0.0317 0.0588 0.0764 1.0856 0.0008 0.0000 0.0292 0.0000 0.0764 0.0292 0.0317 337-AH 0.0179 0.7059 0.7947 0.9231 1.0000 0.7318 0.2782 0.2172 0.9821 0.3802 0.5347 0.1404 0.1754 0.6316 1.0000 0.8209 0.1067 338-AH 0.0000 0.0698 0.1572 0.4000 1.0000 0.2834 0.3029 0.3302 1.0000 1.0689 0.0630 0.0001 0.2345 0.0000 0.8571 0.2412 0.2520 339-AH 0.0000 0.1121 0.3171 0.6667 0.9333 0.3771 0.3034 0.5545 0.9333 0.8045 0.1034 0.0001 0.2537 0.0000 0.9333 0.3771 0.3034 340-AH 0.0000 0.0000 0.1569 0.2632 0.6000 0.1580 0.1541 0.2632 0.6000 0.9750 0.0121 0.0000 0.1127 0.0000 0.6000 0.1580 0.1541 376 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0125 0.1944 0.4000 1.0000 0.2824 0.3242 0.3875 1.0000 1.1479 0.0309 0.0001 0.2537 0.0000 0.8000 0.2402 0.2785 342-AH 0.1185 0.4957 0.5829 0.6939 0.8529 0.5429 0.2120 0.1982 0.7345 0.3906 0.4814 0.3928 0.1591 0.2207 0.8529 0.5949 0.1579 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.1892 0.3388 0.4545 0.7143 0.3306 0.2242 0.2654 0.7143 0.6781 0.0913 0.0001 0.1695 0.0000 0.7143 0.3306 0.2242 345-AH 0.0000 0.0000 0.0411 0.0642 0.0921 0.0379 0.0286 0.0642 0.0921 0.7543 0.0047 0.0000 0.0226 0.0000 0.0921 0.0379 0.0286 346-AH 0.0000 0.0000 0.0000 0.0452 0.0897 0.0259 0.0323 0.0452 0.0897 1.2481 0.0005 0.0000 0.0288 0.0000 0.0897 0.0259 0.0323 347-AH 0.0000 0.0073 0.0170 0.0373 0.0652 0.0224 0.0176 0.0300 0.0652 0.7864 0.0086 0.0001 0.0147 0.0000 0.0652 0.0224 0.0176 348-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7037 0.4557 1.0000 1.0000 0.6476 0.0399 0.0000 0.3951 0.0000 1.0000 0.7037 0.4557 349-AH 0.0000 0.2421 0.2769 0.3103 0.3400 0.2455 0.0994 0.0682 0.3400 0.4046 0.0875 0.0001 0.0686 0.1667 0.3400 0.2762 0.0463 350-AH 0.0000 0.4000 0.5455 0.6667 0.8571 0.5170 0.2334 0.2667 0.8571 0.4515 0.1671 0.0001 0.1679 0.0000 0.8571 0.5170 0.2334 377 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.0209 1.0000 1.0000 1.0000 1.0000 0.8917 0.3153 0.0000 0.9791 0.3536 0.6630 0.1837 0.1926 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.5833 0.7368 0.9667 0.4417 0.3612 0.7368 0.9667 0.8177 0.0158 0.0000 0.3216 0.0000 0.9667 0.4417 0.3612 144-AH 0.0000 0.0000 0.0000 0.0063 0.7500 0.1362 0.2858 0.0063 0.7500 2.0988 0.0003 0.0000 0.2103 0.0000 0.0063 0.0010 0.0021 145-AH 0.0000 0.0000 0.1489 0.4426 0.5745 0.2053 0.2259 0.4426 0.5745 1.1008 0.0120 0.0000 0.1855 0.0000 0.5745 0.2053 0.2259 146-AH 0.0000 0.0000 0.0000 0.0043 0.0120 0.0024 0.0036 0.0043 0.0120 1.5108 0.0001 0.0000 0.0029 0.0000 0.0077 0.0018 0.0027 147-AH 0.0000 0.0000 0.4023 0.5070 0.6923 0.3059 0.2637 0.5070 0.6923 0.8620 0.0074 0.0000 0.2379 0.0000 0.6923 0.3059 0.2637 148-AH 0.0000 0.0000 0.0000 0.0000 0.0298 0.0062 0.0119 0.0000 0.0298 1.9306 0.0001 0.0000 0.0096 0.0000 0.0000 0.0000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0050 0.0159 0.0741 0.0154 0.0232 0.0159 0.0741 1.5034 0.0005 0.0000 0.0169 0.0000 0.0255 0.0060 0.0083 151-AH 0.0000 0.0000 0.0000 0.0000 0.0957 0.0184 0.0357 0.0000 0.0957 1.9384 0.0001 0.0000 0.0286 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0000 0.0140 0.0851 0.1951 0.0531 0.0677 0.0851 0.1951 1.2753 0.0019 0.0000 0.0581 0.0000 0.1951 0.0531 0.0677 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.0394 0.0566 0.0859 0.1311 0.0631 0.0366 0.0465 0.1311 0.5795 0.0246 0.0001 0.0289 0.0000 0.1311 0.0631 0.0366 155-AH 0.0000 0.0000 0.0000 0.0097 0.1071 0.0127 0.0267 0.0097 0.1071 2.0979 0.0002 0.0000 0.0173 0.0000 0.0097 0.0016 0.0033 156-AH 0.0000 0.0000 0.0267 0.0340 0.0780 0.0260 0.0220 0.0340 0.0780 0.8457 0.0035 0.0000 0.0167 0.0000 0.0780 0.0260 0.0220 157-AH 0.0000 0.2614 0.3869 0.4082 0.4906 0.3077 0.1582 0.1467 0.4906 0.5141 0.0627 0.0001 0.1229 0.2124 0.4906 0.3693 0.0778 158-AH 0.0000 0.0000 0.0989 0.1263 0.6316 0.1481 0.1875 0.1263 0.6316 1.2660 0.0066 0.0000 0.1358 0.0000 0.2424 0.0729 0.0714 159-AH 0.0000 0.0000 0.0208 0.1138 0.4368 0.1025 0.1579 0.1138 0.4368 1.5405 0.0012 0.0000 0.1129 0.0000 0.1210 0.0367 0.0495 160-AH 0.0000 0.0000 0.0158 0.0476 0.1333 0.0332 0.0419 0.0476 0.1333 1.2634 0.0029 0.0000 0.0324 0.0000 0.1111 0.0273 0.0346 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.1374 0.3164 0.5030 0.7479 0.7909 0.5128 0.2271 0.4315 0.6535 0.4429 0.4554 0.3916 0.1914 0.1374 0.7909 0.5128 0.2271 164-AH 0.0000 0.0000 0.0000 0.0567 0.2568 0.0354 0.0632 0.0567 0.2568 1.7848 0.0003 0.0000 0.0433 0.0000 0.0772 0.0224 0.0316 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0465 0.0930 0.1176 0.1739 0.0827 0.0548 0.0711 0.1739 0.6625 0.0280 0.0001 0.0444 0.0000 0.1739 0.0827 0.0548 168-AH 0.0000 0.1687 0.3714 0.4815 0.5600 0.3233 0.1880 0.3128 0.5600 0.5817 0.0985 0.0001 0.1571 0.0000 0.5600 0.3233 0.1880 169-AH 0.0000 0.0000 0.0210 0.0431 0.1136 0.0261 0.0314 0.0431 0.1136 1.2008 0.0010 0.0000 0.0244 0.0000 0.0694 0.0210 0.0233 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0000 0.0254 0.0310 0.0486 0.0676 0.0345 0.0183 0.0233 0.0676 0.5296 0.0146 0.0001 0.0148 0.0000 0.0676 0.0345 0.0183 172-AH 0.0000 0.0000 0.0142 0.0602 0.1163 0.0328 0.0391 0.0602 0.1163 1.1936 0.0008 0.0000 0.0333 0.0000 0.1163 0.0328 0.0391 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.4167 0.7143 0.7143 0.8571 0.5830 0.2508 0.2976 0.8571 0.4301 0.1870 0.0001 0.1922 0.0000 0.8571 0.5830 0.2508 176-AH 0.0000 0.5179 0.5800 0.8857 0.9333 0.6246 0.2873 0.3679 0.9333 0.4600 0.1972 0.0001 0.2269 0.0000 0.9333 0.6246 0.2873 177-AH 0.0265 0.0459 0.1170 0.1493 0.2128 0.1068 0.0602 0.1034 0.1863 0.5635 0.0885 0.0710 0.0510 0.0265 0.2128 0.1068 0.0602 178-AH 0.0000 0.0000 0.0000 0.0000 0.2308 0.0139 0.0542 0.0000 0.2308 3.8880 0.0000 0.0000 0.0241 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0000 0.0543 0.0762 0.7273 0.0966 0.1690 0.0762 0.7273 1.7499 0.0046 0.0000 0.0943 0.0000 0.1379 0.0487 0.0467 180-AH 0.0000 0.0000 0.0000 0.0705 0.5091 0.0874 0.1585 0.0705 0.5091 1.8123 0.0004 0.0000 0.1205 0.0000 0.0705 0.0100 0.0214 181-AH 0.1364 0.5455 0.6842 0.7647 0.8276 0.6330 0.1964 0.2193 0.6911 0.3103 0.5872 0.5125 0.1500 0.3066 0.8276 0.6622 0.1571 182-AH 0.0000 0.0283 0.0953 0.3000 0.7500 0.2354 0.2935 0.2717 0.7500 1.2472 0.0598 0.0002 0.2375 0.0000 0.3000 0.0883 0.0889 183-AH 0.0000 0.0233 0.1231 0.2727 0.6000 0.1701 0.1716 0.2495 0.6000 1.0087 0.0533 0.0002 0.1377 0.0000 0.6000 0.1701 0.1716 184-AH 0.0000 0.0000 0.0140 0.0290 0.2414 0.0330 0.0565 0.0290 0.2414 1.7112 0.0031 0.0000 0.0328 0.0000 0.0530 0.0171 0.0176 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.3125 0.3846 0.7292 0.8750 1.0000 0.6749 0.2733 0.4904 0.6875 0.4050 0.6161 0.5569 0.2471 0.3125 1.0000 0.6749 0.2733 190-AH 0.0000 0.0000 0.0208 0.2692 0.4118 0.0970 0.1376 0.2692 0.4118 1.4193 0.0012 0.0000 0.1152 0.0000 0.4118 0.0970 0.1376 378 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0000 0.2172 0.4545 0.8333 0.2771 0.3026 0.4545 0.8333 1.0917 0.0121 0.0000 0.2590 0.0000 0.8333 0.2771 0.3026 193-AH 0.0000 0.0073 0.0185 0.1000 0.5000 0.0688 0.1189 0.0927 0.5000 1.7283 0.0090 0.0001 0.0740 0.0000 0.1613 0.0434 0.0521 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.3302 0.4933 0.7609 0.9750 0.5298 0.3202 0.4307 0.9750 0.6043 0.1603 0.0001 0.2653 0.0000 0.9750 0.5298 0.3202 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.1129 0.4118 0.5934 0.6923 0.7500 0.5381 0.1924 0.2805 0.6371 0.3575 0.4875 0.4104 0.1527 0.1129 0.7500 0.5381 0.1924 200-AH 0.0000 0.0174 0.0305 0.0795 0.7778 0.1629 0.2869 0.0621 0.7778 1.7615 0.0218 0.0001 0.2104 0.0000 0.0795 0.0276 0.0226 251-AH 0.0000 0.0000 0.1037 0.1361 0.2473 0.0925 0.0712 0.1361 0.2473 0.7698 0.0089 0.0000 0.0569 0.0000 0.2473 0.0925 0.0712 252-AH 0.0000 0.0520 0.1289 0.2609 0.3235 0.1507 0.1090 0.2088 0.3235 0.7232 0.0307 0.0001 0.0951 0.0000 0.3235 0.1507 0.1090 253-AH 0.0000 0.0000 0.0000 0.1443 0.2337 0.0514 0.0873 0.1443 0.2337 1.6976 0.0002 0.0000 0.0743 0.0000 0.2337 0.0514 0.0873 254-AH 0.0000 0.0000 0.0000 0.0000 0.2114 0.0335 0.0771 0.0000 0.2114 2.3028 0.0001 0.0000 0.0558 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0930 0.1786 0.3333 0.7500 0.2534 0.2374 0.2403 0.7500 0.9366 0.0649 0.0001 0.1881 0.0000 0.5000 0.1914 0.1639 256-AH 0.0000 0.0000 0.7464 1.0000 1.0000 0.5933 0.4071 1.0000 1.0000 0.6862 0.0348 0.0000 0.3479 0.0000 1.0000 0.5933 0.4071 257-AH 0.0000 0.0000 0.0735 0.1433 0.2027 0.0747 0.0756 0.1433 0.2027 1.0118 0.0029 0.0000 0.0608 0.0000 0.2027 0.0747 0.0756 258-AH 0.0000 0.0000 0.0000 0.0031 0.0057 0.0014 0.0024 0.0031 0.0057 1.7042 0.0001 0.0000 0.0021 0.0000 0.0057 0.0014 0.0024 259-AH 0.0000 0.0000 0.0040 0.0273 0.0732 0.0152 0.0223 0.0273 0.0732 1.4687 0.0006 0.0000 0.0182 0.0000 0.0536 0.0118 0.0175 260-AH 0.0482 0.1014 0.2376 0.2727 0.5000 0.2182 0.1217 0.1714 0.4518 0.5576 0.1846 0.1513 0.0939 0.0482 0.5000 0.2182 0.1217 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.1813 0.0339 0.0661 0.0000 0.1813 1.9502 0.0001 0.0000 0.0528 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0461 0.0074 0.0170 0.0000 0.0461 2.3022 0.0000 0.0000 0.0123 0.0000 0.0000 0.0000 0.0000 264-AH 0.0257 0.0714 0.1280 0.1524 0.3810 0.1223 0.0799 0.0810 0.3553 0.6535 0.0992 0.0760 0.0501 0.0257 0.1616 0.1071 0.0486 265-AH 0.0000 0.0400 0.0914 0.2381 0.3846 0.1396 0.1300 0.1981 0.3846 0.9310 0.0342 0.0001 0.1062 0.0000 0.3846 0.1396 0.1300 266-AH 0.0000 0.0000 0.0000 0.0068 0.2000 0.0156 0.0478 0.0068 0.2000 3.0618 0.0001 0.0000 0.0248 0.0000 0.0103 0.0017 0.0037 267-AH 0.0000 0.0000 0.0160 0.0672 0.0904 0.0326 0.0363 0.0672 0.0904 1.1117 0.0011 0.0000 0.0327 0.0000 0.0904 0.0326 0.0363 268-AH 0.0000 0.0000 0.0070 0.0326 0.0857 0.0172 0.0229 0.0326 0.0857 1.3340 0.0010 0.0000 0.0177 0.0000 0.0429 0.0131 0.0157 269-AH 0.0000 0.0098 0.0147 0.0602 0.1522 0.0397 0.0520 0.0504 0.1522 1.3092 0.0050 0.0000 0.0412 0.0000 0.1346 0.0264 0.0369 270-AH 0.0000 0.1146 0.2713 0.5694 0.6308 0.3169 0.2478 0.4548 0.6308 0.7818 0.0341 0.0000 0.2215 0.0000 0.6308 0.3169 0.2478 271-AH 0.0000 0.0000 0.1562 0.2048 0.2951 0.1332 0.1096 0.2048 0.2951 0.8228 0.0071 0.0000 0.0912 0.0000 0.2951 0.1332 0.1096 272-AH 0.0000 0.0675 0.1322 0.2778 0.3243 0.1618 0.1245 0.2103 0.3243 0.7691 0.0454 0.0001 0.1120 0.0000 0.3243 0.1618 0.1245 273-AH 0.0000 0.0000 0.1128 0.4646 0.5175 0.2051 0.2233 0.4646 0.5175 1.0888 0.0051 0.0000 0.2020 0.0000 0.5175 0.2051 0.2233 274-AH 0.0000 0.0000 0.0000 0.0000 0.2400 0.0157 0.0562 0.0000 0.2400 3.5766 0.0001 0.0000 0.0249 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0643 0.2026 0.3097 0.4519 0.2086 0.1400 0.2454 0.4519 0.6713 0.1039 0.0002 0.1095 0.0000 0.4519 0.2086 0.1400 276-AH 0.0000 0.0000 0.0511 0.0743 0.3652 0.0989 0.1367 0.0743 0.3652 1.3827 0.0030 0.0000 0.1079 0.0000 0.0743 0.0295 0.0317 277-AH 0.0000 0.0000 0.0000 0.0204 0.0461 0.0096 0.0171 0.0204 0.0461 1.7790 0.0001 0.0000 0.0139 0.0000 0.0461 0.0096 0.0171 278-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0122 0.0292 0.0000 0.1000 2.3914 0.0000 0.0000 0.0204 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0058 0.0321 0.1111 0.3750 0.0748 0.1027 0.1053 0.3750 1.3735 0.0076 0.0000 0.0783 0.0000 0.2308 0.0571 0.0724 280-AH 0.0000 0.0000 0.0094 0.0280 0.0562 0.0155 0.0178 0.0280 0.0562 1.1478 0.0005 0.0000 0.0155 0.0000 0.0562 0.0155 0.0178 281-AH 0.0000 0.1739 0.2118 0.2308 0.3030 0.1869 0.0853 0.0569 0.3030 0.4563 0.0671 0.0001 0.0625 0.0920 0.3030 0.2103 0.0548 282-AH 0.0000 0.0000 0.0378 0.0830 0.0987 0.0412 0.0369 0.0830 0.0987 0.8943 0.0031 0.0000 0.0322 0.0000 0.0987 0.0412 0.0369 283-AH 0.0000 0.0000 0.0000 0.0346 0.1350 0.0207 0.0345 0.0346 0.1350 1.6719 0.0003 0.0000 0.0253 0.0000 0.0569 0.0139 0.0201 284-AH 0.0000 0.0000 0.0604 0.3418 0.5625 0.1777 0.2098 0.3418 0.5625 1.1808 0.0043 0.0000 0.1899 0.0000 0.5625 0.1777 0.2098 285-AH 0.0000 0.0000 0.0469 0.3025 0.7101 0.1707 0.2113 0.3025 0.7101 1.2373 0.0017 0.0000 0.1793 0.0000 0.7101 0.1707 0.2113 286-AH 0.0000 0.0000 0.0000 0.0000 0.0135 0.0018 0.0043 0.0000 0.0135 2.3346 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.2922 0.3431 0.4861 0.2278 0.1629 0.3431 0.4861 0.7151 0.0173 0.0000 0.1394 0.0000 0.4861 0.2278 0.1629 288-AH 0.0000 0.0000 0.0000 0.0000 0.0825 0.0113 0.0265 0.0000 0.0825 2.3316 0.0000 0.0000 0.0189 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.1940 0.5357 0.8125 0.8824 0.5024 0.3075 0.6185 0.8824 0.6120 0.1480 0.0001 0.2663 0.0000 0.8824 0.5024 0.3075 290-AH 0.0000 0.0000 0.0623 0.0847 0.1652 0.0629 0.0554 0.0847 0.1652 0.8814 0.0042 0.0000 0.0447 0.0000 0.1652 0.0629 0.0554 379 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0262 0.1174 0.3188 0.5833 0.1902 0.2126 0.2926 0.5833 1.1180 0.0184 0.0000 0.1774 0.0000 0.5833 0.1902 0.2126 292-AH 0.0000 0.0303 0.1940 0.5714 1.0000 0.3359 0.3451 0.5411 1.0000 1.0274 0.0608 0.0001 0.2923 0.0000 1.0000 0.3359 0.3451 293-AH 0.0000 0.0000 0.3877 0.4630 0.5854 0.2720 0.2240 0.4630 0.5854 0.8238 0.0112 0.0000 0.2052 0.0000 0.5854 0.2720 0.2240 294-AH 0.0000 0.0000 0.5055 0.6176 0.7000 0.3539 0.2949 0.6176 0.7000 0.8333 0.0124 0.0000 0.2728 0.0000 0.7000 0.3539 0.2949 295-AH 0.0000 0.0000 0.0000 0.0000 0.0947 0.0179 0.0364 0.0000 0.0947 2.0373 0.0001 0.0000 0.0278 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0756 0.2953 0.4634 0.6071 0.2773 0.2091 0.3878 0.6071 0.7539 0.0756 0.0001 0.1835 0.0000 0.6071 0.2773 0.2091 297-AH 0.0000 0.0000 0.0057 0.0231 0.1169 0.0210 0.0349 0.0231 0.1169 1.6627 0.0005 0.0000 0.0248 0.0000 0.0265 0.0066 0.0093 298-AH 0.0000 0.0000 0.0324 0.0515 0.1667 0.0362 0.0385 0.0515 0.1667 1.0636 0.0042 0.0000 0.0245 0.0000 0.0538 0.0286 0.0213 299-AH 0.0000 0.0000 0.0000 0.1181 0.2582 0.0557 0.0785 0.1181 0.2582 1.4081 0.0004 0.0000 0.0681 0.0000 0.2582 0.0557 0.0785 300-AH 0.0000 0.0000 0.0764 0.1076 0.2039 0.0682 0.0572 0.1076 0.2039 0.8384 0.0069 0.0000 0.0464 0.0000 0.2039 0.0682 0.0572 301-AH 0.0000 0.0000 0.0000 0.0543 0.1481 0.0272 0.0495 0.0543 0.1481 1.8207 0.0001 0.0000 0.0393 0.0000 0.1237 0.0201 0.0404 302-AH 0.0000 0.2069 0.2727 0.3871 0.4615 0.2808 0.1161 0.1802 0.4615 0.4135 0.1606 0.0002 0.0855 0.0000 0.4615 0.2808 0.1161 303-AH 0.0000 0.0000 0.0132 0.0746 0.1887 0.0368 0.0493 0.0746 0.1887 1.3415 0.0034 0.0000 0.0382 0.0000 0.0855 0.0278 0.0325 304-AH 0.0000 0.0000 0.0000 0.0133 0.1719 0.0255 0.0553 0.0133 0.1719 2.1690 0.0002 0.0000 0.0380 0.0000 0.0148 0.0027 0.0057 305-AH 0.0000 0.0000 0.0316 0.1453 0.1746 0.0691 0.0755 0.1453 0.1746 1.0917 0.0012 0.0000 0.0698 0.0000 0.1746 0.0691 0.0755 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0000 0.0000 0.2596 0.0260 0.0641 0.0000 0.2596 2.4643 0.0001 0.0000 0.0404 0.0000 0.0000 0.0000 0.0000 308-AH 0.0889 0.3077 0.5430 0.8000 0.8889 0.5147 0.2647 0.4923 0.8000 0.5144 0.4313 0.3341 0.2337 0.0889 0.8889 0.5147 0.2647 309-AH 0.0000 0.0090 0.0165 0.0437 0.0643 0.0256 0.0209 0.0348 0.0643 0.8164 0.0095 0.0001 0.0178 0.0000 0.0643 0.0256 0.0209 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0695 0.1266 0.1557 0.2116 0.1101 0.0656 0.0863 0.2116 0.5955 0.0257 0.0001 0.0522 0.0000 0.2116 0.1101 0.0656 312-AH 0.0000 0.0000 0.0229 0.4600 0.6111 0.1947 0.2392 0.4600 0.6111 1.2286 0.0017 0.0000 0.2229 0.0000 0.6111 0.1947 0.2392 313-AH 0.0000 0.0000 0.0000 0.0000 0.0357 0.0020 0.0084 0.0000 0.0357 4.2426 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0749 0.0113 0.0229 0.0000 0.0749 2.0182 0.0001 0.0000 0.0176 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.0000 0.0000 0.2561 0.0276 0.0689 0.0000 0.2561 2.5001 0.0000 0.0000 0.0459 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.1450 0.1795 0.0670 0.0792 0.1450 0.1795 1.1815 0.0007 0.0000 0.0744 0.0000 0.1795 0.0670 0.0792 317-AH 0.0000 0.0258 0.0323 0.0726 0.1129 0.0471 0.0376 0.0468 0.1129 0.7983 0.0117 0.0001 0.0305 0.0000 0.1129 0.0471 0.0376 318-AH 0.0000 0.0000 0.0442 0.0795 0.1481 0.0420 0.0425 0.0795 0.1481 1.0137 0.0030 0.0000 0.0341 0.0000 0.1481 0.0420 0.0425 319-AH 0.0000 0.0000 0.0000 0.0208 0.1474 0.0296 0.0519 0.0208 0.1474 1.7535 0.0003 0.0000 0.0401 0.0000 0.0208 0.0038 0.0077 320-AH 0.0000 0.0000 0.0000 0.0000 0.0210 0.0028 0.0067 0.0000 0.0210 2.3591 0.0000 0.0000 0.0047 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0178 0.0247 0.0426 0.0699 0.0292 0.0184 0.0247 0.0699 0.6307 0.0121 0.0001 0.0150 0.0000 0.0699 0.0292 0.0184 323-AH 0.0000 0.0000 0.0000 0.0000 0.0633 0.0060 0.0160 0.0000 0.0633 2.6776 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.6265 0.0952 0.2118 0.0000 0.6265 2.2255 0.0001 0.0000 0.1523 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0000 0.0456 0.4574 0.0925 0.1644 0.0456 0.4574 1.7763 0.0004 0.0000 0.1290 0.0000 0.0456 0.0096 0.0192 326-AH 0.0000 0.0113 0.0211 0.0370 0.0811 0.0273 0.0235 0.0257 0.0811 0.8590 0.0103 0.0001 0.0176 0.0000 0.0732 0.0242 0.0199 327-AH 0.0000 0.0000 0.0018 0.0221 0.5000 0.0435 0.1171 0.0221 0.5000 2.6919 0.0006 0.0000 0.0607 0.0000 0.0221 0.0045 0.0075 328-AH 0.0000 0.0651 0.3921 0.5862 0.7083 0.3264 0.2642 0.5211 0.7083 0.8095 0.0769 0.0001 0.2415 0.0000 0.7083 0.3264 0.2642 329-AH 0.0145 0.1463 0.3529 0.5714 0.6316 0.3597 0.2094 0.4251 0.6171 0.5821 0.2564 0.1109 0.1741 0.0145 0.6316 0.3597 0.2094 330-AH 0.0000 0.2222 0.6002 0.6923 0.8000 0.5019 0.2675 0.4701 0.8000 0.5331 0.1540 0.0001 0.2280 0.0000 0.8000 0.5019 0.2675 331-AH 0.0000 0.1188 0.2306 0.3750 0.5455 0.2454 0.1519 0.2562 0.5455 0.6190 0.1188 0.0002 0.1274 0.0000 0.5455 0.2454 0.1519 332-AH 0.0000 0.1875 0.2294 0.2424 0.2500 0.1959 0.0772 0.0549 0.2500 0.3940 0.0719 0.0001 0.0528 0.1622 0.2500 0.2204 0.0316 333-AH 0.0042 0.8333 1.0000 1.0000 1.0000 0.8046 0.3498 0.1667 0.9958 0.4348 0.4814 0.0367 0.2669 0.8333 1.0000 0.9762 0.0605 334-AH 0.0000 0.0098 0.0783 0.1538 0.1739 0.0805 0.0679 0.1441 0.1739 0.8441 0.0218 0.0001 0.0630 0.0000 0.1739 0.0805 0.0679 335-AH 0.0000 0.0000 0.0334 0.0663 0.4400 0.0771 0.1270 0.0663 0.4400 1.6462 0.0024 0.0000 0.0863 0.0000 0.1507 0.0364 0.0462 336-AH 0.0000 0.0000 0.0132 0.0550 0.0764 0.0269 0.0292 0.0550 0.0764 1.0872 0.0007 0.0000 0.0269 0.0000 0.0764 0.0269 0.0292 337-AH 0.0000 0.6522 0.7250 0.7895 0.9333 0.6530 0.2644 0.1373 0.9333 0.4049 0.2086 0.0001 0.1747 0.6364 0.9333 0.7566 0.0900 338-AH 0.0000 0.0151 0.1085 0.2258 0.6364 0.1648 0.1909 0.2107 0.6364 1.1587 0.0241 0.0001 0.1484 0.0000 0.4706 0.1370 0.1550 339-AH 0.0000 0.0960 0.2895 0.5833 0.9333 0.3423 0.2884 0.4873 0.9333 0.8425 0.0927 0.0001 0.2329 0.0000 0.9333 0.3423 0.2884 340-AH 0.0000 0.0000 0.1569 0.1818 0.5000 0.1299 0.1271 0.1818 0.5000 0.9781 0.0102 0.0000 0.0953 0.0000 0.2632 0.1081 0.0899 380 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0058 0.0610 1.0000 0.1063 0.2454 0.0610 1.0000 2.3082 0.0009 0.0000 0.1462 0.0000 0.0962 0.0186 0.0293 342-AH 0.0857 0.2798 0.5418 0.6182 0.7245 0.4649 0.2185 0.3383 0.6388 0.4699 0.3896 0.2927 0.1833 0.0857 0.7245 0.4649 0.2185 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.0419 0.1685 0.2637 0.6486 0.2196 0.2154 0.2219 0.6486 0.9807 0.0238 0.0000 0.1619 0.0000 0.5714 0.1660 0.1580 345-AH 0.0000 0.0000 0.0365 0.0619 0.0921 0.0371 0.0284 0.0619 0.0921 0.7644 0.0046 0.0000 0.0221 0.0000 0.0921 0.0371 0.0284 346-AH 0.0000 0.0000 0.0000 0.0452 0.0727 0.0237 0.0290 0.0452 0.0727 1.2237 0.0004 0.0000 0.0264 0.0000 0.0727 0.0237 0.0290 347-AH 0.0000 0.0073 0.0105 0.0226 0.0348 0.0148 0.0118 0.0153 0.0348 0.7937 0.0044 0.0001 0.0101 0.0000 0.0348 0.0148 0.0118 348-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7037 0.4557 1.0000 1.0000 0.6476 0.0399 0.0000 0.3951 0.0000 1.0000 0.7037 0.4557 349-AH 0.0000 0.2188 0.2441 0.2639 0.3016 0.2204 0.0871 0.0451 0.3016 0.3951 0.0798 0.0001 0.0582 0.1594 0.3016 0.2479 0.0361 350-AH 0.0000 0.2917 0.4118 0.5000 0.7000 0.3762 0.1775 0.2083 0.7000 0.4718 0.1253 0.0001 0.1347 0.0000 0.7000 0.3762 0.1775 381 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.0000 0.8750 0.9444 1.0000 1.0000 0.8310 0.3099 0.1250 1.0000 0.3729 0.3896 0.0002 0.1950 0.7778 1.0000 0.9340 0.0833 143-AH 0.0000 0.0000 0.4575 0.6538 0.7619 0.3486 0.3009 0.6538 0.7619 0.8632 0.0130 0.0000 0.2774 0.0000 0.7619 0.3486 0.3009 144-AH 0.0000 0.0000 0.0000 0.0063 0.7500 0.1362 0.2858 0.0063 0.7500 2.0988 0.0003 0.0000 0.2103 0.0000 0.0063 0.0010 0.0021 145-AH 0.0000 0.0000 0.0836 0.2302 0.5167 0.1426 0.1821 0.2302 0.5167 1.2768 0.0025 0.0000 0.1446 0.0000 0.5167 0.1426 0.1821 146-AH 0.0000 0.0000 0.0000 0.0043 0.0120 0.0024 0.0036 0.0043 0.0120 1.5108 0.0001 0.0000 0.0029 0.0000 0.0077 0.0018 0.0027 147-AH 0.0000 0.0000 0.2693 0.3361 0.5857 0.2135 0.1910 0.3361 0.5857 0.8944 0.0059 0.0000 0.1661 0.0000 0.5857 0.2135 0.1910 148-AH 0.0000 0.0000 0.0000 0.0000 0.0298 0.0062 0.0119 0.0000 0.0298 1.9306 0.0001 0.0000 0.0096 0.0000 0.0000 0.0000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0159 0.0741 0.0120 0.0229 0.0159 0.0741 1.9113 0.0001 0.0000 0.0173 0.0000 0.0255 0.0028 0.0075 151-AH 0.0000 0.0000 0.0000 0.0000 0.0157 0.0017 0.0050 0.0000 0.0157 2.9105 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0000 0.0000 0.0511 0.1268 0.0296 0.0419 0.0511 0.1268 1.4150 0.0005 0.0000 0.0351 0.0000 0.1268 0.0296 0.0419 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.0306 0.0450 0.0578 0.1030 0.0462 0.0267 0.0272 0.1030 0.5775 0.0187 0.0001 0.0205 0.0000 0.0859 0.0429 0.0233 155-AH 0.0000 0.0000 0.0000 0.0097 0.1071 0.0127 0.0267 0.0097 0.1071 2.0979 0.0002 0.0000 0.0173 0.0000 0.0097 0.0016 0.0033 156-AH 0.0000 0.0000 0.0201 0.0272 0.0524 0.0184 0.0193 0.0272 0.0524 1.0501 0.0009 0.0000 0.0164 0.0000 0.0524 0.0184 0.0193 157-AH 0.0000 0.2105 0.3085 0.3436 0.4534 0.2507 0.1362 0.1330 0.4534 0.5434 0.0523 0.0001 0.1088 0.1421 0.4534 0.3008 0.0798 158-AH 0.0000 0.0000 0.0833 0.1057 0.4667 0.1140 0.1468 0.1057 0.4667 1.2879 0.0055 0.0000 0.1015 0.0000 0.1098 0.0531 0.0458 159-AH 0.0000 0.0000 0.0000 0.0638 0.3385 0.0610 0.1044 0.0638 0.3385 1.7123 0.0004 0.0000 0.0757 0.0000 0.0987 0.0183 0.0328 160-AH 0.0000 0.0000 0.0158 0.0476 0.1333 0.0332 0.0419 0.0476 0.1333 1.2634 0.0029 0.0000 0.0324 0.0000 0.1111 0.0273 0.0346 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.0000 0.1832 0.3542 0.6667 0.7597 0.3945 0.2460 0.4835 0.7597 0.6235 0.1967 0.0002 0.2194 0.0000 0.7597 0.3945 0.2460 164-AH 0.0000 0.0000 0.0000 0.0560 0.1655 0.0280 0.0436 0.0560 0.1655 1.5595 0.0003 0.0000 0.0342 0.0000 0.0584 0.0199 0.0278 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0465 0.0930 0.1176 0.1739 0.0827 0.0548 0.0711 0.1739 0.6625 0.0280 0.0001 0.0444 0.0000 0.1739 0.0827 0.0548 168-AH 0.0000 0.1333 0.3063 0.3571 0.5517 0.2762 0.1765 0.2238 0.5517 0.6391 0.0847 0.0001 0.1458 0.0000 0.5517 0.2762 0.1765 169-AH 0.0000 0.0000 0.0210 0.0431 0.1136 0.0261 0.0314 0.0431 0.1136 1.2008 0.0010 0.0000 0.0244 0.0000 0.0694 0.0210 0.0233 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0000 0.0203 0.0240 0.0428 0.0523 0.0285 0.0175 0.0225 0.0523 0.6139 0.0083 0.0001 0.0143 0.0000 0.0523 0.0285 0.0175 172-AH 0.0000 0.0000 0.0104 0.0284 0.0504 0.0176 0.0200 0.0284 0.0504 1.1375 0.0006 0.0000 0.0176 0.0000 0.0504 0.0176 0.0200 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.3750 0.5227 0.6667 0.8571 0.4846 0.2482 0.2917 0.8571 0.5121 0.1534 0.0001 0.2026 0.0000 0.8571 0.4846 0.2482 176-AH 0.0000 0.4706 0.5288 0.8205 0.8919 0.5590 0.2738 0.3499 0.8919 0.4898 0.1763 0.0001 0.2116 0.0000 0.8919 0.5590 0.2738 177-AH 0.0000 0.0368 0.0762 0.1341 0.2000 0.0869 0.0599 0.0974 0.2000 0.6894 0.0458 0.0002 0.0477 0.0000 0.2000 0.0869 0.0599 178-AH 0.0000 0.0000 0.0000 0.0000 0.0085 0.0005 0.0020 0.0000 0.0085 4.2426 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0000 0.0167 0.0679 0.2903 0.0497 0.0780 0.0679 0.2903 1.5674 0.0009 0.0000 0.0537 0.0000 0.0891 0.0260 0.0336 180-AH 0.0000 0.0000 0.0000 0.0000 0.4789 0.0700 0.1432 0.0000 0.4789 2.0455 0.0001 0.0000 0.1089 0.0000 0.0000 0.0000 0.0000 181-AH 0.1364 0.4684 0.6318 0.7184 0.8152 0.5601 0.1920 0.2501 0.6788 0.3428 0.5163 0.4542 0.1619 0.1364 0.8152 0.5601 0.1920 182-AH 0.0000 0.0095 0.0777 0.1538 0.1905 0.0788 0.0688 0.1443 0.1905 0.8730 0.0150 0.0001 0.0557 0.0000 0.1905 0.0788 0.0688 183-AH 0.0000 0.0043 0.0850 0.1333 0.3333 0.1089 0.1176 0.1291 0.3333 1.0801 0.0109 0.0000 0.0931 0.0000 0.2857 0.0808 0.0901 184-AH 0.0000 0.0000 0.0000 0.0000 0.0625 0.0079 0.0170 0.0000 0.0625 2.1584 0.0001 0.0000 0.0123 0.0000 0.0000 0.0000 0.0000 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.2333 0.3158 0.4495 0.7778 0.8750 0.5318 0.2465 0.4620 0.6417 0.4635 0.4776 0.4291 0.2198 0.2333 0.8750 0.5318 0.2465 190-AH 0.0000 0.0000 0.0000 0.0000 0.0239 0.0035 0.0076 0.0000 0.0239 2.1711 0.0001 0.0000 0.0055 0.0000 0.0000 0.0000 0.0000 382 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0000 0.2172 0.4545 0.8333 0.2771 0.3026 0.4545 0.8333 1.0917 0.0121 0.0000 0.2590 0.0000 0.8333 0.2771 0.3026 193-AH 0.0000 0.0000 0.0065 0.0923 0.2727 0.0446 0.0727 0.0923 0.2727 1.6310 0.0014 0.0000 0.0554 0.0000 0.1304 0.0312 0.0466 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.2339 0.3363 0.5479 0.9535 0.4346 0.2962 0.3140 0.9535 0.6814 0.1309 0.0001 0.2367 0.0000 0.9535 0.4346 0.2962 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.0153 0.3810 0.5857 0.6923 0.7500 0.5102 0.2249 0.3114 0.7347 0.4409 0.4025 0.1685 0.1804 0.0153 0.7500 0.5102 0.2249 200-AH 0.0000 0.0132 0.0182 0.0343 0.1667 0.0289 0.0374 0.0212 0.1667 1.2959 0.0098 0.0001 0.0218 0.0000 0.0571 0.0208 0.0153 251-AH 0.0000 0.0000 0.0000 0.0766 0.1590 0.0402 0.0516 0.0766 0.1590 1.2824 0.0006 0.0000 0.0447 0.0000 0.1590 0.0402 0.0516 252-AH 0.0000 0.0436 0.1036 0.2243 0.2841 0.1287 0.0990 0.1807 0.2841 0.7690 0.0264 0.0001 0.0863 0.0000 0.2841 0.1287 0.0990 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0182 0.0282 0.0976 0.2105 0.0643 0.0634 0.0794 0.2105 0.9858 0.0194 0.0001 0.0515 0.0000 0.2105 0.0643 0.0634 256-AH 0.0000 0.0000 0.4921 0.7368 0.9032 0.4388 0.3185 0.7368 0.9032 0.7259 0.0275 0.0000 0.2711 0.0000 0.9032 0.4388 0.3185 257-AH 0.0000 0.0000 0.0000 0.1162 0.1429 0.0400 0.0607 0.1162 0.1429 1.5174 0.0002 0.0000 0.0533 0.0000 0.1429 0.0400 0.0607 258-AH 0.0000 0.0000 0.0000 0.0000 0.0056 0.0003 0.0013 0.0000 0.0056 4.2426 0.0000 0.0000 0.0006 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0040 0.0273 0.0732 0.0152 0.0223 0.0273 0.0732 1.4687 0.0006 0.0000 0.0182 0.0000 0.0536 0.0118 0.0175 260-AH 0.0000 0.0000 0.0854 0.2116 0.5000 0.1277 0.1376 0.2116 0.5000 1.0771 0.0099 0.0000 0.1040 0.0000 0.5000 0.1277 0.1376 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.1438 0.0080 0.0339 0.0000 0.1438 4.2426 0.0000 0.0000 0.0151 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0214 0.0708 0.1125 0.2069 0.0717 0.0597 0.0911 0.2069 0.8328 0.0105 0.0000 0.0504 0.0000 0.2069 0.0717 0.0597 265-AH 0.0000 0.0400 0.0914 0.2381 0.3846 0.1396 0.1300 0.1981 0.3846 0.9310 0.0342 0.0001 0.1062 0.0000 0.3846 0.1396 0.1300 266-AH 0.0000 0.0000 0.0000 0.0067 0.1905 0.0151 0.0456 0.0067 0.1905 3.0276 0.0001 0.0000 0.0238 0.0000 0.0103 0.0017 0.0036 267-AH 0.0000 0.0000 0.0000 0.0377 0.0876 0.0202 0.0272 0.0377 0.0876 1.3465 0.0004 0.0000 0.0224 0.0000 0.0876 0.0202 0.0272 268-AH 0.0000 0.0000 0.0070 0.0326 0.0857 0.0172 0.0229 0.0326 0.0857 1.3340 0.0010 0.0000 0.0177 0.0000 0.0429 0.0131 0.0157 269-AH 0.0000 0.0000 0.0098 0.0406 0.1429 0.0290 0.0445 0.0406 0.1429 1.5324 0.0009 0.0000 0.0342 0.0000 0.1013 0.0170 0.0284 270-AH 0.0000 0.0506 0.2192 0.4554 0.5595 0.2488 0.2154 0.4048 0.5595 0.8657 0.0260 0.0000 0.1911 0.0000 0.5595 0.2488 0.2154 271-AH 0.0000 0.0000 0.1047 0.1694 0.2941 0.1064 0.1091 0.1694 0.2941 1.0256 0.0036 0.0000 0.0896 0.0000 0.2941 0.1064 0.1091 272-AH 0.0000 0.0135 0.0577 0.2353 0.3243 0.1220 0.1296 0.2218 0.3243 1.0628 0.0121 0.0000 0.1155 0.0000 0.3243 0.1220 0.1296 273-AH 0.0000 0.0000 0.0000 0.3704 0.4012 0.1430 0.1821 0.3704 0.4012 1.2730 0.0010 0.0000 0.1647 0.0000 0.4012 0.1430 0.1821 274-AH 0.0000 0.0000 0.0000 0.0000 0.2097 0.0116 0.0494 0.0000 0.2097 4.2426 0.0000 0.0000 0.0220 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0565 0.1263 0.2078 0.4274 0.1469 0.1262 0.1513 0.4274 0.8590 0.0185 0.0000 0.1013 0.0000 0.4274 0.1469 0.1262 276-AH 0.0000 0.0000 0.0000 0.0584 0.2637 0.0515 0.0942 0.0584 0.2637 1.8289 0.0001 0.0000 0.0744 0.0000 0.0584 0.0042 0.0156 277-AH 0.0000 0.0000 0.0000 0.0000 0.0291 0.0016 0.0069 0.0000 0.0291 4.2426 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0114 0.0279 0.0000 0.1000 2.4469 0.0000 0.0000 0.0190 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0000 0.0059 0.0132 0.0476 0.0108 0.0143 0.0132 0.0476 1.3270 0.0006 0.0000 0.0111 0.0000 0.0328 0.0086 0.0113 280-AH 0.0000 0.0000 0.0000 0.0248 0.0462 0.0093 0.0159 0.0248 0.0462 1.7093 0.0001 0.0000 0.0135 0.0000 0.0462 0.0093 0.0159 281-AH 0.0000 0.1502 0.1857 0.1931 0.2125 0.1551 0.0668 0.0429 0.2125 0.4308 0.0573 0.0001 0.0501 0.1017 0.2125 0.1813 0.0276 282-AH 0.0000 0.0000 0.0000 0.0330 0.0547 0.0128 0.0193 0.0330 0.0547 1.5062 0.0002 0.0000 0.0171 0.0000 0.0547 0.0128 0.0193 283-AH 0.0000 0.0000 0.0000 0.0000 0.1144 0.0131 0.0299 0.0000 0.1144 2.2798 0.0001 0.0000 0.0204 0.0000 0.0000 0.0000 0.0000 284-AH 0.0000 0.0000 0.0196 0.2963 0.4769 0.1489 0.1882 0.2963 0.4769 1.2643 0.0015 0.0000 0.1726 0.0000 0.4769 0.1489 0.1882 285-AH 0.0000 0.0000 0.0434 0.2642 0.6222 0.1356 0.1733 0.2642 0.6222 1.2786 0.0015 0.0000 0.1410 0.0000 0.6222 0.1356 0.1733 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.1817 0.2469 0.3150 0.1513 0.1089 0.2469 0.3150 0.7198 0.0128 0.0000 0.0923 0.0000 0.3150 0.1513 0.1089 288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.1230 0.5000 0.6957 0.8824 0.4489 0.3068 0.5727 0.8824 0.6836 0.1226 0.0001 0.2644 0.0000 0.8824 0.4489 0.3068 290-AH 0.0000 0.0000 0.0214 0.0716 0.1351 0.0426 0.0495 0.0716 0.1351 1.1606 0.0009 0.0000 0.0426 0.0000 0.1351 0.0426 0.0495 383 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.0670 0.0968 0.2400 0.0742 0.0793 0.0968 0.2400 1.0691 0.0044 0.0000 0.0582 0.0000 0.2400 0.0742 0.0793 292-AH 0.0000 0.0303 0.1940 0.5714 1.0000 0.3281 0.3444 0.5411 1.0000 1.0498 0.0425 0.0001 0.2840 0.0000 1.0000 0.3281 0.3444 293-AH 0.0000 0.0000 0.2478 0.3590 0.5600 0.2121 0.1826 0.3590 0.5600 0.8607 0.0094 0.0000 0.1588 0.0000 0.5600 0.2121 0.1826 294-AH 0.0000 0.0000 0.4377 0.5946 0.6111 0.3239 0.2757 0.5946 0.6111 0.8514 0.0076 0.0000 0.2519 0.0000 0.6111 0.3239 0.2757 295-AH 0.0000 0.0000 0.0000 0.0000 0.0660 0.0110 0.0253 0.0000 0.0660 2.3009 0.0000 0.0000 0.0183 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0512 0.1980 0.3333 0.5000 0.1958 0.1643 0.2822 0.5000 0.8394 0.0228 0.0000 0.1374 0.0000 0.5000 0.1958 0.1643 297-AH 0.0000 0.0000 0.0000 0.0150 0.0826 0.0149 0.0300 0.0150 0.0826 2.0159 0.0001 0.0000 0.0215 0.0000 0.0153 0.0020 0.0053 298-AH 0.0000 0.0000 0.0265 0.0435 0.0716 0.0223 0.0228 0.0435 0.0716 1.0210 0.0010 0.0000 0.0198 0.0000 0.0716 0.0223 0.0228 299-AH 0.0000 0.0000 0.0000 0.0978 0.2521 0.0464 0.0696 0.0978 0.2521 1.4994 0.0004 0.0000 0.0567 0.0000 0.1198 0.0343 0.0485 300-AH 0.0000 0.0000 0.0539 0.0896 0.1382 0.0511 0.0512 0.0896 0.1382 1.0005 0.0016 0.0000 0.0465 0.0000 0.1382 0.0511 0.0512 301-AH 0.0000 0.0000 0.0000 0.0439 0.1226 0.0228 0.0416 0.0439 0.1226 1.8272 0.0001 0.0000 0.0329 0.0000 0.1083 0.0169 0.0343 302-AH 0.0000 0.1359 0.1892 0.2500 0.3333 0.1884 0.0941 0.1141 0.3333 0.4994 0.1001 0.0002 0.0726 0.0000 0.3333 0.1884 0.0941 303-AH 0.0000 0.0000 0.0000 0.0458 0.0588 0.0158 0.0237 0.0458 0.0588 1.5009 0.0002 0.0000 0.0210 0.0000 0.0588 0.0158 0.0237 304-AH 0.0000 0.0000 0.0000 0.0000 0.0727 0.0090 0.0218 0.0000 0.0727 2.4143 0.0000 0.0000 0.0151 0.0000 0.0000 0.0000 0.0000 305-AH 0.0000 0.0000 0.0000 0.0906 0.1300 0.0459 0.0558 0.0906 0.1300 1.2146 0.0006 0.0000 0.0510 0.0000 0.1300 0.0459 0.0558 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0000 0.0000 0.2214 0.0123 0.0522 0.0000 0.2214 4.2426 0.0000 0.0000 0.0232 0.0000 0.0000 0.0000 0.0000 308-AH 0.0570 0.1406 0.2432 0.3000 0.6429 0.2458 0.1400 0.1594 0.5859 0.5695 0.2076 0.1681 0.0945 0.0570 0.4091 0.2225 0.1019 309-AH 0.0000 0.0000 0.0124 0.0321 0.0643 0.0206 0.0216 0.0321 0.0643 1.0463 0.0019 0.0000 0.0178 0.0000 0.0643 0.0206 0.0216 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0442 0.0971 0.1146 0.1472 0.0779 0.0495 0.0704 0.1472 0.6363 0.0124 0.0000 0.0420 0.0000 0.1472 0.0779 0.0495 312-AH 0.0000 0.0000 0.0229 0.4098 0.5952 0.1794 0.2208 0.4098 0.5952 1.2308 0.0017 0.0000 0.2046 0.0000 0.5952 0.1794 0.2208 313-AH 0.0000 0.0000 0.0000 0.0000 0.0357 0.0020 0.0084 0.0000 0.0357 4.2426 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0673 0.0037 0.0159 0.0000 0.0673 4.2426 0.0000 0.0000 0.0071 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.0000 0.0000 0.1330 0.0159 0.0383 0.0000 0.1330 2.4041 0.0000 0.0000 0.0266 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.1231 0.1562 0.0505 0.0656 0.1231 0.1562 1.2987 0.0004 0.0000 0.0618 0.0000 0.1562 0.0505 0.0656 317-AH 0.0000 0.0000 0.0138 0.0600 0.1071 0.0309 0.0382 0.0600 0.1071 1.2341 0.0007 0.0000 0.0317 0.0000 0.1071 0.0309 0.0382 318-AH 0.0000 0.0000 0.0163 0.0398 0.1481 0.0262 0.0363 0.0398 0.1481 1.3835 0.0014 0.0000 0.0246 0.0000 0.0620 0.0191 0.0204 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0155 0.0017 0.0049 0.0000 0.0155 2.9120 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0172 0.0219 0.0242 0.0118 0.0111 0.0219 0.0242 0.9393 0.0007 0.0000 0.0105 0.0000 0.0242 0.0118 0.0111 323-AH 0.0000 0.0000 0.0000 0.0000 0.0607 0.0034 0.0143 0.0000 0.0607 4.2426 0.0000 0.0000 0.0064 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.5217 0.0610 0.1477 0.0000 0.5217 2.4232 0.0001 0.0000 0.1016 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0000 0.0000 0.4098 0.0696 0.1372 0.0000 0.4098 1.9732 0.0001 0.0000 0.1082 0.0000 0.0000 0.0000 0.0000 326-AH 0.0000 0.0000 0.0000 0.0079 0.0227 0.0040 0.0067 0.0079 0.0227 1.6750 0.0001 0.0000 0.0053 0.0000 0.0143 0.0029 0.0049 327-AH 0.0000 0.0000 0.0000 0.0221 0.4000 0.0319 0.0932 0.0221 0.4000 2.9244 0.0003 0.0000 0.0434 0.0000 0.0541 0.0102 0.0160 328-AH 0.0000 0.0548 0.3226 0.5588 0.6129 0.2953 0.2548 0.5041 0.6129 0.8628 0.0428 0.0001 0.2330 0.0000 0.6129 0.2953 0.2548 329-AH 0.0000 0.0952 0.2546 0.3333 0.5833 0.2383 0.1773 0.2381 0.5833 0.7440 0.0660 0.0001 0.1475 0.0000 0.5833 0.2383 0.1773 330-AH 0.0000 0.1767 0.5035 0.5811 0.7000 0.4306 0.2344 0.4044 0.7000 0.5444 0.1333 0.0001 0.1986 0.0000 0.7000 0.4306 0.2344 331-AH 0.0000 0.1026 0.1819 0.2800 0.3590 0.1850 0.1043 0.1774 0.3590 0.5635 0.0639 0.0001 0.0875 0.0000 0.3590 0.1850 0.1043 332-AH 0.0000 0.1818 0.2123 0.2414 0.2500 0.1891 0.0752 0.0596 0.2500 0.3979 0.0696 0.0001 0.0515 0.1509 0.2500 0.2127 0.0324 333-AH 0.0042 0.8333 1.0000 1.0000 1.0000 0.8046 0.3498 0.1667 0.9958 0.4348 0.4814 0.0367 0.2669 0.8333 1.0000 0.9762 0.0605 334-AH 0.0000 0.0098 0.0783 0.1538 0.1739 0.0805 0.0679 0.1441 0.1739 0.8441 0.0218 0.0001 0.0630 0.0000 0.1739 0.0805 0.0679 335-AH 0.0000 0.0000 0.0238 0.0561 0.1277 0.0400 0.0453 0.0561 0.1277 1.1313 0.0019 0.0000 0.0370 0.0000 0.1277 0.0400 0.0453 336-AH 0.0000 0.0000 0.0000 0.0472 0.0596 0.0222 0.0259 0.0472 0.0596 1.1645 0.0004 0.0000 0.0247 0.0000 0.0596 0.0222 0.0259 337-AH 0.0000 0.5161 0.6400 0.7083 0.8095 0.5767 0.2369 0.1922 0.8095 0.4107 0.1864 0.0001 0.1680 0.3556 0.8095 0.6488 0.1170 338-AH 0.0000 0.0141 0.0618 0.0941 0.4706 0.1125 0.1547 0.0800 0.4706 1.3752 0.0115 0.0000 0.1086 0.0000 0.1127 0.0474 0.0399 339-AH 0.0000 0.0960 0.1936 0.4848 0.6154 0.2609 0.2091 0.3888 0.6154 0.8017 0.0759 0.0001 0.1809 0.0000 0.6154 0.2609 0.2091 340-AH 0.0000 0.0000 0.1569 0.1818 0.5000 0.1299 0.1271 0.1818 0.5000 0.9781 0.0102 0.0000 0.0953 0.0000 0.2632 0.1081 0.0899 384 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0058 0.0610 1.0000 0.1063 0.2454 0.0610 1.0000 2.3082 0.0009 0.0000 0.1462 0.0000 0.0962 0.0186 0.0293 342-AH 0.0000 0.1838 0.4798 0.5786 0.6897 0.3959 0.2238 0.3948 0.6897 0.5653 0.1971 0.0002 0.1962 0.0000 0.6897 0.3959 0.2238 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.0371 0.0971 0.2160 0.4576 0.1558 0.1513 0.1789 0.4576 0.9711 0.0180 0.0000 0.1237 0.0000 0.4576 0.1558 0.1513 345-AH 0.0000 0.0000 0.0164 0.0455 0.0708 0.0230 0.0250 0.0455 0.0708 1.0852 0.0010 0.0000 0.0220 0.0000 0.0708 0.0230 0.0250 346-AH 0.0000 0.0000 0.0000 0.0344 0.0647 0.0185 0.0227 0.0344 0.0647 1.2235 0.0004 0.0000 0.0206 0.0000 0.0647 0.0185 0.0227 347-AH 0.0000 0.0000 0.0000 0.0131 0.0206 0.0055 0.0073 0.0131 0.0206 1.3383 0.0002 0.0000 0.0067 0.0000 0.0206 0.0055 0.0073 348-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7037 0.4557 1.0000 1.0000 0.6476 0.0399 0.0000 0.3951 0.0000 1.0000 0.7037 0.4557 349-AH 0.0000 0.1486 0.1873 0.2421 0.2716 0.1768 0.0801 0.0935 0.2716 0.4529 0.0642 0.0001 0.0592 0.1089 0.2716 0.1990 0.0508 350-AH 0.0000 0.2581 0.2967 0.3333 0.5333 0.2796 0.1295 0.0753 0.5333 0.4631 0.0965 0.0001 0.0876 0.1579 0.4000 0.2999 0.0644 385 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.0000 0.1667 0.4010 0.5333 0.8889 0.3825 0.2539 0.3667 0.8889 0.6636 0.1094 0.0001 0.1969 0.0000 0.8889 0.3825 0.2539 143-AH 0.0000 0.0000 0.3412 0.4865 0.6923 0.2620 0.2366 0.4865 0.6923 0.9029 0.0106 0.0000 0.2090 0.0000 0.6923 0.2620 0.2366 144-AH 0.0000 0.0000 0.0000 0.0063 0.7500 0.1362 0.2858 0.0063 0.7500 2.0988 0.0003 0.0000 0.2103 0.0000 0.0063 0.0010 0.0021 145-AH 0.0000 0.0000 0.0321 0.1494 0.3495 0.0886 0.1153 0.1494 0.3495 1.3016 0.0012 0.0000 0.0925 0.0000 0.3495 0.0886 0.1153 146-AH 0.0000 0.0000 0.0000 0.0043 0.0120 0.0024 0.0036 0.0043 0.0120 1.5108 0.0001 0.0000 0.0029 0.0000 0.0077 0.0018 0.0027 147-AH 0.0000 0.0000 0.1258 0.2140 0.5169 0.1332 0.1418 0.2140 0.5169 1.0640 0.0042 0.0000 0.1108 0.0000 0.5169 0.1332 0.1418 148-AH 0.0000 0.0000 0.0000 0.0000 0.0252 0.0033 0.0071 0.0000 0.0252 2.1662 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.0566 0.0074 0.0178 0.0000 0.0566 2.4067 0.0001 0.0000 0.0115 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0000 0.0000 0.0417 0.1042 0.0197 0.0296 0.0417 0.1042 1.5051 0.0003 0.0000 0.0240 0.0000 0.1042 0.0197 0.0296 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.0000 0.0292 0.0357 0.0511 0.0226 0.0174 0.0357 0.0511 0.7692 0.0022 0.0000 0.0151 0.0000 0.0511 0.0226 0.0174 155-AH 0.0000 0.0000 0.0000 0.0097 0.1071 0.0127 0.0267 0.0097 0.1071 2.0979 0.0002 0.0000 0.0173 0.0000 0.0097 0.0016 0.0033 156-AH 0.0000 0.0000 0.0000 0.0272 0.0524 0.0141 0.0193 0.0272 0.0524 1.3743 0.0002 0.0000 0.0172 0.0000 0.0524 0.0141 0.0193 157-AH 0.0000 0.0000 0.2118 0.2687 0.3631 0.1692 0.1231 0.2687 0.3631 0.7274 0.0138 0.0000 0.1067 0.0000 0.3631 0.1692 0.1231 158-AH 0.0000 0.0000 0.0629 0.0729 0.3735 0.0854 0.1125 0.0729 0.3735 1.3177 0.0045 0.0000 0.0774 0.0000 0.0756 0.0389 0.0340 159-AH 0.0000 0.0000 0.0000 0.0000 0.0675 0.0037 0.0159 0.0000 0.0675 4.2426 0.0000 0.0000 0.0071 0.0000 0.0000 0.0000 0.0000 160-AH 0.0000 0.0000 0.0158 0.0476 0.1333 0.0332 0.0419 0.0476 0.1333 1.2634 0.0029 0.0000 0.0324 0.0000 0.1111 0.0273 0.0346 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.0000 0.0000 0.2447 0.5288 0.5978 0.2778 0.2365 0.5288 0.5978 0.8512 0.0184 0.0000 0.2091 0.0000 0.5978 0.2778 0.2365 164-AH 0.0000 0.0000 0.0000 0.0328 0.0708 0.0170 0.0238 0.0328 0.0708 1.3971 0.0003 0.0000 0.0208 0.0000 0.0708 0.0170 0.0238 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0000 0.0158 0.0219 0.0862 0.0172 0.0230 0.0219 0.0862 1.3381 0.0011 0.0000 0.0150 0.0000 0.0237 0.0102 0.0101 168-AH 0.0000 0.1189 0.1932 0.2833 0.5484 0.2154 0.1648 0.1645 0.5484 0.7654 0.0668 0.0001 0.1209 0.0000 0.5152 0.1958 0.1467 169-AH 0.0000 0.0000 0.0000 0.0000 0.0359 0.0054 0.0110 0.0000 0.0359 2.0291 0.0001 0.0000 0.0084 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0000 0.0000 0.0207 0.0259 0.0474 0.0159 0.0165 0.0259 0.0474 1.0316 0.0008 0.0000 0.0142 0.0000 0.0474 0.0159 0.0165 172-AH 0.0000 0.0000 0.0000 0.0123 0.0253 0.0070 0.0089 0.0123 0.0253 1.2713 0.0003 0.0000 0.0077 0.0000 0.0253 0.0070 0.0089 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.0094 0.0659 0.0864 0.2692 0.0678 0.0713 0.0770 0.2692 1.0506 0.0091 0.0000 0.0500 0.0000 0.1667 0.0560 0.0521 176-AH 0.0000 0.2880 0.4295 0.6607 0.8409 0.4370 0.2917 0.3727 0.8409 0.6675 0.1206 0.0001 0.2326 0.0000 0.8409 0.4370 0.2917 177-AH 0.0000 0.0335 0.0633 0.0861 0.1714 0.0646 0.0415 0.0526 0.1714 0.6424 0.0358 0.0002 0.0304 0.0000 0.1224 0.0583 0.0328 178-AH 0.0000 0.0000 0.0000 0.0000 0.0085 0.0005 0.0020 0.0000 0.0085 4.2426 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0000 0.0000 0.0253 0.1258 0.0170 0.0348 0.0253 0.1258 2.0498 0.0001 0.0000 0.0246 0.0000 0.0366 0.0061 0.0134 180-AH 0.0000 0.0000 0.0000 0.0000 0.4675 0.0549 0.1232 0.0000 0.4675 2.2454 0.0001 0.0000 0.0853 0.0000 0.0000 0.0000 0.0000 181-AH 0.1186 0.2943 0.3803 0.5533 0.6803 0.3923 0.1567 0.2590 0.5618 0.3994 0.3590 0.3216 0.1233 0.1186 0.6803 0.3923 0.1567 182-AH 0.0000 0.0095 0.0777 0.1538 0.1905 0.0788 0.0688 0.1443 0.1905 0.8730 0.0150 0.0001 0.0557 0.0000 0.1905 0.0788 0.0688 183-AH 0.0000 0.0043 0.0850 0.1333 0.3333 0.1089 0.1176 0.1291 0.3333 1.0801 0.0109 0.0000 0.0931 0.0000 0.2857 0.0808 0.0901 184-AH 0.0000 0.0000 0.0000 0.0000 0.0292 0.0058 0.0112 0.0000 0.0292 1.9406 0.0001 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.0660 0.2333 0.4375 0.7778 0.8750 0.4715 0.2814 0.5444 0.8090 0.5968 0.3764 0.2781 0.2456 0.0660 0.8750 0.4715 0.2814 190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 386 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0000 0.0353 0.2500 0.4615 0.1200 0.1574 0.2500 0.4615 1.3115 0.0045 0.0000 0.1364 0.0000 0.4615 0.1200 0.1574 193-AH 0.0000 0.0000 0.0000 0.0308 0.0805 0.0192 0.0300 0.0308 0.0805 1.5589 0.0002 0.0000 0.0248 0.0000 0.0619 0.0116 0.0213 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.1899 0.2383 0.5000 0.9400 0.3607 0.2944 0.3101 0.9400 0.8163 0.1046 0.0001 0.2379 0.0000 0.9400 0.3607 0.2944 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.0103 0.1765 0.4618 0.6000 0.7500 0.4207 0.2432 0.4235 0.7397 0.5782 0.2899 0.1006 0.1989 0.0103 0.7500 0.4207 0.2432 200-AH 0.0000 0.0000 0.0000 0.0116 0.0230 0.0056 0.0078 0.0116 0.0230 1.3793 0.0002 0.0000 0.0069 0.0000 0.0230 0.0056 0.0078 251-AH 0.0000 0.0000 0.0000 0.0000 0.0926 0.0051 0.0218 0.0000 0.0926 4.2426 0.0000 0.0000 0.0097 0.0000 0.0000 0.0000 0.0000 252-AH 0.0000 0.0000 0.0780 0.1800 0.2411 0.1042 0.0908 0.1800 0.2411 0.8718 0.0090 0.0000 0.0797 0.0000 0.2411 0.1042 0.0908 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0182 0.0282 0.0976 0.2105 0.0643 0.0634 0.0794 0.2105 0.9858 0.0194 0.0001 0.0515 0.0000 0.2105 0.0643 0.0634 256-AH 0.0000 0.0000 0.2435 0.3721 0.6327 0.2251 0.1941 0.3721 0.6327 0.8622 0.0154 0.0000 0.1643 0.0000 0.6327 0.2251 0.1941 257-AH 0.0000 0.0000 0.0000 0.0670 0.0898 0.0214 0.0358 0.0670 0.0898 1.6745 0.0001 0.0000 0.0308 0.0000 0.0898 0.0214 0.0358 258-AH 0.0000 0.0000 0.0000 0.0000 0.0056 0.0003 0.0013 0.0000 0.0056 4.2426 0.0000 0.0000 0.0006 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0040 0.0273 0.0732 0.0152 0.0223 0.0273 0.0732 1.4687 0.0006 0.0000 0.0182 0.0000 0.0536 0.0118 0.0175 260-AH 0.0000 0.0000 0.0000 0.1180 0.4071 0.0633 0.1023 0.1180 0.4071 1.6175 0.0006 0.0000 0.0703 0.0000 0.1570 0.0430 0.0574 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0000 0.0270 0.0585 0.0758 0.0280 0.0294 0.0585 0.0758 1.0499 0.0011 0.0000 0.0253 0.0000 0.0758 0.0280 0.0294 265-AH 0.0000 0.0060 0.0703 0.0952 0.3529 0.0970 0.1181 0.0892 0.3529 1.2170 0.0108 0.0000 0.0825 0.0000 0.1091 0.0483 0.0401 266-AH 0.0000 0.0000 0.0000 0.0067 0.1905 0.0151 0.0456 0.0067 0.1905 3.0276 0.0001 0.0000 0.0238 0.0000 0.0103 0.0017 0.0036 267-AH 0.0000 0.0000 0.0000 0.0000 0.0373 0.0074 0.0143 0.0000 0.0373 1.9329 0.0001 0.0000 0.0115 0.0000 0.0000 0.0000 0.0000 268-AH 0.0000 0.0000 0.0070 0.0326 0.0857 0.0172 0.0229 0.0326 0.0857 1.3340 0.0010 0.0000 0.0177 0.0000 0.0429 0.0131 0.0157 269-AH 0.0000 0.0000 0.0000 0.0000 0.0102 0.0006 0.0024 0.0000 0.0102 4.2426 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.0000 0.1328 0.4000 0.4160 0.1871 0.1873 0.4000 0.4160 1.0008 0.0050 0.0000 0.1705 0.0000 0.4160 0.1871 0.1873 271-AH 0.0000 0.0000 0.0523 0.1041 0.1760 0.0596 0.0664 0.1041 0.1760 1.1141 0.0016 0.0000 0.0552 0.0000 0.1760 0.0596 0.0664 272-AH 0.0000 0.0000 0.0000 0.1354 0.3023 0.0794 0.1163 0.1354 0.3023 1.4649 0.0007 0.0000 0.0946 0.0000 0.3023 0.0794 0.1163 273-AH 0.0000 0.0000 0.0000 0.2269 0.3289 0.0900 0.1337 0.2269 0.3289 1.4853 0.0003 0.0000 0.1200 0.0000 0.3289 0.0900 0.1337 274-AH 0.0000 0.0000 0.0000 0.0000 0.1579 0.0088 0.0372 0.0000 0.1579 4.2426 0.0000 0.0000 0.0166 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0000 0.0000 0.1227 0.1667 0.0500 0.0671 0.1227 0.1667 1.3428 0.0004 0.0000 0.0611 0.0000 0.1667 0.0500 0.0671 276-AH 0.0000 0.0000 0.0000 0.0000 0.1806 0.0307 0.0607 0.0000 0.1806 1.9769 0.0001 0.0000 0.0478 0.0000 0.0000 0.0000 0.0000 277-AH 0.0000 0.0000 0.0000 0.0000 0.0248 0.0014 0.0058 0.0000 0.0248 4.2426 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0000 0.0565 0.0076 0.0178 0.0000 0.0565 2.3399 0.0000 0.0000 0.0127 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0000 0.0059 0.0132 0.0476 0.0108 0.0143 0.0132 0.0476 1.3270 0.0006 0.0000 0.0111 0.0000 0.0328 0.0086 0.0113 280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 281-AH 0.0000 0.1128 0.1646 0.1848 0.2000 0.1401 0.0634 0.0721 0.2000 0.4523 0.0520 0.0001 0.0503 0.0683 0.2000 0.1576 0.0401 282-AH 0.0000 0.0000 0.0000 0.0000 0.0332 0.0018 0.0078 0.0000 0.0332 4.2426 0.0000 0.0000 0.0035 0.0000 0.0000 0.0000 0.0000 283-AH 0.0000 0.0000 0.0000 0.0000 0.0453 0.0046 0.0135 0.0000 0.0453 2.9247 0.0000 0.0000 0.0082 0.0000 0.0000 0.0000 0.0000 284-AH 0.0000 0.0000 0.0000 0.2482 0.3933 0.1257 0.1676 0.2482 0.3933 1.3328 0.0006 0.0000 0.1537 0.0000 0.3933 0.1257 0.1676 285-AH 0.0000 0.0000 0.0324 0.1111 0.4701 0.0739 0.1138 0.1111 0.4701 1.5399 0.0011 0.0000 0.0749 0.0000 0.1416 0.0506 0.0581 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.0899 0.1546 0.1619 0.0865 0.0672 0.1546 0.1619 0.7768 0.0083 0.0000 0.0607 0.0000 0.1619 0.0865 0.0672 288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.0000 0.2916 0.5312 0.6071 0.2656 0.2528 0.5312 0.6071 0.9518 0.0063 0.0000 0.2278 0.0000 0.6071 0.2656 0.2528 290-AH 0.0000 0.0000 0.0000 0.0000 0.1119 0.0190 0.0384 0.0000 0.1119 2.0200 0.0001 0.0000 0.0296 0.0000 0.0000 0.0000 0.0000 387 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.0403 0.0571 0.1027 0.0374 0.0362 0.0571 0.1027 0.9665 0.0020 0.0000 0.0293 0.0000 0.1027 0.0374 0.0362 292-AH 0.0000 0.0303 0.1940 0.5714 1.0000 0.3281 0.3444 0.5411 1.0000 1.0498 0.0425 0.0001 0.2840 0.0000 1.0000 0.3281 0.3444 293-AH 0.0000 0.0000 0.1296 0.2793 0.3827 0.1481 0.1390 0.2793 0.3827 0.9386 0.0071 0.0000 0.1194 0.0000 0.3827 0.1481 0.1390 294-AH 0.0000 0.0000 0.3318 0.4808 0.5208 0.2641 0.2291 0.4808 0.5208 0.8674 0.0067 0.0000 0.2097 0.0000 0.5208 0.2641 0.2291 295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0274 0.1746 0.2821 0.4783 0.1785 0.1519 0.2547 0.4783 0.8514 0.0208 0.0000 0.1259 0.0000 0.4783 0.1785 0.1519 297-AH 0.0000 0.0000 0.0000 0.0150 0.0292 0.0055 0.0096 0.0150 0.0292 1.7380 0.0001 0.0000 0.0080 0.0000 0.0292 0.0055 0.0096 298-AH 0.0000 0.0000 0.0000 0.0281 0.0657 0.0105 0.0190 0.0281 0.0657 1.8098 0.0001 0.0000 0.0152 0.0000 0.0657 0.0105 0.0190 299-AH 0.0000 0.0000 0.0000 0.0000 0.2170 0.0257 0.0571 0.0000 0.2170 2.2210 0.0001 0.0000 0.0400 0.0000 0.0000 0.0000 0.0000 300-AH 0.0000 0.0000 0.0000 0.0693 0.1114 0.0343 0.0425 0.0693 0.1114 1.2379 0.0005 0.0000 0.0382 0.0000 0.1114 0.0343 0.0425 301-AH 0.0000 0.0000 0.0000 0.0377 0.0556 0.0132 0.0223 0.0377 0.0556 1.6906 0.0001 0.0000 0.0190 0.0000 0.0556 0.0132 0.0223 302-AH 0.0000 0.0469 0.1349 0.2051 0.2286 0.1204 0.0875 0.1582 0.2286 0.7269 0.0166 0.0000 0.0768 0.0000 0.2286 0.1204 0.0875 303-AH 0.0000 0.0000 0.0000 0.0192 0.0242 0.0074 0.0108 0.0192 0.0242 1.4663 0.0001 0.0000 0.0098 0.0000 0.0242 0.0074 0.0108 304-AH 0.0000 0.0000 0.0000 0.0000 0.0443 0.0062 0.0146 0.0000 0.0443 2.3434 0.0000 0.0000 0.0104 0.0000 0.0000 0.0000 0.0000 305-AH 0.0000 0.0000 0.0000 0.0000 0.0935 0.0179 0.0353 0.0000 0.0935 1.9689 0.0001 0.0000 0.0279 0.0000 0.0000 0.0000 0.0000 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0040 0.0168 0.0000 0.0714 4.2426 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000 308-AH 0.0000 0.0000 0.0796 0.1786 0.2041 0.0959 0.0773 0.1786 0.2041 0.8066 0.0089 0.0000 0.0671 0.0000 0.2041 0.0959 0.0773 309-AH 0.0000 0.0000 0.0120 0.0268 0.0643 0.0179 0.0207 0.0268 0.0643 1.1537 0.0012 0.0000 0.0161 0.0000 0.0643 0.0179 0.0207 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0000 0.0562 0.0683 0.1124 0.0483 0.0393 0.0683 0.1124 0.8150 0.0036 0.0000 0.0322 0.0000 0.1124 0.0483 0.0393 312-AH 0.0000 0.0000 0.0148 0.2417 0.4746 0.1257 0.1650 0.2417 0.4746 1.3125 0.0014 0.0000 0.1466 0.0000 0.4746 0.1257 0.1650 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0226 0.0013 0.0053 0.0000 0.0226 4.2426 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0000 0.0000 0.0428 0.0993 0.0201 0.0353 0.0428 0.0993 1.7502 0.0001 0.0000 0.0291 0.0000 0.0993 0.0201 0.0353 318-AH 0.0000 0.0000 0.0084 0.0308 0.1250 0.0213 0.0312 0.0308 0.1250 1.4640 0.0006 0.0000 0.0218 0.0000 0.0508 0.0152 0.0180 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.0177 0.0240 0.0090 0.0106 0.0177 0.0240 1.1762 0.0003 0.0000 0.0100 0.0000 0.0240 0.0090 0.0106 323-AH 0.0000 0.0000 0.0000 0.0000 0.0409 0.0023 0.0096 0.0000 0.0409 4.2426 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0000 0.0000 0.2750 0.0508 0.1002 0.0000 0.2750 1.9739 0.0001 0.0000 0.0790 0.0000 0.0000 0.0000 0.0000 326-AH 0.0000 0.0000 0.0000 0.0079 0.0227 0.0040 0.0067 0.0079 0.0227 1.6750 0.0001 0.0000 0.0053 0.0000 0.0143 0.0029 0.0049 327-AH 0.0000 0.0000 0.0000 0.0221 0.4000 0.0319 0.0932 0.0221 0.4000 2.9244 0.0003 0.0000 0.0434 0.0000 0.0541 0.0102 0.0160 328-AH 0.0000 0.0000 0.1563 0.4468 0.5526 0.2155 0.2217 0.4468 0.5526 1.0290 0.0126 0.0000 0.1981 0.0000 0.5526 0.2155 0.2217 329-AH 0.0000 0.0000 0.1362 0.2105 0.3333 0.1343 0.1166 0.2105 0.3333 0.8678 0.0107 0.0000 0.0983 0.0000 0.3333 0.1343 0.1166 330-AH 0.0000 0.1513 0.2808 0.4340 0.5875 0.2967 0.1854 0.2826 0.5875 0.6248 0.0935 0.0001 0.1532 0.0000 0.5875 0.2967 0.1854 331-AH 0.0000 0.1026 0.1341 0.2000 0.2353 0.1336 0.0676 0.0974 0.2353 0.5059 0.0493 0.0001 0.0527 0.0000 0.2353 0.1336 0.0676 332-AH 0.0000 0.1667 0.1928 0.2162 0.2500 0.1761 0.0697 0.0495 0.2500 0.3959 0.0654 0.0001 0.0444 0.1509 0.2500 0.1982 0.0293 333-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7863 0.3743 0.1667 1.0000 0.4760 0.2328 0.0001 0.2954 0.8333 1.0000 0.9762 0.0605 334-AH 0.0000 0.0000 0.0000 0.0066 0.0098 0.0030 0.0039 0.0066 0.0098 1.3224 0.0001 0.0000 0.0036 0.0000 0.0098 0.0030 0.0039 335-AH 0.0000 0.0000 0.0000 0.0526 0.0952 0.0212 0.0340 0.0526 0.0952 1.6045 0.0002 0.0000 0.0286 0.0000 0.0952 0.0212 0.0340 336-AH 0.0000 0.0000 0.0000 0.0317 0.0421 0.0156 0.0183 0.0317 0.0421 1.1690 0.0004 0.0000 0.0174 0.0000 0.0421 0.0156 0.0183 337-AH 0.0000 0.0753 0.4737 0.5806 0.6207 0.3658 0.2405 0.5053 0.6207 0.6573 0.0983 0.0001 0.2103 0.0000 0.6207 0.3658 0.2405 338-AH 0.0000 0.0000 0.0000 0.0634 0.2000 0.0379 0.0592 0.0634 0.2000 1.5645 0.0005 0.0000 0.0456 0.0000 0.1500 0.0283 0.0446 339-AH 0.0000 0.0870 0.1375 0.2368 0.3333 0.1577 0.1021 0.1499 0.3333 0.6479 0.0531 0.0001 0.0899 0.0000 0.3333 0.1577 0.1021 340-AH 0.0000 0.0000 0.0644 0.1351 0.2632 0.0790 0.0749 0.1351 0.2632 0.9486 0.0071 0.0000 0.0616 0.0000 0.2632 0.0790 0.0749 388 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0000 0.0148 0.0968 0.0118 0.0247 0.0148 0.0968 2.0966 0.0001 0.0000 0.0163 0.0000 0.0171 0.0026 0.0057 342-AH 0.0000 0.1147 0.3440 0.4603 0.6331 0.3058 0.2172 0.3456 0.6331 0.7103 0.0560 0.0001 0.1802 0.0000 0.6331 0.3058 0.2172 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.0000 0.0688 0.1075 0.4054 0.1118 0.1364 0.1075 0.4054 1.2199 0.0054 0.0000 0.1027 0.0000 0.2542 0.0597 0.0683 345-AH 0.0000 0.0000 0.0000 0.0091 0.0233 0.0048 0.0084 0.0091 0.0233 1.7676 0.0001 0.0000 0.0069 0.0000 0.0204 0.0037 0.0072 346-AH 0.0000 0.0000 0.0000 0.0272 0.0362 0.0118 0.0154 0.0272 0.0362 1.3071 0.0002 0.0000 0.0144 0.0000 0.0362 0.0118 0.0154 347-AH 0.0000 0.0000 0.0000 0.0000 0.0161 0.0017 0.0050 0.0000 0.0161 2.9119 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7037 0.4557 1.0000 1.0000 0.6476 0.0399 0.0000 0.3951 0.0000 1.0000 0.7037 0.4557 349-AH 0.0000 0.0293 0.1371 0.1462 0.1689 0.1050 0.0628 0.1169 0.1689 0.5982 0.0238 0.0001 0.0540 0.0000 0.1689 0.1050 0.0628 350-AH 0.0000 0.1286 0.1565 0.2045 0.2647 0.1577 0.0721 0.0760 0.2647 0.4570 0.0581 0.0001 0.0526 0.1169 0.2647 0.1774 0.0464 389 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7222 0.4609 1.0000 1.0000 0.6382 0.0408 0.0000 0.4012 0.0000 1.0000 0.7222 0.4609 142-AH 0.0000 0.1667 0.4010 0.5333 0.8889 0.3825 0.2539 0.3667 0.8889 0.6636 0.1094 0.0001 0.1969 0.0000 0.8889 0.3825 0.2539 143-AH 0.0000 0.0000 0.0535 0.2143 0.4105 0.1093 0.1208 0.2143 0.4105 1.1048 0.0035 0.0000 0.1051 0.0000 0.4105 0.1093 0.1208 144-AH 0.0000 0.0000 0.0000 0.0063 0.7500 0.1362 0.2858 0.0063 0.7500 2.0988 0.0003 0.0000 0.2103 0.0000 0.0063 0.0010 0.0021 145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 146-AH 0.0000 0.0000 0.0000 0.0043 0.0120 0.0024 0.0036 0.0043 0.0120 1.5108 0.0001 0.0000 0.0029 0.0000 0.0077 0.0018 0.0027 147-AH 0.0000 0.0000 0.0000 0.0000 0.0610 0.0034 0.0144 0.0000 0.0610 4.2426 0.0000 0.0000 0.0064 0.0000 0.0000 0.0000 0.0000 148-AH 0.0000 0.0000 0.0000 0.0000 0.0252 0.0033 0.0071 0.0000 0.0252 2.1662 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.0361 0.0045 0.0115 0.0000 0.0361 2.5445 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 152-AH 0.0000 0.0000 0.0000 0.0350 0.0509 0.0130 0.0179 0.0350 0.0509 1.3805 0.0002 0.0000 0.0158 0.0000 0.0509 0.0130 0.0179 153-AH 0.0000 0.0000 0.0014 0.0055 0.0100 0.0029 0.0037 0.0055 0.0100 1.3068 0.0003 0.0000 0.0031 0.0000 0.0100 0.0029 0.0037 154-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 155-AH 0.0000 0.0000 0.0000 0.0097 0.1071 0.0127 0.0267 0.0097 0.1071 2.0979 0.0002 0.0000 0.0173 0.0000 0.0097 0.0016 0.0033 156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 157-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 158-AH 0.0000 0.0000 0.0000 0.0350 0.2313 0.0389 0.0752 0.0350 0.2313 1.9350 0.0002 0.0000 0.0532 0.0000 0.0351 0.0070 0.0144 159-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 160-AH 0.0000 0.0000 0.0158 0.0476 0.1333 0.0332 0.0419 0.0476 0.1333 1.2634 0.0029 0.0000 0.0324 0.0000 0.1111 0.0273 0.0346 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.1250 0.2000 1.0000 0.1977 0.2664 0.1990 1.0000 1.3480 0.0131 0.0000 0.1902 0.0000 0.2000 0.0756 0.0785 163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.0000 0.0604 0.0050 0.0154 0.0000 0.0604 3.1038 0.0000 0.0000 0.0088 0.0000 0.0000 0.0000 0.0000 165-AH 0.1250 0.5000 1.0000 1.0000 1.0000 0.7755 0.3022 0.5000 0.8750 0.3897 0.6914 0.5625 0.2744 0.1250 1.0000 0.7755 0.3022 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0000 0.0158 0.0219 0.0862 0.0172 0.0230 0.0219 0.0862 1.3381 0.0011 0.0000 0.0150 0.0000 0.0237 0.0102 0.0101 168-AH 0.0000 0.1047 0.1601 0.2045 0.5294 0.1886 0.1504 0.0999 0.5294 0.7976 0.0594 0.0001 0.1054 0.0000 0.2466 0.1303 0.0731 169-AH 0.0000 0.0000 0.0000 0.0000 0.0359 0.0054 0.0110 0.0000 0.0359 2.0291 0.0001 0.0000 0.0084 0.0000 0.0000 0.0000 0.0000 170-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6692 0.4815 0.9936 1.0000 0.7196 0.0644 0.0001 0.4411 0.0000 1.0000 0.6692 0.4815 171-AH 0.0000 0.0000 0.0000 0.0000 0.0241 0.0039 0.0090 0.0000 0.0241 2.3016 0.0000 0.0000 0.0065 0.0000 0.0000 0.0000 0.0000 172-AH 0.0000 0.0000 0.0000 0.0123 0.0253 0.0070 0.0089 0.0123 0.0253 1.2713 0.0003 0.0000 0.0077 0.0000 0.0253 0.0070 0.0089 173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 174-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9815 0.0786 0.0000 0.3333 0.0800 0.9777 0.9730 0.0350 1.0000 1.0000 1.0000 0.0000 175-AH 0.0000 0.0094 0.0659 0.0864 0.2692 0.0678 0.0713 0.0770 0.2692 1.0506 0.0091 0.0000 0.0500 0.0000 0.1667 0.0560 0.0521 176-AH 0.0000 0.0464 0.1438 0.4535 0.5909 0.2191 0.2108 0.4071 0.5909 0.9623 0.0226 0.0000 0.1819 0.0000 0.5909 0.2191 0.2108 177-AH 0.0000 0.0000 0.0327 0.0487 0.0861 0.0322 0.0261 0.0487 0.0861 0.8111 0.0040 0.0000 0.0215 0.0000 0.0861 0.0322 0.0261 178-AH 0.0000 0.0000 0.0000 0.0000 0.0085 0.0005 0.0020 0.0000 0.0085 4.2426 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000 179-AH 0.0000 0.0000 0.0000 0.0000 0.0324 0.0018 0.0076 0.0000 0.0324 4.2426 0.0000 0.0000 0.0034 0.0000 0.0000 0.0000 0.0000 180-AH 0.0000 0.0000 0.0000 0.0000 0.1951 0.0158 0.0470 0.0000 0.1951 2.9780 0.0000 0.0000 0.0263 0.0000 0.0000 0.0000 0.0000 181-AH 0.0000 0.0000 0.0000 0.1533 0.2902 0.0711 0.0995 0.1533 0.2902 1.3992 0.0004 0.0000 0.0869 0.0000 0.2902 0.0711 0.0995 182-AH 0.0000 0.0095 0.0777 0.1538 0.1905 0.0788 0.0688 0.1443 0.1905 0.8730 0.0150 0.0001 0.0557 0.0000 0.1905 0.0788 0.0688 183-AH 0.0000 0.0043 0.0850 0.1333 0.3333 0.1089 0.1176 0.1291 0.3333 1.0801 0.0109 0.0000 0.0931 0.0000 0.2857 0.0808 0.0901 184-AH 0.0000 0.0000 0.0000 0.0000 0.0292 0.0058 0.0112 0.0000 0.0292 1.9406 0.0001 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 185-AH 0.0500 0.0833 0.1181 1.0000 1.0000 0.3585 0.4120 0.9167 0.9500 1.1491 0.1915 0.1241 0.3564 0.0500 1.0000 0.3585 0.4120 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0061 0.0175 0.0625 0.2000 0.5000 0.1463 0.1774 0.1825 0.4939 1.2126 0.0642 0.0262 0.1414 0.0061 0.2500 0.0755 0.0777 188-AH 0.0000 0.0000 0.0011 0.0049 0.0500 0.0075 0.0152 0.0049 0.0500 2.0096 0.0003 0.0000 0.0099 0.0000 0.0095 0.0017 0.0027 189-AH 0.0660 0.2333 0.4375 0.7778 0.8750 0.4715 0.2814 0.5444 0.8090 0.5968 0.3764 0.2781 0.2456 0.0660 0.8750 0.4715 0.2814 190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 390 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0000 0.0353 0.2500 0.4615 0.1200 0.1574 0.2500 0.4615 1.3115 0.0045 0.0000 0.1364 0.0000 0.4615 0.1200 0.1574 193-AH 0.0000 0.0000 0.0000 0.0308 0.0805 0.0192 0.0300 0.0308 0.0805 1.5589 0.0002 0.0000 0.0248 0.0000 0.0619 0.0116 0.0213 194-AH 0.0000 0.0000 0.0134 0.0909 1.0000 0.1952 0.3738 0.0909 1.0000 1.9150 0.0052 0.0000 0.2688 0.0000 0.2000 0.0342 0.0558 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1111 0.5000 0.5000 1.0000 1.0000 0.6235 0.2998 0.5000 0.8889 0.4809 0.5330 0.4091 0.2510 0.1111 1.0000 0.6235 0.2998 197-AH 0.0000 0.0756 0.0984 0.2212 0.8621 0.1951 0.2416 0.1456 0.8621 1.2384 0.0313 0.0001 0.1726 0.0000 0.2381 0.0975 0.0762 198-AH 0.0000 0.0013 0.0110 0.0769 1.0000 0.2113 0.3807 0.0756 1.0000 1.8019 0.0076 0.0000 0.2950 0.0000 0.0769 0.0216 0.0288 199-AH 0.0000 0.0433 0.1887 0.3846 0.4762 0.2216 0.1683 0.3413 0.4762 0.7595 0.0402 0.0001 0.1491 0.0000 0.4762 0.2216 0.1683 200-AH 0.0000 0.0000 0.0000 0.0116 0.0230 0.0056 0.0078 0.0116 0.0230 1.3793 0.0002 0.0000 0.0069 0.0000 0.0230 0.0056 0.0078 251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 252-AH 0.0000 0.0000 0.0000 0.1324 0.1737 0.0629 0.0750 0.1324 0.1737 1.1922 0.0007 0.0000 0.0699 0.0000 0.1737 0.0629 0.0750 253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 255-AH 0.0000 0.0182 0.0282 0.0976 0.2105 0.0643 0.0634 0.0794 0.2105 0.9858 0.0194 0.0001 0.0515 0.0000 0.2105 0.0643 0.0634 256-AH 0.0000 0.0000 0.0000 0.0000 0.1478 0.0168 0.0382 0.0000 0.1478 2.2761 0.0001 0.0000 0.0261 0.0000 0.0000 0.0000 0.0000 257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 258-AH 0.0000 0.0000 0.0000 0.0000 0.0056 0.0003 0.0013 0.0000 0.0056 4.2426 0.0000 0.0000 0.0006 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0040 0.0273 0.0732 0.0152 0.0223 0.0273 0.0732 1.4687 0.0006 0.0000 0.0182 0.0000 0.0536 0.0118 0.0175 260-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 264-AH 0.0000 0.0000 0.0000 0.0000 0.0397 0.0055 0.0128 0.0000 0.0397 2.3287 0.0000 0.0000 0.0092 0.0000 0.0000 0.0000 0.0000 265-AH 0.0000 0.0060 0.0703 0.0952 0.3529 0.0970 0.1181 0.0892 0.3529 1.2170 0.0108 0.0000 0.0825 0.0000 0.1091 0.0483 0.0401 266-AH 0.0000 0.0000 0.0000 0.0067 0.1905 0.0151 0.0456 0.0067 0.1905 3.0276 0.0001 0.0000 0.0238 0.0000 0.0103 0.0017 0.0036 267-AH 0.0000 0.0000 0.0000 0.0000 0.0237 0.0026 0.0075 0.0000 0.0237 2.9110 0.0000 0.0000 0.0046 0.0000 0.0000 0.0000 0.0000 268-AH 0.0000 0.0000 0.0070 0.0326 0.0857 0.0172 0.0229 0.0326 0.0857 1.3340 0.0010 0.0000 0.0177 0.0000 0.0429 0.0131 0.0157 269-AH 0.0000 0.0000 0.0000 0.0000 0.0102 0.0006 0.0024 0.0000 0.0102 4.2426 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000 270-AH 0.0000 0.0000 0.0000 0.0723 0.1932 0.0411 0.0592 0.0723 0.1932 1.4424 0.0004 0.0000 0.0502 0.0000 0.1258 0.0321 0.0469 271-AH 0.0000 0.0000 0.0000 0.0000 0.0471 0.0026 0.0111 0.0000 0.0471 4.2426 0.0000 0.0000 0.0049 0.0000 0.0000 0.0000 0.0000 272-AH 0.0000 0.0000 0.0000 0.0262 0.0560 0.0128 0.0178 0.0262 0.0560 1.3854 0.0002 0.0000 0.0157 0.0000 0.0560 0.0128 0.0178 273-AH 0.0000 0.0000 0.0000 0.0000 0.1680 0.0257 0.0596 0.0000 0.1680 2.3233 0.0000 0.0000 0.0428 0.0000 0.0000 0.0000 0.0000 274-AH 0.0000 0.0000 0.0000 0.0000 0.1416 0.0079 0.0334 0.0000 0.1416 4.2426 0.0000 0.0000 0.0149 0.0000 0.0000 0.0000 0.0000 275-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 276-AH 0.0000 0.0000 0.0000 0.0000 0.0756 0.0078 0.0229 0.0000 0.0756 2.9188 0.0000 0.0000 0.0139 0.0000 0.0000 0.0000 0.0000 277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 278-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 279-AH 0.0000 0.0000 0.0059 0.0132 0.0476 0.0108 0.0143 0.0132 0.0476 1.3270 0.0006 0.0000 0.0111 0.0000 0.0328 0.0086 0.0113 280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 281-AH 0.0000 0.0000 0.0738 0.1329 0.1550 0.0747 0.0582 0.1329 0.1550 0.7790 0.0075 0.0000 0.0502 0.0000 0.1550 0.0747 0.0582 282-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 284-AH 0.0000 0.0000 0.0000 0.1222 0.2923 0.0793 0.1126 0.1222 0.2923 1.4204 0.0005 0.0000 0.0969 0.0000 0.2923 0.0793 0.1126 285-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 287-AH 0.0000 0.0000 0.0000 0.0000 0.0836 0.0145 0.0286 0.0000 0.0836 1.9671 0.0001 0.0000 0.0226 0.0000 0.0000 0.0000 0.0000 288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 289-AH 0.0000 0.0000 0.0337 0.1525 0.2278 0.0749 0.0887 0.1525 0.2278 1.1835 0.0017 0.0000 0.0803 0.0000 0.2278 0.0749 0.0887 290-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 391 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 292-AH 0.0000 0.0303 0.1940 0.5714 1.0000 0.3281 0.3444 0.5411 1.0000 1.0498 0.0425 0.0001 0.2840 0.0000 1.0000 0.3281 0.3444 293-AH 0.0000 0.0000 0.0776 0.1318 0.3238 0.0899 0.1020 0.1318 0.3238 1.1341 0.0032 0.0000 0.0757 0.0000 0.3238 0.0899 0.1020 294-AH 0.0000 0.0000 0.1496 0.1677 0.4355 0.1252 0.1330 0.1677 0.4355 1.0620 0.0040 0.0000 0.1061 0.0000 0.3506 0.1069 0.1114 295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 296-AH 0.0000 0.0000 0.1152 0.1655 0.4211 0.1220 0.1132 0.1655 0.4211 0.9279 0.0103 0.0000 0.0843 0.0000 0.2727 0.1044 0.0877 297-AH 0.0000 0.0000 0.0000 0.0000 0.0178 0.0034 0.0066 0.0000 0.0178 1.9414 0.0001 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000 298-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 299-AH 0.0000 0.0000 0.0000 0.0000 0.0880 0.0049 0.0207 0.0000 0.0880 4.2426 0.0000 0.0000 0.0092 0.0000 0.0000 0.0000 0.0000 300-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 301-AH 0.0000 0.0000 0.0000 0.0000 0.0426 0.0078 0.0158 0.0000 0.0426 2.0238 0.0001 0.0000 0.0122 0.0000 0.0000 0.0000 0.0000 302-AH 0.0000 0.0000 0.0898 0.1339 0.2179 0.0738 0.0717 0.1339 0.2179 0.9707 0.0029 0.0000 0.0633 0.0000 0.2179 0.0738 0.0717 303-AH 0.0000 0.0000 0.0000 0.0000 0.0210 0.0043 0.0082 0.0000 0.0210 1.9294 0.0001 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000 304-AH 0.0000 0.0000 0.0000 0.0000 0.0173 0.0010 0.0041 0.0000 0.0173 4.2426 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000 305-AH 0.0000 0.0000 0.0000 0.0000 0.0763 0.0120 0.0277 0.0000 0.0763 2.3080 0.0000 0.0000 0.0200 0.0000 0.0000 0.0000 0.0000 306-AH 0.0400 0.1429 0.3333 1.0000 1.0000 0.5561 0.4176 0.8571 0.9600 0.7509 0.3674 0.2093 0.3946 0.0400 1.0000 0.5561 0.4176 307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 308-AH 0.0000 0.0000 0.0000 0.0000 0.0174 0.0027 0.0063 0.0000 0.0174 2.3036 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000 309-AH 0.0000 0.0000 0.0000 0.0227 0.0268 0.0098 0.0115 0.0227 0.0268 1.1736 0.0003 0.0000 0.0109 0.0000 0.0268 0.0098 0.0115 310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 312-AH 0.0000 0.0000 0.0000 0.0524 0.1558 0.0330 0.0496 0.0524 0.1558 1.5029 0.0003 0.0000 0.0404 0.0000 0.1308 0.0258 0.0403 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 317-AH 0.0000 0.0000 0.0000 0.0000 0.0459 0.0047 0.0137 0.0000 0.0459 2.9246 0.0000 0.0000 0.0083 0.0000 0.0000 0.0000 0.0000 318-AH 0.0000 0.0000 0.0084 0.0308 0.1250 0.0213 0.0312 0.0308 0.1250 1.4640 0.0006 0.0000 0.0218 0.0000 0.0508 0.0152 0.0180 319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.0000 0.0236 0.0039 0.0091 0.0000 0.0236 2.3009 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000 323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 325-AH 0.0000 0.0000 0.0000 0.0000 0.0662 0.0073 0.0213 0.0000 0.0662 2.9104 0.0000 0.0000 0.0130 0.0000 0.0000 0.0000 0.0000 326-AH 0.0000 0.0000 0.0000 0.0079 0.0227 0.0040 0.0067 0.0079 0.0227 1.6750 0.0001 0.0000 0.0053 0.0000 0.0143 0.0029 0.0049 327-AH 0.0000 0.0000 0.0000 0.0221 0.4000 0.0319 0.0932 0.0221 0.4000 2.9244 0.0003 0.0000 0.0434 0.0000 0.0541 0.0102 0.0160 328-AH 0.0000 0.0000 0.0000 0.1575 0.2949 0.0905 0.1160 0.1575 0.2949 1.2818 0.0008 0.0000 0.1005 0.0000 0.2949 0.0905 0.1160 329-AH 0.0000 0.0000 0.0000 0.0630 0.1910 0.0440 0.0697 0.0630 0.1910 1.5843 0.0003 0.0000 0.0565 0.0000 0.1141 0.0169 0.0342 330-AH 0.0000 0.0000 0.0000 0.2318 0.4766 0.1045 0.1454 0.2318 0.4766 1.3915 0.0008 0.0000 0.1222 0.0000 0.4766 0.1045 0.1454 331-AH 0.0000 0.0572 0.1066 0.1574 0.1954 0.0995 0.0589 0.1002 0.1954 0.5919 0.0363 0.0001 0.0465 0.0000 0.1954 0.0995 0.0589 332-AH 0.0000 0.1667 0.1928 0.2162 0.2500 0.1761 0.0697 0.0495 0.2500 0.3959 0.0654 0.0001 0.0444 0.1509 0.2500 0.1982 0.0293 333-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7863 0.3743 0.1667 1.0000 0.4760 0.2328 0.0001 0.2954 0.8333 1.0000 0.9762 0.0605 334-AH 0.0000 0.0000 0.0000 0.0066 0.0098 0.0030 0.0039 0.0066 0.0098 1.3224 0.0001 0.0000 0.0036 0.0000 0.0098 0.0030 0.0039 335-AH 0.0000 0.0000 0.0000 0.0000 0.0679 0.0133 0.0259 0.0000 0.0679 1.9448 0.0001 0.0000 0.0207 0.0000 0.0000 0.0000 0.0000 336-AH 0.0000 0.0000 0.0000 0.0310 0.0348 0.0136 0.0158 0.0310 0.0348 1.1635 0.0004 0.0000 0.0151 0.0000 0.0348 0.0136 0.0158 337-AH 0.0000 0.0000 0.1705 0.2632 0.5128 0.1621 0.1463 0.2632 0.5128 0.9029 0.0121 0.0000 0.1166 0.0000 0.5128 0.1621 0.1463 338-AH 0.0000 0.0000 0.0000 0.0171 0.0633 0.0096 0.0192 0.0171 0.0633 2.0072 0.0001 0.0000 0.0138 0.0000 0.0209 0.0034 0.0075 339-AH 0.0000 0.0745 0.0844 0.1338 0.2346 0.1053 0.0712 0.0593 0.2346 0.6765 0.0243 0.0001 0.0569 0.0000 0.1881 0.0891 0.0569 340-AH 0.0000 0.0000 0.0644 0.1351 0.2632 0.0790 0.0749 0.1351 0.2632 0.9486 0.0071 0.0000 0.0616 0.0000 0.2632 0.0790 0.0749 392 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0000 0.0000 0.0148 0.0968 0.0118 0.0247 0.0148 0.0968 2.0966 0.0001 0.0000 0.0163 0.0000 0.0171 0.0026 0.0057 342-AH 0.0000 0.0000 0.1211 0.1441 0.4103 0.0979 0.1100 0.1441 0.4103 1.1233 0.0022 0.0000 0.0870 0.0000 0.2119 0.0796 0.0800 343-AH 0.0000 0.0015 0.0213 0.0333 1.0000 0.1498 0.2820 0.0318 1.0000 1.8828 0.0081 0.0001 0.2112 0.0000 0.0333 0.0140 0.0138 344-AH 0.0000 0.0000 0.0000 0.0414 0.1404 0.0280 0.0485 0.0414 0.1404 1.7319 0.0002 0.0000 0.0373 0.0000 0.0954 0.0139 0.0277 345-AH 0.0000 0.0000 0.0000 0.0091 0.0233 0.0048 0.0084 0.0091 0.0233 1.7676 0.0001 0.0000 0.0069 0.0000 0.0204 0.0037 0.0072 346-AH 0.0000 0.0000 0.0000 0.0236 0.0362 0.0096 0.0143 0.0236 0.0362 1.4922 0.0001 0.0000 0.0128 0.0000 0.0362 0.0096 0.0143 347-AH 0.0000 0.0000 0.0000 0.0000 0.0161 0.0017 0.0050 0.0000 0.0161 2.9119 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.7037 0.4557 1.0000 1.0000 0.6476 0.0399 0.0000 0.3951 0.0000 1.0000 0.7037 0.4557 349-AH 0.0000 0.0000 0.0835 0.1004 0.1102 0.0646 0.0437 0.1004 0.1102 0.6771 0.0070 0.0000 0.0375 0.0000 0.1102 0.0646 0.0437 350-AH 0.0000 0.0855 0.1157 0.1639 0.1961 0.1139 0.0633 0.0785 0.1961 0.5559 0.0270 0.0001 0.0477 0.0000 0.1961 0.1139 0.0633 393 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1444 0.0922 0.2000 0.2000 0.6382 0.0128 0.0000 0.0802 0.0000 0.2000 0.1444 0.0922 142-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9111 0.2587 0.0000 0.8000 0.2839 0.8363 0.6923 0.1580 1.0000 1.0000 1.0000 0.0000 143-AH 0.0000 0.0000 0.8000 1.0000 1.0000 0.6222 0.4596 1.0000 1.0000 0.7387 0.0205 0.0000 0.4148 0.0000 1.0000 0.6222 0.4596 144-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1222 0.2290 0.2000 0.6000 1.8732 0.0002 0.0000 0.1765 0.0000 0.2000 0.0267 0.0704 145-AH 0.0000 0.2000 0.9000 1.0000 1.0000 0.6333 0.4406 0.8000 1.0000 0.6957 0.0600 0.0000 0.4037 0.0000 1.0000 0.6333 0.4406 146-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1111 0.1023 0.2000 0.2000 0.9204 0.0025 0.0000 0.0988 0.0000 0.2000 0.1111 0.1023 147-AH 0.0000 0.2000 0.6000 1.0000 1.0000 0.6000 0.4058 0.8000 1.0000 0.6764 0.0995 0.0001 0.3556 0.0000 1.0000 0.6000 0.4058 148-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0667 0.0970 0.2000 0.2000 1.4552 0.0003 0.0000 0.0889 0.0000 0.2000 0.0667 0.0970 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1444 0.2549 0.2000 0.6000 1.7646 0.0002 0.0000 0.2086 0.0000 0.2000 0.0143 0.0535 152-AH 0.0000 0.0000 0.1000 0.2000 0.8000 0.1667 0.2196 0.2000 0.8000 1.3178 0.0017 0.0000 0.1667 0.0000 0.4000 0.1294 0.1572 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6667 0.2567 0.2000 1.0000 0.3850 0.3592 0.0002 0.2000 0.4000 1.0000 0.7375 0.1586 155-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0778 0.1555 0.0000 0.4000 1.9994 0.0001 0.0000 0.1210 0.0000 0.0000 0.0000 0.0000 156-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0889 0.1568 0.2000 0.4000 1.7636 0.0002 0.0000 0.1284 0.0000 0.4000 0.0889 0.1568 157-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5111 0.2847 0.4000 1.0000 0.5570 0.1567 0.0001 0.2321 0.0000 1.0000 0.5111 0.2847 158-AH 0.0000 0.0000 0.5000 0.6000 1.0000 0.4333 0.3956 0.6000 1.0000 0.9128 0.0149 0.0000 0.3444 0.0000 1.0000 0.4333 0.3956 159-AH 0.0000 0.0000 0.3000 0.6000 1.0000 0.3222 0.3300 0.6000 1.0000 1.0241 0.0071 0.0000 0.2778 0.0000 1.0000 0.3222 0.3300 160-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0444 0.0856 0.0000 0.2000 1.9251 0.0001 0.0000 0.0691 0.0000 0.0000 0.0000 0.0000 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0556 0.0922 0.2000 0.2000 1.6592 0.0002 0.0000 0.0802 0.0000 0.2000 0.0556 0.0922 163-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9000 0.2086 0.0000 0.6000 0.2318 0.8671 0.8213 0.1556 1.0000 1.0000 1.0000 0.0000 164-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1715 0.2000 0.4000 1.7150 0.0002 0.0000 0.1444 0.0000 0.4000 0.1000 0.1715 165-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1889 0.0471 0.0000 0.2000 0.2496 0.1154 0.0002 0.0210 0.2000 0.2000 0.2000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.2222 0.1166 0.0000 0.4000 0.5247 0.0776 0.0001 0.0790 0.2000 0.2000 0.2000 0.0000 168-AH 0.0000 0.0000 0.6000 0.6000 1.0000 0.5000 0.3710 0.6000 1.0000 0.7420 0.0302 0.0000 0.3000 0.0000 1.0000 0.5000 0.3710 169-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1029 0.2000 0.2000 1.0290 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1029 170-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1333 0.0970 0.2000 0.2000 0.7276 0.0074 0.0000 0.0889 0.0000 0.2000 0.1333 0.0970 171-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0889 0.1023 0.2000 0.2000 1.1504 0.0008 0.0000 0.0988 0.0000 0.2000 0.0889 0.1023 172-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0778 0.1215 0.2000 0.4000 1.5626 0.0003 0.0000 0.1037 0.0000 0.4000 0.0778 0.1215 173-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000 174-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000 175-AH 0.0000 0.6000 0.6000 0.8000 0.8000 0.6111 0.2423 0.2000 0.8000 0.3964 0.1976 0.0001 0.1469 0.6000 0.8000 0.6875 0.1025 176-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9556 0.1886 0.0000 0.8000 0.1973 0.9145 0.8182 0.0840 1.0000 1.0000 1.0000 0.0000 177-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3444 0.2255 0.4000 0.6000 0.6547 0.0393 0.0000 0.1852 0.0000 0.6000 0.3444 0.2255 178-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0778 0.1215 0.2000 0.4000 1.5626 0.0003 0.0000 0.1037 0.0000 0.4000 0.0778 0.1215 179-AH 0.0000 0.0000 0.4000 0.6000 1.0000 0.4222 0.3353 0.6000 1.0000 0.7941 0.0261 0.0000 0.2691 0.0000 1.0000 0.4222 0.3353 180-AH 0.0000 0.0000 0.0000 0.2000 1.0000 0.1667 0.2765 0.2000 1.0000 1.6592 0.0006 0.0000 0.2037 0.0000 0.4000 0.0875 0.1455 181-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.8000 0.2169 0.4000 0.6000 0.2712 0.7673 0.7297 0.1778 0.4000 1.0000 0.8000 0.2169 182-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2667 0.2058 0.2000 0.6000 0.7717 0.0509 0.0001 0.1630 0.0000 0.6000 0.2667 0.2058 183-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1778 0.1927 0.4000 0.6000 1.0838 0.0030 0.0000 0.1580 0.0000 0.6000 0.1778 0.1927 184-AH 0.0000 0.0000 0.1000 0.4000 0.6000 0.2111 0.2518 0.4000 0.6000 1.1927 0.0019 0.0000 0.2148 0.0000 0.6000 0.2111 0.2518 185-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0667 0.0970 0.2000 0.2000 1.4552 0.0003 0.0000 0.0889 0.0000 0.2000 0.0667 0.0970 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0667 0.0970 0.2000 0.2000 1.4552 0.0003 0.0000 0.0889 0.0000 0.2000 0.0667 0.0970 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.4000 0.8000 0.8000 0.8000 1.0000 0.8111 0.1451 0.0000 0.6000 0.1789 0.7961 0.7770 0.0840 0.8000 0.8000 0.8000 0.0000 190-AH 0.0000 0.0000 0.2000 0.8000 0.8000 0.3667 0.3646 0.8000 0.8000 0.9944 0.0126 0.0000 0.3370 0.0000 0.8000 0.3667 0.3646 394 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4000 0.2910 0.4000 0.8000 0.7276 0.0425 0.0000 0.2444 0.0000 0.8000 0.4000 0.2910 193-AH 0.0000 0.4000 0.4000 0.4000 0.6000 0.3778 0.1801 0.0000 0.6000 0.4766 0.1249 0.0001 0.1235 0.4000 0.4000 0.4000 0.0000 194-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0444 0.0856 0.0000 0.2000 1.9251 0.0001 0.0000 0.0691 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1778 0.0647 0.0000 0.2000 0.3638 0.0665 0.0001 0.0395 0.2000 0.2000 0.2000 0.0000 197-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8667 0.3218 0.0000 1.0000 0.3713 0.2714 0.0001 0.2074 1.0000 1.0000 1.0000 0.0000 198-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0444 0.0856 0.0000 0.2000 1.9251 0.0001 0.0000 0.0691 0.0000 0.0000 0.0000 0.0000 199-AH 0.0000 0.4000 0.6000 0.6000 0.6000 0.4778 0.1833 0.2000 0.6000 0.3836 0.2634 0.0002 0.1494 0.2000 0.6000 0.5059 0.1435 200-AH 0.0000 0.0000 0.6000 0.6000 0.8000 0.3667 0.3236 0.6000 0.8000 0.8825 0.0081 0.0000 0.3037 0.0000 0.8000 0.3667 0.3236 251-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9778 0.0647 0.0000 0.2000 0.0661 0.9755 0.9730 0.0395 1.0000 1.0000 1.0000 0.0000 252-AH 0.0000 0.2000 0.4000 0.8000 0.8000 0.4444 0.3034 0.6000 0.8000 0.6826 0.1289 0.0001 0.2716 0.0000 0.8000 0.4444 0.3034 253-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5222 0.3439 0.6000 1.0000 0.6586 0.0906 0.0001 0.2864 0.0000 1.0000 0.5222 0.3439 254-AH 0.0000 0.0000 0.4000 0.4000 0.8000 0.3222 0.2487 0.4000 0.8000 0.7717 0.0217 0.0000 0.2062 0.0000 0.8000 0.3222 0.2487 255-AH 0.0000 0.2000 0.3000 0.4000 0.6000 0.3000 0.1715 0.2000 0.6000 0.5717 0.0985 0.0001 0.1444 0.0000 0.6000 0.3000 0.1715 256-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8556 0.3203 0.2000 1.0000 0.3744 0.2681 0.0001 0.2086 0.8000 1.0000 0.9625 0.0806 257-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.2444 0.2121 0.2000 0.8000 0.8675 0.0285 0.0000 0.1531 0.0000 0.6000 0.2118 0.1654 258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1222 0.1700 0.2000 0.4000 1.3906 0.0005 0.0000 0.1494 0.0000 0.4000 0.1222 0.1700 260-AH 0.2000 0.4000 0.8000 1.0000 1.0000 0.7222 0.2669 0.6000 0.8000 0.3696 0.6625 0.5886 0.2284 0.2000 1.0000 0.7222 0.2669 261-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4000 0.2657 0.4000 0.8000 0.6642 0.1201 0.0001 0.2222 0.0000 0.8000 0.4000 0.2657 262-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2444 0.3034 0.4000 0.8000 1.2410 0.0034 0.0000 0.2420 0.0000 0.8000 0.2444 0.3034 263-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0111 0.0471 0.0000 0.2000 4.2426 0.0000 0.0000 0.0210 0.0000 0.0000 0.0000 0.0000 264-AH 0.2000 0.4000 0.6000 0.8000 1.0000 0.6333 0.2497 0.4000 0.8000 0.3943 0.5816 0.5255 0.2148 0.2000 1.0000 0.6333 0.2497 265-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.2000 0.1372 0.0000 0.4000 0.6860 0.0258 0.0000 0.0889 0.2000 0.2000 0.2000 0.0000 266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.4889 0.3708 0.4000 1.0000 0.7585 0.0485 0.0000 0.3136 0.0000 1.0000 0.4889 0.3708 268-AH 0.0000 0.0000 0.4000 0.4000 0.4000 0.2667 0.1815 0.4000 0.4000 0.6806 0.0195 0.0000 0.1630 0.0000 0.4000 0.2667 0.1815 269-AH 0.0000 0.0000 0.4000 0.4000 0.4000 0.2556 0.1917 0.4000 0.4000 0.7500 0.0113 0.0000 0.1765 0.0000 0.4000 0.2556 0.1917 270-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8333 0.3308 0.2000 1.0000 0.3969 0.2597 0.0001 0.2407 0.6000 1.0000 0.9375 0.1408 271-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5111 0.3376 0.6000 1.0000 0.6606 0.0892 0.0001 0.2765 0.0000 1.0000 0.5111 0.3376 272-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.2000 0.1815 0.4000 0.4000 0.9075 0.0056 0.0000 0.1556 0.0000 0.4000 0.2000 0.1815 273-AH 0.2000 0.2000 0.9000 1.0000 1.0000 0.7222 0.3507 0.8000 0.8000 0.4856 0.5989 0.4567 0.3037 0.2000 1.0000 0.7222 0.3507 274-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1000 0.1572 0.2000 0.6000 1.5718 0.0005 0.0000 0.1222 0.0000 0.2000 0.0706 0.0985 275-AH 0.2000 0.6000 0.8000 0.8000 0.8000 0.6778 0.1833 0.2000 0.6000 0.2704 0.6433 0.5918 0.1494 0.4000 0.8000 0.7059 0.1435 276-AH 0.0000 0.0000 0.0000 0.6000 1.0000 0.2667 0.3361 0.6000 1.0000 1.2603 0.0013 0.0000 0.2963 0.0000 1.0000 0.2667 0.3361 277-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1556 0.1617 0.2000 0.4000 1.0394 0.0029 0.0000 0.1383 0.0000 0.4000 0.1556 0.1617 278-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1667 0.2497 0.2000 0.6000 1.4982 0.0006 0.0000 0.2037 0.0000 0.2000 0.0429 0.0852 279-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1222 0.1700 0.2000 0.4000 1.3906 0.0005 0.0000 0.1494 0.0000 0.4000 0.1222 0.1700 280-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0333 0.0767 0.0000 0.2000 2.3009 0.0001 0.0000 0.0556 0.0000 0.0000 0.0000 0.0000 281-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6333 0.2765 0.2000 1.0000 0.4366 0.3345 0.0002 0.1963 0.6000 1.0000 0.7333 0.1633 282-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.2778 0.1555 0.2000 0.4000 0.5598 0.0564 0.0001 0.1358 0.0000 0.4000 0.2778 0.1555 283-AH 0.0000 0.0000 0.4000 0.8000 1.0000 0.4667 0.3757 0.8000 1.0000 0.8051 0.0281 0.0000 0.3037 0.0000 1.0000 0.4667 0.3757 284-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.3444 0.3129 0.6000 0.8000 0.9084 0.0078 0.0000 0.2679 0.0000 0.8000 0.3444 0.3129 285-AH 0.0000 0.0000 0.6000 1.0000 1.0000 0.5222 0.4124 1.0000 1.0000 0.7897 0.0301 0.0000 0.3531 0.0000 1.0000 0.5222 0.4124 286-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0778 0.1003 0.2000 0.2000 1.2899 0.0005 0.0000 0.0951 0.0000 0.2000 0.0778 0.1003 287-AH 0.0000 0.0000 0.3000 0.4000 1.0000 0.3444 0.3203 0.4000 1.0000 0.9300 0.0213 0.0000 0.2556 0.0000 1.0000 0.3444 0.3203 288-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2444 0.2431 0.4000 0.6000 0.9944 0.0061 0.0000 0.2099 0.0000 0.6000 0.2444 0.2431 289-AH 0.0000 0.4000 0.7000 0.8000 1.0000 0.5889 0.3596 0.4000 1.0000 0.6106 0.0610 0.0000 0.2827 0.0000 1.0000 0.5889 0.3596 290-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1556 0.1617 0.2000 0.4000 1.0394 0.0029 0.0000 0.1383 0.0000 0.4000 0.1556 0.1617 395 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.4000 0.8000 1.0000 0.4778 0.3828 0.8000 1.0000 0.8012 0.0282 0.0000 0.3309 0.0000 1.0000 0.4778 0.3828 292-AH 0.0000 0.2000 0.4000 0.4000 0.8000 0.3556 0.2526 0.2000 0.8000 0.7103 0.0658 0.0001 0.1877 0.0000 0.4000 0.2667 0.1633 293-AH 0.0000 0.2000 0.5000 0.6000 0.8000 0.4222 0.3059 0.4000 0.8000 0.7246 0.0442 0.0000 0.2667 0.0000 0.8000 0.4222 0.3059 294-AH 0.0000 0.2000 0.3000 0.6000 1.0000 0.3778 0.3209 0.4000 1.0000 0.8496 0.0387 0.0000 0.2667 0.0000 1.0000 0.3778 0.3209 295-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2556 0.2549 0.4000 0.8000 0.9974 0.0104 0.0000 0.2012 0.0000 0.8000 0.2556 0.2549 296-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.5000 0.2196 0.2000 0.8000 0.4393 0.1615 0.0001 0.1667 0.2000 0.8000 0.5625 0.1310 297-AH 0.0000 0.0000 0.2000 0.6000 0.8000 0.2889 0.2763 0.6000 0.8000 0.9564 0.0112 0.0000 0.2420 0.0000 0.8000 0.2889 0.2763 298-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.2111 0.1605 0.4000 0.4000 0.7601 0.0161 0.0000 0.1259 0.0000 0.4000 0.2111 0.1605 299-AH 0.0000 0.0000 0.1000 0.4000 1.0000 0.2556 0.3485 0.4000 1.0000 1.3636 0.0020 0.0000 0.2802 0.0000 1.0000 0.2556 0.3485 300-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0778 0.1215 0.2000 0.4000 1.5626 0.0003 0.0000 0.1037 0.0000 0.4000 0.0778 0.1215 301-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.3778 0.3353 0.6000 0.8000 0.8875 0.0083 0.0000 0.2938 0.0000 0.8000 0.3778 0.3353 302-AH 0.0000 0.6000 0.6000 0.8000 0.8000 0.5778 0.2365 0.2000 0.8000 0.4094 0.1871 0.0001 0.1481 0.4000 0.8000 0.6500 0.1155 303-AH 0.0000 0.0000 0.0000 0.4000 0.6000 0.1556 0.2007 0.4000 0.6000 1.2899 0.0010 0.0000 0.1728 0.0000 0.6000 0.1556 0.2007 304-AH 0.0000 0.0000 0.4000 0.6000 0.6000 0.3222 0.2390 0.6000 0.6000 0.7417 0.0218 0.0000 0.2062 0.0000 0.6000 0.3222 0.2390 305-AH 0.0000 0.0000 0.1000 0.6000 0.6000 0.2222 0.2647 0.6000 0.6000 1.1911 0.0020 0.0000 0.2296 0.0000 0.6000 0.2222 0.2647 306-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1333 0.0970 0.2000 0.2000 0.7276 0.0074 0.0000 0.0889 0.0000 0.2000 0.1333 0.0970 307-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0889 0.1410 0.2000 0.4000 1.5858 0.0003 0.0000 0.1185 0.0000 0.4000 0.0889 0.1410 308-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9333 0.1534 0.0000 0.4000 0.1643 0.9184 0.9000 0.1111 1.0000 1.0000 1.0000 0.0000 309-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0667 0.1534 0.0000 0.4000 2.3009 0.0001 0.0000 0.1111 0.0000 0.0000 0.0000 0.0000 310-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1222 0.1396 0.2000 0.4000 1.1419 0.0015 0.0000 0.1222 0.0000 0.4000 0.1222 0.1396 311-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1667 0.1414 0.2000 0.4000 0.8485 0.0083 0.0000 0.1111 0.0000 0.4000 0.1667 0.1414 312-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.3222 0.3828 0.6000 1.0000 1.1880 0.0040 0.0000 0.3272 0.0000 1.0000 0.3222 0.3828 313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0333 0.1029 0.0000 0.4000 3.0870 0.0000 0.0000 0.0593 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.6000 0.8000 0.8000 0.4667 0.3361 0.8000 0.8000 0.7201 0.0286 0.0000 0.2963 0.0000 0.8000 0.4667 0.3361 316-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1778 0.1927 0.4000 0.6000 1.0838 0.0030 0.0000 0.1580 0.0000 0.6000 0.1778 0.1927 317-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1556 0.1617 0.2000 0.4000 1.0394 0.0029 0.0000 0.1383 0.0000 0.4000 0.1556 0.1617 318-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1333 0.2275 0.2000 0.8000 1.7064 0.0005 0.0000 0.1630 0.0000 0.2000 0.0625 0.0957 319-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6000 0.2657 0.2000 1.0000 0.4428 0.3179 0.0002 0.1778 0.4000 1.0000 0.6933 0.1668 320-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0556 0.0922 0.2000 0.2000 1.6592 0.0002 0.0000 0.0802 0.0000 0.2000 0.0556 0.0922 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0889 0.1023 0.2000 0.2000 1.1504 0.0008 0.0000 0.0988 0.0000 0.2000 0.0889 0.1023 323-AH 0.0000 0.2000 0.2000 0.2000 0.8000 0.2778 0.2579 0.0000 0.8000 0.9286 0.0503 0.0001 0.1877 0.2000 0.2000 0.2000 0.0000 324-AH 0.0000 0.0000 0.7000 0.8000 0.8000 0.4889 0.3708 0.8000 0.8000 0.7585 0.0173 0.0000 0.3358 0.0000 0.8000 0.4889 0.3708 325-AH 0.0000 0.0000 0.0000 0.0000 0.8000 0.0889 0.2083 0.0000 0.8000 2.3436 0.0001 0.0000 0.1383 0.0000 0.0000 0.0000 0.0000 326-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2222 0.1353 0.2000 0.4000 0.6088 0.0465 0.0001 0.0988 0.0000 0.4000 0.2222 0.1353 327-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0222 0.0943 0.0000 0.4000 4.2426 0.0000 0.0000 0.0420 0.0000 0.0000 0.0000 0.0000 328-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6444 0.2332 0.2000 0.8000 0.3619 0.5914 0.5217 0.1827 0.4000 1.0000 0.7000 0.1789 329-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.8111 0.2948 0.4000 1.0000 0.3635 0.4391 0.0002 0.2309 0.4000 1.0000 0.8588 0.2210 330-AH 0.0000 0.8000 0.8000 0.8000 1.0000 0.7000 0.3087 0.0000 1.0000 0.4410 0.2158 0.0001 0.2222 0.8000 0.8000 0.8000 0.0000 331-AH 0.0000 0.0000 0.0000 0.6000 0.8000 0.2444 0.3601 0.6000 0.8000 1.4731 0.0004 0.0000 0.3259 0.0000 0.8000 0.2444 0.3601 332-AH 0.0000 0.4000 0.4000 0.4000 0.6000 0.3444 0.1504 0.0000 0.6000 0.4366 0.1167 0.0001 0.1086 0.4000 0.4000 0.4000 0.0000 333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8000 0.3498 0.2000 1.0000 0.4372 0.2452 0.0001 0.2667 0.8000 1.0000 0.9714 0.0726 334-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0889 0.1231 0.2000 0.4000 1.3853 0.0005 0.0000 0.1086 0.0000 0.4000 0.0889 0.1231 335-AH 0.0000 0.0000 0.3000 0.6000 0.6000 0.2889 0.2494 0.6000 0.6000 0.8635 0.0117 0.0000 0.2222 0.0000 0.6000 0.2889 0.2494 336-AH 0.0000 0.0000 0.1000 0.4000 0.6000 0.2222 0.2557 0.4000 0.6000 1.1504 0.0020 0.0000 0.2272 0.0000 0.6000 0.2222 0.2557 337-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8444 0.3185 0.2000 1.0000 0.3772 0.2648 0.0001 0.2074 0.8000 1.0000 0.9500 0.0894 338-AH 0.0000 0.2000 0.4000 0.8000 1.0000 0.4889 0.3445 0.6000 1.0000 0.7047 0.1390 0.0001 0.2988 0.0000 1.0000 0.4889 0.3445 339-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5222 0.3439 0.6000 1.0000 0.6586 0.1488 0.0001 0.2951 0.0000 1.0000 0.5222 0.3439 340-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1000 0.1715 0.2000 0.6000 1.7150 0.0003 0.0000 0.1333 0.0000 0.4000 0.0706 0.1213 396 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4222 0.3059 0.4000 1.0000 0.7246 0.0447 0.0000 0.2469 0.0000 1.0000 0.4222 0.3059 342-AH 0.4000 0.8000 0.8000 1.0000 1.0000 0.8000 0.1940 0.2000 0.6000 0.2425 0.7728 0.7397 0.1333 0.6000 1.0000 0.8500 0.1366 343-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0444 0.0856 0.0000 0.2000 1.9251 0.0001 0.0000 0.0691 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6556 0.3617 0.6000 1.0000 0.5518 0.1920 0.0001 0.3099 0.0000 1.0000 0.6556 0.3617 345-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0444 0.0856 0.0000 0.2000 1.9251 0.0001 0.0000 0.0691 0.0000 0.0000 0.0000 0.0000 346-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 347-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0667 0.1534 0.0000 0.4000 2.3009 0.0001 0.0000 0.1111 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3222 0.1396 0.2000 0.4000 0.4331 0.1098 0.0001 0.1123 0.0000 0.4000 0.3222 0.1396 349-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4111 0.2220 0.4000 0.8000 0.5400 0.1306 0.0001 0.1691 0.0000 0.8000 0.4111 0.2220 350-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6444 0.2874 0.2000 1.0000 0.4460 0.2038 0.0001 0.2049 0.4000 1.0000 0.7250 0.1770 397 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0722 0.0461 0.1000 0.1000 0.6382 0.0077 0.0000 0.0401 0.0000 0.1000 0.0722 0.0461 142-AH 0.2000 0.7000 0.7000 0.7000 0.8000 0.6556 0.1504 0.0000 0.6000 0.2294 0.6276 0.5804 0.0901 0.7000 0.7000 0.7000 0.0000 143-AH 0.0000 0.0000 0.9000 1.0000 1.0000 0.6167 0.4502 1.0000 1.0000 0.7300 0.0337 0.0000 0.4019 0.0000 1.0000 0.6167 0.4502 144-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0778 0.1166 0.1000 0.3000 1.4991 0.0004 0.0000 0.0951 0.0000 0.2000 0.0333 0.0617 145-AH 0.0000 0.2000 0.8000 1.0000 1.0000 0.5944 0.4221 0.8000 1.0000 0.7101 0.0569 0.0000 0.3846 0.0000 1.0000 0.5944 0.4221 146-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0667 0.0485 0.1000 0.1000 0.7276 0.0046 0.0000 0.0444 0.0000 0.1000 0.0667 0.0485 147-AH 0.0000 0.2000 0.5000 0.9000 1.0000 0.5556 0.3869 0.7000 1.0000 0.6964 0.2416 0.0002 0.3506 0.0000 1.0000 0.5556 0.3869 148-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0611 0.0502 0.1000 0.1000 0.8209 0.0028 0.0000 0.0475 0.0000 0.1000 0.0611 0.0502 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0111 0.0471 0.0000 0.2000 4.2426 0.0000 0.0000 0.0210 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.1000 0.5000 0.1000 0.1609 0.1000 0.5000 1.6088 0.0005 0.0000 0.1222 0.0000 0.1000 0.0214 0.0426 152-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1278 0.1602 0.2000 0.6000 1.2535 0.0024 0.0000 0.1228 0.0000 0.3000 0.1000 0.1118 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1000 0.4000 0.5000 0.5000 0.6000 0.4222 0.1478 0.1000 0.5000 0.3499 0.3811 0.3167 0.1086 0.4000 0.6000 0.4800 0.0676 155-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0444 0.0856 0.0000 0.2000 1.9251 0.0001 0.0000 0.0691 0.0000 0.0000 0.0000 0.0000 156-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1167 0.1043 0.2000 0.3000 0.8942 0.0100 0.0000 0.0796 0.0000 0.3000 0.1167 0.1043 157-AH 0.1000 0.5000 0.6000 0.6000 0.9000 0.5333 0.1879 0.1000 0.8000 0.3523 0.4852 0.4078 0.1370 0.4000 0.7000 0.5786 0.0802 158-AH 0.0000 0.0000 0.4500 0.7000 1.0000 0.3944 0.3539 0.7000 1.0000 0.8973 0.0226 0.0000 0.3062 0.0000 1.0000 0.3944 0.3539 159-AH 0.0000 0.0000 0.2000 0.6000 0.8000 0.2833 0.2854 0.6000 0.8000 1.0074 0.0105 0.0000 0.2574 0.0000 0.8000 0.2833 0.2854 160-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0444 0.0511 0.1000 0.1000 1.1504 0.0006 0.0000 0.0494 0.0000 0.1000 0.0444 0.0511 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0556 0.0511 0.1000 0.1000 0.9204 0.0017 0.0000 0.0494 0.0000 0.1000 0.0556 0.0511 163-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9000 0.1534 0.2000 0.4000 0.1704 0.8855 0.8686 0.1222 0.6000 1.0000 0.9000 0.1534 164-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0667 0.0840 0.1000 0.2000 1.2603 0.0007 0.0000 0.0741 0.0000 0.2000 0.0667 0.0840 165-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1778 0.0943 0.1000 0.3000 0.5303 0.0624 0.0001 0.0741 0.0000 0.3000 0.1778 0.0943 168-AH 0.0000 0.2000 0.5000 0.6000 0.8000 0.4222 0.2625 0.4000 0.8000 0.6216 0.0763 0.0001 0.2086 0.0000 0.8000 0.4222 0.2625 169-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0611 0.0502 0.1000 0.1000 0.8209 0.0028 0.0000 0.0475 0.0000 0.1000 0.0611 0.0502 170-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0667 0.0485 0.1000 0.1000 0.7276 0.0046 0.0000 0.0444 0.0000 0.1000 0.0667 0.0485 171-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.1000 0.0594 0.0000 0.2000 0.5941 0.0242 0.0001 0.0333 0.1000 0.1000 0.1000 0.0000 172-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0556 0.0705 0.1000 0.2000 1.2686 0.0006 0.0000 0.0617 0.0000 0.2000 0.0556 0.0705 173-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 174-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000 175-AH 0.0000 0.4000 0.5000 0.6000 0.6000 0.4722 0.1873 0.2000 0.6000 0.3965 0.1570 0.0001 0.1290 0.4000 0.6000 0.5313 0.0793 176-AH 0.2000 0.9000 1.0000 1.0000 1.0000 0.9278 0.1904 0.1000 0.8000 0.2052 0.8875 0.7970 0.1043 0.8000 1.0000 0.9706 0.0588 177-AH 0.0000 0.2000 0.4000 0.5000 0.6000 0.3333 0.1970 0.3000 0.6000 0.5911 0.0641 0.0001 0.1593 0.0000 0.6000 0.3333 0.1970 178-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0444 0.0616 0.1000 0.2000 1.3853 0.0004 0.0000 0.0543 0.0000 0.2000 0.0444 0.0616 179-AH 0.0000 0.0000 0.4000 0.5000 0.9000 0.3722 0.2886 0.5000 0.9000 0.7754 0.0241 0.0000 0.2340 0.0000 0.9000 0.3722 0.2886 180-AH 0.0000 0.0000 0.0000 0.2000 0.9000 0.1833 0.2813 0.2000 0.9000 1.5342 0.0010 0.0000 0.2130 0.0000 0.4000 0.0733 0.1223 181-AH 0.6000 0.6000 0.8000 1.0000 1.0000 0.8000 0.1645 0.4000 0.4000 0.2056 0.7839 0.7679 0.1333 0.6000 1.0000 0.8000 0.1645 182-AH 0.0000 0.1000 0.1000 0.3000 0.3000 0.1500 0.1043 0.2000 0.3000 0.6955 0.0507 0.0001 0.0889 0.0000 0.3000 0.1500 0.1043 183-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1389 0.1145 0.2000 0.3000 0.8242 0.0115 0.0000 0.0988 0.0000 0.3000 0.1389 0.1145 184-AH 0.0000 0.0000 0.1000 0.3000 0.6000 0.1778 0.2074 0.3000 0.6000 1.1665 0.0029 0.0000 0.1753 0.0000 0.6000 0.1778 0.2074 185-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0667 0.0485 0.1000 0.1000 0.7276 0.0046 0.0000 0.0444 0.0000 0.1000 0.0667 0.0485 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0333 0.0485 0.1000 0.1000 1.4552 0.0002 0.0000 0.0444 0.0000 0.1000 0.0333 0.0485 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.3000 0.4000 0.5000 0.7000 0.7000 0.5333 0.1372 0.3000 0.4000 0.2572 0.5162 0.4990 0.1185 0.3000 0.7000 0.5333 0.1372 190-AH 0.0000 0.1000 0.1000 0.5000 0.6000 0.2611 0.2380 0.4000 0.6000 0.9114 0.0432 0.0001 0.2191 0.0000 0.6000 0.2611 0.2380 398 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.1000 0.3000 0.4000 0.5000 0.2722 0.1904 0.3000 0.5000 0.6993 0.0503 0.0001 0.1673 0.0000 0.5000 0.2722 0.1904 193-AH 0.0000 0.2000 0.2000 0.3000 0.5000 0.2111 0.1132 0.1000 0.5000 0.5361 0.0737 0.0001 0.0716 0.1000 0.3000 0.2200 0.0561 194-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0222 0.0428 0.0000 0.1000 1.9251 0.0001 0.0000 0.0346 0.0000 0.0000 0.0000 0.0000 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 197-AH 0.0000 0.8000 0.9500 1.0000 1.0000 0.8111 0.3123 0.2000 1.0000 0.3850 0.2549 0.0001 0.1988 0.7000 1.0000 0.9125 0.1088 198-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0222 0.0428 0.0000 0.1000 1.9251 0.0001 0.0000 0.0346 0.0000 0.0000 0.0000 0.0000 199-AH 0.0000 0.4000 0.5000 0.6000 0.7000 0.5000 0.1940 0.2000 0.7000 0.3881 0.2710 0.0002 0.1333 0.1000 0.7000 0.5294 0.1532 200-AH 0.0000 0.0000 0.4000 0.5000 0.7000 0.3222 0.2669 0.5000 0.7000 0.8283 0.0128 0.0000 0.2309 0.0000 0.7000 0.3222 0.2669 251-AH 0.4000 0.9000 0.9000 0.9000 1.0000 0.8667 0.1328 0.0000 0.6000 0.1533 0.8528 0.8324 0.0778 0.9000 0.9000 0.9000 0.0000 252-AH 0.0000 0.2000 0.3000 0.4000 0.7000 0.3167 0.1917 0.2000 0.7000 0.6055 0.1015 0.0001 0.1407 0.0000 0.7000 0.3167 0.1917 253-AH 0.0000 0.2000 0.5000 0.8000 1.0000 0.4889 0.3479 0.6000 1.0000 0.7116 0.0829 0.0001 0.3111 0.0000 1.0000 0.4889 0.3479 254-AH 0.0000 0.1000 0.2000 0.3000 0.6000 0.2444 0.1886 0.2000 0.6000 0.7714 0.0462 0.0001 0.1494 0.0000 0.6000 0.2444 0.1886 255-AH 0.0000 0.1000 0.2000 0.3000 0.3000 0.1944 0.1056 0.2000 0.3000 0.5429 0.0668 0.0001 0.0852 0.0000 0.3000 0.1944 0.1056 256-AH 0.0000 0.4000 0.9500 1.0000 1.0000 0.7778 0.3318 0.6000 1.0000 0.4265 0.4045 0.0002 0.2765 0.0000 1.0000 0.7778 0.3318 257-AH 0.0000 0.1000 0.2000 0.4000 0.5000 0.2556 0.1790 0.3000 0.5000 0.7003 0.1240 0.0002 0.1617 0.0000 0.5000 0.2556 0.1790 258-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0056 0.0236 0.0000 0.1000 4.2426 0.0000 0.0000 0.0105 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0778 0.0808 0.1000 0.2000 1.0394 0.0019 0.0000 0.0691 0.0000 0.2000 0.0778 0.0808 260-AH 0.3000 0.5000 0.8000 0.9000 0.9000 0.7222 0.2074 0.4000 0.6000 0.2871 0.6867 0.6436 0.1728 0.3000 0.9000 0.7222 0.2074 261-AH 0.0000 0.1000 0.2000 0.5000 0.7000 0.2889 0.2298 0.4000 0.7000 0.7955 0.0821 0.0001 0.1988 0.0000 0.7000 0.2889 0.2298 262-AH 0.0000 0.0000 0.1000 0.3000 0.8000 0.2222 0.3154 0.3000 0.8000 1.4193 0.0029 0.0000 0.2543 0.0000 0.7000 0.1067 0.1870 263-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0222 0.0943 0.0000 0.4000 4.2426 0.0000 0.0000 0.0420 0.0000 0.0000 0.0000 0.0000 264-AH 0.1000 0.3000 0.4500 0.8000 0.9000 0.5333 0.2425 0.5000 0.8000 0.4548 0.4707 0.3931 0.2148 0.1000 0.9000 0.5333 0.2425 265-AH 0.0000 0.1000 0.1000 0.2000 0.4000 0.1667 0.1188 0.1000 0.4000 0.7129 0.0553 0.0001 0.0963 0.0000 0.3000 0.1375 0.0885 266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.2000 0.3000 0.4000 0.7000 0.3333 0.2086 0.2000 0.7000 0.6259 0.0645 0.0001 0.1593 0.0000 0.7000 0.3333 0.2086 268-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1444 0.0856 0.1000 0.2000 0.5923 0.0205 0.0000 0.0741 0.0000 0.2000 0.1444 0.0856 269-AH 0.0000 0.2000 0.3000 0.3000 0.4000 0.2222 0.1215 0.1000 0.4000 0.5469 0.0470 0.0001 0.0975 0.1000 0.4000 0.2667 0.0724 270-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.8056 0.3455 0.3000 1.0000 0.4289 0.2480 0.0001 0.2698 0.4000 1.0000 0.9062 0.1948 271-AH 0.0000 0.2000 0.5000 0.6000 0.6000 0.4333 0.2114 0.4000 0.6000 0.4879 0.2217 0.0002 0.1778 0.0000 0.6000 0.4333 0.2114 272-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1944 0.1474 0.2000 0.4000 0.7581 0.0241 0.0000 0.1179 0.0000 0.4000 0.1944 0.1474 273-AH 0.1000 0.2000 0.9000 1.0000 1.0000 0.7000 0.3694 0.8000 0.9000 0.5277 0.5316 0.3306 0.3222 0.1000 1.0000 0.7000 0.3694 274-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0722 0.1074 0.1000 0.4000 1.4872 0.0007 0.0000 0.0802 0.0000 0.2000 0.0529 0.0717 275-AH 0.3000 0.5000 0.7000 0.8000 0.9000 0.6333 0.1815 0.3000 0.6000 0.2866 0.6053 0.5744 0.1593 0.3000 0.9000 0.6333 0.1815 276-AH 0.0000 0.0000 0.1500 0.5000 0.7000 0.2778 0.2691 0.5000 0.7000 0.9688 0.0169 0.0000 0.2420 0.0000 0.7000 0.2778 0.2691 277-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1333 0.0767 0.1000 0.3000 0.5752 0.0481 0.0001 0.0630 0.0000 0.3000 0.1333 0.0767 278-AH 0.0000 0.0000 0.0500 0.1000 0.4000 0.1000 0.1328 0.1000 0.4000 1.3284 0.0013 0.0000 0.1000 0.0000 0.1000 0.0357 0.0497 279-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0833 0.1043 0.2000 0.3000 1.2518 0.0008 0.0000 0.0926 0.0000 0.3000 0.0833 0.1043 280-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0389 0.0608 0.1000 0.2000 1.5626 0.0002 0.0000 0.0519 0.0000 0.2000 0.0389 0.0608 281-AH 0.1000 0.5000 0.6000 0.6000 0.9000 0.5778 0.2184 0.1000 0.8000 0.3781 0.5204 0.4294 0.1519 0.4000 0.6000 0.5500 0.0798 282-AH 0.0000 0.2000 0.3000 0.3000 0.4000 0.2611 0.1290 0.1000 0.4000 0.4939 0.0880 0.0001 0.1006 0.1000 0.4000 0.2938 0.0929 283-AH 0.0000 0.1000 0.3000 0.6000 0.9000 0.3722 0.2986 0.5000 0.9000 0.8023 0.1675 0.0002 0.2438 0.0000 0.9000 0.3722 0.2986 284-AH 0.0000 0.0000 0.4000 0.4000 0.8000 0.3222 0.3059 0.4000 0.8000 0.9494 0.0074 0.0000 0.2531 0.0000 0.8000 0.3222 0.3059 285-AH 0.0000 0.0000 0.6000 0.9000 1.0000 0.4944 0.3811 0.9000 1.0000 0.7708 0.0291 0.0000 0.3290 0.0000 1.0000 0.4944 0.3811 286-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0389 0.0502 0.1000 0.1000 1.2899 0.0004 0.0000 0.0475 0.0000 0.1000 0.0389 0.0502 287-AH 0.0000 0.2000 0.4000 0.5000 0.6000 0.3389 0.1883 0.3000 0.6000 0.5556 0.1067 0.0001 0.1568 0.0000 0.6000 0.3389 0.1883 288-AH 0.0000 0.1000 0.2500 0.4000 0.6000 0.2556 0.2148 0.3000 0.6000 0.8406 0.0284 0.0000 0.1778 0.0000 0.6000 0.2556 0.2148 289-AH 0.0000 0.4000 0.6000 0.8000 0.9000 0.5500 0.2975 0.4000 0.9000 0.5410 0.1673 0.0001 0.2444 0.0000 0.9000 0.5500 0.2975 290-AH 0.0000 0.1000 0.1500 0.2000 0.4000 0.1389 0.1037 0.1000 0.4000 0.7466 0.0190 0.0000 0.0833 0.0000 0.2000 0.1235 0.0831 399 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0000 0.3000 0.9000 0.9000 0.4167 0.3650 0.9000 0.9000 0.8760 0.0246 0.0000 0.3185 0.0000 0.9000 0.4167 0.3650 292-AH 0.0000 0.1000 0.2000 0.4000 0.4000 0.2333 0.1495 0.3000 0.4000 0.6408 0.0468 0.0001 0.1259 0.0000 0.4000 0.2333 0.1495 293-AH 0.0000 0.1000 0.5000 0.7000 0.9000 0.4167 0.3092 0.6000 0.9000 0.7420 0.0420 0.0000 0.2685 0.0000 0.9000 0.4167 0.3092 294-AH 0.0000 0.2000 0.5000 0.6000 0.8000 0.4056 0.2859 0.4000 0.8000 0.7049 0.0707 0.0001 0.2494 0.0000 0.8000 0.4056 0.2859 295-AH 0.0000 0.0000 0.2000 0.4000 0.7000 0.2778 0.2579 0.4000 0.7000 0.9286 0.0181 0.0000 0.2173 0.0000 0.7000 0.2778 0.2579 296-AH 0.0000 0.5000 0.7000 0.7000 0.8000 0.5500 0.2526 0.2000 0.8000 0.4593 0.1750 0.0001 0.2000 0.3000 0.8000 0.6187 0.1642 297-AH 0.0000 0.0000 0.1500 0.3000 0.5000 0.1889 0.1745 0.3000 0.5000 0.9239 0.0085 0.0000 0.1556 0.0000 0.5000 0.1889 0.1745 298-AH 0.0000 0.0000 0.2500 0.3000 0.5000 0.2167 0.1581 0.3000 0.5000 0.7298 0.0166 0.0000 0.1278 0.0000 0.5000 0.2167 0.1581 299-AH 0.0000 0.0000 0.1500 0.4000 0.7000 0.2333 0.2449 0.4000 0.7000 1.0498 0.0150 0.0000 0.2000 0.0000 0.7000 0.2333 0.2449 300-AH 0.0000 0.0000 0.0000 0.2000 0.5000 0.1167 0.1505 0.2000 0.5000 1.2899 0.0009 0.0000 0.1296 0.0000 0.5000 0.1167 0.1505 301-AH 0.0000 0.0000 0.2000 0.5000 0.7000 0.2667 0.2590 0.5000 0.7000 0.9711 0.0065 0.0000 0.2296 0.0000 0.7000 0.2667 0.2590 302-AH 0.1000 0.4000 0.4500 0.5000 0.6000 0.4389 0.1378 0.1000 0.5000 0.3140 0.4083 0.3600 0.1056 0.3000 0.6000 0.4750 0.0931 303-AH 0.0000 0.1000 0.1000 0.4000 0.6000 0.1833 0.1790 0.3000 0.6000 0.9766 0.0210 0.0000 0.1463 0.0000 0.6000 0.1833 0.1790 304-AH 0.0000 0.0000 0.2000 0.3000 0.5000 0.2167 0.1618 0.3000 0.5000 0.7467 0.0165 0.0000 0.1296 0.0000 0.5000 0.2167 0.1618 305-AH 0.0000 0.0000 0.1500 0.5000 0.6000 0.2278 0.2445 0.5000 0.6000 1.0733 0.0021 0.0000 0.2278 0.0000 0.6000 0.2278 0.2445 306-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0889 0.0323 0.0000 0.1000 0.3638 0.0359 0.0001 0.0198 0.1000 0.1000 0.1000 0.0000 307-AH 0.0000 0.0000 0.0500 0.2000 0.3000 0.1056 0.1259 0.2000 0.3000 1.1927 0.0014 0.0000 0.1074 0.0000 0.3000 0.1056 0.1259 308-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.6889 0.0900 0.2000 0.2000 0.1307 0.6834 0.6780 0.0790 0.6000 0.8000 0.6889 0.0900 309-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0556 0.0784 0.1000 0.2000 1.4109 0.0004 0.0000 0.0679 0.0000 0.2000 0.0556 0.0784 310-AH 0.0000 0.0000 0.0500 0.2000 0.4000 0.0944 0.1162 0.2000 0.4000 1.2301 0.0013 0.0000 0.0944 0.0000 0.4000 0.0944 0.1162 311-AH 0.0000 0.1000 0.3000 0.4000 0.5000 0.2778 0.1801 0.3000 0.5000 0.6482 0.0529 0.0001 0.1519 0.0000 0.5000 0.2778 0.1801 312-AH 0.0000 0.0000 0.1000 0.6000 0.8000 0.2722 0.3159 0.6000 0.8000 1.1603 0.0036 0.0000 0.2883 0.0000 0.8000 0.2722 0.3159 313-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0056 0.0236 0.0000 0.1000 4.2426 0.0000 0.0000 0.0105 0.0000 0.0000 0.0000 0.0000 314-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0222 0.0548 0.0000 0.2000 2.4674 0.0000 0.0000 0.0370 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0000 0.5500 0.8000 0.8000 0.4611 0.3517 0.8000 0.8000 0.7627 0.0272 0.0000 0.3142 0.0000 0.8000 0.4611 0.3517 316-AH 0.0000 0.0000 0.1500 0.2000 0.6000 0.1556 0.1580 0.2000 0.6000 1.0158 0.0075 0.0000 0.1222 0.0000 0.3000 0.1294 0.1160 317-AH 0.0000 0.1000 0.2000 0.2000 0.5000 0.1667 0.1283 0.1000 0.5000 0.7700 0.0217 0.0000 0.0963 0.0000 0.3000 0.1471 0.1007 318-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1056 0.1434 0.2000 0.4000 1.3583 0.0008 0.0000 0.1185 0.0000 0.4000 0.1056 0.1434 319-AH 0.1000 0.4000 0.5000 0.7000 0.7000 0.5000 0.1910 0.3000 0.6000 0.3819 0.4516 0.3824 0.1556 0.1000 0.7000 0.5000 0.1910 320-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0444 0.0511 0.1000 0.1000 1.1504 0.0006 0.0000 0.0494 0.0000 0.1000 0.0444 0.0511 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1333 0.1372 0.2000 0.4000 1.0290 0.0105 0.0000 0.1037 0.0000 0.4000 0.1333 0.1372 323-AH 0.0000 0.1000 0.1000 0.1000 0.4000 0.1611 0.1335 0.0000 0.4000 0.8283 0.0816 0.0002 0.1062 0.1000 0.1000 0.1000 0.0000 324-AH 0.0000 0.0000 0.5000 0.7000 0.9000 0.4333 0.3515 0.7000 0.9000 0.8111 0.0157 0.0000 0.3037 0.0000 0.9000 0.4333 0.3515 325-AH 0.0000 0.0000 0.1000 0.2000 0.7000 0.1500 0.2121 0.2000 0.7000 1.4142 0.0025 0.0000 0.1611 0.0000 0.5000 0.1176 0.1667 326-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0786 0.1000 0.2000 0.5239 0.0342 0.0001 0.0667 0.0000 0.2000 0.1500 0.0786 327-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0389 0.0979 0.0000 0.4000 2.5162 0.0001 0.0000 0.0605 0.0000 0.0000 0.0000 0.0000 328-AH 0.3000 0.5000 0.5500 0.7000 0.8000 0.5722 0.1526 0.2000 0.5000 0.2668 0.5522 0.5315 0.1278 0.3000 0.8000 0.5722 0.1526 329-AH 0.0000 0.6000 0.8000 0.9000 1.0000 0.6833 0.2640 0.3000 1.0000 0.3864 0.3678 0.0002 0.2000 0.2000 1.0000 0.7235 0.2078 330-AH 0.0000 0.7000 0.8000 0.9000 1.0000 0.7167 0.2936 0.2000 1.0000 0.4096 0.2259 0.0001 0.2093 0.4000 1.0000 0.8062 0.1436 331-AH 0.0000 0.0000 0.1000 0.6000 0.6000 0.2444 0.2662 0.6000 0.6000 1.0889 0.0091 0.0000 0.2370 0.0000 0.6000 0.2444 0.2662 332-AH 0.0000 0.2000 0.3000 0.4000 0.4000 0.2778 0.1215 0.2000 0.4000 0.4375 0.0966 0.0001 0.0877 0.0000 0.4000 0.2778 0.1215 333-AH 0.0000 0.5000 0.5000 0.5000 0.5000 0.4278 0.1638 0.0000 0.5000 0.3829 0.1443 0.0001 0.1123 0.5000 0.5000 0.5000 0.0000 334-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0889 0.0676 0.1000 0.2000 0.7609 0.0087 0.0000 0.0494 0.0000 0.2000 0.0889 0.0676 335-AH 0.0000 0.0000 0.1500 0.3000 0.5000 0.1889 0.1811 0.3000 0.5000 0.9590 0.0084 0.0000 0.1556 0.0000 0.5000 0.1889 0.1811 336-AH 0.0000 0.0000 0.1000 0.3000 0.4000 0.1500 0.1654 0.3000 0.4000 1.1026 0.0027 0.0000 0.1444 0.0000 0.4000 0.1500 0.1654 337-AH 0.0000 0.8000 0.8000 0.9000 1.0000 0.7611 0.2852 0.1000 1.0000 0.3747 0.2417 0.0001 0.1691 0.8000 1.0000 0.8562 0.0727 338-AH 0.0000 0.1000 0.4000 0.5000 0.6000 0.3389 0.2090 0.4000 0.6000 0.6168 0.1634 0.0002 0.1858 0.0000 0.6000 0.3389 0.2090 339-AH 0.0000 0.2000 0.5000 0.7000 1.0000 0.4667 0.2990 0.5000 1.0000 0.6408 0.1387 0.0001 0.2407 0.0000 1.0000 0.4667 0.2990 340-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1328 0.2000 0.4000 1.3284 0.0008 0.0000 0.1111 0.0000 0.4000 0.1000 0.1328 400 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.1000 0.3000 0.4000 0.5000 0.2611 0.1378 0.3000 0.5000 0.5277 0.1390 0.0002 0.1142 0.0000 0.5000 0.2611 0.1378 342-AH 0.4000 0.8000 0.8000 0.9000 1.0000 0.7833 0.1654 0.1000 0.6000 0.2111 0.7631 0.7385 0.1148 0.7000 1.0000 0.8467 0.0834 343-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0222 0.0428 0.0000 0.1000 1.9251 0.0001 0.0000 0.0346 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.2000 0.7000 0.7000 0.9000 0.5444 0.3203 0.5000 0.9000 0.5884 0.1573 0.0001 0.2790 0.0000 0.9000 0.5444 0.3203 345-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0389 0.0502 0.1000 0.1000 1.2899 0.0004 0.0000 0.0475 0.0000 0.1000 0.0389 0.0502 346-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0222 0.0428 0.0000 0.1000 1.9251 0.0001 0.0000 0.0346 0.0000 0.0000 0.0000 0.0000 347-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0500 0.1150 0.0000 0.3000 2.3009 0.0001 0.0000 0.0833 0.0000 0.0000 0.0000 0.0000 348-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1611 0.0698 0.1000 0.2000 0.4331 0.0593 0.0001 0.0562 0.0000 0.2000 0.1611 0.0698 349-AH 0.0000 0.3000 0.4000 0.5000 0.6000 0.3778 0.1734 0.2000 0.6000 0.4590 0.1258 0.0001 0.1296 0.2000 0.6000 0.4250 0.1125 350-AH 0.0000 0.5000 0.5000 0.6000 0.7000 0.4778 0.1957 0.1000 0.7000 0.4096 0.1578 0.0001 0.1346 0.4000 0.7000 0.5533 0.0743 401 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0481 0.0307 0.0667 0.0667 0.6382 0.0058 0.0000 0.0267 0.0000 0.0667 0.0481 0.0307 142-AH 0.1333 0.4667 0.4667 0.5333 0.5333 0.4519 0.1086 0.0667 0.4000 0.2403 0.4310 0.3961 0.0634 0.4667 0.5333 0.4875 0.0319 143-AH 0.0000 0.0667 0.8000 0.9333 1.0000 0.5667 0.4111 0.8667 1.0000 0.7255 0.0505 0.0000 0.3630 0.0000 1.0000 0.5667 0.4111 144-AH 0.0000 0.0000 0.0333 0.0667 0.2000 0.0593 0.0755 0.0667 0.2000 1.2733 0.0010 0.0000 0.0593 0.0000 0.1333 0.0311 0.0427 145-AH 0.0000 0.1333 0.7667 0.8667 0.9333 0.5444 0.3842 0.7333 0.9333 0.7056 0.0529 0.0000 0.3494 0.0000 0.9333 0.5444 0.3842 146-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0444 0.0323 0.0667 0.0667 0.7276 0.0035 0.0000 0.0296 0.0000 0.0667 0.0444 0.0323 147-AH 0.0000 0.2000 0.4667 0.8667 1.0000 0.5296 0.3546 0.6667 1.0000 0.6695 0.2322 0.0002 0.3144 0.0000 1.0000 0.5296 0.3546 148-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0444 0.0323 0.0667 0.0667 0.7276 0.0035 0.0000 0.0296 0.0000 0.0667 0.0444 0.0323 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0111 0.0471 0.0000 0.2000 4.2426 0.0000 0.0000 0.0210 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.1333 0.3333 0.0741 0.1141 0.1333 0.3333 1.5401 0.0004 0.0000 0.0922 0.0000 0.3333 0.0741 0.1141 152-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1111 0.1188 0.2000 0.4000 1.0694 0.0037 0.0000 0.0963 0.0000 0.4000 0.1111 0.1188 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0667 0.3333 0.4000 0.4000 0.4667 0.3407 0.1094 0.0667 0.4000 0.3211 0.3131 0.2665 0.0807 0.2667 0.4667 0.3822 0.0533 155-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0572 0.0667 0.1333 1.7150 0.0001 0.0000 0.0481 0.0000 0.1333 0.0333 0.0572 156-AH 0.0000 0.0667 0.1333 0.1333 0.2667 0.1222 0.0922 0.0667 0.2667 0.7542 0.0263 0.0001 0.0716 0.0000 0.1333 0.0810 0.0535 157-AH 0.1333 0.4667 0.6000 0.6667 0.7333 0.5370 0.1878 0.2000 0.6000 0.3497 0.4863 0.4087 0.1436 0.2667 0.7333 0.5875 0.1246 158-AH 0.0000 0.0667 0.4000 0.6000 0.9333 0.3778 0.3242 0.5333 0.9333 0.8581 0.0363 0.0000 0.2691 0.0000 0.9333 0.3778 0.3242 159-AH 0.0000 0.0000 0.1667 0.4667 0.7333 0.2741 0.2790 0.4667 0.7333 1.0180 0.0163 0.0000 0.2461 0.0000 0.7333 0.2741 0.2790 160-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0412 0.0667 0.1333 1.2367 0.0005 0.0000 0.0370 0.0000 0.1333 0.0333 0.0412 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0370 0.0341 0.0667 0.0667 0.9204 0.0013 0.0000 0.0329 0.0000 0.0667 0.0370 0.0341 163-AH 0.6000 0.8667 0.9333 1.0000 1.0000 0.9037 0.1171 0.1333 0.4000 0.1296 0.8956 0.8863 0.0914 0.7333 1.0000 0.9216 0.0920 164-AH 0.0000 0.0000 0.0000 0.0667 0.2667 0.0556 0.0800 0.0667 0.2667 1.4406 0.0006 0.0000 0.0617 0.0000 0.1333 0.0333 0.0487 165-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0667 0.1667 0.2000 0.2000 0.1370 0.0740 0.1333 0.2000 0.5400 0.0487 0.0001 0.0630 0.0000 0.2000 0.1370 0.0740 168-AH 0.0000 0.3333 0.4667 0.5333 0.6667 0.3926 0.2168 0.2000 0.6667 0.5522 0.1175 0.0001 0.1663 0.0667 0.6667 0.4417 0.1736 169-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0667 0.0560 0.1333 0.1333 0.8402 0.0045 0.0000 0.0444 0.0000 0.1333 0.0667 0.0560 170-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0444 0.0323 0.0667 0.0667 0.7276 0.0035 0.0000 0.0296 0.0000 0.0667 0.0444 0.0323 171-AH 0.0000 0.0667 0.0667 0.1333 0.1333 0.0852 0.0383 0.0667 0.1333 0.4496 0.0515 0.0002 0.0321 0.0000 0.1333 0.0852 0.0383 172-AH 0.0000 0.0000 0.0333 0.0667 0.2000 0.0481 0.0597 0.0667 0.2000 1.2389 0.0009 0.0000 0.0481 0.0000 0.1333 0.0392 0.0475 173-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 174-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000 175-AH 0.0000 0.3333 0.4000 0.4000 0.4000 0.3407 0.1271 0.0667 0.4000 0.3730 0.1183 0.0001 0.0790 0.3333 0.4000 0.3833 0.0298 176-AH 0.4000 0.9333 0.9333 1.0000 1.0000 0.9222 0.1451 0.0667 0.6000 0.1573 0.9059 0.8808 0.0790 0.9333 1.0000 0.9667 0.0344 177-AH 0.0000 0.2667 0.3000 0.4000 0.4667 0.2704 0.1542 0.1333 0.4667 0.5703 0.0540 0.0001 0.1148 0.2667 0.4667 0.3429 0.0733 178-AH 0.0000 0.0000 0.0333 0.0667 0.2000 0.0444 0.0560 0.0667 0.2000 1.2603 0.0009 0.0000 0.0444 0.0000 0.1333 0.0353 0.0416 179-AH 0.0000 0.0000 0.4000 0.4000 0.8000 0.3296 0.2541 0.4000 0.8000 0.7708 0.0222 0.0000 0.1975 0.0000 0.8000 0.3296 0.2541 180-AH 0.0000 0.0000 0.0000 0.2667 0.8667 0.1778 0.2647 0.2667 0.8667 1.4889 0.0010 0.0000 0.2074 0.0000 0.6000 0.1373 0.2075 181-AH 0.6000 0.7333 0.8000 1.0000 1.0000 0.8296 0.1376 0.2667 0.4000 0.1659 0.8188 0.8081 0.1177 0.6000 1.0000 0.8296 0.1376 182-AH 0.0000 0.0667 0.1000 0.2000 0.2000 0.1148 0.0716 0.1333 0.2000 0.6236 0.0406 0.0001 0.0630 0.0000 0.2000 0.1148 0.0716 183-AH 0.0000 0.0000 0.1333 0.2000 0.2667 0.1185 0.0985 0.2000 0.2667 0.8311 0.0102 0.0000 0.0831 0.0000 0.2667 0.1185 0.0985 184-AH 0.0000 0.0000 0.2000 0.2667 0.4000 0.1630 0.1604 0.2667 0.4000 0.9844 0.0047 0.0000 0.1374 0.0000 0.4000 0.1630 0.1604 185-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0593 0.0216 0.0000 0.0667 0.3638 0.0251 0.0001 0.0132 0.0667 0.0667 0.0667 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0296 0.0341 0.0667 0.0667 1.1504 0.0005 0.0000 0.0329 0.0000 0.0667 0.0296 0.0341 188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 189-AH 0.2667 0.3333 0.4000 0.4667 0.4667 0.3963 0.0740 0.1333 0.2000 0.1867 0.3893 0.3818 0.0638 0.2667 0.4667 0.3963 0.0740 190-AH 0.0000 0.0667 0.1333 0.3333 0.4000 0.1926 0.1532 0.2667 0.4000 0.7955 0.0359 0.0001 0.1399 0.0000 0.4000 0.1926 0.1532 402 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0667 0.2333 0.3333 0.4000 0.2037 0.1381 0.2667 0.4000 0.6779 0.0624 0.0001 0.1222 0.0000 0.4000 0.2037 0.1381 193-AH 0.0000 0.1333 0.1333 0.2000 0.3333 0.1556 0.0758 0.0667 0.3333 0.4875 0.0572 0.0001 0.0543 0.1333 0.2000 0.1644 0.0344 194-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0259 0.0334 0.0667 0.0667 1.2899 0.0003 0.0000 0.0317 0.0000 0.0667 0.0259 0.0334 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 197-AH 0.0000 0.7333 0.9000 1.0000 1.0000 0.7852 0.3173 0.2667 1.0000 0.4041 0.2459 0.0001 0.2214 0.5333 1.0000 0.8833 0.1471 198-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0222 0.0323 0.0667 0.0667 1.4552 0.0002 0.0000 0.0296 0.0000 0.0667 0.0222 0.0323 199-AH 0.0000 0.4000 0.5333 0.6000 0.6000 0.4593 0.1813 0.2000 0.6000 0.3948 0.2458 0.0002 0.1358 0.2667 0.6000 0.5125 0.0995 200-AH 0.0000 0.0000 0.2667 0.3333 0.4667 0.2222 0.1771 0.3333 0.4667 0.7971 0.0101 0.0000 0.1506 0.0000 0.4667 0.2222 0.1771 251-AH 0.2667 0.8667 0.9000 0.9333 0.9333 0.8444 0.1665 0.0667 0.6667 0.1971 0.8180 0.7716 0.1012 0.8000 0.9333 0.8958 0.0485 252-AH 0.0000 0.2000 0.3000 0.4667 0.5333 0.3185 0.1673 0.2667 0.5333 0.5254 0.1676 0.0002 0.1407 0.0000 0.5333 0.3185 0.1673 253-AH 0.0000 0.2000 0.4667 0.7333 0.8667 0.4444 0.2910 0.5333 0.8667 0.6548 0.1279 0.0001 0.2519 0.0000 0.8667 0.4444 0.2910 254-AH 0.0000 0.0667 0.3333 0.4000 0.6667 0.2852 0.1897 0.3333 0.6667 0.6651 0.0847 0.0001 0.1593 0.0000 0.6667 0.2852 0.1897 255-AH 0.0000 0.1333 0.1667 0.2000 0.2000 0.1519 0.0639 0.0667 0.2000 0.4207 0.0568 0.0001 0.0481 0.1333 0.2000 0.1708 0.0342 256-AH 0.0000 0.2667 0.9333 1.0000 1.0000 0.7407 0.3636 0.7333 1.0000 0.4909 0.3649 0.0002 0.3078 0.0000 1.0000 0.7407 0.3636 257-AH 0.0000 0.1333 0.2667 0.4667 0.5333 0.2889 0.1829 0.3333 0.5333 0.6332 0.1399 0.0002 0.1580 0.0000 0.5333 0.2889 0.1829 258-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0074 0.0314 0.0000 0.1333 4.2426 0.0000 0.0000 0.0140 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0667 0.0560 0.1333 0.1333 0.8402 0.0045 0.0000 0.0444 0.0000 0.1333 0.0667 0.0560 260-AH 0.3333 0.4667 0.6667 0.7333 0.9333 0.6444 0.1771 0.2667 0.6000 0.2748 0.6178 0.5876 0.1407 0.3333 0.9333 0.6444 0.1771 261-AH 0.0000 0.1333 0.2000 0.4000 0.6667 0.2667 0.2264 0.2667 0.6667 0.8489 0.0757 0.0001 0.1778 0.0000 0.6667 0.2667 0.2264 262-AH 0.0000 0.0000 0.0667 0.2000 0.8000 0.2148 0.2768 0.2000 0.8000 1.2887 0.0122 0.0000 0.2156 0.0000 0.2000 0.0762 0.0778 263-AH 0.0000 0.0000 0.0000 0.0000 0.2667 0.0259 0.0652 0.0000 0.2667 2.5162 0.0001 0.0000 0.0403 0.0000 0.0000 0.0000 0.0000 264-AH 0.1333 0.3333 0.4333 0.5333 0.7333 0.4407 0.1519 0.2000 0.6000 0.3447 0.4119 0.3769 0.1296 0.1333 0.7333 0.4407 0.1519 265-AH 0.0000 0.1333 0.1333 0.2000 0.3333 0.1704 0.1003 0.0667 0.3333 0.5884 0.0592 0.0001 0.0782 0.0667 0.2667 0.1590 0.0512 266-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0111 0.0471 0.0000 0.2000 4.2426 0.0000 0.0000 0.0210 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.2000 0.2333 0.4000 0.4667 0.2481 0.1548 0.2000 0.4667 0.6237 0.0504 0.0001 0.1222 0.0000 0.4667 0.2481 0.1548 268-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.0963 0.0570 0.0667 0.1333 0.5923 0.0150 0.0000 0.0494 0.0000 0.1333 0.0963 0.0570 269-AH 0.0000 0.1333 0.2000 0.2000 0.4000 0.1926 0.1045 0.0667 0.4000 0.5426 0.0669 0.0001 0.0700 0.0667 0.2667 0.1846 0.0483 270-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.7963 0.3449 0.3333 1.0000 0.4331 0.2450 0.0001 0.2720 0.4000 1.0000 0.8958 0.1992 271-AH 0.0667 0.2000 0.4333 0.4667 0.6000 0.3704 0.1745 0.2667 0.5333 0.4711 0.3046 0.2156 0.1432 0.0667 0.6000 0.3704 0.1745 272-AH 0.0000 0.0667 0.2000 0.2667 0.3333 0.1963 0.1199 0.2000 0.3333 0.6106 0.0406 0.0001 0.0942 0.0000 0.3333 0.1963 0.1199 273-AH 0.0667 0.2000 0.9000 0.9333 1.0000 0.6778 0.3745 0.7333 0.9333 0.5526 0.4792 0.2493 0.3259 0.0667 1.0000 0.6778 0.3745 274-AH 0.0000 0.0000 0.0667 0.0667 0.4000 0.0630 0.0956 0.0667 0.4000 1.5181 0.0016 0.0000 0.0560 0.0000 0.1333 0.0431 0.0468 275-AH 0.2667 0.4000 0.6000 0.7333 0.8667 0.5852 0.2090 0.3333 0.6000 0.3572 0.5462 0.5053 0.1737 0.2667 0.8667 0.5852 0.2090 276-AH 0.0000 0.0667 0.3000 0.5333 0.6667 0.3148 0.2513 0.4667 0.6667 0.7983 0.0333 0.0000 0.2185 0.0000 0.6667 0.3148 0.2513 277-AH 0.0667 0.2000 0.2333 0.2667 0.3333 0.2111 0.0800 0.0667 0.2667 0.3791 0.1904 0.1629 0.0630 0.1333 0.3333 0.2400 0.0491 278-AH 0.0000 0.0000 0.0333 0.0667 0.2667 0.0667 0.0886 0.0667 0.2667 1.3284 0.0011 0.0000 0.0667 0.0000 0.0667 0.0238 0.0331 279-AH 0.0000 0.0000 0.0000 0.1333 0.2000 0.0630 0.0808 0.1333 0.2000 1.2826 0.0007 0.0000 0.0700 0.0000 0.2000 0.0630 0.0808 280-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0704 0.0775 0.1333 0.2000 1.1006 0.0018 0.0000 0.0642 0.0000 0.2000 0.0704 0.0775 281-AH 0.1333 0.4000 0.4667 0.6000 0.7333 0.4778 0.1760 0.2000 0.6000 0.3684 0.4352 0.3763 0.1309 0.1333 0.7333 0.4778 0.1760 282-AH 0.0000 0.2000 0.2667 0.2667 0.4000 0.2148 0.1062 0.0667 0.4000 0.4942 0.0744 0.0001 0.0798 0.1333 0.3333 0.2429 0.0497 283-AH 0.0667 0.1333 0.3333 0.4667 0.8000 0.3481 0.2247 0.3333 0.7333 0.6454 0.2691 0.1918 0.1737 0.0667 0.8000 0.3481 0.2247 284-AH 0.0000 0.0000 0.3333 0.4000 0.7333 0.2963 0.2639 0.4000 0.7333 0.8908 0.0115 0.0000 0.2230 0.0000 0.7333 0.2963 0.2639 285-AH 0.0000 0.0667 0.4000 0.8000 0.9333 0.4519 0.3576 0.7333 0.9333 0.7914 0.0691 0.0001 0.3169 0.0000 0.9333 0.4519 0.3576 286-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0370 0.0470 0.0667 0.1333 1.2686 0.0005 0.0000 0.0412 0.0000 0.1333 0.0370 0.0470 287-AH 0.0000 0.2000 0.3667 0.5333 0.5333 0.3296 0.1973 0.3333 0.5333 0.5986 0.0996 0.0001 0.1675 0.0000 0.5333 0.3296 0.1973 288-AH 0.0000 0.0667 0.2000 0.3333 0.5333 0.2333 0.1833 0.2667 0.5333 0.7855 0.0273 0.0000 0.1481 0.0000 0.5333 0.2333 0.1833 289-AH 0.0000 0.3333 0.6000 0.8000 0.8667 0.5481 0.2633 0.4667 0.8667 0.4803 0.1736 0.0001 0.2041 0.0000 0.8667 0.5481 0.2633 290-AH 0.0000 0.0667 0.1333 0.2000 0.4667 0.1407 0.1118 0.1333 0.4667 0.7941 0.0297 0.0001 0.0765 0.0000 0.2667 0.1216 0.0790 403 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0667 0.3000 0.8000 0.9333 0.3926 0.3672 0.7333 0.9333 0.9353 0.0363 0.0000 0.3169 0.0000 0.9333 0.3926 0.3672 292-AH 0.0000 0.1333 0.1667 0.2667 0.2667 0.1704 0.1028 0.1333 0.2667 0.6036 0.0367 0.0001 0.0889 0.0000 0.2667 0.1704 0.1028 293-AH 0.0000 0.0667 0.5000 0.6667 0.7333 0.4037 0.3020 0.6000 0.7333 0.7482 0.0396 0.0000 0.2695 0.0000 0.7333 0.4037 0.3020 294-AH 0.0000 0.1333 0.4000 0.5333 0.6667 0.3519 0.2513 0.4000 0.6667 0.7143 0.0621 0.0001 0.2259 0.0000 0.6667 0.3519 0.2513 295-AH 0.0000 0.0000 0.1333 0.5333 0.6000 0.2556 0.2412 0.5333 0.6000 0.9438 0.0163 0.0000 0.2173 0.0000 0.6000 0.2556 0.2412 296-AH 0.0000 0.4000 0.5333 0.6000 0.7333 0.4889 0.2169 0.2000 0.7333 0.4437 0.1589 0.0001 0.1630 0.2667 0.7333 0.5500 0.1322 297-AH 0.0000 0.0000 0.1000 0.2667 0.3333 0.1407 0.1250 0.2667 0.3333 0.8882 0.0110 0.0000 0.1119 0.0000 0.3333 0.1407 0.1250 298-AH 0.0000 0.0667 0.2667 0.3333 0.3333 0.2148 0.1344 0.2667 0.3333 0.6257 0.0272 0.0000 0.1136 0.0000 0.3333 0.2148 0.1344 299-AH 0.0000 0.0000 0.1000 0.5333 0.6000 0.2185 0.2429 0.5333 0.6000 1.1114 0.0130 0.0000 0.2173 0.0000 0.6000 0.2185 0.2429 300-AH 0.0000 0.0000 0.0667 0.2000 0.5333 0.1185 0.1456 0.2000 0.5333 1.2287 0.0023 0.0000 0.1169 0.0000 0.2667 0.0941 0.1056 301-AH 0.0000 0.0000 0.1333 0.4667 0.6000 0.2333 0.2324 0.4667 0.6000 0.9958 0.0093 0.0000 0.2074 0.0000 0.6000 0.2333 0.2324 302-AH 0.1333 0.3333 0.3667 0.4667 0.5333 0.3667 0.1103 0.1333 0.4000 0.3007 0.3455 0.3167 0.0852 0.2667 0.5333 0.3958 0.0749 303-AH 0.0000 0.0667 0.1333 0.2667 0.4000 0.1630 0.1148 0.2000 0.4000 0.7047 0.0524 0.0001 0.0996 0.0000 0.4000 0.1630 0.1148 304-AH 0.0000 0.0000 0.1667 0.2667 0.4000 0.1778 0.1372 0.2667 0.4000 0.7717 0.0141 0.0000 0.1185 0.0000 0.4000 0.1778 0.1372 305-AH 0.0000 0.0000 0.1333 0.5333 0.6000 0.2444 0.2637 0.5333 0.6000 1.0788 0.0022 0.0000 0.2444 0.0000 0.6000 0.2444 0.2637 306-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0630 0.0157 0.0000 0.0667 0.2496 0.0409 0.0002 0.0070 0.0667 0.0667 0.0667 0.0000 307-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1148 0.1227 0.2000 0.4000 1.0689 0.0038 0.0000 0.1000 0.0000 0.4000 0.1148 0.1227 308-AH 0.4000 0.4667 0.5000 0.5333 0.6000 0.4926 0.0567 0.0667 0.2000 0.1150 0.4894 0.4862 0.0481 0.4000 0.6000 0.4926 0.0567 309-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0481 0.0551 0.0667 0.1333 1.1443 0.0010 0.0000 0.0481 0.0000 0.1333 0.0481 0.0551 310-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.1111 0.1166 0.1333 0.4000 1.0494 0.0091 0.0000 0.0864 0.0000 0.3333 0.0941 0.0945 311-AH 0.0000 0.1333 0.3333 0.4000 0.4667 0.2704 0.1576 0.2667 0.4667 0.5827 0.0534 0.0001 0.1288 0.0000 0.4667 0.2704 0.1576 312-AH 0.0000 0.0000 0.0667 0.6000 0.7333 0.2667 0.3127 0.6000 0.7333 1.1726 0.0034 0.0000 0.2889 0.0000 0.7333 0.2667 0.3127 313-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0370 0.0523 0.0667 0.1333 1.4109 0.0003 0.0000 0.0453 0.0000 0.1333 0.0370 0.0523 314-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0259 0.0567 0.0000 0.2000 2.1853 0.0001 0.0000 0.0403 0.0000 0.0000 0.0000 0.0000 315-AH 0.0000 0.0667 0.5000 0.7333 0.8000 0.4333 0.3171 0.6667 0.8000 0.7317 0.0431 0.0000 0.2741 0.0000 0.8000 0.4333 0.3171 316-AH 0.0000 0.0000 0.1333 0.2667 0.4667 0.1407 0.1351 0.2667 0.4667 0.9597 0.0070 0.0000 0.1119 0.0000 0.4667 0.1407 0.1351 317-AH 0.0000 0.1333 0.1667 0.2667 0.4667 0.1852 0.1344 0.1333 0.4667 0.7259 0.0378 0.0001 0.1037 0.0000 0.4667 0.1852 0.1344 318-AH 0.0000 0.0000 0.0667 0.2000 0.3333 0.1000 0.1079 0.2000 0.3333 1.0786 0.0034 0.0000 0.0926 0.0000 0.3333 0.1000 0.1079 319-AH 0.1333 0.3333 0.4000 0.5333 0.6000 0.4111 0.1358 0.2000 0.4667 0.3302 0.3863 0.3563 0.1099 0.1333 0.6000 0.4111 0.1358 320-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0481 0.0501 0.0667 0.1333 1.0411 0.0015 0.0000 0.0428 0.0000 0.1333 0.0481 0.0501 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0667 0.1000 0.2667 0.3333 0.1296 0.1108 0.2000 0.3333 0.8546 0.0167 0.0000 0.0926 0.0000 0.3333 0.1296 0.1108 323-AH 0.0667 0.0667 0.0667 0.0667 0.2667 0.1111 0.0856 0.0000 0.2000 0.7700 0.0907 0.0800 0.0691 0.0667 0.0667 0.0667 0.0000 324-AH 0.0000 0.0000 0.4000 0.6667 0.8667 0.3926 0.3297 0.6667 0.8667 0.8398 0.0145 0.0000 0.2757 0.0000 0.8667 0.3926 0.3297 325-AH 0.0000 0.0000 0.0667 0.1333 0.6667 0.1630 0.2312 0.1333 0.6667 1.4187 0.0061 0.0000 0.1794 0.0000 0.1333 0.0476 0.0484 326-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.1037 0.0470 0.0667 0.1333 0.4531 0.0398 0.0001 0.0395 0.0000 0.1333 0.1037 0.0470 327-AH 0.0000 0.0000 0.0000 0.0000 0.2667 0.0259 0.0652 0.0000 0.2667 2.5162 0.0001 0.0000 0.0403 0.0000 0.0000 0.0000 0.0000 328-AH 0.2667 0.4667 0.5667 0.6667 0.8000 0.5556 0.1726 0.2000 0.5333 0.3107 0.5269 0.4953 0.1481 0.2667 0.8000 0.5556 0.1726 329-AH 0.0667 0.4667 0.6000 0.6667 0.7333 0.5556 0.1815 0.2000 0.6667 0.3267 0.4995 0.3823 0.1333 0.2000 0.7333 0.5843 0.1385 330-AH 0.0000 0.6000 0.8000 0.8667 0.9333 0.6778 0.2765 0.2667 0.9333 0.4080 0.2155 0.0001 0.2000 0.4667 0.9333 0.7625 0.1333 331-AH 0.0000 0.0667 0.1333 0.4667 0.6000 0.2444 0.2169 0.4000 0.6000 0.8874 0.1002 0.0002 0.1951 0.0000 0.6000 0.2444 0.2169 332-AH 0.0000 0.2000 0.2000 0.2667 0.2667 0.2037 0.0808 0.0667 0.2667 0.3964 0.0744 0.0001 0.0490 0.2000 0.2667 0.2292 0.0342 333-AH 0.0000 0.3333 0.3333 0.3333 0.3333 0.2889 0.1073 0.0000 0.3333 0.3713 0.1022 0.0001 0.0691 0.3333 0.3333 0.3333 0.0000 334-AH 0.0000 0.1333 0.1333 0.2000 0.2000 0.1407 0.0555 0.0667 0.2000 0.3943 0.0834 0.0002 0.0395 0.0667 0.2000 0.1490 0.0443 335-AH 0.0000 0.0000 0.2000 0.2000 0.4667 0.1815 0.1646 0.2000 0.4667 0.9069 0.0085 0.0000 0.1263 0.0000 0.4667 0.1815 0.1646 336-AH 0.0000 0.0000 0.0667 0.2667 0.3333 0.1148 0.1269 0.2667 0.3333 1.1054 0.0023 0.0000 0.1128 0.0000 0.3333 0.1148 0.1269 337-AH 0.0000 0.7333 0.7667 0.8000 0.9333 0.6926 0.2609 0.0667 0.9333 0.3766 0.2221 0.0001 0.1597 0.6667 0.8667 0.7689 0.0610 338-AH 0.0000 0.1333 0.2667 0.4000 0.4667 0.2519 0.1509 0.2667 0.4667 0.5992 0.1265 0.0002 0.1292 0.0000 0.4667 0.2519 0.1509 339-AH 0.0000 0.2000 0.4333 0.6667 0.9333 0.4370 0.2812 0.4667 0.9333 0.6434 0.1316 0.0001 0.2296 0.0000 0.9333 0.4370 0.2812 340-AH 0.0000 0.0000 0.0667 0.2000 0.2667 0.0926 0.0890 0.2000 0.2667 0.9609 0.0053 0.0000 0.0761 0.0000 0.2667 0.0926 0.0890 404 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0667 0.2000 0.2667 0.3333 0.1889 0.1029 0.2000 0.3333 0.5448 0.1006 0.0002 0.0877 0.0000 0.3333 0.1889 0.1029 342-AH 0.3333 0.7333 0.8667 0.8667 0.9333 0.7815 0.1581 0.1333 0.6000 0.2023 0.7605 0.7312 0.1156 0.6667 0.9333 0.8292 0.0769 343-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0148 0.0285 0.0000 0.0667 1.9251 0.0001 0.0000 0.0230 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.1333 0.6667 0.7333 0.8000 0.5111 0.3042 0.6000 0.8000 0.5952 0.1468 0.0001 0.2716 0.0000 0.8000 0.5111 0.3042 345-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0296 0.0410 0.0667 0.1333 1.3853 0.0003 0.0000 0.0362 0.0000 0.1333 0.0296 0.0410 346-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0296 0.0410 0.0667 0.1333 1.3853 0.0003 0.0000 0.0362 0.0000 0.1333 0.0296 0.0410 347-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0407 0.0763 0.0667 0.2000 1.8732 0.0001 0.0000 0.0588 0.0000 0.0667 0.0089 0.0235 348-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.1074 0.0465 0.0667 0.1333 0.4331 0.0413 0.0001 0.0374 0.0000 0.1333 0.1074 0.0465 349-AH 0.0000 0.3333 0.4000 0.4000 0.5333 0.3407 0.1389 0.0667 0.5333 0.4076 0.1171 0.0001 0.0947 0.2667 0.4667 0.3733 0.0552 350-AH 0.0000 0.4000 0.4000 0.4667 0.5333 0.3778 0.1464 0.0667 0.5333 0.3876 0.1292 0.0001 0.0938 0.3333 0.5333 0.4250 0.0537 405 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0361 0.0230 0.0500 0.0500 0.6382 0.0047 0.0000 0.0201 0.0000 0.0500 0.0361 0.0230 142-AH 0.1500 0.3500 0.3750 0.4000 0.4000 0.3556 0.0705 0.0500 0.2500 0.1982 0.3460 0.3323 0.0444 0.3500 0.4000 0.3781 0.0256 143-AH 0.0000 0.0500 0.8000 0.9500 1.0000 0.5556 0.4137 0.9000 1.0000 0.7447 0.0481 0.0000 0.3660 0.0000 1.0000 0.5556 0.4137 144-AH 0.0000 0.0000 0.0500 0.0500 0.1500 0.0528 0.0581 0.0500 0.1500 1.1006 0.0023 0.0000 0.0432 0.0000 0.0500 0.0250 0.0259 145-AH 0.0000 0.1500 0.6250 0.8000 0.8000 0.4806 0.3273 0.6500 0.8000 0.6810 0.0783 0.0001 0.2960 0.0000 0.8000 0.4806 0.3273 146-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0333 0.0243 0.0500 0.0500 0.7276 0.0029 0.0000 0.0222 0.0000 0.0500 0.0333 0.0243 147-AH 0.0500 0.1500 0.5000 0.8000 0.9000 0.4972 0.3252 0.6500 0.8500 0.6539 0.3418 0.1851 0.2812 0.0500 0.9000 0.4972 0.3252 148-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0333 0.0243 0.0500 0.0500 0.7276 0.0029 0.0000 0.0222 0.0000 0.0500 0.0333 0.0243 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0167 0.0485 0.0000 0.2000 2.9104 0.0000 0.0000 0.0278 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.1500 0.2500 0.0667 0.0955 0.1500 0.2500 1.4323 0.0007 0.0000 0.0796 0.0000 0.2500 0.0667 0.0955 152-AH 0.0000 0.0000 0.0750 0.2000 0.3000 0.0944 0.1027 0.2000 0.3000 1.0878 0.0033 0.0000 0.0833 0.0000 0.3000 0.0944 0.1027 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.1000 0.2500 0.3000 0.3500 0.4000 0.2889 0.0932 0.1000 0.3000 0.3227 0.2697 0.2442 0.0704 0.2000 0.4000 0.3125 0.0671 155-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0429 0.0500 0.1000 1.7150 0.0001 0.0000 0.0361 0.0000 0.1000 0.0250 0.0429 156-AH 0.0000 0.0500 0.1000 0.2000 0.3000 0.1222 0.0861 0.1500 0.3000 0.7047 0.0633 0.0002 0.0716 0.0000 0.3000 0.1222 0.0861 157-AH 0.1000 0.5000 0.6000 0.6500 0.7000 0.5361 0.1739 0.1500 0.6000 0.3244 0.4904 0.4124 0.1336 0.3000 0.7000 0.5844 0.1076 158-AH 0.0000 0.0500 0.3250 0.5000 0.8500 0.3278 0.2724 0.4500 0.8500 0.8309 0.0517 0.0001 0.2222 0.0000 0.8500 0.3278 0.2724 159-AH 0.0000 0.0000 0.1500 0.4000 0.7500 0.2500 0.2717 0.4000 0.7500 1.0868 0.0146 0.0000 0.2333 0.0000 0.7500 0.2500 0.2717 160-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0361 0.0376 0.0500 0.1000 1.0411 0.0013 0.0000 0.0321 0.0000 0.1000 0.0361 0.0376 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0306 0.0251 0.0500 0.0500 0.8209 0.0018 0.0000 0.0238 0.0000 0.0500 0.0306 0.0251 163-AH 0.6500 0.8000 0.8750 1.0000 1.0000 0.8833 0.1200 0.2000 0.3500 0.1359 0.8751 0.8662 0.1000 0.6500 1.0000 0.8833 0.1200 164-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0472 0.0675 0.0500 0.2000 1.4285 0.0006 0.0000 0.0525 0.0000 0.0500 0.0143 0.0234 165-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.1000 0.1500 0.1500 0.1500 0.1139 0.0537 0.0500 0.1500 0.4715 0.0426 0.0001 0.0441 0.0500 0.1500 0.1281 0.0364 168-AH 0.0000 0.4000 0.4500 0.5000 0.5500 0.3667 0.1879 0.1000 0.5500 0.5124 0.1129 0.0001 0.1463 0.4000 0.5500 0.4607 0.0525 169-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0528 0.0469 0.1000 0.1500 0.8882 0.0038 0.0000 0.0370 0.0000 0.1500 0.0528 0.0469 170-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0333 0.0243 0.0500 0.0500 0.7276 0.0029 0.0000 0.0222 0.0000 0.0500 0.0333 0.0243 171-AH 0.0500 0.0500 0.1000 0.1000 0.1500 0.0833 0.0297 0.0500 0.1000 0.3565 0.0781 0.0730 0.0259 0.0500 0.1500 0.0833 0.0297 172-AH 0.0000 0.0000 0.0250 0.1000 0.1500 0.0500 0.0542 0.1000 0.1500 1.0847 0.0010 0.0000 0.0500 0.0000 0.1500 0.0500 0.0542 173-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 174-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000 175-AH 0.0000 0.3000 0.3000 0.3000 0.3000 0.2611 0.0963 0.0000 0.3000 0.3690 0.0935 0.0001 0.0605 0.3000 0.3000 0.3000 0.0000 176-AH 0.3500 0.8500 0.9250 0.9500 1.0000 0.8778 0.1536 0.1000 0.6500 0.1750 0.8584 0.8280 0.0932 0.8500 1.0000 0.9250 0.0483 177-AH 0.0000 0.2500 0.3000 0.3500 0.3500 0.2417 0.1320 0.1000 0.3500 0.5462 0.0493 0.0001 0.1019 0.2500 0.3500 0.3071 0.0432 178-AH 0.0000 0.0000 0.0250 0.0500 0.1500 0.0333 0.0420 0.0500 0.1500 1.2603 0.0008 0.0000 0.0333 0.0000 0.1000 0.0265 0.0312 179-AH 0.0000 0.0500 0.3000 0.4000 0.7500 0.2833 0.2196 0.3500 0.7500 0.7751 0.0316 0.0000 0.1648 0.0000 0.7500 0.2833 0.2196 180-AH 0.0000 0.0000 0.0250 0.3000 0.8000 0.1778 0.2463 0.3000 0.8000 1.3853 0.0016 0.0000 0.2006 0.0000 0.5500 0.1412 0.1970 181-AH 0.5500 0.7500 0.8500 0.9500 1.0000 0.8306 0.1352 0.2000 0.4500 0.1628 0.8196 0.8081 0.1105 0.5500 1.0000 0.8306 0.1352 182-AH 0.0000 0.0500 0.1000 0.1500 0.1500 0.0889 0.0530 0.1000 0.1500 0.5964 0.0327 0.0001 0.0457 0.0000 0.1500 0.0889 0.0530 183-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.0944 0.0745 0.1000 0.2000 0.7892 0.0135 0.0000 0.0617 0.0000 0.2000 0.0944 0.0745 184-AH 0.0000 0.0000 0.1500 0.2500 0.3000 0.1278 0.1239 0.2500 0.3000 0.9699 0.0041 0.0000 0.1080 0.0000 0.3000 0.1278 0.1239 185-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0333 0.0243 0.0500 0.0500 0.7276 0.0029 0.0000 0.0222 0.0000 0.0500 0.0333 0.0243 188-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0028 0.0118 0.0000 0.0500 4.2426 0.0000 0.0000 0.0052 0.0000 0.0000 0.0000 0.0000 189-AH 0.2500 0.3000 0.3500 0.3500 0.3500 0.3222 0.0392 0.0500 0.1000 0.1216 0.3198 0.3171 0.0340 0.2500 0.3500 0.3222 0.0392 190-AH 0.0000 0.0500 0.2000 0.2500 0.3500 0.1667 0.1176 0.2000 0.3500 0.7054 0.0335 0.0001 0.1056 0.0000 0.3500 0.1667 0.1176 406 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0500 0.2000 0.2500 0.3000 0.1722 0.1101 0.2000 0.3000 0.6393 0.0852 0.0002 0.1000 0.0000 0.3000 0.1722 0.1101 193-AH 0.0000 0.1000 0.1500 0.1500 0.2500 0.1278 0.0624 0.0500 0.2500 0.4880 0.0478 0.0001 0.0469 0.1000 0.2000 0.1367 0.0352 194-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0194 0.0251 0.0500 0.0500 1.2899 0.0003 0.0000 0.0238 0.0000 0.0500 0.0194 0.0251 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000 197-AH 0.0000 0.6500 0.9000 1.0000 1.0000 0.7667 0.3158 0.3500 1.0000 0.4119 0.2402 0.0001 0.2333 0.6000 1.0000 0.8625 0.1576 198-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0194 0.0251 0.0500 0.0500 1.2899 0.0003 0.0000 0.0238 0.0000 0.0500 0.0194 0.0251 199-AH 0.0000 0.3500 0.4500 0.4500 0.4500 0.3833 0.1176 0.1000 0.4500 0.3067 0.2212 0.0002 0.0796 0.2000 0.4500 0.4059 0.0705 200-AH 0.0000 0.0000 0.2250 0.2500 0.3500 0.1778 0.1374 0.2500 0.3500 0.7731 0.0088 0.0000 0.1185 0.0000 0.3500 0.1778 0.1374 251-AH 0.2000 0.7000 0.8000 0.9000 0.9500 0.7639 0.1764 0.2000 0.7500 0.2309 0.7311 0.6716 0.1164 0.5000 0.9500 0.7971 0.1096 252-AH 0.0000 0.2000 0.3000 0.4000 0.5000 0.2861 0.1513 0.2000 0.5000 0.5287 0.1496 0.0002 0.1306 0.0000 0.5000 0.2861 0.1513 253-AH 0.0000 0.2000 0.4750 0.7000 0.7500 0.4194 0.2685 0.5000 0.7500 0.6402 0.1206 0.0001 0.2361 0.0000 0.7500 0.4194 0.2685 254-AH 0.0000 0.2000 0.3000 0.4000 0.6000 0.2833 0.1680 0.2000 0.6000 0.5931 0.0890 0.0001 0.1352 0.0000 0.6000 0.2833 0.1680 255-AH 0.0000 0.1000 0.1250 0.1500 0.2000 0.1194 0.0546 0.0500 0.2000 0.4572 0.0454 0.0001 0.0417 0.1000 0.2000 0.1344 0.0352 256-AH 0.0000 0.2000 0.9000 1.0000 1.0000 0.7111 0.3775 0.8000 1.0000 0.5309 0.3354 0.0002 0.3241 0.0000 1.0000 0.7111 0.3775 257-AH 0.0000 0.1500 0.3000 0.4000 0.5000 0.2694 0.1554 0.2500 0.5000 0.5769 0.1345 0.0002 0.1318 0.0000 0.5000 0.2694 0.1554 258-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0056 0.0236 0.0000 0.1000 4.2426 0.0000 0.0000 0.0105 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0556 0.0416 0.1000 0.1000 0.7491 0.0061 0.0000 0.0346 0.0000 0.1000 0.0556 0.0416 260-AH 0.3000 0.4500 0.6500 0.7500 0.8000 0.6056 0.1484 0.3000 0.5000 0.2451 0.5853 0.5617 0.1210 0.3000 0.8000 0.6056 0.1484 261-AH 0.0000 0.1000 0.1750 0.3000 0.6000 0.2333 0.1978 0.2000 0.6000 0.8476 0.0678 0.0001 0.1537 0.0000 0.6000 0.2333 0.1978 262-AH 0.0000 0.0000 0.0500 0.2000 0.7000 0.1944 0.2583 0.2000 0.7000 1.3285 0.0108 0.0000 0.2031 0.0000 0.2000 0.0643 0.0691 263-AH 0.0000 0.0000 0.0250 0.0500 0.3500 0.0417 0.0809 0.0500 0.3500 1.9415 0.0008 0.0000 0.0417 0.0000 0.0500 0.0235 0.0257 264-AH 0.1500 0.3000 0.3250 0.4500 0.6000 0.3639 0.1096 0.1500 0.4500 0.3011 0.3472 0.3288 0.0932 0.1500 0.6000 0.3639 0.1096 265-AH 0.0000 0.1000 0.1500 0.2000 0.3000 0.1500 0.0924 0.1000 0.3000 0.6157 0.0520 0.0001 0.0667 0.0000 0.3000 0.1500 0.0924 266-AH 0.0000 0.0000 0.0000 0.0000 0.1500 0.0167 0.0420 0.0000 0.1500 2.5205 0.0000 0.0000 0.0278 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.1500 0.2000 0.3000 0.4000 0.2139 0.1258 0.1500 0.4000 0.5881 0.0708 0.0001 0.1043 0.0000 0.4000 0.2139 0.1258 268-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0722 0.0428 0.0500 0.1000 0.5923 0.0120 0.0000 0.0370 0.0000 0.1000 0.0722 0.0428 269-AH 0.0000 0.1000 0.1500 0.1500 0.3000 0.1444 0.0784 0.0500 0.3000 0.5426 0.0518 0.0001 0.0525 0.0500 0.2000 0.1385 0.0363 270-AH 0.0000 0.6500 0.9250 0.9500 1.0000 0.7639 0.3298 0.3000 1.0000 0.4317 0.2364 0.0001 0.2577 0.4000 1.0000 0.8594 0.1890 271-AH 0.0500 0.2500 0.3500 0.4500 0.4500 0.3250 0.1353 0.2000 0.4000 0.4163 0.2754 0.1970 0.1056 0.0500 0.4500 0.3250 0.1353 272-AH 0.0000 0.1500 0.2250 0.3000 0.3500 0.2083 0.1179 0.1500 0.3500 0.5659 0.0683 0.0001 0.0917 0.0000 0.3500 0.2083 0.1179 273-AH 0.0500 0.2000 0.8500 0.9000 1.0000 0.6500 0.3544 0.7000 0.9500 0.5452 0.4627 0.2337 0.3056 0.0500 1.0000 0.6500 0.3544 274-AH 0.0000 0.0000 0.0500 0.0500 0.4500 0.0639 0.1026 0.0500 0.4500 1.6062 0.0037 0.0000 0.0549 0.0000 0.1000 0.0412 0.0364 275-AH 0.2000 0.3500 0.5500 0.7500 0.8000 0.5278 0.2016 0.4000 0.6000 0.3820 0.4846 0.4364 0.1691 0.2000 0.8000 0.5278 0.2016 276-AH 0.0000 0.1000 0.2500 0.5000 0.7500 0.3111 0.2524 0.4000 0.7500 0.8112 0.0334 0.0000 0.2179 0.0000 0.7500 0.3111 0.2524 277-AH 0.1000 0.2000 0.2500 0.3000 0.3000 0.2333 0.0728 0.1000 0.2000 0.3118 0.2192 0.2015 0.0593 0.1000 0.3000 0.2333 0.0728 278-AH 0.0000 0.0000 0.0500 0.0500 0.2500 0.0583 0.0772 0.0500 0.2500 1.3230 0.0015 0.0000 0.0574 0.0000 0.0500 0.0214 0.0257 279-AH 0.0000 0.0000 0.0000 0.1000 0.1500 0.0472 0.0606 0.1000 0.1500 1.2826 0.0006 0.0000 0.0525 0.0000 0.1500 0.0472 0.0606 280-AH 0.0000 0.0000 0.0500 0.1500 0.1500 0.0639 0.0660 0.1500 0.1500 1.0329 0.0017 0.0000 0.0599 0.0000 0.1500 0.0639 0.0660 281-AH 0.1500 0.4000 0.4500 0.5000 0.7000 0.4528 0.1500 0.1000 0.5500 0.3312 0.4260 0.3940 0.1093 0.3000 0.6500 0.4536 0.0990 282-AH 0.0000 0.2000 0.2250 0.3000 0.4000 0.2278 0.1114 0.1000 0.4000 0.4892 0.1220 0.0002 0.0889 0.0500 0.4000 0.2412 0.0988 283-AH 0.0500 0.1000 0.3000 0.4500 0.6000 0.2944 0.1854 0.3500 0.5500 0.6297 0.2227 0.1506 0.1506 0.0500 0.6000 0.2944 0.1854 284-AH 0.0000 0.0500 0.2750 0.5000 0.6000 0.2778 0.2328 0.4500 0.6000 0.8380 0.0277 0.0000 0.2056 0.0000 0.6000 0.2778 0.2328 285-AH 0.0000 0.0500 0.4000 0.7000 0.9000 0.4194 0.3353 0.6500 0.9000 0.7993 0.0628 0.0001 0.2938 0.0000 0.9000 0.4194 0.3353 286-AH 0.0000 0.0000 0.0250 0.0500 0.1000 0.0333 0.0383 0.0500 0.1000 1.1504 0.0008 0.0000 0.0333 0.0000 0.1000 0.0333 0.0383 287-AH 0.0000 0.1500 0.4000 0.5000 0.5500 0.3389 0.1982 0.3500 0.5500 0.5848 0.1023 0.0001 0.1648 0.0000 0.5500 0.3389 0.1982 288-AH 0.0000 0.1000 0.2000 0.3000 0.5500 0.2222 0.1857 0.2000 0.5500 0.8356 0.0260 0.0000 0.1469 0.0000 0.5500 0.2222 0.1857 289-AH 0.0000 0.4000 0.5500 0.7000 0.8000 0.5222 0.2408 0.3000 0.8000 0.4612 0.1673 0.0001 0.1840 0.0000 0.8000 0.5222 0.2408 290-AH 0.0000 0.0500 0.1250 0.2000 0.5000 0.1444 0.1259 0.1500 0.5000 0.8716 0.0286 0.0001 0.0944 0.0000 0.3000 0.1235 0.0921 407 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0500 0.2750 0.7500 0.8500 0.3639 0.3403 0.7000 0.8500 0.9353 0.0334 0.0000 0.2948 0.0000 0.8500 0.3639 0.3403 292-AH 0.0000 0.1000 0.1500 0.2000 0.2000 0.1306 0.0788 0.1000 0.2000 0.6040 0.0293 0.0001 0.0694 0.0000 0.2000 0.1306 0.0788 293-AH 0.0000 0.0500 0.6000 0.6500 0.7500 0.4111 0.3056 0.6000 0.7500 0.7434 0.0400 0.0000 0.2809 0.0000 0.7500 0.4111 0.3056 294-AH 0.0000 0.2500 0.4500 0.6000 0.7000 0.3806 0.2396 0.3500 0.7000 0.6295 0.0700 0.0001 0.2049 0.0000 0.7000 0.3806 0.2396 295-AH 0.0000 0.0000 0.1500 0.4500 0.5000 0.2278 0.2095 0.4500 0.5000 0.9197 0.0154 0.0000 0.1895 0.0000 0.5000 0.2278 0.2095 296-AH 0.0000 0.3500 0.4750 0.6000 0.7000 0.4500 0.2015 0.2500 0.7000 0.4477 0.1481 0.0001 0.1444 0.0000 0.7000 0.4500 0.2015 297-AH 0.0000 0.0000 0.1000 0.2000 0.2500 0.1083 0.0943 0.2000 0.2500 0.8707 0.0092 0.0000 0.0861 0.0000 0.2500 0.1083 0.0943 298-AH 0.0000 0.0500 0.3000 0.3000 0.3500 0.2250 0.1342 0.2500 0.3500 0.5965 0.0443 0.0001 0.1139 0.0000 0.3500 0.2250 0.1342 299-AH 0.0000 0.0000 0.1000 0.4500 0.6500 0.1972 0.2304 0.4500 0.6500 1.1682 0.0117 0.0000 0.2019 0.0000 0.6500 0.1972 0.2304 300-AH 0.0000 0.0000 0.1000 0.2000 0.5000 0.1111 0.1278 0.2000 0.5000 1.1504 0.0037 0.0000 0.0957 0.0000 0.5000 0.1111 0.1278 301-AH 0.0000 0.0000 0.1500 0.4500 0.5000 0.2000 0.1948 0.4500 0.5000 0.9739 0.0086 0.0000 0.1667 0.0000 0.5000 0.2000 0.1948 302-AH 0.1000 0.3000 0.3500 0.3500 0.5000 0.3417 0.1033 0.0500 0.4000 0.3022 0.3218 0.2934 0.0667 0.3000 0.4000 0.3385 0.0300 303-AH 0.0000 0.0500 0.1750 0.2000 0.4000 0.1389 0.1023 0.1500 0.4000 0.7363 0.0446 0.0001 0.0846 0.0000 0.4000 0.1389 0.1023 304-AH 0.0000 0.0500 0.1750 0.2500 0.3000 0.1500 0.1057 0.2000 0.3000 0.7048 0.0200 0.0000 0.0889 0.0000 0.3000 0.1500 0.1057 305-AH 0.0000 0.0000 0.1500 0.4500 0.6000 0.2333 0.2491 0.4500 0.6000 1.0676 0.0021 0.0000 0.2333 0.0000 0.6000 0.2333 0.2491 306-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0472 0.0118 0.0000 0.0500 0.2496 0.0312 0.0002 0.0052 0.0500 0.0500 0.0500 0.0000 307-AH 0.0000 0.0000 0.1000 0.1500 0.3500 0.1028 0.1050 0.1500 0.3500 1.0214 0.0036 0.0000 0.0864 0.0000 0.3500 0.1028 0.1050 308-AH 0.3000 0.3500 0.4000 0.4000 0.4500 0.3750 0.0393 0.0500 0.1500 0.1048 0.3730 0.3709 0.0333 0.3000 0.4500 0.3750 0.0393 309-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0500 0.0485 0.1000 0.1500 0.9701 0.0023 0.0000 0.0389 0.0000 0.1500 0.0500 0.0485 310-AH 0.0000 0.0000 0.0750 0.1000 0.3000 0.0944 0.1027 0.1000 0.3000 1.0878 0.0080 0.0000 0.0722 0.0000 0.1000 0.0533 0.0442 311-AH 0.0000 0.1000 0.3000 0.3500 0.5000 0.2667 0.1600 0.2500 0.5000 0.5999 0.0529 0.0001 0.1278 0.0000 0.5000 0.2667 0.1600 312-AH 0.0000 0.0000 0.0500 0.5000 0.6500 0.2333 0.2749 0.5000 0.6500 1.1783 0.0031 0.0000 0.2519 0.0000 0.6500 0.2333 0.2749 313-AH 0.0000 0.0000 0.0250 0.0500 0.1500 0.0361 0.0447 0.0500 0.1500 1.2389 0.0008 0.0000 0.0361 0.0000 0.1000 0.0294 0.0356 314-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0333 0.0485 0.0500 0.1500 1.4552 0.0005 0.0000 0.0370 0.0000 0.0500 0.0188 0.0250 315-AH 0.0000 0.0500 0.4250 0.6000 0.7500 0.3833 0.2895 0.5500 0.7500 0.7553 0.0388 0.0000 0.2519 0.0000 0.7500 0.3833 0.2895 316-AH 0.0000 0.0500 0.2000 0.2000 0.4000 0.1500 0.1138 0.1500 0.4000 0.7584 0.0299 0.0001 0.0944 0.0000 0.4000 0.1500 0.1138 317-AH 0.0000 0.1000 0.1500 0.2500 0.4500 0.1639 0.1234 0.1500 0.4500 0.7532 0.0334 0.0001 0.0988 0.0000 0.4500 0.1639 0.1234 318-AH 0.0000 0.0500 0.0500 0.2000 0.2500 0.0972 0.0899 0.1500 0.2500 0.9246 0.0128 0.0000 0.0799 0.0000 0.2500 0.0972 0.0899 319-AH 0.1000 0.2500 0.3000 0.4500 0.5000 0.3361 0.1109 0.2000 0.4000 0.3299 0.3154 0.2891 0.0901 0.1000 0.5000 0.3361 0.1109 320-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0556 0.0566 0.1000 0.1500 1.0186 0.0016 0.0000 0.0506 0.0000 0.1500 0.0556 0.0566 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0500 0.1000 0.2000 0.2500 0.1111 0.0850 0.1500 0.2500 0.7649 0.0155 0.0000 0.0691 0.0000 0.2500 0.1111 0.0850 323-AH 0.0500 0.0500 0.1000 0.1500 0.2000 0.1139 0.0614 0.1000 0.1500 0.5389 0.0975 0.0831 0.0543 0.0500 0.2000 0.1139 0.0614 324-AH 0.0000 0.0000 0.3500 0.5500 0.8000 0.3528 0.3022 0.5500 0.8000 0.8566 0.0134 0.0000 0.2531 0.0000 0.8000 0.3528 0.3022 325-AH 0.0000 0.0000 0.1000 0.1500 0.6500 0.1639 0.2071 0.1500 0.6500 1.2636 0.0106 0.0000 0.1605 0.0000 0.1500 0.0607 0.0525 326-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0861 0.0335 0.0000 0.1000 0.3885 0.0346 0.0001 0.0231 0.1000 0.1000 0.1000 0.0000 327-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0222 0.0492 0.0500 0.2000 2.2129 0.0001 0.0000 0.0321 0.0000 0.0500 0.0118 0.0219 328-AH 0.2000 0.3500 0.5000 0.6500 0.7500 0.4917 0.1691 0.3000 0.5500 0.3440 0.4592 0.4220 0.1426 0.2000 0.7500 0.4917 0.1691 329-AH 0.1000 0.4500 0.5000 0.5500 0.6000 0.4583 0.1396 0.1000 0.5000 0.3046 0.4234 0.3641 0.1000 0.3500 0.6000 0.5000 0.0730 330-AH 0.0000 0.6000 0.7750 0.8000 0.9500 0.6639 0.2661 0.2000 0.9500 0.4009 0.2122 0.0001 0.1870 0.5000 0.9500 0.7469 0.1190 331-AH 0.0000 0.0500 0.1750 0.4000 0.5500 0.2333 0.1963 0.3500 0.5500 0.8412 0.0982 0.0002 0.1741 0.0000 0.5500 0.2333 0.1963 332-AH 0.0000 0.1500 0.2000 0.2000 0.2500 0.1778 0.0732 0.0500 0.2500 0.4118 0.0656 0.0001 0.0519 0.1500 0.2500 0.2000 0.0365 333-AH 0.0000 0.2500 0.2500 0.2500 0.2500 0.2194 0.0807 0.0000 0.2500 0.3677 0.0801 0.0001 0.0509 0.2500 0.2500 0.2500 0.0000 334-AH 0.0000 0.1000 0.1000 0.1500 0.1500 0.1111 0.0404 0.0500 0.1500 0.3638 0.0675 0.0002 0.0302 0.0500 0.1500 0.1176 0.0303 335-AH 0.0000 0.0000 0.1500 0.3000 0.4500 0.1667 0.1524 0.3000 0.4500 0.9146 0.0080 0.0000 0.1241 0.0000 0.4500 0.1667 0.1524 336-AH 0.0000 0.0000 0.0500 0.2000 0.2500 0.0944 0.0998 0.2000 0.2500 1.0571 0.0021 0.0000 0.0938 0.0000 0.2500 0.0944 0.0998 337-AH 0.0000 0.6500 0.7250 0.7500 0.8000 0.6333 0.2282 0.1000 0.8000 0.3603 0.3282 0.0002 0.1389 0.6000 0.8000 0.7094 0.0584 338-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2167 0.1260 0.2000 0.4000 0.5817 0.1119 0.0002 0.1019 0.0000 0.4000 0.2167 0.1260 339-AH 0.0000 0.1500 0.3500 0.6000 0.7500 0.3694 0.2462 0.4500 0.7500 0.6665 0.1106 0.0001 0.2139 0.0000 0.7500 0.3694 0.2462 340-AH 0.0000 0.0000 0.1000 0.1500 0.2500 0.0944 0.0838 0.1500 0.2500 0.8875 0.0055 0.0000 0.0728 0.0000 0.2500 0.0944 0.0838 408 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0500 0.1750 0.2000 0.2500 0.1472 0.0813 0.1500 0.2500 0.5522 0.0789 0.0002 0.0701 0.0000 0.2500 0.1472 0.0813 342-AH 0.3500 0.6500 0.8500 0.9000 0.9500 0.7639 0.1789 0.2500 0.6000 0.2342 0.7371 0.7012 0.1370 0.3500 0.9500 0.7639 0.1789 343-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0111 0.0214 0.0000 0.0500 1.9251 0.0001 0.0000 0.0173 0.0000 0.0000 0.0000 0.0000 344-AH 0.0000 0.1500 0.6000 0.7000 0.7500 0.4750 0.2708 0.5500 0.7500 0.5700 0.2255 0.0002 0.2417 0.0000 0.7500 0.4750 0.2708 345-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0222 0.0308 0.0500 0.1000 1.3853 0.0003 0.0000 0.0272 0.0000 0.1000 0.0222 0.0308 346-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0306 0.0389 0.0500 0.1000 1.2723 0.0005 0.0000 0.0340 0.0000 0.1000 0.0306 0.0389 347-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0361 0.0564 0.0500 0.1500 1.5611 0.0003 0.0000 0.0441 0.0000 0.0500 0.0133 0.0229 348-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0806 0.0349 0.0500 0.1000 0.4331 0.0320 0.0001 0.0281 0.0000 0.1000 0.0806 0.0349 349-AH 0.0000 0.3000 0.3500 0.4000 0.5000 0.3278 0.1286 0.1000 0.5000 0.3923 0.1137 0.0001 0.0821 0.3000 0.5000 0.3688 0.0512 350-AH 0.0000 0.3000 0.3500 0.3500 0.4000 0.3028 0.1156 0.0500 0.4000 0.3820 0.1063 0.0001 0.0691 0.3000 0.4000 0.3406 0.0375 409 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0241 0.0154 0.0333 0.0333 0.6382 0.0035 0.0000 0.0134 0.0000 0.0333 0.0241 0.0154 142-AH 0.1333 0.2333 0.2667 0.2667 0.2667 0.2463 0.0430 0.0333 0.1333 0.1745 0.2415 0.2350 0.0294 0.2333 0.2667 0.2604 0.0134 143-AH 0.0000 0.0333 0.7333 0.8333 0.9667 0.5222 0.3809 0.8000 0.9667 0.7294 0.0697 0.0001 0.3370 0.0000 0.9667 0.5222 0.3809 144-AH 0.0000 0.0000 0.0333 0.0333 0.1000 0.0370 0.0377 0.0333 0.1000 1.0186 0.0028 0.0000 0.0280 0.0000 0.0333 0.0190 0.0171 145-AH 0.0000 0.1667 0.5000 0.6333 0.7667 0.4037 0.2805 0.4667 0.7667 0.6948 0.0671 0.0001 0.2473 0.0000 0.7667 0.4037 0.2805 146-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0241 0.0154 0.0333 0.0333 0.6382 0.0035 0.0000 0.0134 0.0000 0.0333 0.0241 0.0154 147-AH 0.0333 0.1333 0.5000 0.7667 0.8667 0.4630 0.3035 0.6333 0.8333 0.6557 0.3092 0.1529 0.2638 0.0333 0.8667 0.4630 0.3035 148-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0241 0.0154 0.0333 0.0333 0.6382 0.0035 0.0000 0.0134 0.0000 0.0333 0.0241 0.0154 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0111 0.0323 0.0000 0.1333 2.9104 0.0000 0.0000 0.0185 0.0000 0.0000 0.0000 0.0000 151-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0537 0.0801 0.1000 0.2000 1.4924 0.0006 0.0000 0.0665 0.0000 0.2000 0.0537 0.0801 152-AH 0.0000 0.0000 0.0833 0.1333 0.2333 0.0815 0.0802 0.1333 0.2333 0.9844 0.0031 0.0000 0.0667 0.0000 0.2333 0.0815 0.0802 153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 154-AH 0.0667 0.2000 0.2000 0.2667 0.3000 0.2111 0.0695 0.0667 0.2333 0.3294 0.1958 0.1744 0.0531 0.1333 0.3000 0.2292 0.0485 155-AH 0.0000 0.0000 0.0000 0.0333 0.1000 0.0185 0.0328 0.0333 0.1000 1.7703 0.0001 0.0000 0.0267 0.0000 0.0667 0.0137 0.0265 156-AH 0.0000 0.0667 0.0667 0.1667 0.2667 0.1074 0.0746 0.1000 0.2667 0.6944 0.0558 0.0002 0.0638 0.0000 0.2667 0.1074 0.0746 157-AH 0.0667 0.5000 0.6167 0.7000 0.7333 0.5500 0.1941 0.2000 0.6667 0.3529 0.4848 0.3599 0.1444 0.3333 0.7333 0.6063 0.1104 158-AH 0.0000 0.0333 0.2667 0.4000 0.7333 0.2741 0.2328 0.3667 0.7333 0.8494 0.0444 0.0001 0.1823 0.0000 0.7333 0.2741 0.2328 159-AH 0.0000 0.0333 0.1500 0.3667 0.7000 0.2389 0.2434 0.3333 0.7000 1.0189 0.0233 0.0000 0.2031 0.0000 0.7000 0.2389 0.2434 160-AH 0.0000 0.0000 0.0333 0.0333 0.0667 0.0296 0.0225 0.0333 0.0667 0.7609 0.0039 0.0000 0.0165 0.0000 0.0667 0.0296 0.0225 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0222 0.0162 0.0333 0.0333 0.7276 0.0022 0.0000 0.0148 0.0000 0.0333 0.0222 0.0162 163-AH 0.6000 0.7333 0.8667 0.9333 1.0000 0.8370 0.1278 0.2000 0.4000 0.1526 0.8271 0.8164 0.1066 0.6000 1.0000 0.8370 0.1278 164-AH 0.0000 0.0000 0.0167 0.0333 0.2667 0.0426 0.0694 0.0333 0.2667 1.6285 0.0008 0.0000 0.0477 0.0000 0.0333 0.0119 0.0166 165-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0667 0.1000 0.1000 0.1333 0.0815 0.0416 0.0333 0.1333 0.5102 0.0312 0.0001 0.0337 0.0333 0.1333 0.0917 0.0310 168-AH 0.0000 0.3333 0.3667 0.4667 0.5333 0.3333 0.1665 0.1333 0.5333 0.4994 0.1077 0.0001 0.1259 0.3333 0.5333 0.4143 0.0609 169-AH 0.0000 0.0000 0.0500 0.0667 0.1000 0.0444 0.0343 0.0667 0.1000 0.7717 0.0052 0.0000 0.0296 0.0000 0.1000 0.0444 0.0343 170-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0241 0.0154 0.0333 0.0333 0.6382 0.0035 0.0000 0.0134 0.0000 0.0333 0.0241 0.0154 171-AH 0.0333 0.0333 0.0667 0.0667 0.1333 0.0611 0.0236 0.0333 0.1000 0.3857 0.0571 0.0533 0.0154 0.0333 0.0667 0.0569 0.0157 172-AH 0.0000 0.0000 0.0333 0.0667 0.1000 0.0370 0.0394 0.0667 0.1000 1.0644 0.0009 0.0000 0.0370 0.0000 0.1000 0.0370 0.0394 173-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 174-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000 175-AH 0.0000 0.2000 0.2000 0.2000 0.2333 0.1796 0.0658 0.0000 0.2333 0.3664 0.0671 0.0001 0.0399 0.2000 0.2000 0.2000 0.0000 176-AH 0.2667 0.7000 0.7667 0.8667 0.9333 0.7519 0.1697 0.1667 0.6667 0.2257 0.7256 0.6864 0.1165 0.7000 0.9333 0.8021 0.0865 177-AH 0.0000 0.1667 0.2333 0.2333 0.2667 0.1870 0.0872 0.0667 0.2667 0.4661 0.0663 0.0001 0.0691 0.1000 0.2667 0.2200 0.0451 178-AH 0.0000 0.0000 0.0167 0.0333 0.1000 0.0222 0.0280 0.0333 0.1000 1.2603 0.0006 0.0000 0.0222 0.0000 0.0667 0.0176 0.0208 179-AH 0.0000 0.0667 0.3000 0.3000 0.5333 0.2389 0.1614 0.2333 0.5333 0.6756 0.0450 0.0001 0.1302 0.0000 0.5333 0.2389 0.1614 180-AH 0.0000 0.0000 0.0333 0.3667 0.6000 0.1648 0.2122 0.3667 0.6000 1.2875 0.0016 0.0000 0.1866 0.0000 0.6000 0.1648 0.2122 181-AH 0.5333 0.7667 0.8333 0.9667 0.9667 0.8204 0.1363 0.2000 0.4333 0.1662 0.8085 0.7953 0.1047 0.5333 0.9667 0.8204 0.1363 182-AH 0.0000 0.0333 0.0667 0.1333 0.1333 0.0741 0.0451 0.1000 0.1333 0.6088 0.0411 0.0002 0.0387 0.0000 0.1333 0.0741 0.0451 183-AH 0.0000 0.0333 0.1000 0.1333 0.1333 0.0796 0.0487 0.1000 0.1333 0.6115 0.0193 0.0001 0.0412 0.0000 0.1333 0.0796 0.0487 184-AH 0.0000 0.0000 0.1000 0.1667 0.2333 0.0963 0.0862 0.1667 0.2333 0.8955 0.0055 0.0000 0.0745 0.0000 0.2333 0.0963 0.0862 185-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0241 0.0154 0.0333 0.0333 0.6382 0.0035 0.0000 0.0134 0.0000 0.0333 0.0241 0.0154 188-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0037 0.0108 0.0000 0.0333 2.9104 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000 189-AH 0.2000 0.2333 0.2333 0.2333 0.2333 0.2259 0.0143 0.0000 0.0333 0.0631 0.2255 0.2250 0.0115 0.2333 0.2333 0.2333 0.0000 190-AH 0.0000 0.0667 0.1333 0.2333 0.2333 0.1296 0.0855 0.1667 0.2333 0.6594 0.0285 0.0001 0.0741 0.0000 0.2333 0.1296 0.0855 410 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0333 0.1500 0.2000 0.2000 0.1204 0.0768 0.1667 0.2000 0.6382 0.0602 0.0002 0.0700 0.0000 0.2000 0.1204 0.0768 193-AH 0.0000 0.0667 0.1000 0.1333 0.2000 0.0963 0.0470 0.0667 0.2000 0.4879 0.0372 0.0001 0.0313 0.0000 0.2000 0.0963 0.0470 194-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0130 0.0167 0.0333 0.0333 1.2899 0.0002 0.0000 0.0158 0.0000 0.0333 0.0130 0.0167 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 197-AH 0.0000 0.5667 0.8167 0.9667 1.0000 0.7204 0.3075 0.4000 1.0000 0.4268 0.2262 0.0001 0.2270 0.0000 1.0000 0.7204 0.3075 198-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0148 0.0170 0.0333 0.0333 1.1504 0.0004 0.0000 0.0165 0.0000 0.0333 0.0148 0.0170 199-AH 0.1000 0.2667 0.3000 0.3333 0.3333 0.2852 0.0639 0.0667 0.2333 0.2240 0.2752 0.2601 0.0457 0.2333 0.3333 0.3042 0.0319 200-AH 0.0000 0.0000 0.1667 0.2000 0.2333 0.1259 0.0960 0.2000 0.2333 0.7626 0.0070 0.0000 0.0840 0.0000 0.2333 0.1259 0.0960 251-AH 0.1333 0.6333 0.6833 0.7333 0.8667 0.6519 0.1761 0.1000 0.7333 0.2701 0.6121 0.5368 0.1128 0.6000 0.8667 0.7042 0.0868 252-AH 0.0000 0.1667 0.2667 0.3333 0.4333 0.2556 0.1231 0.1667 0.4333 0.4819 0.1393 0.0002 0.1000 0.0000 0.4333 0.2556 0.1231 253-AH 0.0000 0.1667 0.4333 0.6000 0.7000 0.3759 0.2538 0.4333 0.7000 0.6752 0.1052 0.0001 0.2267 0.0000 0.7000 0.3759 0.2538 254-AH 0.0000 0.1667 0.3167 0.3667 0.5000 0.2704 0.1477 0.2000 0.5000 0.5463 0.0902 0.0001 0.1218 0.0000 0.5000 0.2704 0.1477 255-AH 0.0000 0.0667 0.1000 0.1000 0.1333 0.0870 0.0364 0.0333 0.1333 0.4183 0.0347 0.0001 0.0261 0.0667 0.1333 0.0979 0.0191 256-AH 0.0667 0.1667 0.7667 0.8667 0.9000 0.6074 0.3253 0.7000 0.8333 0.5356 0.4526 0.2665 0.2790 0.0667 0.9000 0.6074 0.3253 257-AH 0.0333 0.1667 0.2333 0.3333 0.4000 0.2333 0.1258 0.1667 0.3667 0.5390 0.1801 0.1142 0.1000 0.0333 0.4000 0.2333 0.1258 258-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0037 0.0157 0.0000 0.0667 4.2426 0.0000 0.0000 0.0070 0.0000 0.0000 0.0000 0.0000 259-AH 0.0000 0.0333 0.0333 0.0667 0.0667 0.0407 0.0269 0.0333 0.0667 0.6615 0.0075 0.0000 0.0230 0.0000 0.0667 0.0407 0.0269 260-AH 0.3000 0.4000 0.5667 0.6333 0.7333 0.5296 0.1371 0.2333 0.4333 0.2589 0.5109 0.4907 0.1123 0.3000 0.7333 0.5296 0.1371 261-AH 0.0000 0.0667 0.1500 0.2333 0.4667 0.1759 0.1554 0.1667 0.4667 0.8835 0.0512 0.0001 0.1198 0.0000 0.4667 0.1759 0.1554 262-AH 0.0000 0.0333 0.0667 0.2000 0.6000 0.1796 0.2170 0.1667 0.6000 1.2079 0.0176 0.0000 0.1706 0.0000 0.2000 0.0714 0.0652 263-AH 0.0000 0.0000 0.0333 0.0333 0.3667 0.0426 0.0839 0.0333 0.3667 1.9690 0.0018 0.0000 0.0414 0.0000 0.0667 0.0235 0.0229 264-AH 0.1333 0.2000 0.3000 0.3333 0.5000 0.2833 0.0842 0.1333 0.3667 0.2972 0.2715 0.2593 0.0630 0.1333 0.5000 0.2833 0.0842 265-AH 0.0000 0.0667 0.1000 0.1667 0.2000 0.1111 0.0637 0.1000 0.2000 0.5729 0.0405 0.0001 0.0531 0.0000 0.2000 0.1111 0.0637 266-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0148 0.0347 0.0000 0.1333 2.3436 0.0001 0.0000 0.0230 0.0000 0.0000 0.0000 0.0000 267-AH 0.0000 0.1333 0.1333 0.2333 0.2667 0.1630 0.0855 0.1000 0.2667 0.5245 0.0580 0.0001 0.0700 0.0000 0.2667 0.1630 0.0855 268-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0262 0.0333 0.0667 0.5239 0.0137 0.0001 0.0222 0.0000 0.0667 0.0500 0.0262 269-AH 0.0000 0.1000 0.1167 0.1667 0.2000 0.1185 0.0551 0.0667 0.2000 0.4649 0.0451 0.0001 0.0407 0.0000 0.2000 0.1185 0.0551 270-AH 0.0000 0.4667 0.7667 0.8333 0.8667 0.6426 0.2867 0.3667 0.8667 0.4462 0.2016 0.0001 0.2274 0.0000 0.8667 0.6426 0.2867 271-AH 0.0667 0.2333 0.3000 0.3667 0.3667 0.2648 0.1063 0.1333 0.3000 0.4015 0.2322 0.1863 0.0840 0.0667 0.3667 0.2648 0.1063 272-AH 0.0000 0.1333 0.2167 0.2667 0.3000 0.1926 0.1000 0.1333 0.3000 0.5194 0.0668 0.0001 0.0852 0.0000 0.3000 0.1926 0.1000 273-AH 0.0667 0.1667 0.7333 0.8000 0.8667 0.5833 0.3169 0.6333 0.8000 0.5433 0.4279 0.2423 0.2704 0.0667 0.8667 0.5833 0.3169 274-AH 0.0000 0.0000 0.0333 0.0667 0.3000 0.0463 0.0678 0.0667 0.3000 1.4639 0.0046 0.0000 0.0372 0.0000 0.0667 0.0314 0.0249 275-AH 0.2000 0.3667 0.5167 0.6000 0.6667 0.4759 0.1485 0.2333 0.4667 0.3121 0.4502 0.4211 0.1305 0.2000 0.6667 0.4759 0.1485 276-AH 0.0000 0.0667 0.3000 0.5333 0.6667 0.3167 0.2385 0.4667 0.6667 0.7532 0.0533 0.0001 0.2074 0.0000 0.6667 0.3167 0.2385 277-AH 0.0667 0.1667 0.2000 0.2667 0.3000 0.2037 0.0722 0.1000 0.2333 0.3545 0.1882 0.1682 0.0564 0.0667 0.3000 0.2037 0.0722 278-AH 0.0000 0.0000 0.0333 0.0667 0.2333 0.0611 0.0880 0.0667 0.2333 1.4401 0.0014 0.0000 0.0698 0.0000 0.0667 0.0167 0.0217 279-AH 0.0000 0.0000 0.0333 0.1000 0.1000 0.0426 0.0455 0.1000 0.1000 1.0672 0.0014 0.0000 0.0409 0.0000 0.1000 0.0426 0.0455 280-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0556 0.0524 0.1000 0.1333 0.9431 0.0037 0.0000 0.0469 0.0000 0.1333 0.0556 0.0524 281-AH 0.1333 0.3333 0.3667 0.4333 0.6000 0.3926 0.1180 0.1000 0.4667 0.3006 0.3731 0.3486 0.0844 0.2333 0.5667 0.3958 0.0918 282-AH 0.0000 0.1667 0.2167 0.2333 0.4000 0.1981 0.1063 0.0667 0.4000 0.5366 0.1035 0.0002 0.0798 0.1333 0.3000 0.2103 0.0479 283-AH 0.0333 0.1333 0.2333 0.3000 0.5000 0.2296 0.1352 0.1667 0.4667 0.5889 0.1791 0.1220 0.1111 0.0333 0.5000 0.2296 0.1352 284-AH 0.0000 0.0333 0.2667 0.5667 0.5667 0.2778 0.2340 0.5333 0.5667 0.8425 0.0432 0.0001 0.2049 0.0000 0.5667 0.2778 0.2340 285-AH 0.0000 0.0667 0.3667 0.6667 0.8000 0.4000 0.3044 0.6000 0.8000 0.7611 0.1012 0.0001 0.2667 0.0000 0.8000 0.4000 0.3044 286-AH 0.0000 0.0000 0.0167 0.0667 0.1000 0.0315 0.0352 0.0667 0.1000 1.1177 0.0008 0.0000 0.0315 0.0000 0.1000 0.0315 0.0352 287-AH 0.0000 0.1667 0.4167 0.5000 0.5333 0.3352 0.1880 0.3333 0.5333 0.5610 0.1037 0.0001 0.1570 0.0000 0.5333 0.3352 0.1880 288-AH 0.0000 0.1000 0.2167 0.3000 0.4333 0.1981 0.1549 0.2000 0.4333 0.7816 0.0240 0.0000 0.1317 0.0000 0.4333 0.1981 0.1549 289-AH 0.0000 0.3333 0.4833 0.5333 0.5667 0.4130 0.1719 0.2000 0.5667 0.4163 0.1384 0.0001 0.1263 0.3000 0.5667 0.4646 0.0890 290-AH 0.0000 0.0333 0.1500 0.2333 0.4667 0.1574 0.1303 0.2000 0.4667 0.8275 0.0453 0.0001 0.1056 0.0000 0.4667 0.1574 0.1303 411 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0333 0.2667 0.5667 0.6333 0.2963 0.2473 0.5333 0.6333 0.8347 0.0474 0.0001 0.2070 0.0000 0.6333 0.2963 0.2473 292-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.0926 0.0518 0.0667 0.1333 0.5598 0.0226 0.0001 0.0453 0.0000 0.1333 0.0926 0.0518 293-AH 0.0000 0.0667 0.5667 0.5667 0.6333 0.3611 0.2697 0.5000 0.6333 0.7467 0.0361 0.0000 0.2512 0.0000 0.6333 0.3611 0.2697 294-AH 0.0000 0.2667 0.4500 0.6000 0.7000 0.3907 0.2419 0.3333 0.7000 0.6192 0.0718 0.0001 0.2066 0.0000 0.7000 0.3907 0.2419 295-AH 0.0000 0.0000 0.1000 0.4000 0.4667 0.2000 0.1967 0.4000 0.4667 0.9835 0.0133 0.0000 0.1815 0.0000 0.4667 0.2000 0.1967 296-AH 0.0000 0.3000 0.3833 0.5000 0.6000 0.3648 0.1713 0.2000 0.6000 0.4695 0.1217 0.0001 0.1315 0.2333 0.6000 0.4104 0.1153 297-AH 0.0000 0.0000 0.0833 0.1667 0.2000 0.0889 0.0775 0.1667 0.2000 0.8724 0.0079 0.0000 0.0704 0.0000 0.2000 0.0889 0.0775 298-AH 0.0000 0.0667 0.2000 0.2333 0.3333 0.1778 0.1035 0.1667 0.3333 0.5824 0.0573 0.0001 0.0840 0.0000 0.3333 0.1778 0.1035 299-AH 0.0000 0.0000 0.1167 0.4000 0.6000 0.1870 0.2058 0.4000 0.6000 1.1005 0.0116 0.0000 0.1790 0.0000 0.6000 0.1870 0.2058 300-AH 0.0000 0.0000 0.1167 0.1667 0.4333 0.1074 0.1141 0.1667 0.4333 1.0621 0.0056 0.0000 0.0889 0.0000 0.2000 0.0882 0.0824 301-AH 0.0000 0.0333 0.1000 0.3333 0.3333 0.1426 0.1342 0.3000 0.3333 0.9413 0.0164 0.0000 0.1140 0.0000 0.3333 0.1426 0.1342 302-AH 0.0667 0.2667 0.3000 0.3667 0.4000 0.2981 0.0882 0.1000 0.3333 0.2957 0.2786 0.2458 0.0580 0.1333 0.4000 0.3118 0.0687 303-AH 0.0000 0.0333 0.1333 0.1333 0.3000 0.1074 0.0746 0.1000 0.3000 0.6944 0.0364 0.0001 0.0584 0.0000 0.1667 0.0961 0.0588 304-AH 0.0000 0.0333 0.1333 0.1667 0.2667 0.1204 0.0937 0.1333 0.2667 0.7783 0.0162 0.0000 0.0774 0.0000 0.2667 0.1204 0.0937 305-AH 0.0000 0.0000 0.1833 0.3667 0.5000 0.2037 0.2126 0.3667 0.5000 1.0439 0.0020 0.0000 0.2037 0.0000 0.5000 0.2037 0.2126 306-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000 307-AH 0.0000 0.0000 0.1167 0.1667 0.3667 0.1056 0.1005 0.1667 0.3667 0.9520 0.0089 0.0000 0.0796 0.0000 0.3667 0.1056 0.1005 308-AH 0.2000 0.2667 0.2667 0.3000 0.3000 0.2685 0.0267 0.0333 0.1000 0.0996 0.2672 0.2657 0.0175 0.2333 0.3000 0.2725 0.0212 309-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0389 0.0286 0.0333 0.1000 0.7350 0.0071 0.0000 0.0222 0.0000 0.1000 0.0389 0.0286 310-AH 0.0000 0.0000 0.0667 0.0667 0.3333 0.0852 0.1127 0.0667 0.3333 1.3234 0.0067 0.0000 0.0790 0.0000 0.0667 0.0378 0.0305 311-AH 0.0000 0.1667 0.3000 0.3667 0.5000 0.2630 0.1559 0.2000 0.5000 0.5928 0.0529 0.0001 0.1267 0.0000 0.5000 0.2630 0.1559 312-AH 0.0000 0.0000 0.1000 0.4667 0.6000 0.2222 0.2420 0.4667 0.6000 1.0890 0.0051 0.0000 0.2210 0.0000 0.6000 0.2222 0.2420 313-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0481 0.0416 0.1000 0.1000 0.8635 0.0035 0.0000 0.0370 0.0000 0.1000 0.0481 0.0416 314-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0407 0.0405 0.0667 0.1333 0.9944 0.0046 0.0000 0.0292 0.0000 0.1333 0.0407 0.0405 315-AH 0.0000 0.1000 0.3833 0.4667 0.7333 0.3148 0.2421 0.3667 0.7333 0.7689 0.0343 0.0000 0.2095 0.0000 0.7333 0.3148 0.2421 316-AH 0.0000 0.0333 0.1500 0.2333 0.4000 0.1444 0.1132 0.2000 0.4000 0.7836 0.0440 0.0001 0.0889 0.0000 0.4000 0.1444 0.1132 317-AH 0.0000 0.1000 0.1333 0.2000 0.3000 0.1444 0.0816 0.1000 0.3000 0.5653 0.0512 0.0001 0.0642 0.0000 0.3000 0.1444 0.0816 318-AH 0.0000 0.0333 0.0667 0.1333 0.2000 0.0852 0.0698 0.1000 0.2000 0.8189 0.0182 0.0001 0.0613 0.0000 0.2000 0.0852 0.0698 319-AH 0.1000 0.2000 0.2333 0.3333 0.3333 0.2444 0.0723 0.1333 0.2333 0.2958 0.2328 0.2195 0.0580 0.1000 0.3333 0.2444 0.0723 320-AH 0.0000 0.0000 0.0333 0.0667 0.1000 0.0444 0.0396 0.0667 0.1000 0.8911 0.0033 0.0000 0.0346 0.0000 0.1000 0.0444 0.0396 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0000 0.0667 0.0833 0.1333 0.2000 0.0852 0.0618 0.0667 0.2000 0.7255 0.0131 0.0000 0.0481 0.0000 0.2000 0.0852 0.0618 323-AH 0.0333 0.0667 0.1333 0.1333 0.1667 0.1019 0.0478 0.0667 0.1333 0.4692 0.0881 0.0729 0.0424 0.0333 0.1667 0.1019 0.0478 324-AH 0.0000 0.0000 0.3000 0.5000 0.7333 0.3241 0.2784 0.5000 0.7333 0.8590 0.0127 0.0000 0.2379 0.0000 0.7333 0.3241 0.2784 325-AH 0.0000 0.0000 0.1167 0.1667 0.7000 0.1741 0.2186 0.1667 0.7000 1.2558 0.0107 0.0000 0.1671 0.0000 0.1667 0.0667 0.0641 326-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0574 0.0223 0.0000 0.0667 0.3885 0.0241 0.0001 0.0154 0.0667 0.0667 0.0667 0.0000 327-AH 0.0000 0.0000 0.0000 0.0333 0.1333 0.0204 0.0346 0.0333 0.1333 1.6967 0.0003 0.0000 0.0249 0.0000 0.0667 0.0137 0.0206 328-AH 0.1333 0.2667 0.4333 0.5667 0.6000 0.4148 0.1581 0.3000 0.4667 0.3811 0.3811 0.3431 0.1391 0.1333 0.6000 0.4148 0.1581 329-AH 0.1000 0.3000 0.3667 0.4333 0.5000 0.3537 0.1133 0.1333 0.4000 0.3202 0.3268 0.2855 0.0840 0.2333 0.5000 0.3854 0.0699 330-AH 0.0000 0.5000 0.7333 0.8000 0.8333 0.6037 0.2577 0.3000 0.8333 0.4268 0.1931 0.0001 0.1992 0.4000 0.8333 0.6792 0.1434 331-AH 0.0000 0.1333 0.2667 0.3667 0.4000 0.2389 0.1387 0.2333 0.4000 0.5808 0.1241 0.0002 0.1278 0.0000 0.4000 0.2389 0.1387 332-AH 0.0000 0.1667 0.2000 0.2333 0.2333 0.1796 0.0715 0.0667 0.2333 0.3982 0.0665 0.0001 0.0486 0.1667 0.2333 0.2021 0.0310 333-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1481 0.0539 0.0000 0.1667 0.3638 0.0566 0.0001 0.0329 0.1667 0.1667 0.1667 0.0000 334-AH 0.0000 0.1000 0.1000 0.1333 0.1333 0.1000 0.0379 0.0333 0.1333 0.3792 0.0603 0.0002 0.0259 0.0667 0.1333 0.1104 0.0235 335-AH 0.0000 0.0000 0.1000 0.2333 0.3667 0.1352 0.1311 0.2333 0.3667 0.9697 0.0068 0.0000 0.1095 0.0000 0.3667 0.1352 0.1311 336-AH 0.0000 0.0000 0.0500 0.1667 0.2000 0.0759 0.0807 0.1667 0.2000 1.0627 0.0019 0.0000 0.0733 0.0000 0.2000 0.0759 0.0807 337-AH 0.0667 0.5000 0.5667 0.5667 0.6000 0.4963 0.1616 0.0667 0.5333 0.3257 0.4338 0.3036 0.1025 0.4333 0.6000 0.5500 0.0439 338-AH 0.0000 0.1000 0.1667 0.2000 0.2667 0.1611 0.0810 0.1000 0.2667 0.5031 0.0870 0.0002 0.0630 0.0000 0.2667 0.1611 0.0810 339-AH 0.0000 0.1333 0.3167 0.5000 0.5333 0.3000 0.1833 0.3667 0.5333 0.6110 0.0949 0.0001 0.1519 0.0000 0.5333 0.3000 0.1833 340-AH 0.0000 0.0000 0.1333 0.1333 0.1667 0.0889 0.0647 0.1333 0.1667 0.7276 0.0086 0.0000 0.0580 0.0000 0.1667 0.0889 0.0647 412 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0000 0.0667 0.1333 0.1333 0.1667 0.1037 0.0523 0.0667 0.1667 0.5039 0.0581 0.0002 0.0440 0.0000 0.1667 0.1037 0.0523 342-AH 0.4000 0.6333 0.8167 0.8667 0.9333 0.7389 0.1677 0.2333 0.5333 0.2270 0.7170 0.6909 0.1340 0.4000 0.9333 0.7389 0.1677 343-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0093 0.0154 0.0333 0.0333 1.6592 0.0001 0.0000 0.0134 0.0000 0.0333 0.0093 0.0154 344-AH 0.0000 0.1000 0.5000 0.5667 0.7000 0.4093 0.2297 0.4667 0.7000 0.5614 0.1985 0.0002 0.1951 0.0000 0.7000 0.4093 0.2297 345-AH 0.0000 0.0000 0.0000 0.0333 0.1000 0.0185 0.0261 0.0333 0.1000 1.4109 0.0004 0.0000 0.0206 0.0000 0.0333 0.0137 0.0169 346-AH 0.0000 0.0000 0.0000 0.0333 0.1667 0.0278 0.0446 0.0333 0.1667 1.6073 0.0004 0.0000 0.0309 0.0000 0.0667 0.0146 0.0210 347-AH 0.0000 0.0000 0.0167 0.0667 0.1000 0.0333 0.0396 0.0667 0.1000 1.1882 0.0008 0.0000 0.0333 0.0000 0.1000 0.0333 0.0396 348-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0537 0.0233 0.0333 0.0667 0.4331 0.0223 0.0001 0.0187 0.0000 0.0667 0.0537 0.0233 349-AH 0.0000 0.3000 0.3167 0.3333 0.4333 0.2963 0.1177 0.0333 0.4333 0.3971 0.1038 0.0001 0.0724 0.2667 0.3333 0.3083 0.0251 350-AH 0.0000 0.2333 0.2667 0.2667 0.2667 0.2296 0.0847 0.0333 0.2667 0.3689 0.0834 0.0001 0.0510 0.2333 0.2667 0.2583 0.0149 413 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0072 0.0046 0.0100 0.0100 0.6382 0.0015 0.0000 0.0040 0.0000 0.0100 0.0072 0.0046 142-AH 0.0500 0.0800 0.0800 0.0800 0.0800 0.0761 0.0098 0.0000 0.0300 0.1286 0.0754 0.0744 0.0065 0.0800 0.0800 0.0800 0.0000 143-AH 0.0000 0.0600 0.3500 0.3700 0.3900 0.2422 0.1594 0.3100 0.3900 0.6580 0.0617 0.0001 0.1426 0.0000 0.3900 0.2422 0.1594 144-AH 0.0000 0.0000 0.0100 0.0100 0.0300 0.0117 0.0110 0.0100 0.0300 0.9413 0.0019 0.0000 0.0081 0.0000 0.0100 0.0064 0.0050 145-AH 0.0200 0.0800 0.2250 0.2800 0.3400 0.1922 0.1143 0.2000 0.3200 0.5944 0.1437 0.0872 0.0995 0.0200 0.3400 0.1922 0.1143 146-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0089 0.0032 0.0000 0.0100 0.3638 0.0046 0.0001 0.0020 0.0100 0.0100 0.0100 0.0000 147-AH 0.0100 0.0900 0.3650 0.3900 0.4700 0.2672 0.1634 0.3000 0.4600 0.6117 0.1835 0.0819 0.1512 0.0100 0.4700 0.2672 0.1634 148-AH 0.0000 0.0100 0.0200 0.0200 0.0400 0.0183 0.0134 0.0100 0.0400 0.7306 0.0039 0.0000 0.0100 0.0000 0.0300 0.0140 0.0099 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0000 0.0050 0.0100 0.0600 0.0139 0.0206 0.0100 0.0600 1.4846 0.0005 0.0000 0.0160 0.0000 0.0100 0.0036 0.0050 151-AH 0.0000 0.0000 0.0100 0.0400 0.0900 0.0250 0.0335 0.0400 0.0900 1.3390 0.0012 0.0000 0.0278 0.0000 0.0900 0.0250 0.0335 152-AH 0.0000 0.0000 0.0550 0.0800 0.1000 0.0456 0.0399 0.0800 0.1000 0.8755 0.0023 0.0000 0.0360 0.0000 0.1000 0.0456 0.0399 153-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0006 0.0024 0.0000 0.0100 4.2426 0.0000 0.0000 0.0010 0.0000 0.0000 0.0000 0.0000 154-AH 0.0200 0.0800 0.0900 0.1200 0.1400 0.0950 0.0328 0.0400 0.1200 0.3449 0.0867 0.0737 0.0244 0.0200 0.1400 0.0950 0.0328 155-AH 0.0000 0.0000 0.0100 0.0100 0.0300 0.0094 0.0111 0.0100 0.0300 1.1753 0.0006 0.0000 0.0084 0.0000 0.0200 0.0053 0.0064 156-AH 0.0200 0.0300 0.0500 0.0700 0.1200 0.0561 0.0305 0.0400 0.1000 0.5438 0.0484 0.0415 0.0252 0.0200 0.1200 0.0561 0.0305 157-AH 0.0300 0.4500 0.5650 0.6000 0.6300 0.4778 0.1832 0.1500 0.6000 0.3835 0.3876 0.2012 0.1316 0.3000 0.6300 0.5331 0.0929 158-AH 0.0100 0.0500 0.1700 0.1900 0.3200 0.1483 0.1052 0.1400 0.3100 0.7094 0.0888 0.0359 0.0863 0.0100 0.3200 0.1483 0.1052 159-AH 0.0000 0.0200 0.1350 0.2300 0.4000 0.1544 0.1386 0.2100 0.4000 0.8975 0.0175 0.0000 0.1127 0.0000 0.4000 0.1544 0.1386 160-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0117 0.0086 0.0200 0.0200 0.7350 0.0020 0.0000 0.0074 0.0000 0.0200 0.0117 0.0086 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0067 0.0049 0.0100 0.0100 0.7276 0.0010 0.0000 0.0044 0.0000 0.0100 0.0067 0.0049 163-AH 0.4800 0.5500 0.6650 0.7900 0.8300 0.6633 0.1298 0.2400 0.3500 0.1957 0.6509 0.6384 0.1122 0.4800 0.8300 0.6633 0.1298 164-AH 0.0000 0.0000 0.0100 0.0600 0.2000 0.0450 0.0587 0.0600 0.2000 1.3053 0.0037 0.0000 0.0472 0.0000 0.1300 0.0359 0.0456 165-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0400 0.0400 0.0400 0.0500 0.0350 0.0142 0.0000 0.0500 0.4070 0.0155 0.0001 0.0100 0.0400 0.0400 0.0400 0.0000 168-AH 0.0000 0.1400 0.1750 0.1800 0.1800 0.1383 0.0659 0.0400 0.1800 0.4765 0.0498 0.0001 0.0515 0.1400 0.1800 0.1714 0.0146 169-AH 0.0000 0.0100 0.0250 0.0400 0.0500 0.0244 0.0169 0.0300 0.0500 0.6906 0.0098 0.0001 0.0144 0.0000 0.0500 0.0244 0.0169 170-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0072 0.0046 0.0100 0.0100 0.6382 0.0015 0.0000 0.0040 0.0000 0.0100 0.0072 0.0046 171-AH 0.0100 0.0500 0.0500 0.0600 0.0700 0.0511 0.0168 0.0100 0.0600 0.3280 0.0461 0.0368 0.0102 0.0500 0.0700 0.0563 0.0081 172-AH 0.0000 0.0000 0.0200 0.0500 0.0500 0.0233 0.0243 0.0500 0.0500 1.0394 0.0007 0.0000 0.0233 0.0000 0.0500 0.0233 0.0243 173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 174-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000 175-AH 0.0000 0.0600 0.0650 0.0700 0.0700 0.0583 0.0218 0.0100 0.0700 0.3730 0.0247 0.0001 0.0130 0.0600 0.0700 0.0656 0.0051 176-AH 0.1400 0.3400 0.3700 0.3900 0.3900 0.3417 0.0737 0.0500 0.2500 0.2158 0.3304 0.3138 0.0487 0.3100 0.3900 0.3656 0.0253 177-AH 0.0500 0.0800 0.1000 0.1100 0.1200 0.0933 0.0191 0.0300 0.0700 0.2046 0.0912 0.0887 0.0152 0.0500 0.1200 0.0933 0.0191 178-AH 0.0000 0.0000 0.0100 0.0200 0.0300 0.0089 0.0096 0.0200 0.0300 1.0838 0.0006 0.0000 0.0079 0.0000 0.0300 0.0089 0.0096 179-AH 0.0000 0.0300 0.1200 0.1400 0.1900 0.0989 0.0630 0.1100 0.1900 0.6376 0.0313 0.0001 0.0537 0.0000 0.1900 0.0989 0.0630 180-AH 0.0000 0.0000 0.0100 0.2200 0.3800 0.1028 0.1355 0.2200 0.3800 1.3180 0.0012 0.0000 0.1212 0.0000 0.3800 0.1028 0.1355 181-AH 0.3400 0.5900 0.6750 0.7200 0.7600 0.6306 0.1195 0.1300 0.4200 0.1895 0.6174 0.6015 0.0926 0.4100 0.7600 0.6476 0.0979 182-AH 0.0100 0.0200 0.0400 0.0400 0.0400 0.0322 0.0111 0.0200 0.0300 0.3458 0.0296 0.0260 0.0095 0.0100 0.0400 0.0322 0.0111 183-AH 0.0000 0.0100 0.0400 0.0400 0.0400 0.0289 0.0153 0.0300 0.0400 0.5295 0.0120 0.0001 0.0127 0.0000 0.0400 0.0289 0.0153 184-AH 0.0000 0.0100 0.0500 0.0600 0.0700 0.0422 0.0244 0.0500 0.0700 0.5776 0.0160 0.0001 0.0204 0.0000 0.0700 0.0422 0.0244 185-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0089 0.0032 0.0000 0.0100 0.3638 0.0046 0.0001 0.0020 0.0100 0.0100 0.0100 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0017 0.0038 0.0000 0.0100 2.3009 0.0000 0.0000 0.0028 0.0000 0.0000 0.0000 0.0000 189-AH 0.0600 0.0700 0.0700 0.0700 0.0700 0.0694 0.0024 0.0000 0.0100 0.0339 0.0694 0.0694 0.0010 0.0700 0.0700 0.0700 0.0000 190-AH 0.0000 0.0300 0.0550 0.0700 0.0700 0.0461 0.0257 0.0400 0.0700 0.5573 0.0126 0.0001 0.0214 0.0000 0.0700 0.0461 0.0257 414 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0000 0.0200 0.0500 0.0600 0.0600 0.0389 0.0219 0.0400 0.0600 0.5640 0.0222 0.0002 0.0201 0.0000 0.0600 0.0389 0.0219 193-AH 0.0000 0.0400 0.0400 0.0600 0.0700 0.0433 0.0185 0.0200 0.0700 0.4263 0.0268 0.0002 0.0133 0.0100 0.0700 0.0459 0.0154 194-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0061 0.0050 0.0100 0.0100 0.8209 0.0007 0.0000 0.0048 0.0000 0.0100 0.0061 0.0050 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 197-AH 0.0200 0.3400 0.3700 0.4600 0.5000 0.3656 0.1332 0.1200 0.4800 0.3645 0.3058 0.1683 0.0883 0.3400 0.5000 0.4062 0.0646 198-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0061 0.0050 0.0100 0.0100 0.8209 0.0007 0.0000 0.0048 0.0000 0.0100 0.0061 0.0050 199-AH 0.0700 0.0900 0.1000 0.1000 0.1000 0.0956 0.0086 0.0100 0.0300 0.0895 0.0951 0.0947 0.0064 0.0800 0.1000 0.0971 0.0059 200-AH 0.0000 0.0100 0.0550 0.0700 0.0800 0.0444 0.0275 0.0600 0.0800 0.6185 0.0229 0.0002 0.0241 0.0000 0.0800 0.0444 0.0275 251-AH 0.0500 0.2800 0.3150 0.3400 0.3900 0.3039 0.0775 0.0600 0.3400 0.2552 0.2849 0.2419 0.0501 0.2300 0.3900 0.3188 0.0461 252-AH 0.0100 0.1100 0.1650 0.2300 0.2600 0.1611 0.0777 0.1200 0.2500 0.4821 0.1311 0.0784 0.0667 0.0100 0.2600 0.1611 0.0777 253-AH 0.0100 0.0900 0.3200 0.5100 0.6300 0.2917 0.2107 0.4200 0.6200 0.7224 0.1708 0.0587 0.1826 0.0100 0.6300 0.2917 0.2107 254-AH 0.0100 0.1800 0.2450 0.3100 0.4400 0.2406 0.1205 0.1300 0.4300 0.5010 0.1891 0.0929 0.0872 0.0100 0.4400 0.2406 0.1205 255-AH 0.0000 0.0300 0.0300 0.0400 0.0400 0.0306 0.0126 0.0100 0.0400 0.4120 0.0137 0.0001 0.0084 0.0200 0.0400 0.0344 0.0063 256-AH 0.0400 0.1800 0.3000 0.3200 0.3300 0.2406 0.1149 0.1400 0.2900 0.4777 0.1893 0.1216 0.0959 0.0400 0.3300 0.2406 0.1149 257-AH 0.0100 0.1200 0.2100 0.2800 0.3000 0.1856 0.0972 0.1600 0.2900 0.5239 0.1408 0.0747 0.0804 0.0100 0.3000 0.1856 0.0972 258-AH 0.0000 0.0000 0.0000 0.0100 0.0200 0.0033 0.0059 0.0100 0.0200 1.7823 0.0001 0.0000 0.0048 0.0000 0.0200 0.0033 0.0059 259-AH 0.0000 0.0100 0.0200 0.0200 0.0300 0.0167 0.0097 0.0100 0.0300 0.5821 0.0075 0.0001 0.0081 0.0000 0.0300 0.0167 0.0097 260-AH 0.2000 0.2900 0.3550 0.3800 0.5000 0.3367 0.0768 0.0900 0.3000 0.2283 0.3279 0.3186 0.0607 0.2000 0.5000 0.3367 0.0768 261-AH 0.0000 0.0300 0.0550 0.1300 0.1700 0.0711 0.0557 0.1000 0.1700 0.7835 0.0356 0.0002 0.0449 0.0000 0.1700 0.0711 0.0557 262-AH 0.0000 0.0400 0.0800 0.1300 0.4200 0.1333 0.1445 0.0900 0.4200 1.0835 0.0363 0.0001 0.1130 0.0000 0.1300 0.0607 0.0387 263-AH 0.0000 0.0000 0.0150 0.0300 0.2200 0.0289 0.0503 0.0300 0.2200 1.7405 0.0029 0.0000 0.0264 0.0000 0.0500 0.0176 0.0164 264-AH 0.0800 0.1200 0.1400 0.1400 0.1800 0.1333 0.0222 0.0200 0.1000 0.1667 0.1314 0.1293 0.0163 0.1000 0.1600 0.1337 0.0150 265-AH 0.0000 0.0400 0.0600 0.0600 0.0600 0.0472 0.0199 0.0200 0.0600 0.4223 0.0200 0.0001 0.0151 0.0300 0.0600 0.0531 0.0108 266-AH 0.0000 0.0000 0.0000 0.0100 0.0400 0.0067 0.0128 0.0100 0.0400 1.9251 0.0001 0.0000 0.0089 0.0000 0.0100 0.0025 0.0045 267-AH 0.0000 0.0500 0.0800 0.1000 0.1100 0.0744 0.0354 0.0500 0.1100 0.4749 0.0294 0.0001 0.0285 0.0000 0.1100 0.0744 0.0354 268-AH 0.0000 0.0200 0.0200 0.0300 0.0300 0.0200 0.0091 0.0100 0.0300 0.4537 0.0093 0.0001 0.0056 0.0100 0.0300 0.0225 0.0058 269-AH 0.0000 0.0500 0.0550 0.0600 0.0800 0.0522 0.0226 0.0100 0.0800 0.4335 0.0219 0.0001 0.0156 0.0400 0.0700 0.0538 0.0087 270-AH 0.0200 0.2700 0.3450 0.4500 0.4900 0.3261 0.1490 0.1800 0.4700 0.4568 0.2579 0.1359 0.1199 0.0200 0.4900 0.3261 0.1490 271-AH 0.0200 0.1100 0.1550 0.1800 0.2100 0.1361 0.0621 0.0700 0.1900 0.4565 0.1122 0.0770 0.0492 0.0200 0.2100 0.1361 0.0621 272-AH 0.0000 0.0800 0.1000 0.1300 0.1300 0.0883 0.0441 0.0500 0.1300 0.4992 0.0332 0.0001 0.0343 0.0200 0.1300 0.0994 0.0321 273-AH 0.0500 0.1300 0.3650 0.5300 0.5600 0.3533 0.1872 0.4000 0.5100 0.5297 0.2779 0.1858 0.1519 0.0500 0.5600 0.3533 0.1872 274-AH 0.0000 0.0100 0.0150 0.0300 0.1500 0.0289 0.0363 0.0200 0.1500 1.2559 0.0064 0.0001 0.0242 0.0000 0.0600 0.0218 0.0207 275-AH 0.1500 0.2400 0.3400 0.3700 0.4600 0.3222 0.0910 0.1300 0.3100 0.2825 0.3088 0.2940 0.0731 0.1500 0.4600 0.3222 0.0910 276-AH 0.0000 0.0700 0.1850 0.2800 0.3900 0.1883 0.1349 0.2100 0.3900 0.7164 0.0367 0.0001 0.1117 0.0000 0.3900 0.1883 0.1349 277-AH 0.0200 0.0900 0.1000 0.1000 0.1400 0.0933 0.0274 0.0100 0.1200 0.2940 0.0873 0.0768 0.0189 0.0800 0.1100 0.0975 0.0075 278-AH 0.0000 0.0100 0.0200 0.0400 0.1300 0.0383 0.0425 0.0300 0.1300 1.1077 0.0083 0.0001 0.0331 0.0000 0.0400 0.0171 0.0120 279-AH 0.0000 0.0100 0.0250 0.0300 0.0400 0.0206 0.0126 0.0200 0.0400 0.6125 0.0062 0.0001 0.0106 0.0000 0.0400 0.0206 0.0126 280-AH 0.0000 0.0200 0.0350 0.0900 0.1000 0.0489 0.0355 0.0700 0.1000 0.7253 0.0254 0.0002 0.0309 0.0000 0.1000 0.0489 0.0355 281-AH 0.1600 0.2300 0.2550 0.2700 0.3000 0.2400 0.0396 0.0400 0.1400 0.1648 0.2366 0.2329 0.0322 0.1700 0.3000 0.2447 0.0352 282-AH 0.0000 0.1000 0.1150 0.1500 0.1700 0.1150 0.0437 0.0500 0.1700 0.3799 0.0693 0.0002 0.0339 0.0600 0.1700 0.1218 0.0340 283-AH 0.0300 0.1000 0.1200 0.1400 0.2100 0.1183 0.0423 0.0400 0.1800 0.3577 0.1079 0.0921 0.0285 0.1000 0.1700 0.1240 0.0206 284-AH 0.0000 0.0300 0.1600 0.2900 0.3600 0.1717 0.1403 0.2600 0.3600 0.8171 0.0636 0.0002 0.1230 0.0000 0.3600 0.1717 0.1403 285-AH 0.0100 0.0200 0.1900 0.4300 0.6000 0.2456 0.1921 0.4100 0.5900 0.7821 0.1312 0.0452 0.1673 0.0100 0.6000 0.2456 0.1921 286-AH 0.0000 0.0000 0.0150 0.0200 0.0400 0.0150 0.0150 0.0200 0.0400 1.0033 0.0011 0.0000 0.0128 0.0000 0.0400 0.0150 0.0150 287-AH 0.0100 0.1300 0.3150 0.3400 0.3600 0.2478 0.1255 0.2100 0.3500 0.5065 0.1844 0.0853 0.1074 0.0100 0.3600 0.2478 0.1255 288-AH 0.0000 0.0300 0.1450 0.2000 0.2400 0.1311 0.0886 0.1700 0.2400 0.6761 0.0275 0.0001 0.0743 0.0000 0.2400 0.1311 0.0886 289-AH 0.0000 0.1400 0.1700 0.1700 0.1800 0.1444 0.0548 0.0300 0.1800 0.3794 0.0551 0.0001 0.0358 0.1300 0.1800 0.1625 0.0165 290-AH 0.0000 0.0200 0.1000 0.1800 0.2700 0.1106 0.0855 0.1600 0.2700 0.7734 0.0337 0.0001 0.0685 0.0000 0.2700 0.1106 0.0855 415 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0000 0.0500 0.1600 0.2100 0.2400 0.1350 0.0826 0.1600 0.2400 0.6115 0.0683 0.0002 0.0728 0.0000 0.2400 0.1350 0.0826 292-AH 0.0000 0.0200 0.0400 0.0400 0.0400 0.0311 0.0157 0.0200 0.0400 0.5039 0.0093 0.0001 0.0128 0.0000 0.0400 0.0311 0.0157 293-AH 0.0000 0.0500 0.2600 0.3000 0.3200 0.1878 0.1324 0.2500 0.3200 0.7050 0.0335 0.0001 0.1216 0.0000 0.3200 0.1878 0.1324 294-AH 0.0000 0.0900 0.2550 0.2600 0.2700 0.1783 0.1085 0.1700 0.2700 0.6086 0.0563 0.0001 0.0998 0.0000 0.2700 0.1783 0.1085 295-AH 0.0000 0.0200 0.0650 0.2000 0.2700 0.1100 0.1033 0.1800 0.2700 0.9391 0.0200 0.0001 0.0933 0.0000 0.2700 0.1100 0.1033 296-AH 0.0000 0.1200 0.1900 0.2200 0.2400 0.1667 0.0706 0.1000 0.2400 0.4238 0.0952 0.0002 0.0570 0.0000 0.2400 0.1667 0.0706 297-AH 0.0000 0.0200 0.0350 0.0600 0.0900 0.0400 0.0287 0.0400 0.0900 0.7174 0.0104 0.0001 0.0233 0.0000 0.0900 0.0400 0.0287 298-AH 0.0200 0.0600 0.1000 0.1200 0.1700 0.0933 0.0424 0.0600 0.1500 0.4546 0.0801 0.0628 0.0326 0.0200 0.1700 0.0933 0.0424 299-AH 0.0000 0.0200 0.1300 0.2400 0.4200 0.1372 0.1259 0.2200 0.4200 0.9177 0.0345 0.0001 0.1083 0.0000 0.4200 0.1372 0.1259 300-AH 0.0000 0.0000 0.1450 0.1600 0.2000 0.0950 0.0791 0.1600 0.2000 0.8330 0.0080 0.0000 0.0744 0.0000 0.2000 0.0950 0.0791 301-AH 0.0000 0.0100 0.0500 0.1000 0.1200 0.0517 0.0426 0.0900 0.1200 0.8245 0.0079 0.0000 0.0341 0.0000 0.1200 0.0517 0.0426 302-AH 0.0400 0.1300 0.1500 0.1600 0.1700 0.1417 0.0290 0.0300 0.1300 0.2044 0.1367 0.1275 0.0181 0.1200 0.1700 0.1476 0.0144 303-AH 0.0200 0.0400 0.0550 0.0800 0.1100 0.0594 0.0260 0.0400 0.0900 0.4374 0.0536 0.0474 0.0217 0.0200 0.1100 0.0594 0.0260 304-AH 0.0000 0.0200 0.0600 0.0800 0.1100 0.0511 0.0369 0.0600 0.1100 0.7224 0.0127 0.0001 0.0310 0.0000 0.1100 0.0511 0.0369 305-AH 0.0000 0.0000 0.1000 0.2500 0.2900 0.1228 0.1272 0.2500 0.2900 1.0358 0.0023 0.0000 0.1217 0.0000 0.2900 0.1228 0.1272 306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 307-AH 0.0000 0.0100 0.0650 0.1700 0.4300 0.1033 0.1101 0.1600 0.4300 1.0653 0.0257 0.0001 0.0848 0.0000 0.2000 0.0841 0.0762 308-AH 0.0800 0.0900 0.0900 0.1000 0.1000 0.0928 0.0075 0.0100 0.0200 0.0810 0.0925 0.0922 0.0064 0.0800 0.1000 0.0928 0.0075 309-AH 0.0000 0.0200 0.0300 0.0400 0.0600 0.0322 0.0159 0.0200 0.0600 0.4942 0.0196 0.0002 0.0125 0.0000 0.0600 0.0322 0.0159 310-AH 0.0000 0.0100 0.0200 0.0500 0.1900 0.0506 0.0619 0.0400 0.1900 1.2240 0.0196 0.0002 0.0464 0.0000 0.0900 0.0253 0.0229 311-AH 0.0100 0.1600 0.2300 0.2600 0.3200 0.1961 0.0951 0.1000 0.3100 0.4847 0.1486 0.0731 0.0774 0.0200 0.3200 0.2071 0.0855 312-AH 0.0000 0.0000 0.0850 0.2500 0.3000 0.1267 0.1301 0.2500 0.3000 1.0269 0.0078 0.0000 0.1185 0.0000 0.3000 0.1267 0.1301 313-AH 0.0000 0.0300 0.0400 0.0500 0.0800 0.0406 0.0221 0.0200 0.0800 0.5447 0.0169 0.0001 0.0163 0.0000 0.0800 0.0406 0.0221 314-AH 0.0000 0.0300 0.0400 0.0500 0.1000 0.0394 0.0226 0.0200 0.1000 0.5733 0.0234 0.0002 0.0162 0.0000 0.0600 0.0359 0.0173 315-AH 0.0000 0.0600 0.2150 0.2300 0.3600 0.1622 0.1172 0.1700 0.3600 0.7225 0.0489 0.0001 0.1053 0.0000 0.3600 0.1622 0.1172 316-AH 0.0100 0.0400 0.1050 0.1900 0.2800 0.1261 0.0889 0.1500 0.2700 0.7046 0.0848 0.0446 0.0779 0.0100 0.2800 0.1261 0.0889 317-AH 0.0000 0.0600 0.0900 0.1600 0.1900 0.0983 0.0533 0.1000 0.1900 0.5418 0.0560 0.0002 0.0437 0.0000 0.1900 0.0983 0.0533 318-AH 0.0200 0.0300 0.0600 0.0700 0.0900 0.0517 0.0207 0.0400 0.0700 0.3997 0.0469 0.0415 0.0170 0.0200 0.0900 0.0517 0.0207 319-AH 0.0400 0.0900 0.1100 0.1200 0.1400 0.1050 0.0241 0.0300 0.1000 0.2292 0.1016 0.0968 0.0183 0.0700 0.1400 0.1088 0.0183 320-AH 0.0000 0.0100 0.0250 0.0400 0.0500 0.0250 0.0162 0.0300 0.0500 0.6472 0.0102 0.0001 0.0139 0.0000 0.0500 0.0250 0.0162 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0100 0.0400 0.0600 0.0700 0.0800 0.0522 0.0232 0.0300 0.0700 0.4433 0.0448 0.0345 0.0195 0.0100 0.0800 0.0522 0.0232 323-AH 0.0200 0.0400 0.0600 0.0800 0.1200 0.0617 0.0277 0.0400 0.1000 0.4493 0.0552 0.0481 0.0211 0.0200 0.1200 0.0617 0.0277 324-AH 0.0000 0.0100 0.2100 0.3200 0.5700 0.2200 0.1959 0.3100 0.5700 0.8903 0.0315 0.0001 0.1544 0.0000 0.5700 0.2200 0.1959 325-AH 0.0000 0.0300 0.0700 0.1100 0.4300 0.1294 0.1521 0.0800 0.4300 1.1747 0.0209 0.0001 0.1191 0.0000 0.1100 0.0529 0.0385 326-AH 0.0000 0.0200 0.0200 0.0300 0.0300 0.0217 0.0079 0.0100 0.0300 0.3627 0.0144 0.0002 0.0056 0.0100 0.0300 0.0229 0.0059 327-AH 0.0000 0.0000 0.0100 0.0100 0.0400 0.0111 0.0141 0.0100 0.0400 1.2686 0.0006 0.0000 0.0106 0.0000 0.0100 0.0043 0.0051 328-AH 0.0900 0.1300 0.1950 0.2200 0.2300 0.1733 0.0513 0.0900 0.1400 0.2962 0.1653 0.1566 0.0463 0.0900 0.2300 0.1733 0.0513 329-AH 0.0700 0.1200 0.1500 0.1600 0.1700 0.1417 0.0279 0.0400 0.1000 0.1971 0.1385 0.1346 0.0224 0.0700 0.1700 0.1417 0.0279 330-AH 0.0000 0.3100 0.4250 0.4500 0.5000 0.3644 0.1483 0.1400 0.5000 0.4070 0.1242 0.0001 0.1096 0.2600 0.5000 0.4100 0.0708 331-AH 0.0000 0.1100 0.1500 0.1600 0.1700 0.1306 0.0456 0.0500 0.1700 0.3490 0.0782 0.0002 0.0316 0.0400 0.1700 0.1382 0.0328 332-AH 0.0000 0.0800 0.0800 0.0800 0.0800 0.0711 0.0259 0.0000 0.0800 0.3638 0.0295 0.0001 0.0158 0.0800 0.0800 0.0800 0.0000 333-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0456 0.0134 0.0000 0.0500 0.2938 0.0296 0.0002 0.0079 0.0500 0.0500 0.0500 0.0000 334-AH 0.0000 0.0300 0.0400 0.0400 0.0400 0.0322 0.0117 0.0100 0.0400 0.3619 0.0208 0.0002 0.0086 0.0200 0.0400 0.0356 0.0063 335-AH 0.0000 0.0100 0.0700 0.1000 0.1200 0.0594 0.0448 0.0900 0.1200 0.7534 0.0091 0.0000 0.0396 0.0000 0.1200 0.0594 0.0448 336-AH 0.0000 0.0000 0.0350 0.0700 0.1000 0.0389 0.0371 0.0700 0.1000 0.9536 0.0028 0.0000 0.0333 0.0000 0.1000 0.0389 0.0371 337-AH 0.0600 0.1700 0.1900 0.2000 0.2000 0.1744 0.0418 0.0300 0.1400 0.2394 0.1668 0.1546 0.0274 0.1600 0.2000 0.1881 0.0133 338-AH 0.0100 0.0600 0.0700 0.0800 0.0900 0.0661 0.0228 0.0200 0.0800 0.3447 0.0594 0.0473 0.0170 0.0400 0.0900 0.0725 0.0139 339-AH 0.0000 0.1100 0.1700 0.1800 0.1900 0.1411 0.0592 0.0700 0.1900 0.4195 0.0532 0.0001 0.0452 0.1100 0.1900 0.1588 0.0314 340-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0344 0.0225 0.0500 0.0500 0.6547 0.0045 0.0000 0.0196 0.0000 0.0500 0.0344 0.0225 416 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0100 0.0200 0.0400 0.0500 0.0600 0.0344 0.0162 0.0300 0.0500 0.4694 0.0294 0.0236 0.0135 0.0100 0.0600 0.0344 0.0162 342-AH 0.2800 0.5000 0.5800 0.6600 0.7100 0.5417 0.1511 0.1600 0.4300 0.2790 0.5167 0.4871 0.1178 0.2800 0.7100 0.5417 0.1511 343-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0067 0.0049 0.0100 0.0100 0.7276 0.0010 0.0000 0.0044 0.0000 0.0100 0.0067 0.0049 344-AH 0.0500 0.1700 0.2200 0.2400 0.3000 0.1994 0.0861 0.0700 0.2500 0.4315 0.1725 0.1375 0.0664 0.0700 0.3000 0.2287 0.0591 345-AH 0.0000 0.0000 0.0350 0.0500 0.0700 0.0311 0.0240 0.0500 0.0700 0.7709 0.0040 0.0000 0.0200 0.0000 0.0700 0.0311 0.0240 346-AH 0.0000 0.0000 0.0000 0.0600 0.0700 0.0272 0.0316 0.0600 0.0700 1.1603 0.0005 0.0000 0.0302 0.0000 0.0700 0.0272 0.0316 347-AH 0.0000 0.0000 0.0200 0.0300 0.0600 0.0200 0.0171 0.0300 0.0600 0.8575 0.0020 0.0000 0.0133 0.0000 0.0600 0.0200 0.0171 348-AH 0.0000 0.0100 0.0200 0.0200 0.0200 0.0161 0.0070 0.0100 0.0200 0.4331 0.0077 0.0001 0.0056 0.0000 0.0200 0.0161 0.0070 349-AH 0.0000 0.2000 0.2100 0.2200 0.2400 0.1867 0.0712 0.0200 0.2400 0.3815 0.0691 0.0001 0.0467 0.1900 0.2400 0.2147 0.0136 350-AH 0.0000 0.0900 0.1000 0.1000 0.1000 0.0872 0.0320 0.0100 0.1000 0.3664 0.0353 0.0001 0.0194 0.0900 0.1000 0.0981 0.0040 417 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0036 0.0023 0.0050 0.0050 0.6382 0.0009 0.0000 0.0020 0.0000 0.0050 0.0036 0.0023 142-AH 0.0250 0.0400 0.0400 0.0400 0.0400 0.0381 0.0049 0.0000 0.0150 0.1286 0.0377 0.0372 0.0032 0.0400 0.0400 0.0400 0.0000 143-AH 0.0000 0.0400 0.1875 0.1950 0.1950 0.1300 0.0828 0.1550 0.1950 0.6371 0.0390 0.0001 0.0744 0.0000 0.1950 0.1300 0.0828 144-AH 0.0050 0.0050 0.0050 0.0050 0.0150 0.0072 0.0043 0.0000 0.0100 0.5923 0.0064 0.0059 0.0035 0.0050 0.0050 0.0050 0.0000 145-AH 0.0100 0.0850 0.1275 0.1700 0.1850 0.1167 0.0567 0.0850 0.1750 0.4862 0.0939 0.0580 0.0476 0.0100 0.1850 0.1167 0.0567 146-AH 0.0000 0.0050 0.0050 0.0050 0.0100 0.0050 0.0017 0.0000 0.0100 0.3430 0.0037 0.0002 0.0006 0.0050 0.0050 0.0050 0.0000 147-AH 0.0050 0.0600 0.2125 0.2250 0.2450 0.1556 0.0895 0.1650 0.2400 0.5751 0.1097 0.0455 0.0827 0.0050 0.2450 0.1556 0.0895 148-AH 0.0000 0.0100 0.0150 0.0150 0.0250 0.0128 0.0088 0.0050 0.0250 0.6873 0.0030 0.0000 0.0069 0.0100 0.0150 0.0130 0.0026 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0050 0.0100 0.0200 0.0450 0.0156 0.0149 0.0150 0.0450 0.9604 0.0056 0.0001 0.0119 0.0000 0.0400 0.0119 0.0111 151-AH 0.0000 0.0000 0.0050 0.0200 0.0450 0.0142 0.0179 0.0200 0.0450 1.2653 0.0013 0.0000 0.0145 0.0000 0.0450 0.0142 0.0179 152-AH 0.0000 0.0000 0.0300 0.0450 0.0500 0.0247 0.0215 0.0450 0.0500 0.8705 0.0016 0.0000 0.0192 0.0000 0.0500 0.0247 0.0215 153-AH 0.0000 0.0000 0.0000 0.0050 0.0050 0.0014 0.0023 0.0050 0.0050 1.6592 0.0001 0.0000 0.0020 0.0000 0.0050 0.0014 0.0023 154-AH 0.0100 0.0550 0.0625 0.0800 0.0850 0.0622 0.0209 0.0250 0.0750 0.3356 0.0564 0.0458 0.0150 0.0200 0.0850 0.0653 0.0168 155-AH 0.0000 0.0000 0.0050 0.0100 0.0150 0.0061 0.0058 0.0100 0.0150 0.9540 0.0009 0.0000 0.0048 0.0000 0.0150 0.0061 0.0058 156-AH 0.0150 0.0300 0.0350 0.0500 0.0750 0.0397 0.0144 0.0200 0.0600 0.3624 0.0373 0.0347 0.0114 0.0150 0.0750 0.0397 0.0144 157-AH 0.0200 0.3500 0.4300 0.4500 0.4800 0.3675 0.1394 0.1000 0.4600 0.3793 0.2934 0.1382 0.0969 0.2250 0.4800 0.4106 0.0645 158-AH 0.0050 0.0300 0.1075 0.1200 0.1700 0.0894 0.0593 0.0900 0.1650 0.6633 0.0541 0.0208 0.0502 0.0050 0.1700 0.0894 0.0593 159-AH 0.0050 0.0200 0.1050 0.1400 0.2250 0.1006 0.0772 0.1200 0.2200 0.7673 0.0539 0.0183 0.0627 0.0050 0.2250 0.1006 0.0772 160-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0067 0.0045 0.0100 0.0100 0.6806 0.0014 0.0000 0.0041 0.0000 0.0100 0.0067 0.0045 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0033 0.0024 0.0050 0.0050 0.7276 0.0006 0.0000 0.0022 0.0000 0.0050 0.0033 0.0024 163-AH 0.2700 0.3600 0.4525 0.5350 0.5550 0.4506 0.0875 0.1750 0.2850 0.1942 0.4418 0.4324 0.0717 0.2700 0.5550 0.4506 0.0875 164-AH 0.0000 0.0050 0.0125 0.0500 0.1150 0.0325 0.0361 0.0450 0.1150 1.1110 0.0088 0.0001 0.0308 0.0000 0.1150 0.0325 0.0361 165-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0200 0.0200 0.0200 0.0250 0.0178 0.0069 0.0000 0.0250 0.3885 0.0085 0.0001 0.0046 0.0200 0.0200 0.0200 0.0000 168-AH 0.0000 0.0900 0.0900 0.0900 0.0900 0.0764 0.0297 0.0000 0.0900 0.3887 0.0311 0.0001 0.0212 0.0900 0.0900 0.0900 0.0000 169-AH 0.0000 0.0100 0.0200 0.0250 0.0300 0.0169 0.0094 0.0150 0.0300 0.5556 0.0076 0.0001 0.0084 0.0000 0.0300 0.0169 0.0094 170-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0039 0.0021 0.0000 0.0050 0.5500 0.0013 0.0000 0.0017 0.0050 0.0050 0.0050 0.0000 171-AH 0.0100 0.0400 0.0450 0.0500 0.0650 0.0433 0.0143 0.0100 0.0550 0.3311 0.0395 0.0330 0.0098 0.0350 0.0650 0.0475 0.0082 172-AH 0.0000 0.0000 0.0100 0.0250 0.0300 0.0133 0.0139 0.0250 0.0300 1.0449 0.0005 0.0000 0.0133 0.0000 0.0300 0.0133 0.0139 173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 174-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000 175-AH 0.0000 0.0300 0.0350 0.0350 0.0350 0.0297 0.0110 0.0050 0.0350 0.3716 0.0135 0.0001 0.0066 0.0300 0.0350 0.0334 0.0024 176-AH 0.0700 0.1850 0.1900 0.1950 0.1950 0.1769 0.0355 0.0100 0.1250 0.2008 0.1718 0.1640 0.0225 0.1850 0.1950 0.1914 0.0046 177-AH 0.0350 0.0450 0.0600 0.0600 0.0650 0.0544 0.0089 0.0150 0.0300 0.1633 0.0537 0.0528 0.0074 0.0350 0.0650 0.0544 0.0089 178-AH 0.0000 0.0000 0.0050 0.0100 0.0150 0.0050 0.0049 0.0100 0.0150 0.9701 0.0006 0.0000 0.0039 0.0000 0.0150 0.0050 0.0049 179-AH 0.0000 0.0350 0.0700 0.0750 0.1000 0.0581 0.0331 0.0400 0.1000 0.5706 0.0200 0.0001 0.0273 0.0000 0.1000 0.0581 0.0331 180-AH 0.0000 0.0000 0.0100 0.1200 0.1950 0.0603 0.0770 0.1200 0.1950 1.2782 0.0014 0.0000 0.0687 0.0000 0.1950 0.0603 0.0770 181-AH 0.2350 0.4000 0.4100 0.4200 0.4500 0.3969 0.0533 0.0200 0.2150 0.1344 0.3928 0.3877 0.0359 0.3750 0.4450 0.4146 0.0196 182-AH 0.0050 0.0150 0.0200 0.0200 0.0200 0.0172 0.0052 0.0050 0.0150 0.3024 0.0160 0.0140 0.0040 0.0100 0.0200 0.0187 0.0029 183-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0158 0.0069 0.0050 0.0200 0.4366 0.0101 0.0002 0.0056 0.0150 0.0200 0.0193 0.0018 184-AH 0.0050 0.0100 0.0300 0.0300 0.0400 0.0242 0.0123 0.0200 0.0350 0.5080 0.0193 0.0136 0.0106 0.0050 0.0400 0.0242 0.0123 185-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 188-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0011 0.0021 0.0000 0.0050 1.9251 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000 189-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000 190-AH 0.0000 0.0250 0.0325 0.0350 0.0350 0.0269 0.0119 0.0100 0.0350 0.4416 0.0120 0.0001 0.0091 0.0200 0.0350 0.0317 0.0049 418 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0050 0.0100 0.0300 0.0300 0.0300 0.0217 0.0104 0.0200 0.0250 0.4815 0.0183 0.0145 0.0096 0.0050 0.0300 0.0217 0.0104 193-AH 0.0000 0.0200 0.0200 0.0300 0.0350 0.0228 0.0099 0.0100 0.0350 0.4340 0.0145 0.0002 0.0075 0.0050 0.0350 0.0241 0.0083 194-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0031 0.0025 0.0050 0.0050 0.8209 0.0004 0.0000 0.0024 0.0000 0.0050 0.0031 0.0025 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 197-AH 0.0300 0.2100 0.2225 0.2450 0.2500 0.2089 0.0618 0.0350 0.2200 0.2959 0.1897 0.1499 0.0373 0.2050 0.2500 0.2294 0.0164 198-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0036 0.0023 0.0050 0.0050 0.6382 0.0009 0.0000 0.0020 0.0000 0.0050 0.0036 0.0023 199-AH 0.0350 0.0450 0.0500 0.0500 0.0500 0.0478 0.0043 0.0050 0.0150 0.0895 0.0476 0.0473 0.0032 0.0400 0.0500 0.0485 0.0029 200-AH 0.0050 0.0150 0.0325 0.0350 0.0400 0.0272 0.0127 0.0200 0.0350 0.4682 0.0228 0.0170 0.0109 0.0050 0.0400 0.0272 0.0127 251-AH 0.0250 0.1750 0.1800 0.2100 0.2300 0.1789 0.0445 0.0350 0.2050 0.2488 0.1668 0.1365 0.0262 0.1350 0.2300 0.1879 0.0232 252-AH 0.0050 0.0800 0.1125 0.1400 0.1450 0.1031 0.0461 0.0600 0.1400 0.4478 0.0830 0.0442 0.0370 0.0050 0.1450 0.1031 0.0461 253-AH 0.0100 0.0600 0.2575 0.3500 0.4750 0.2247 0.1586 0.2900 0.4650 0.7056 0.1443 0.0665 0.1375 0.0100 0.4750 0.2247 0.1586 254-AH 0.0300 0.1800 0.2350 0.2700 0.3750 0.2208 0.0989 0.0900 0.3450 0.4478 0.1863 0.1327 0.0741 0.0900 0.3750 0.2444 0.0759 255-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0169 0.0064 0.0050 0.0200 0.3806 0.0082 0.0001 0.0044 0.0150 0.0200 0.0191 0.0020 256-AH 0.0200 0.0900 0.1600 0.1600 0.1650 0.1256 0.0560 0.0700 0.1450 0.4462 0.1035 0.0723 0.0470 0.0200 0.1650 0.1256 0.0560 257-AH 0.0150 0.0600 0.1525 0.1800 0.2150 0.1311 0.0664 0.1200 0.2000 0.5064 0.1054 0.0720 0.0541 0.0150 0.2150 0.1311 0.0664 258-AH 0.0000 0.0000 0.0000 0.0050 0.0100 0.0028 0.0035 0.0050 0.0100 1.2686 0.0002 0.0000 0.0031 0.0000 0.0100 0.0028 0.0035 259-AH 0.0000 0.0050 0.0100 0.0150 0.0150 0.0092 0.0052 0.0100 0.0150 0.5690 0.0044 0.0001 0.0044 0.0000 0.0150 0.0092 0.0052 260-AH 0.1200 0.1900 0.2250 0.2400 0.3050 0.2136 0.0446 0.0500 0.1850 0.2090 0.2088 0.2036 0.0339 0.1200 0.3050 0.2136 0.0446 261-AH 0.0000 0.0200 0.0325 0.0700 0.0900 0.0425 0.0288 0.0500 0.0900 0.6779 0.0238 0.0002 0.0244 0.0000 0.0900 0.0425 0.0288 262-AH 0.0000 0.0450 0.0675 0.0800 0.2450 0.0919 0.0832 0.0350 0.2450 0.9050 0.0432 0.0002 0.0647 0.0000 0.0800 0.0504 0.0256 263-AH 0.0000 0.0000 0.0100 0.0250 0.1250 0.0233 0.0329 0.0250 0.1250 1.4080 0.0024 0.0000 0.0235 0.0000 0.0550 0.0144 0.0182 264-AH 0.0600 0.0750 0.0850 0.0900 0.0950 0.0819 0.0109 0.0150 0.0350 0.1326 0.0812 0.0804 0.0090 0.0600 0.0950 0.0819 0.0109 265-AH 0.0000 0.0250 0.0300 0.0300 0.0300 0.0244 0.0101 0.0050 0.0300 0.4144 0.0112 0.0001 0.0075 0.0250 0.0300 0.0293 0.0018 266-AH 0.0000 0.0000 0.0025 0.0050 0.0200 0.0042 0.0062 0.0050 0.0200 1.4982 0.0003 0.0000 0.0042 0.0000 0.0050 0.0022 0.0026 267-AH 0.0000 0.0450 0.0575 0.0650 0.0850 0.0522 0.0232 0.0200 0.0850 0.4433 0.0305 0.0002 0.0175 0.0300 0.0850 0.0584 0.0154 268-AH 0.0000 0.0100 0.0100 0.0150 0.0150 0.0106 0.0048 0.0050 0.0150 0.4563 0.0052 0.0001 0.0035 0.0050 0.0150 0.0119 0.0031 269-AH 0.0050 0.0250 0.0300 0.0400 0.0400 0.0289 0.0106 0.0150 0.0350 0.3686 0.0255 0.0195 0.0076 0.0050 0.0400 0.0289 0.0106 270-AH 0.0150 0.1650 0.2250 0.2750 0.2800 0.2011 0.0862 0.1100 0.2650 0.4287 0.1642 0.0971 0.0692 0.0150 0.2800 0.2011 0.0862 271-AH 0.0100 0.0650 0.1000 0.1050 0.1150 0.0814 0.0360 0.0400 0.1050 0.4419 0.0659 0.0418 0.0287 0.0100 0.1150 0.0814 0.0360 272-AH 0.0000 0.0500 0.0575 0.0650 0.0650 0.0503 0.0211 0.0150 0.0650 0.4198 0.0212 0.0001 0.0152 0.0400 0.0650 0.0587 0.0077 273-AH 0.0600 0.1050 0.2300 0.3500 0.3600 0.2306 0.1117 0.2450 0.3000 0.4846 0.1969 0.1593 0.0928 0.0600 0.3600 0.2306 0.1117 274-AH 0.0000 0.0050 0.0125 0.0300 0.0800 0.0194 0.0193 0.0250 0.0800 0.9935 0.0094 0.0002 0.0144 0.0000 0.0350 0.0159 0.0124 275-AH 0.1350 0.1700 0.2200 0.2550 0.2750 0.2147 0.0420 0.0850 0.1400 0.1957 0.2106 0.2062 0.0331 0.1350 0.2750 0.2147 0.0420 276-AH 0.0000 0.0450 0.1250 0.1650 0.2450 0.1214 0.0818 0.1200 0.2450 0.6735 0.0387 0.0001 0.0636 0.0000 0.2450 0.1214 0.0818 277-AH 0.0150 0.0550 0.0600 0.0600 0.0800 0.0561 0.0154 0.0050 0.0650 0.2743 0.0531 0.0482 0.0106 0.0500 0.0650 0.0592 0.0036 278-AH 0.0000 0.0050 0.0150 0.0250 0.0850 0.0239 0.0261 0.0200 0.0850 1.0924 0.0107 0.0002 0.0201 0.0000 0.0500 0.0137 0.0120 279-AH 0.0000 0.0050 0.0150 0.0150 0.0200 0.0122 0.0067 0.0100 0.0200 0.5475 0.0056 0.0001 0.0056 0.0000 0.0200 0.0122 0.0067 280-AH 0.0100 0.0150 0.0400 0.0650 0.0650 0.0383 0.0213 0.0500 0.0550 0.5552 0.0313 0.0241 0.0172 0.0100 0.0650 0.0383 0.0213 281-AH 0.0900 0.1600 0.1775 0.1800 0.1900 0.1636 0.0294 0.0200 0.1000 0.1797 0.1605 0.1568 0.0224 0.1300 0.1900 0.1719 0.0178 282-AH 0.0050 0.0550 0.0750 0.0950 0.1000 0.0722 0.0254 0.0400 0.0950 0.3516 0.0631 0.0405 0.0192 0.0050 0.1000 0.0722 0.0254 283-AH 0.0200 0.0600 0.0700 0.0850 0.1350 0.0694 0.0266 0.0250 0.1150 0.3833 0.0634 0.0554 0.0200 0.0500 0.0950 0.0717 0.0141 284-AH 0.0000 0.0250 0.1150 0.1800 0.1900 0.1031 0.0778 0.1550 0.1900 0.7548 0.0419 0.0002 0.0688 0.0000 0.1900 0.1031 0.0778 285-AH 0.0050 0.0150 0.1225 0.2700 0.3200 0.1547 0.1165 0.2550 0.3150 0.7533 0.0847 0.0295 0.1052 0.0050 0.3200 0.1547 0.1165 286-AH 0.0000 0.0050 0.0100 0.0150 0.0200 0.0108 0.0062 0.0100 0.0200 0.5762 0.0051 0.0001 0.0049 0.0000 0.0200 0.0108 0.0062 287-AH 0.0150 0.0700 0.1975 0.2100 0.2150 0.1558 0.0739 0.1400 0.2000 0.4740 0.1227 0.0726 0.0627 0.0150 0.2150 0.1558 0.0739 288-AH 0.0000 0.0400 0.1025 0.1500 0.1750 0.0936 0.0592 0.1100 0.1750 0.6319 0.0419 0.0002 0.0485 0.0000 0.1750 0.0936 0.0592 289-AH 0.0000 0.0800 0.0850 0.0900 0.0900 0.0747 0.0280 0.0100 0.0900 0.3747 0.0307 0.0001 0.0177 0.0650 0.0900 0.0841 0.0071 290-AH 0.0000 0.0200 0.0900 0.1200 0.1650 0.0828 0.0575 0.1000 0.1650 0.6944 0.0372 0.0002 0.0469 0.0000 0.1650 0.0828 0.0575 419 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0150 0.0550 0.1100 0.1100 0.1300 0.0847 0.0401 0.0550 0.1150 0.4732 0.0714 0.0548 0.0359 0.0150 0.1300 0.0847 0.0401 292-AH 0.0000 0.0200 0.0200 0.0200 0.0200 0.0161 0.0078 0.0000 0.0200 0.4826 0.0054 0.0001 0.0060 0.0200 0.0200 0.0200 0.0000 293-AH 0.0000 0.0450 0.1450 0.1650 0.1700 0.1103 0.0678 0.1200 0.1700 0.6145 0.0357 0.0001 0.0602 0.0000 0.1700 0.1103 0.0678 294-AH 0.0000 0.0450 0.1350 0.1350 0.1350 0.0933 0.0551 0.0900 0.1350 0.5900 0.0321 0.0001 0.0504 0.0000 0.1350 0.0933 0.0551 295-AH 0.0000 0.0200 0.0525 0.1250 0.1650 0.0706 0.0619 0.1050 0.1650 0.8774 0.0147 0.0001 0.0551 0.0000 0.1650 0.0706 0.0619 296-AH 0.0000 0.0750 0.1175 0.1200 0.1200 0.0947 0.0367 0.0450 0.1200 0.3877 0.0563 0.0002 0.0281 0.0200 0.1200 0.1003 0.0290 297-AH 0.0000 0.0100 0.0275 0.0350 0.0500 0.0250 0.0166 0.0250 0.0500 0.6651 0.0072 0.0001 0.0133 0.0000 0.0500 0.0250 0.0166 298-AH 0.0100 0.0500 0.0650 0.0750 0.1100 0.0608 0.0263 0.0250 0.1000 0.4324 0.0528 0.0411 0.0201 0.0150 0.1100 0.0638 0.0238 299-AH 0.0000 0.0200 0.1150 0.1600 0.2600 0.1044 0.0827 0.1400 0.2600 0.7916 0.0439 0.0002 0.0739 0.0000 0.2600 0.1044 0.0827 300-AH 0.0000 0.0200 0.0900 0.1300 0.1550 0.0783 0.0545 0.1100 0.1550 0.6954 0.0260 0.0001 0.0491 0.0000 0.1550 0.0783 0.0545 301-AH 0.0000 0.0050 0.0250 0.0500 0.0700 0.0286 0.0248 0.0450 0.0700 0.8682 0.0049 0.0000 0.0201 0.0000 0.0700 0.0286 0.0248 302-AH 0.0250 0.0750 0.0825 0.0850 0.0850 0.0764 0.0147 0.0100 0.0600 0.1929 0.0742 0.0703 0.0094 0.0700 0.0850 0.0806 0.0057 303-AH 0.0100 0.0250 0.0325 0.0550 0.0550 0.0369 0.0143 0.0300 0.0450 0.3860 0.0339 0.0304 0.0122 0.0100 0.0550 0.0369 0.0143 304-AH 0.0000 0.0150 0.0350 0.0400 0.0600 0.0286 0.0192 0.0250 0.0600 0.6696 0.0111 0.0001 0.0165 0.0000 0.0600 0.0286 0.0192 305-AH 0.0000 0.0050 0.0800 0.1750 0.1850 0.0856 0.0851 0.1700 0.1850 0.9950 0.0076 0.0000 0.0822 0.0000 0.1850 0.0856 0.0851 306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000 307-AH 0.0000 0.0050 0.0475 0.1550 0.2650 0.0769 0.0783 0.1500 0.2650 1.0175 0.0180 0.0001 0.0674 0.0000 0.2650 0.0769 0.0783 308-AH 0.0450 0.0450 0.0500 0.0500 0.0500 0.0486 0.0023 0.0050 0.0050 0.0474 0.0486 0.0485 0.0020 0.0450 0.0500 0.0486 0.0023 309-AH 0.0100 0.0150 0.0200 0.0350 0.0450 0.0244 0.0120 0.0200 0.0350 0.4906 0.0218 0.0196 0.0099 0.0100 0.0450 0.0244 0.0120 310-AH 0.0050 0.0050 0.0225 0.0450 0.1300 0.0397 0.0443 0.0400 0.1250 1.1146 0.0208 0.0117 0.0352 0.0050 0.1050 0.0237 0.0266 311-AH 0.0250 0.1050 0.1550 0.1800 0.2000 0.1356 0.0566 0.0750 0.1750 0.4173 0.1171 0.0897 0.0470 0.0250 0.2000 0.1356 0.0566 312-AH 0.0000 0.0000 0.0600 0.1500 0.1550 0.0717 0.0703 0.1500 0.1550 0.9803 0.0052 0.0000 0.0646 0.0000 0.1550 0.0717 0.0703 313-AH 0.0050 0.0150 0.0300 0.0400 0.0450 0.0281 0.0115 0.0250 0.0400 0.4107 0.0250 0.0208 0.0090 0.0050 0.0450 0.0281 0.0115 314-AH 0.0050 0.0200 0.0250 0.0300 0.0700 0.0294 0.0186 0.0100 0.0650 0.6324 0.0237 0.0175 0.0138 0.0050 0.0300 0.0207 0.0085 315-AH 0.0000 0.0400 0.1150 0.1300 0.2200 0.0947 0.0655 0.0900 0.2200 0.6917 0.0324 0.0001 0.0559 0.0000 0.2200 0.0947 0.0655 316-AH 0.0100 0.0750 0.1000 0.1950 0.2500 0.1225 0.0752 0.1200 0.2400 0.6135 0.0947 0.0601 0.0611 0.0100 0.2500 0.1225 0.0752 317-AH 0.0200 0.0550 0.0650 0.0950 0.1100 0.0708 0.0253 0.0400 0.0900 0.3569 0.0657 0.0594 0.0204 0.0200 0.1100 0.0708 0.0253 318-AH 0.0100 0.0150 0.0350 0.0350 0.0450 0.0297 0.0112 0.0200 0.0350 0.3760 0.0272 0.0244 0.0093 0.0100 0.0450 0.0297 0.0112 319-AH 0.0350 0.0550 0.0600 0.0650 0.0700 0.0594 0.0095 0.0100 0.0350 0.1603 0.0586 0.0576 0.0069 0.0450 0.0700 0.0609 0.0075 320-AH 0.0000 0.0100 0.0225 0.0300 0.0450 0.0211 0.0131 0.0200 0.0450 0.6216 0.0090 0.0001 0.0111 0.0000 0.0450 0.0211 0.0131 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0100 0.0300 0.0375 0.0450 0.0500 0.0356 0.0112 0.0150 0.0400 0.3159 0.0332 0.0299 0.0089 0.0100 0.0500 0.0356 0.0112 323-AH 0.0100 0.0300 0.0400 0.0550 0.0800 0.0425 0.0182 0.0250 0.0700 0.4275 0.0380 0.0324 0.0144 0.0100 0.0800 0.0425 0.0182 324-AH 0.0000 0.0300 0.1200 0.1750 0.3000 0.1300 0.1019 0.1450 0.3000 0.7839 0.0531 0.0002 0.0811 0.0000 0.3000 0.1300 0.1019 325-AH 0.0050 0.0300 0.0550 0.1050 0.2750 0.0936 0.0952 0.0750 0.2700 1.0174 0.0532 0.0269 0.0759 0.0050 0.1050 0.0464 0.0318 326-AH 0.0000 0.0100 0.0150 0.0150 0.0200 0.0122 0.0046 0.0050 0.0200 0.3771 0.0083 0.0002 0.0036 0.0050 0.0200 0.0129 0.0036 327-AH 0.0000 0.0000 0.0050 0.0200 0.0200 0.0089 0.0081 0.0200 0.0200 0.9163 0.0015 0.0000 0.0071 0.0000 0.0200 0.0089 0.0081 328-AH 0.0550 0.0800 0.1050 0.1150 0.1150 0.0950 0.0222 0.0350 0.0600 0.2340 0.0922 0.0890 0.0194 0.0550 0.1150 0.0950 0.0222 329-AH 0.0400 0.0750 0.0800 0.0800 0.0850 0.0742 0.0130 0.0050 0.0450 0.1750 0.0728 0.0712 0.0096 0.0750 0.0850 0.0804 0.0037 330-AH 0.0000 0.1950 0.2325 0.2500 0.2550 0.2061 0.0779 0.0550 0.2550 0.3778 0.0756 0.0001 0.0506 0.1900 0.2550 0.2319 0.0224 331-AH 0.0000 0.0800 0.0850 0.0850 0.0850 0.0758 0.0228 0.0050 0.0850 0.3011 0.0477 0.0002 0.0135 0.0800 0.0850 0.0834 0.0024 332-AH 0.0000 0.0400 0.0400 0.0400 0.0400 0.0356 0.0129 0.0000 0.0400 0.3638 0.0159 0.0001 0.0079 0.0400 0.0400 0.0400 0.0000 333-AH 0.0000 0.0250 0.0250 0.0250 0.0250 0.0228 0.0067 0.0000 0.0250 0.2938 0.0154 0.0002 0.0040 0.0250 0.0250 0.0250 0.0000 334-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0169 0.0057 0.0050 0.0200 0.3378 0.0114 0.0002 0.0041 0.0150 0.0200 0.0187 0.0022 335-AH 0.0000 0.0050 0.0450 0.0550 0.0700 0.0364 0.0268 0.0500 0.0700 0.7374 0.0086 0.0001 0.0239 0.0000 0.0700 0.0364 0.0268 336-AH 0.0000 0.0000 0.0275 0.0550 0.0650 0.0286 0.0247 0.0550 0.0650 0.8620 0.0034 0.0000 0.0225 0.0000 0.0650 0.0286 0.0247 337-AH 0.0550 0.0850 0.1000 0.1000 0.1000 0.0917 0.0146 0.0150 0.0450 0.1588 0.0903 0.0885 0.0106 0.0850 0.1000 0.0963 0.0062 338-AH 0.0050 0.0300 0.0400 0.0450 0.0500 0.0358 0.0123 0.0150 0.0450 0.3426 0.0323 0.0257 0.0095 0.0150 0.0500 0.0376 0.0099 339-AH 0.0000 0.0850 0.0900 0.0950 0.0950 0.0800 0.0296 0.0100 0.0950 0.3701 0.0327 0.0001 0.0178 0.0800 0.0950 0.0900 0.0058 340-AH 0.0000 0.0000 0.0250 0.0250 0.0250 0.0175 0.0114 0.0250 0.0250 0.6519 0.0028 0.0000 0.0100 0.0000 0.0250 0.0175 0.0114 420 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0100 0.0150 0.0200 0.0250 0.0300 0.0203 0.0072 0.0100 0.0200 0.3535 0.0189 0.0174 0.0059 0.0100 0.0300 0.0203 0.0072 342-AH 0.1650 0.2950 0.4025 0.4350 0.4650 0.3658 0.0938 0.1400 0.3000 0.2565 0.3513 0.3330 0.0756 0.1650 0.4650 0.3658 0.0938 343-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0033 0.0024 0.0050 0.0050 0.7276 0.0006 0.0000 0.0022 0.0000 0.0050 0.0033 0.0024 344-AH 0.0350 0.1100 0.1200 0.1450 0.1600 0.1142 0.0447 0.0350 0.1250 0.3912 0.1019 0.0860 0.0344 0.1100 0.1600 0.1357 0.0188 345-AH 0.0000 0.0150 0.0350 0.0400 0.0400 0.0269 0.0157 0.0250 0.0400 0.5838 0.0077 0.0001 0.0135 0.0000 0.0400 0.0269 0.0157 346-AH 0.0000 0.0000 0.0050 0.0400 0.0450 0.0183 0.0196 0.0400 0.0450 1.0707 0.0011 0.0000 0.0187 0.0000 0.0450 0.0183 0.0196 347-AH 0.0000 0.0100 0.0225 0.0300 0.0300 0.0200 0.0107 0.0200 0.0300 0.5355 0.0088 0.0001 0.0089 0.0000 0.0300 0.0200 0.0107 348-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0081 0.0035 0.0050 0.0100 0.4331 0.0041 0.0001 0.0028 0.0000 0.0100 0.0081 0.0035 349-AH 0.0050 0.1100 0.1250 0.1300 0.1300 0.1097 0.0390 0.0200 0.1250 0.3556 0.0859 0.0339 0.0238 0.1050 0.1300 0.1228 0.0089 350-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0442 0.0161 0.0000 0.0500 0.3648 0.0193 0.0001 0.0098 0.0500 0.0500 0.0500 0.0000 421 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0014 0.0009 0.0020 0.0020 0.6382 0.0005 0.0000 0.0008 0.0000 0.0020 0.0014 0.0009 142-AH 0.0120 0.0160 0.0160 0.0160 0.0160 0.0156 0.0013 0.0000 0.0040 0.0832 0.0155 0.0154 0.0008 0.0160 0.0160 0.0160 0.0000 143-AH 0.0040 0.0160 0.0760 0.0780 0.0780 0.0550 0.0324 0.0620 0.0740 0.5899 0.0367 0.0172 0.0293 0.0040 0.0780 0.0550 0.0324 144-AH 0.0020 0.0020 0.0020 0.0060 0.0060 0.0032 0.0018 0.0040 0.0040 0.5688 0.0028 0.0025 0.0016 0.0020 0.0060 0.0032 0.0018 145-AH 0.0060 0.0440 0.0620 0.0720 0.0740 0.0539 0.0223 0.0280 0.0680 0.4145 0.0450 0.0290 0.0183 0.0060 0.0740 0.0539 0.0223 146-AH 0.0020 0.0020 0.0020 0.0040 0.0040 0.0027 0.0010 0.0020 0.0020 0.3638 0.0025 0.0024 0.0009 0.0020 0.0040 0.0027 0.0010 147-AH 0.0040 0.0420 0.0920 0.0980 0.1000 0.0718 0.0343 0.0560 0.0960 0.4774 0.0562 0.0296 0.0305 0.0040 0.1000 0.0718 0.0343 148-AH 0.0000 0.0040 0.0060 0.0080 0.0120 0.0058 0.0041 0.0040 0.0120 0.7013 0.0016 0.0000 0.0034 0.0000 0.0120 0.0058 0.0041 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0040 0.0100 0.0120 0.0200 0.0094 0.0061 0.0080 0.0200 0.6407 0.0057 0.0002 0.0049 0.0000 0.0200 0.0094 0.0061 151-AH 0.0000 0.0020 0.0020 0.0140 0.0180 0.0068 0.0071 0.0120 0.0180 1.0525 0.0019 0.0001 0.0061 0.0000 0.0180 0.0068 0.0071 152-AH 0.0000 0.0000 0.0140 0.0220 0.0220 0.0119 0.0096 0.0220 0.0220 0.8108 0.0019 0.0000 0.0086 0.0000 0.0220 0.0119 0.0096 153-AH 0.0000 0.0000 0.0000 0.0020 0.0020 0.0008 0.0010 0.0020 0.0020 1.2899 0.0001 0.0000 0.0010 0.0000 0.0020 0.0008 0.0010 154-AH 0.0040 0.0320 0.0350 0.0360 0.0380 0.0313 0.0096 0.0040 0.0340 0.3049 0.0282 0.0214 0.0059 0.0300 0.0380 0.0345 0.0026 155-AH 0.0000 0.0020 0.0040 0.0060 0.0060 0.0036 0.0023 0.0040 0.0060 0.6559 0.0011 0.0000 0.0019 0.0000 0.0060 0.0036 0.0023 156-AH 0.0140 0.0220 0.0300 0.0320 0.0400 0.0281 0.0079 0.0100 0.0260 0.2819 0.0270 0.0257 0.0063 0.0140 0.0400 0.0281 0.0079 157-AH 0.0180 0.2220 0.2410 0.2520 0.2600 0.2110 0.0737 0.0300 0.2420 0.3494 0.1793 0.1119 0.0502 0.2020 0.2600 0.2405 0.0170 158-AH 0.0020 0.0140 0.0610 0.0640 0.0680 0.0451 0.0269 0.0500 0.0660 0.5970 0.0291 0.0112 0.0243 0.0020 0.0680 0.0451 0.0269 159-AH 0.0020 0.0140 0.0640 0.0820 0.0960 0.0552 0.0356 0.0680 0.0940 0.6438 0.0336 0.0116 0.0304 0.0020 0.0960 0.0552 0.0356 160-AH 0.0000 0.0020 0.0040 0.0040 0.0040 0.0028 0.0017 0.0020 0.0040 0.6119 0.0009 0.0000 0.0015 0.0000 0.0040 0.0028 0.0017 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0014 0.0009 0.0020 0.0020 0.6382 0.0005 0.0000 0.0008 0.0000 0.0020 0.0014 0.0009 163-AH 0.1680 0.1900 0.2210 0.2360 0.2400 0.2129 0.0249 0.0460 0.0720 0.1168 0.2115 0.2100 0.0226 0.1680 0.2400 0.2129 0.0249 164-AH 0.0040 0.0060 0.0160 0.0440 0.0540 0.0243 0.0191 0.0380 0.0500 0.7839 0.0166 0.0108 0.0175 0.0040 0.0540 0.0243 0.0191 165-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0080 0.0100 0.0100 0.0100 0.0082 0.0031 0.0020 0.0100 0.3813 0.0043 0.0001 0.0020 0.0080 0.0100 0.0093 0.0010 168-AH 0.0000 0.0360 0.0360 0.0360 0.0360 0.0320 0.0116 0.0000 0.0360 0.3638 0.0145 0.0001 0.0071 0.0360 0.0360 0.0360 0.0000 169-AH 0.0000 0.0060 0.0100 0.0100 0.0120 0.0080 0.0038 0.0040 0.0120 0.4697 0.0041 0.0001 0.0031 0.0060 0.0120 0.0090 0.0025 170-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0016 0.0009 0.0000 0.0020 0.5500 0.0006 0.0000 0.0007 0.0020 0.0020 0.0020 0.0000 171-AH 0.0100 0.0240 0.0280 0.0340 0.0360 0.0276 0.0075 0.0100 0.0260 0.2711 0.0262 0.0244 0.0057 0.0100 0.0360 0.0276 0.0075 172-AH 0.0000 0.0040 0.0090 0.0120 0.0140 0.0077 0.0057 0.0080 0.0140 0.7392 0.0019 0.0000 0.0052 0.0000 0.0140 0.0077 0.0057 173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 174-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000 175-AH 0.0000 0.0120 0.0140 0.0140 0.0140 0.0121 0.0045 0.0020 0.0140 0.3691 0.0061 0.0001 0.0027 0.0120 0.0140 0.0136 0.0008 176-AH 0.0320 0.0740 0.0780 0.0780 0.0780 0.0721 0.0132 0.0040 0.0460 0.1824 0.0705 0.0681 0.0083 0.0700 0.0780 0.0765 0.0028 177-AH 0.0200 0.0240 0.0260 0.0260 0.0260 0.0246 0.0019 0.0020 0.0060 0.0780 0.0245 0.0244 0.0016 0.0220 0.0260 0.0248 0.0016 178-AH 0.0000 0.0000 0.0040 0.0040 0.0080 0.0028 0.0024 0.0040 0.0080 0.8604 0.0005 0.0000 0.0020 0.0000 0.0080 0.0028 0.0024 179-AH 0.0000 0.0280 0.0320 0.0360 0.0420 0.0272 0.0147 0.0080 0.0420 0.5400 0.0105 0.0001 0.0114 0.0280 0.0420 0.0346 0.0045 180-AH 0.0000 0.0000 0.0210 0.0560 0.0800 0.0300 0.0322 0.0560 0.0800 1.0738 0.0015 0.0000 0.0284 0.0000 0.0800 0.0300 0.0322 181-AH 0.1220 0.1740 0.1760 0.1800 0.1840 0.1741 0.0138 0.0060 0.0620 0.0792 0.1735 0.1727 0.0070 0.1680 0.1840 0.1772 0.0047 182-AH 0.0020 0.0080 0.0080 0.0080 0.0080 0.0071 0.0018 0.0000 0.0060 0.2592 0.0067 0.0062 0.0014 0.0080 0.0080 0.0080 0.0000 183-AH 0.0020 0.0060 0.0080 0.0080 0.0080 0.0068 0.0021 0.0020 0.0060 0.3060 0.0063 0.0055 0.0016 0.0040 0.0080 0.0074 0.0012 184-AH 0.0020 0.0060 0.0130 0.0140 0.0180 0.0113 0.0057 0.0080 0.0160 0.5064 0.0091 0.0063 0.0047 0.0020 0.0180 0.0113 0.0057 185-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 188-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0010 0.0020 0.0020 1.0290 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0010 189-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000 190-AH 0.0020 0.0120 0.0130 0.0140 0.0160 0.0118 0.0042 0.0020 0.0140 0.3538 0.0104 0.0079 0.0028 0.0120 0.0160 0.0135 0.0014 422 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0040 0.0080 0.0120 0.0120 0.0120 0.0098 0.0031 0.0040 0.0080 0.3129 0.0092 0.0085 0.0027 0.0040 0.0120 0.0098 0.0031 193-AH 0.0020 0.0080 0.0100 0.0140 0.0140 0.0098 0.0039 0.0060 0.0120 0.3962 0.0087 0.0069 0.0029 0.0020 0.0140 0.0098 0.0039 194-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0014 0.0009 0.0020 0.0020 0.6382 0.0005 0.0000 0.0008 0.0000 0.0020 0.0014 0.0009 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 197-AH 0.0140 0.0980 0.0990 0.1000 0.1000 0.0908 0.0243 0.0020 0.0860 0.2672 0.0839 0.0690 0.0146 0.0960 0.1000 0.0990 0.0013 198-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0014 0.0009 0.0020 0.0020 0.6382 0.0005 0.0000 0.0008 0.0000 0.0020 0.0014 0.0009 199-AH 0.0140 0.0200 0.0200 0.0200 0.0200 0.0194 0.0015 0.0000 0.0060 0.0773 0.0194 0.0193 0.0009 0.0200 0.0200 0.0200 0.0000 200-AH 0.0060 0.0140 0.0160 0.0160 0.0180 0.0144 0.0031 0.0020 0.0120 0.2153 0.0140 0.0135 0.0023 0.0120 0.0180 0.0156 0.0015 251-AH 0.0100 0.0780 0.0930 0.0940 0.1120 0.0856 0.0221 0.0160 0.1020 0.2584 0.0790 0.0616 0.0143 0.0680 0.1120 0.0900 0.0119 252-AH 0.0080 0.0460 0.0540 0.0580 0.0580 0.0479 0.0163 0.0120 0.0500 0.3400 0.0429 0.0344 0.0119 0.0440 0.0580 0.0547 0.0046 253-AH 0.0140 0.0460 0.1600 0.2020 0.2560 0.1384 0.0868 0.1560 0.2420 0.6267 0.1009 0.0624 0.0761 0.0140 0.2560 0.1384 0.0868 254-AH 0.0140 0.1580 0.1790 0.2160 0.2520 0.1682 0.0693 0.0580 0.2380 0.4122 0.1384 0.0823 0.0493 0.0820 0.2520 0.1873 0.0444 255-AH 0.0000 0.0080 0.0080 0.0080 0.0080 0.0071 0.0026 0.0000 0.0080 0.3638 0.0038 0.0001 0.0016 0.0080 0.0080 0.0080 0.0000 256-AH 0.0080 0.0360 0.0640 0.0640 0.0680 0.0517 0.0216 0.0280 0.0600 0.4176 0.0437 0.0315 0.0180 0.0080 0.0680 0.0517 0.0216 257-AH 0.0080 0.0300 0.0840 0.1060 0.1080 0.0704 0.0352 0.0760 0.1000 0.5002 0.0569 0.0391 0.0299 0.0080 0.1080 0.0704 0.0352 258-AH 0.0000 0.0000 0.0030 0.0040 0.0040 0.0022 0.0019 0.0040 0.0040 0.8670 0.0004 0.0000 0.0018 0.0000 0.0040 0.0022 0.0019 259-AH 0.0000 0.0020 0.0040 0.0060 0.0060 0.0040 0.0018 0.0040 0.0060 0.4537 0.0028 0.0002 0.0013 0.0000 0.0060 0.0040 0.0018 260-AH 0.0820 0.0920 0.0970 0.1140 0.1240 0.1011 0.0125 0.0220 0.0420 0.1233 0.1004 0.0997 0.0110 0.0820 0.1240 0.1011 0.0125 261-AH 0.0000 0.0160 0.0200 0.0360 0.0420 0.0234 0.0118 0.0200 0.0420 0.5024 0.0148 0.0002 0.0096 0.0000 0.0420 0.0234 0.0118 262-AH 0.0000 0.0240 0.0570 0.0680 0.1360 0.0589 0.0417 0.0440 0.1360 0.7083 0.0312 0.0002 0.0328 0.0000 0.1220 0.0544 0.0381 263-AH 0.0000 0.0000 0.0060 0.0200 0.0640 0.0181 0.0230 0.0200 0.0640 1.2713 0.0020 0.0000 0.0184 0.0000 0.0200 0.0067 0.0078 264-AH 0.0300 0.0320 0.0370 0.0400 0.0420 0.0366 0.0043 0.0080 0.0120 0.1184 0.0363 0.0361 0.0037 0.0300 0.0420 0.0366 0.0043 265-AH 0.0000 0.0100 0.0120 0.0120 0.0120 0.0099 0.0041 0.0020 0.0120 0.4132 0.0050 0.0001 0.0031 0.0100 0.0120 0.0119 0.0005 266-AH 0.0000 0.0000 0.0020 0.0060 0.0080 0.0029 0.0033 0.0060 0.0080 1.1443 0.0003 0.0000 0.0029 0.0000 0.0080 0.0029 0.0033 267-AH 0.0000 0.0200 0.0260 0.0340 0.0360 0.0260 0.0092 0.0140 0.0360 0.3530 0.0172 0.0002 0.0071 0.0000 0.0360 0.0260 0.0092 268-AH 0.0000 0.0040 0.0050 0.0060 0.0060 0.0044 0.0020 0.0020 0.0060 0.4515 0.0024 0.0001 0.0016 0.0020 0.0060 0.0050 0.0013 269-AH 0.0020 0.0120 0.0140 0.0160 0.0160 0.0130 0.0035 0.0040 0.0140 0.2704 0.0121 0.0101 0.0024 0.0080 0.0160 0.0136 0.0023 270-AH 0.0120 0.0840 0.1060 0.1120 0.1140 0.0896 0.0337 0.0280 0.1020 0.3762 0.0768 0.0534 0.0257 0.0500 0.1140 0.0993 0.0196 271-AH 0.0060 0.0280 0.0430 0.0460 0.0460 0.0353 0.0141 0.0180 0.0400 0.3979 0.0307 0.0237 0.0116 0.0060 0.0460 0.0353 0.0141 272-AH 0.0000 0.0220 0.0240 0.0260 0.0280 0.0212 0.0085 0.0040 0.0280 0.4026 0.0099 0.0001 0.0057 0.0220 0.0280 0.0247 0.0024 273-AH 0.0340 0.0560 0.1170 0.1580 0.1660 0.1123 0.0468 0.1020 0.1320 0.4167 0.1006 0.0871 0.0385 0.0340 0.1660 0.1123 0.0468 274-AH 0.0020 0.0020 0.0080 0.0180 0.0320 0.0113 0.0090 0.0160 0.0300 0.7915 0.0076 0.0048 0.0079 0.0020 0.0320 0.0113 0.0090 275-AH 0.0820 0.0880 0.1080 0.1200 0.1220 0.1051 0.0143 0.0320 0.0400 0.1365 0.1041 0.1031 0.0120 0.0820 0.1220 0.1051 0.0143 276-AH 0.0020 0.0340 0.0740 0.0820 0.1140 0.0657 0.0370 0.0480 0.1120 0.5637 0.0452 0.0174 0.0289 0.0020 0.1140 0.0657 0.0370 277-AH 0.0080 0.0240 0.0260 0.0320 0.0400 0.0277 0.0076 0.0080 0.0320 0.2753 0.0264 0.0244 0.0054 0.0200 0.0400 0.0288 0.0060 278-AH 0.0020 0.0060 0.0090 0.0160 0.0380 0.0141 0.0122 0.0100 0.0360 0.8635 0.0103 0.0077 0.0095 0.0020 0.0260 0.0093 0.0058 279-AH 0.0000 0.0040 0.0060 0.0080 0.0080 0.0059 0.0023 0.0040 0.0080 0.3946 0.0041 0.0002 0.0017 0.0000 0.0080 0.0059 0.0023 280-AH 0.0060 0.0140 0.0290 0.0300 0.0400 0.0243 0.0107 0.0160 0.0340 0.4379 0.0213 0.0176 0.0091 0.0060 0.0400 0.0243 0.0107 281-AH 0.0480 0.0820 0.0820 0.0840 0.0840 0.0786 0.0112 0.0020 0.0360 0.1429 0.0776 0.0764 0.0075 0.0820 0.0840 0.0831 0.0010 282-AH 0.0100 0.0360 0.0400 0.0480 0.0500 0.0387 0.0111 0.0120 0.0400 0.2877 0.0363 0.0325 0.0081 0.0300 0.0500 0.0419 0.0063 283-AH 0.0100 0.0280 0.0380 0.0440 0.0640 0.0371 0.0133 0.0160 0.0540 0.3595 0.0339 0.0293 0.0095 0.0100 0.0640 0.0371 0.0133 284-AH 0.0020 0.0140 0.0540 0.0760 0.0760 0.0459 0.0300 0.0620 0.0740 0.6548 0.0306 0.0144 0.0268 0.0020 0.0760 0.0459 0.0300 285-AH 0.0020 0.0200 0.0790 0.1240 0.1320 0.0753 0.0500 0.1040 0.1300 0.6634 0.0472 0.0164 0.0449 0.0020 0.1320 0.0753 0.0500 286-AH 0.0000 0.0060 0.0080 0.0100 0.0140 0.0074 0.0042 0.0040 0.0140 0.5590 0.0036 0.0001 0.0033 0.0020 0.0140 0.0084 0.0034 287-AH 0.0060 0.0300 0.0890 0.0940 0.0960 0.0720 0.0320 0.0640 0.0900 0.4442 0.0595 0.0389 0.0273 0.0060 0.0960 0.0720 0.0320 288-AH 0.0000 0.0360 0.0670 0.0780 0.0960 0.0566 0.0318 0.0420 0.0960 0.5615 0.0295 0.0002 0.0264 0.0000 0.0960 0.0566 0.0318 289-AH 0.0000 0.0320 0.0340 0.0360 0.0360 0.0303 0.0112 0.0040 0.0360 0.3690 0.0138 0.0001 0.0068 0.0300 0.0360 0.0341 0.0020 290-AH 0.0000 0.0120 0.0650 0.0760 0.0940 0.0528 0.0341 0.0640 0.0940 0.6468 0.0242 0.0002 0.0299 0.0000 0.0940 0.0528 0.0341 423 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0100 0.0360 0.0500 0.0540 0.0560 0.0432 0.0144 0.0180 0.0460 0.3341 0.0396 0.0341 0.0117 0.0100 0.0560 0.0432 0.0144 292-AH 0.0000 0.0080 0.0080 0.0080 0.0080 0.0068 0.0028 0.0000 0.0080 0.4190 0.0035 0.0001 0.0020 0.0080 0.0080 0.0080 0.0000 293-AH 0.0000 0.0240 0.0680 0.0680 0.0680 0.0491 0.0268 0.0440 0.0680 0.5452 0.0191 0.0001 0.0236 0.0000 0.0680 0.0491 0.0268 294-AH 0.0000 0.0180 0.0540 0.0540 0.0540 0.0387 0.0206 0.0360 0.0540 0.5337 0.0216 0.0002 0.0185 0.0000 0.0540 0.0387 0.0206 295-AH 0.0000 0.0100 0.0250 0.0580 0.0780 0.0340 0.0282 0.0480 0.0780 0.8297 0.0115 0.0001 0.0247 0.0000 0.0780 0.0340 0.0282 296-AH 0.0020 0.0420 0.0480 0.0480 0.0480 0.0418 0.0130 0.0060 0.0460 0.3111 0.0362 0.0197 0.0090 0.0340 0.0480 0.0459 0.0049 297-AH 0.0000 0.0080 0.0120 0.0180 0.0220 0.0114 0.0069 0.0100 0.0220 0.6018 0.0039 0.0001 0.0053 0.0000 0.0220 0.0114 0.0069 298-AH 0.0060 0.0300 0.0380 0.0440 0.0540 0.0349 0.0129 0.0140 0.0480 0.3685 0.0307 0.0234 0.0097 0.0220 0.0540 0.0385 0.0079 299-AH 0.0000 0.0180 0.0700 0.1160 0.1400 0.0677 0.0480 0.0980 0.1400 0.7097 0.0315 0.0002 0.0437 0.0000 0.1400 0.0677 0.0480 300-AH 0.0000 0.0180 0.0640 0.0700 0.0820 0.0513 0.0276 0.0520 0.0820 0.5379 0.0286 0.0002 0.0241 0.0000 0.0820 0.0513 0.0276 301-AH 0.0000 0.0040 0.0120 0.0300 0.0320 0.0148 0.0120 0.0260 0.0320 0.8135 0.0042 0.0001 0.0102 0.0000 0.0320 0.0148 0.0120 302-AH 0.0100 0.0320 0.0340 0.0340 0.0340 0.0312 0.0059 0.0020 0.0240 0.1879 0.0303 0.0287 0.0034 0.0300 0.0340 0.0330 0.0015 303-AH 0.0060 0.0160 0.0180 0.0240 0.0240 0.0181 0.0052 0.0080 0.0180 0.2896 0.0172 0.0160 0.0039 0.0060 0.0240 0.0181 0.0052 304-AH 0.0000 0.0100 0.0170 0.0180 0.0280 0.0149 0.0087 0.0080 0.0280 0.5832 0.0065 0.0001 0.0068 0.0000 0.0280 0.0149 0.0087 305-AH 0.0020 0.0080 0.0490 0.0940 0.1040 0.0520 0.0456 0.0860 0.1020 0.8770 0.0258 0.0109 0.0440 0.0020 0.1040 0.0520 0.0456 306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 307-AH 0.0000 0.0040 0.0310 0.0820 0.1380 0.0449 0.0432 0.0780 0.1380 0.9623 0.0153 0.0002 0.0378 0.0000 0.1380 0.0449 0.0432 308-AH 0.0180 0.0180 0.0200 0.0200 0.0200 0.0194 0.0009 0.0020 0.0020 0.0474 0.0194 0.0194 0.0008 0.0180 0.0200 0.0194 0.0009 309-AH 0.0060 0.0100 0.0140 0.0200 0.0200 0.0144 0.0050 0.0100 0.0140 0.3443 0.0135 0.0126 0.0043 0.0060 0.0200 0.0144 0.0050 310-AH 0.0040 0.0060 0.0190 0.0460 0.0700 0.0260 0.0241 0.0400 0.0660 0.9280 0.0154 0.0092 0.0207 0.0040 0.0700 0.0260 0.0241 311-AH 0.0340 0.0700 0.0880 0.0940 0.1000 0.0794 0.0214 0.0240 0.0660 0.2692 0.0758 0.0712 0.0174 0.0360 0.1000 0.0821 0.0187 312-AH 0.0000 0.0020 0.0360 0.0600 0.0620 0.0314 0.0287 0.0580 0.0620 0.9128 0.0041 0.0000 0.0268 0.0000 0.0620 0.0314 0.0287 313-AH 0.0060 0.0120 0.0140 0.0220 0.0320 0.0163 0.0062 0.0100 0.0260 0.3786 0.0153 0.0142 0.0050 0.0060 0.0320 0.0163 0.0062 314-AH 0.0020 0.0120 0.0160 0.0180 0.0320 0.0161 0.0085 0.0060 0.0300 0.5275 0.0129 0.0085 0.0059 0.0040 0.0260 0.0152 0.0049 315-AH 0.0000 0.0280 0.0510 0.0560 0.1000 0.0476 0.0290 0.0280 0.1000 0.6107 0.0189 0.0001 0.0225 0.0000 0.0940 0.0445 0.0267 316-AH 0.0100 0.0560 0.0920 0.1620 0.1740 0.1010 0.0564 0.1060 0.1640 0.5588 0.0809 0.0556 0.0510 0.0100 0.1740 0.1010 0.0564 317-AH 0.0100 0.0320 0.0370 0.0500 0.0580 0.0399 0.0134 0.0180 0.0480 0.3363 0.0371 0.0333 0.0108 0.0100 0.0580 0.0399 0.0134 318-AH 0.0060 0.0100 0.0150 0.0180 0.0180 0.0140 0.0044 0.0080 0.0120 0.3176 0.0132 0.0122 0.0038 0.0060 0.0180 0.0140 0.0044 319-AH 0.0140 0.0240 0.0260 0.0260 0.0300 0.0252 0.0034 0.0020 0.0160 0.1364 0.0249 0.0246 0.0022 0.0240 0.0280 0.0253 0.0014 320-AH 0.0020 0.0080 0.0120 0.0180 0.0220 0.0122 0.0061 0.0100 0.0200 0.4953 0.0102 0.0075 0.0049 0.0020 0.0220 0.0122 0.0061 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0080 0.0160 0.0210 0.0220 0.0240 0.0193 0.0044 0.0060 0.0160 0.2272 0.0187 0.0179 0.0035 0.0080 0.0240 0.0193 0.0044 323-AH 0.0080 0.0180 0.0240 0.0320 0.0460 0.0256 0.0089 0.0140 0.0380 0.3495 0.0239 0.0218 0.0068 0.0080 0.0460 0.0256 0.0089 324-AH 0.0040 0.0200 0.0620 0.0840 0.1240 0.0602 0.0410 0.0640 0.1200 0.6812 0.0388 0.0171 0.0328 0.0040 0.1240 0.0602 0.0410 325-AH 0.0080 0.0200 0.0450 0.0680 0.1180 0.0530 0.0397 0.0480 0.1100 0.7486 0.0389 0.0272 0.0318 0.0080 0.1180 0.0530 0.0397 326-AH 0.0020 0.0060 0.0060 0.0060 0.0080 0.0059 0.0016 0.0000 0.0060 0.2725 0.0056 0.0051 0.0009 0.0060 0.0060 0.0060 0.0000 327-AH 0.0000 0.0020 0.0040 0.0080 0.0080 0.0044 0.0033 0.0060 0.0080 0.7330 0.0016 0.0001 0.0029 0.0000 0.0080 0.0044 0.0033 328-AH 0.0280 0.0380 0.0430 0.0460 0.0460 0.0403 0.0069 0.0080 0.0180 0.1711 0.0397 0.0390 0.0056 0.0280 0.0460 0.0403 0.0069 329-AH 0.0180 0.0300 0.0320 0.0340 0.0340 0.0306 0.0044 0.0040 0.0160 0.1434 0.0302 0.0298 0.0033 0.0240 0.0340 0.0313 0.0032 330-AH 0.0000 0.0980 0.0990 0.1020 0.1020 0.0886 0.0323 0.0040 0.1020 0.3646 0.0358 0.0001 0.0197 0.0960 0.1020 0.0996 0.0022 331-AH 0.0000 0.0340 0.0340 0.0340 0.0340 0.0312 0.0087 0.0000 0.0340 0.2772 0.0209 0.0002 0.0049 0.0340 0.0340 0.0340 0.0000 332-AH 0.0000 0.0160 0.0160 0.0160 0.0160 0.0142 0.0052 0.0000 0.0160 0.3638 0.0070 0.0001 0.0032 0.0160 0.0160 0.0160 0.0000 333-AH 0.0060 0.0100 0.0100 0.0100 0.0100 0.0096 0.0013 0.0000 0.0040 0.1354 0.0094 0.0093 0.0008 0.0100 0.0100 0.0100 0.0000 334-AH 0.0000 0.0080 0.0080 0.0080 0.0080 0.0072 0.0023 0.0000 0.0080 0.3170 0.0051 0.0002 0.0014 0.0080 0.0080 0.0080 0.0000 335-AH 0.0000 0.0060 0.0230 0.0280 0.0300 0.0183 0.0113 0.0220 0.0300 0.6163 0.0101 0.0002 0.0103 0.0000 0.0300 0.0183 0.0113 336-AH 0.0000 0.0040 0.0210 0.0300 0.0340 0.0178 0.0139 0.0260 0.0340 0.7831 0.0062 0.0001 0.0129 0.0000 0.0340 0.0178 0.0139 337-AH 0.0220 0.0360 0.0400 0.0400 0.0400 0.0371 0.0058 0.0040 0.0180 0.1560 0.0366 0.0358 0.0040 0.0340 0.0400 0.0390 0.0019 338-AH 0.0080 0.0140 0.0160 0.0180 0.0200 0.0154 0.0040 0.0040 0.0120 0.2583 0.0148 0.0141 0.0030 0.0120 0.0200 0.0169 0.0023 339-AH 0.0000 0.0380 0.0380 0.0380 0.0380 0.0337 0.0123 0.0000 0.0380 0.3641 0.0152 0.0001 0.0075 0.0380 0.0380 0.0380 0.0000 340-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0072 0.0046 0.0100 0.0100 0.6382 0.0015 0.0000 0.0040 0.0000 0.0100 0.0072 0.0046 424 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0040 0.0080 0.0090 0.0120 0.0120 0.0089 0.0028 0.0040 0.0080 0.3108 0.0084 0.0078 0.0022 0.0040 0.0120 0.0089 0.0028 342-AH 0.1180 0.1560 0.1840 0.1900 0.1920 0.1706 0.0259 0.0340 0.0740 0.1518 0.1684 0.1660 0.0211 0.1180 0.1920 0.1706 0.0259 343-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0013 0.0010 0.0020 0.0020 0.7276 0.0003 0.0000 0.0009 0.0000 0.0020 0.0013 0.0010 344-AH 0.0140 0.0460 0.0600 0.0640 0.0660 0.0524 0.0175 0.0180 0.0520 0.3329 0.0480 0.0411 0.0138 0.0300 0.0660 0.0573 0.0111 345-AH 0.0000 0.0060 0.0150 0.0160 0.0180 0.0120 0.0067 0.0100 0.0180 0.5542 0.0041 0.0001 0.0056 0.0000 0.0180 0.0120 0.0067 346-AH 0.0000 0.0000 0.0020 0.0220 0.0220 0.0100 0.0104 0.0220 0.0220 1.0426 0.0013 0.0000 0.0100 0.0000 0.0220 0.0100 0.0104 347-AH 0.0000 0.0080 0.0120 0.0140 0.0160 0.0107 0.0048 0.0060 0.0160 0.4456 0.0053 0.0001 0.0038 0.0000 0.0160 0.0107 0.0048 348-AH 0.0000 0.0020 0.0040 0.0040 0.0040 0.0032 0.0014 0.0020 0.0040 0.4331 0.0018 0.0001 0.0011 0.0000 0.0040 0.0032 0.0014 349-AH 0.0020 0.0460 0.0540 0.0540 0.0540 0.0469 0.0163 0.0080 0.0520 0.3466 0.0378 0.0170 0.0100 0.0460 0.0540 0.0524 0.0032 350-AH 0.0000 0.0200 0.0200 0.0200 0.0200 0.0178 0.0061 0.0000 0.0200 0.3449 0.0115 0.0002 0.0037 0.0200 0.0200 0.0200 0.0000 425 AH-ROBUST-CLEF2009 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 141-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0007 0.0005 0.0010 0.0010 0.6382 0.0003 0.0000 0.0004 0.0000 0.0010 0.0007 0.0005 142-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0078 0.0005 0.0000 0.0020 0.0657 0.0078 0.0078 0.0003 0.0080 0.0080 0.0080 0.0000 143-AH 0.0020 0.0090 0.0390 0.0390 0.0390 0.0286 0.0153 0.0300 0.0370 0.5353 0.0212 0.0115 0.0137 0.0020 0.0390 0.0286 0.0153 144-AH 0.0010 0.0010 0.0020 0.0030 0.0030 0.0020 0.0009 0.0020 0.0020 0.4537 0.0018 0.0016 0.0008 0.0010 0.0030 0.0020 0.0009 145-AH 0.0030 0.0260 0.0350 0.0370 0.0370 0.0296 0.0104 0.0110 0.0340 0.3502 0.0260 0.0186 0.0078 0.0200 0.0370 0.0326 0.0058 146-AH 0.0010 0.0010 0.0010 0.0020 0.0020 0.0014 0.0005 0.0010 0.0010 0.3612 0.0013 0.0012 0.0005 0.0010 0.0020 0.0014 0.0005 147-AH 0.0020 0.0260 0.0490 0.0500 0.0510 0.0387 0.0163 0.0240 0.0490 0.4213 0.0312 0.0163 0.0135 0.0020 0.0510 0.0387 0.0163 148-AH 0.0000 0.0020 0.0035 0.0040 0.0060 0.0031 0.0022 0.0020 0.0060 0.7141 0.0010 0.0000 0.0018 0.0000 0.0060 0.0031 0.0022 149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 150-AH 0.0000 0.0050 0.0065 0.0080 0.0100 0.0063 0.0027 0.0030 0.0100 0.4295 0.0044 0.0002 0.0021 0.0020 0.0100 0.0066 0.0023 151-AH 0.0010 0.0020 0.0030 0.0080 0.0100 0.0046 0.0034 0.0060 0.0090 0.7369 0.0034 0.0025 0.0031 0.0010 0.0100 0.0046 0.0034 152-AH 0.0000 0.0010 0.0080 0.0110 0.0110 0.0066 0.0047 0.0100 0.0110 0.7097 0.0017 0.0000 0.0041 0.0000 0.0110 0.0066 0.0047 153-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0006 0.0005 0.0010 0.0010 0.9204 0.0001 0.0000 0.0005 0.0000 0.0010 0.0006 0.0005 154-AH 0.0020 0.0180 0.0190 0.0200 0.0200 0.0174 0.0053 0.0020 0.0180 0.3054 0.0155 0.0114 0.0032 0.0180 0.0200 0.0192 0.0009 155-AH 0.0000 0.0010 0.0020 0.0030 0.0030 0.0019 0.0011 0.0020 0.0030 0.5429 0.0011 0.0001 0.0009 0.0000 0.0030 0.0019 0.0011 156-AH 0.0130 0.0150 0.0180 0.0200 0.0210 0.0174 0.0028 0.0050 0.0080 0.1612 0.0172 0.0170 0.0024 0.0130 0.0210 0.0174 0.0028 157-AH 0.0190 0.1210 0.1305 0.1320 0.1370 0.1147 0.0362 0.0110 0.1180 0.3157 0.1028 0.0796 0.0243 0.1160 0.1370 0.1293 0.0053 158-AH 0.0010 0.0120 0.0330 0.0340 0.0340 0.0244 0.0134 0.0220 0.0330 0.5484 0.0169 0.0072 0.0119 0.0010 0.0340 0.0244 0.0134 159-AH 0.0010 0.0120 0.0375 0.0440 0.0510 0.0316 0.0179 0.0320 0.0500 0.5673 0.0210 0.0081 0.0148 0.0010 0.0510 0.0316 0.0179 160-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0016 0.0007 0.0010 0.0020 0.4331 0.0010 0.0001 0.0006 0.0000 0.0020 0.0016 0.0007 161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 162-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0008 0.0004 0.0000 0.0010 0.5500 0.0004 0.0000 0.0003 0.0010 0.0010 0.0010 0.0000 163-AH 0.0940 0.1090 0.1145 0.1210 0.1210 0.1139 0.0077 0.0120 0.0270 0.0673 0.1137 0.1134 0.0060 0.0940 0.1210 0.1139 0.0077 164-AH 0.0020 0.0060 0.0135 0.0250 0.0270 0.0152 0.0096 0.0190 0.0250 0.6309 0.0115 0.0076 0.0085 0.0020 0.0270 0.0152 0.0096 165-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167-AH 0.0000 0.0040 0.0050 0.0050 0.0050 0.0042 0.0016 0.0010 0.0050 0.3795 0.0024 0.0001 0.0010 0.0040 0.0050 0.0047 0.0005 168-AH 0.0000 0.0180 0.0180 0.0180 0.0180 0.0161 0.0055 0.0000 0.0180 0.3419 0.0105 0.0002 0.0034 0.0180 0.0180 0.0180 0.0000 169-AH 0.0000 0.0040 0.0050 0.0050 0.0060 0.0043 0.0017 0.0010 0.0060 0.4036 0.0024 0.0001 0.0012 0.0040 0.0060 0.0049 0.0008 170-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0008 0.0004 0.0000 0.0010 0.4602 0.0005 0.0001 0.0003 0.0010 0.0010 0.0010 0.0000 171-AH 0.0060 0.0170 0.0180 0.0180 0.0190 0.0163 0.0039 0.0010 0.0130 0.2385 0.0156 0.0145 0.0025 0.0160 0.0190 0.0178 0.0009 172-AH 0.0000 0.0020 0.0045 0.0070 0.0070 0.0041 0.0030 0.0050 0.0070 0.7316 0.0012 0.0000 0.0028 0.0000 0.0070 0.0041 0.0030 173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 174-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000 175-AH 0.0000 0.0070 0.0070 0.0070 0.0070 0.0062 0.0021 0.0000 0.0070 0.3395 0.0043 0.0002 0.0013 0.0070 0.0070 0.0070 0.0000 176-AH 0.0200 0.0390 0.0390 0.0390 0.0390 0.0367 0.0056 0.0000 0.0190 0.1537 0.0362 0.0354 0.0035 0.0390 0.0390 0.0390 0.0000 177-AH 0.0100 0.0120 0.0130 0.0130 0.0130 0.0126 0.0008 0.0010 0.0030 0.0617 0.0126 0.0126 0.0006 0.0120 0.0130 0.0128 0.0004 178-AH 0.0000 0.0000 0.0020 0.0020 0.0040 0.0015 0.0012 0.0020 0.0040 0.8003 0.0004 0.0000 0.0010 0.0000 0.0040 0.0015 0.0012 179-AH 0.0010 0.0140 0.0175 0.0200 0.0220 0.0147 0.0073 0.0060 0.0210 0.4972 0.0109 0.0058 0.0057 0.0140 0.0220 0.0183 0.0024 180-AH 0.0000 0.0000 0.0200 0.0300 0.0400 0.0178 0.0168 0.0300 0.0400 0.9449 0.0016 0.0000 0.0153 0.0000 0.0400 0.0178 0.0168 181-AH 0.0880 0.0900 0.0910 0.0920 0.0920 0.0907 0.0015 0.0020 0.0040 0.0161 0.0907 0.0906 0.0012 0.0880 0.0920 0.0907 0.0015 182-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0038 0.0005 0.0000 0.0020 0.1451 0.0037 0.0037 0.0004 0.0040 0.0040 0.0040 0.0000 183-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0037 0.0006 0.0000 0.0020 0.1543 0.0037 0.0036 0.0004 0.0040 0.0040 0.0040 0.0000 184-AH 0.0010 0.0030 0.0070 0.0070 0.0090 0.0059 0.0029 0.0040 0.0080 0.4912 0.0048 0.0032 0.0024 0.0010 0.0090 0.0059 0.0029 185-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 187-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 188-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 1.0290 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005 189-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000 190-AH 0.0020 0.0060 0.0065 0.0070 0.0080 0.0062 0.0017 0.0010 0.0060 0.2732 0.0059 0.0055 0.0012 0.0060 0.0080 0.0069 0.0008 426 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 192-AH 0.0020 0.0040 0.0060 0.0060 0.0060 0.0051 0.0015 0.0020 0.0040 0.2838 0.0048 0.0045 0.0012 0.0020 0.0060 0.0051 0.0015 193-AH 0.0010 0.0050 0.0060 0.0070 0.0070 0.0054 0.0019 0.0020 0.0060 0.3576 0.0048 0.0038 0.0015 0.0030 0.0070 0.0060 0.0012 194-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0007 0.0005 0.0010 0.0010 0.6382 0.0003 0.0000 0.0004 0.0000 0.0010 0.0007 0.0005 195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 196-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 197-AH 0.0070 0.0500 0.0500 0.0500 0.0500 0.0463 0.0111 0.0000 0.0430 0.2394 0.0434 0.0361 0.0064 0.0500 0.0500 0.0500 0.0000 198-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0008 0.0004 0.0000 0.0010 0.5500 0.0004 0.0000 0.0003 0.0010 0.0010 0.0010 0.0000 199-AH 0.0090 0.0100 0.0100 0.0100 0.0100 0.0098 0.0004 0.0000 0.0010 0.0390 0.0098 0.0098 0.0003 0.0100 0.0100 0.0100 0.0000 200-AH 0.0060 0.0080 0.0080 0.0090 0.0090 0.0082 0.0009 0.0010 0.0030 0.1131 0.0081 0.0080 0.0006 0.0080 0.0090 0.0084 0.0005 251-AH 0.0090 0.0400 0.0510 0.0560 0.0590 0.0483 0.0119 0.0160 0.0500 0.2453 0.0456 0.0397 0.0082 0.0390 0.0590 0.0506 0.0069 252-AH 0.0040 0.0260 0.0280 0.0290 0.0290 0.0248 0.0080 0.0030 0.0250 0.3233 0.0224 0.0181 0.0057 0.0260 0.0290 0.0282 0.0011 253-AH 0.0070 0.0320 0.1015 0.1340 0.1450 0.0873 0.0485 0.1020 0.1380 0.5555 0.0682 0.0436 0.0431 0.0070 0.1450 0.0873 0.0485 254-AH 0.0070 0.1300 0.1520 0.1530 0.1790 0.1311 0.0510 0.0230 0.1720 0.3892 0.1041 0.0489 0.0350 0.1240 0.1790 0.1515 0.0167 255-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0036 0.0013 0.0000 0.0040 0.3638 0.0021 0.0001 0.0008 0.0040 0.0040 0.0040 0.0000 256-AH 0.0040 0.0180 0.0330 0.0330 0.0340 0.0268 0.0108 0.0150 0.0300 0.4035 0.0229 0.0164 0.0090 0.0040 0.0340 0.0268 0.0108 257-AH 0.0060 0.0230 0.0480 0.0570 0.0600 0.0404 0.0185 0.0340 0.0540 0.4591 0.0339 0.0252 0.0157 0.0060 0.0600 0.0404 0.0185 258-AH 0.0000 0.0000 0.0015 0.0030 0.0040 0.0015 0.0013 0.0030 0.0040 0.8930 0.0003 0.0000 0.0012 0.0000 0.0040 0.0015 0.0013 259-AH 0.0000 0.0020 0.0030 0.0030 0.0030 0.0023 0.0009 0.0010 0.0030 0.3889 0.0017 0.0002 0.0007 0.0010 0.0030 0.0025 0.0007 260-AH 0.0450 0.0500 0.0540 0.0590 0.0620 0.0540 0.0058 0.0090 0.0170 0.1069 0.0537 0.0534 0.0049 0.0450 0.0620 0.0540 0.0058 261-AH 0.0000 0.0090 0.0130 0.0180 0.0230 0.0134 0.0063 0.0090 0.0230 0.4720 0.0089 0.0002 0.0050 0.0000 0.0230 0.0134 0.0063 262-AH 0.0030 0.0220 0.0440 0.0530 0.0730 0.0401 0.0213 0.0310 0.0700 0.5328 0.0323 0.0208 0.0183 0.0030 0.0730 0.0401 0.0213 263-AH 0.0000 0.0020 0.0060 0.0130 0.0380 0.0121 0.0138 0.0110 0.0380 1.1421 0.0035 0.0001 0.0108 0.0000 0.0130 0.0053 0.0049 264-AH 0.0170 0.0180 0.0200 0.0210 0.0220 0.0196 0.0018 0.0030 0.0050 0.0915 0.0195 0.0194 0.0015 0.0170 0.0220 0.0196 0.0018 265-AH 0.0000 0.0060 0.0060 0.0060 0.0060 0.0052 0.0019 0.0000 0.0060 0.3690 0.0029 0.0001 0.0012 0.0060 0.0060 0.0060 0.0000 266-AH 0.0000 0.0000 0.0010 0.0040 0.0040 0.0016 0.0017 0.0040 0.0040 1.1074 0.0002 0.0000 0.0015 0.0000 0.0040 0.0016 0.0017 267-AH 0.0010 0.0120 0.0155 0.0180 0.0210 0.0148 0.0050 0.0060 0.0200 0.3377 0.0131 0.0084 0.0039 0.0100 0.0210 0.0156 0.0037 268-AH 0.0000 0.0020 0.0030 0.0030 0.0030 0.0024 0.0010 0.0010 0.0030 0.4096 0.0014 0.0001 0.0007 0.0020 0.0030 0.0027 0.0005 269-AH 0.0030 0.0070 0.0080 0.0080 0.0090 0.0072 0.0014 0.0010 0.0060 0.1873 0.0071 0.0068 0.0010 0.0060 0.0090 0.0075 0.0009 270-AH 0.0100 0.0470 0.0560 0.0570 0.0570 0.0471 0.0159 0.0100 0.0470 0.3377 0.0424 0.0344 0.0120 0.0330 0.0570 0.0533 0.0066 271-AH 0.0060 0.0150 0.0225 0.0230 0.0240 0.0187 0.0060 0.0080 0.0180 0.3188 0.0174 0.0155 0.0049 0.0060 0.0240 0.0187 0.0060 272-AH 0.0000 0.0120 0.0120 0.0140 0.0140 0.0113 0.0043 0.0020 0.0140 0.3792 0.0057 0.0001 0.0027 0.0100 0.0140 0.0128 0.0013 273-AH 0.0290 0.0380 0.0640 0.0810 0.0830 0.0615 0.0202 0.0430 0.0540 0.3292 0.0577 0.0535 0.0168 0.0290 0.0830 0.0615 0.0202 274-AH 0.0020 0.0020 0.0060 0.0100 0.0160 0.0068 0.0045 0.0080 0.0140 0.6609 0.0053 0.0040 0.0039 0.0020 0.0160 0.0068 0.0045 275-AH 0.0450 0.0530 0.0570 0.0620 0.0630 0.0564 0.0057 0.0090 0.0180 0.1014 0.0561 0.0558 0.0047 0.0450 0.0630 0.0564 0.0057 276-AH 0.0010 0.0210 0.0420 0.0500 0.0590 0.0370 0.0197 0.0290 0.0580 0.5329 0.0258 0.0094 0.0159 0.0010 0.0590 0.0370 0.0197 277-AH 0.0090 0.0120 0.0140 0.0190 0.0240 0.0152 0.0040 0.0070 0.0150 0.2669 0.0147 0.0142 0.0033 0.0090 0.0240 0.0152 0.0040 278-AH 0.0040 0.0050 0.0070 0.0120 0.0200 0.0091 0.0057 0.0070 0.0160 0.6242 0.0077 0.0067 0.0045 0.0040 0.0200 0.0091 0.0057 279-AH 0.0000 0.0030 0.0040 0.0040 0.0040 0.0032 0.0011 0.0010 0.0040 0.3458 0.0024 0.0002 0.0009 0.0020 0.0040 0.0034 0.0008 280-AH 0.0050 0.0100 0.0175 0.0220 0.0220 0.0158 0.0057 0.0120 0.0170 0.3581 0.0146 0.0132 0.0048 0.0050 0.0220 0.0158 0.0057 281-AH 0.0250 0.0410 0.0420 0.0420 0.0420 0.0401 0.0050 0.0010 0.0170 0.1245 0.0397 0.0393 0.0030 0.0410 0.0420 0.0418 0.0004 282-AH 0.0070 0.0200 0.0235 0.0260 0.0290 0.0217 0.0060 0.0060 0.0220 0.2748 0.0205 0.0187 0.0043 0.0180 0.0290 0.0235 0.0032 283-AH 0.0080 0.0210 0.0250 0.0280 0.0350 0.0244 0.0077 0.0070 0.0270 0.3154 0.0228 0.0206 0.0057 0.0200 0.0350 0.0265 0.0052 284-AH 0.0040 0.0090 0.0315 0.0380 0.0380 0.0252 0.0138 0.0290 0.0340 0.5468 0.0200 0.0143 0.0125 0.0040 0.0380 0.0252 0.0138 285-AH 0.0030 0.0160 0.0505 0.0660 0.0670 0.0413 0.0257 0.0500 0.0640 0.6209 0.0294 0.0158 0.0237 0.0030 0.0670 0.0413 0.0257 286-AH 0.0000 0.0030 0.0050 0.0060 0.0090 0.0049 0.0026 0.0030 0.0090 0.5259 0.0033 0.0002 0.0019 0.0000 0.0090 0.0049 0.0026 287-AH 0.0090 0.0170 0.0460 0.0470 0.0490 0.0377 0.0157 0.0300 0.0400 0.4150 0.0330 0.0268 0.0135 0.0090 0.0490 0.0377 0.0157 288-AH 0.0000 0.0220 0.0410 0.0480 0.0580 0.0344 0.0184 0.0260 0.0580 0.5328 0.0193 0.0002 0.0151 0.0000 0.0580 0.0344 0.0184 289-AH 0.0000 0.0160 0.0180 0.0180 0.0180 0.0154 0.0057 0.0020 0.0180 0.3684 0.0076 0.0001 0.0034 0.0160 0.0180 0.0173 0.0009 290-AH 0.0020 0.0090 0.0390 0.0430 0.0480 0.0307 0.0177 0.0340 0.0460 0.5765 0.0219 0.0115 0.0159 0.0020 0.0480 0.0307 0.0177 427 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 291-AH 0.0090 0.0220 0.0280 0.0290 0.0290 0.0248 0.0056 0.0070 0.0200 0.2271 0.0240 0.0227 0.0044 0.0160 0.0290 0.0258 0.0041 292-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0035 0.0013 0.0000 0.0040 0.3699 0.0020 0.0001 0.0008 0.0040 0.0040 0.0040 0.0000 293-AH 0.0000 0.0180 0.0340 0.0340 0.0340 0.0255 0.0128 0.0160 0.0340 0.5024 0.0110 0.0001 0.0110 0.0000 0.0340 0.0255 0.0128 294-AH 0.0020 0.0090 0.0270 0.0270 0.0270 0.0196 0.0101 0.0180 0.0250 0.5165 0.0152 0.0092 0.0090 0.0020 0.0270 0.0196 0.0101 295-AH 0.0010 0.0090 0.0150 0.0320 0.0440 0.0205 0.0150 0.0230 0.0430 0.7338 0.0141 0.0074 0.0133 0.0010 0.0440 0.0205 0.0150 296-AH 0.0020 0.0220 0.0240 0.0240 0.0240 0.0212 0.0061 0.0020 0.0220 0.2863 0.0191 0.0138 0.0042 0.0220 0.0240 0.0239 0.0005 297-AH 0.0000 0.0050 0.0080 0.0110 0.0120 0.0072 0.0042 0.0060 0.0120 0.5827 0.0027 0.0001 0.0034 0.0000 0.0120 0.0072 0.0042 298-AH 0.0030 0.0200 0.0240 0.0270 0.0280 0.0214 0.0076 0.0070 0.0250 0.3531 0.0189 0.0140 0.0053 0.0130 0.0280 0.0237 0.0041 299-AH 0.0010 0.0130 0.0425 0.0680 0.0760 0.0417 0.0270 0.0550 0.0750 0.6468 0.0287 0.0109 0.0244 0.0010 0.0760 0.0417 0.0270 300-AH 0.0060 0.0150 0.0355 0.0400 0.0410 0.0305 0.0126 0.0250 0.0350 0.4137 0.0265 0.0210 0.0105 0.0060 0.0410 0.0305 0.0126 301-AH 0.0000 0.0030 0.0060 0.0150 0.0160 0.0077 0.0058 0.0120 0.0160 0.7535 0.0042 0.0002 0.0049 0.0000 0.0160 0.0077 0.0058 302-AH 0.0050 0.0160 0.0170 0.0170 0.0170 0.0158 0.0028 0.0010 0.0120 0.1776 0.0154 0.0146 0.0015 0.0150 0.0170 0.0165 0.0008 303-AH 0.0030 0.0090 0.0110 0.0130 0.0140 0.0107 0.0029 0.0040 0.0110 0.2692 0.0102 0.0094 0.0021 0.0030 0.0140 0.0107 0.0029 304-AH 0.0000 0.0070 0.0090 0.0110 0.0150 0.0085 0.0042 0.0040 0.0150 0.4979 0.0053 0.0002 0.0031 0.0020 0.0150 0.0095 0.0033 305-AH 0.0020 0.0100 0.0345 0.0520 0.0610 0.0324 0.0236 0.0420 0.0590 0.7294 0.0209 0.0108 0.0223 0.0020 0.0610 0.0324 0.0236 306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000 307-AH 0.0010 0.0060 0.0235 0.0500 0.0700 0.0291 0.0239 0.0440 0.0690 0.8214 0.0165 0.0067 0.0211 0.0010 0.0700 0.0291 0.0239 308-AH 0.0090 0.0090 0.0100 0.0100 0.0110 0.0099 0.0007 0.0010 0.0020 0.0684 0.0099 0.0098 0.0005 0.0090 0.0110 0.0099 0.0007 309-AH 0.0040 0.0070 0.0090 0.0100 0.0100 0.0085 0.0018 0.0030 0.0060 0.2106 0.0083 0.0080 0.0015 0.0040 0.0100 0.0085 0.0018 310-AH 0.0030 0.0040 0.0150 0.0310 0.0410 0.0172 0.0142 0.0270 0.0380 0.8227 0.0113 0.0073 0.0122 0.0030 0.0410 0.0172 0.0142 311-AH 0.0220 0.0440 0.0490 0.0510 0.0520 0.0456 0.0080 0.0070 0.0300 0.1756 0.0447 0.0436 0.0061 0.0340 0.0520 0.0470 0.0056 312-AH 0.0000 0.0010 0.0240 0.0310 0.0310 0.0167 0.0147 0.0300 0.0310 0.8796 0.0033 0.0001 0.0140 0.0000 0.0310 0.0167 0.0147 313-AH 0.0030 0.0080 0.0100 0.0130 0.0160 0.0101 0.0031 0.0050 0.0130 0.3051 0.0096 0.0088 0.0023 0.0030 0.0160 0.0101 0.0031 314-AH 0.0010 0.0080 0.0100 0.0120 0.0170 0.0095 0.0045 0.0040 0.0160 0.4739 0.0076 0.0046 0.0033 0.0070 0.0170 0.0111 0.0027 315-AH 0.0040 0.0190 0.0275 0.0290 0.0530 0.0273 0.0140 0.0100 0.0490 0.5141 0.0229 0.0170 0.0102 0.0040 0.0380 0.0224 0.0093 316-AH 0.0130 0.0410 0.0645 0.1030 0.1050 0.0701 0.0322 0.0620 0.0920 0.4593 0.0607 0.0489 0.0281 0.0130 0.1050 0.0701 0.0322 317-AH 0.0060 0.0210 0.0235 0.0280 0.0300 0.0227 0.0062 0.0070 0.0240 0.2753 0.0215 0.0195 0.0044 0.0140 0.0300 0.0236 0.0048 318-AH 0.0030 0.0060 0.0085 0.0090 0.0090 0.0074 0.0020 0.0030 0.0060 0.2656 0.0071 0.0067 0.0017 0.0030 0.0090 0.0074 0.0020 319-AH 0.0070 0.0120 0.0130 0.0140 0.0150 0.0131 0.0019 0.0020 0.0080 0.1426 0.0129 0.0127 0.0012 0.0120 0.0150 0.0134 0.0011 320-AH 0.0030 0.0050 0.0070 0.0110 0.0140 0.0078 0.0035 0.0060 0.0110 0.4428 0.0071 0.0063 0.0029 0.0030 0.0140 0.0078 0.0035 321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 322-AH 0.0080 0.0100 0.0120 0.0130 0.0140 0.0117 0.0018 0.0030 0.0060 0.1543 0.0116 0.0114 0.0015 0.0080 0.0140 0.0117 0.0018 323-AH 0.0060 0.0120 0.0150 0.0180 0.0250 0.0151 0.0044 0.0060 0.0190 0.2913 0.0144 0.0136 0.0034 0.0060 0.0250 0.0151 0.0044 324-AH 0.0030 0.0150 0.0380 0.0480 0.0620 0.0342 0.0207 0.0330 0.0590 0.6053 0.0242 0.0128 0.0174 0.0030 0.0620 0.0342 0.0207 325-AH 0.0090 0.0180 0.0385 0.0450 0.0610 0.0346 0.0191 0.0270 0.0520 0.5515 0.0284 0.0222 0.0162 0.0090 0.0610 0.0346 0.0191 326-AH 0.0010 0.0030 0.0030 0.0040 0.0040 0.0031 0.0009 0.0010 0.0030 0.2894 0.0029 0.0026 0.0006 0.0030 0.0040 0.0034 0.0005 327-AH 0.0000 0.0010 0.0025 0.0040 0.0040 0.0025 0.0016 0.0030 0.0040 0.6325 0.0011 0.0001 0.0014 0.0000 0.0040 0.0025 0.0016 328-AH 0.0140 0.0200 0.0220 0.0230 0.0230 0.0209 0.0029 0.0030 0.0090 0.1373 0.0207 0.0204 0.0022 0.0170 0.0230 0.0217 0.0018 329-AH 0.0130 0.0150 0.0160 0.0170 0.0170 0.0158 0.0014 0.0020 0.0040 0.0885 0.0157 0.0157 0.0011 0.0130 0.0170 0.0158 0.0014 330-AH 0.0000 0.0500 0.0500 0.0510 0.0510 0.0449 0.0160 0.0010 0.0510 0.3560 0.0263 0.0002 0.0098 0.0490 0.0510 0.0504 0.0006 331-AH 0.0000 0.0170 0.0170 0.0170 0.0170 0.0158 0.0041 0.0000 0.0170 0.2605 0.0110 0.0002 0.0022 0.0170 0.0170 0.0170 0.0000 332-AH 0.0000 0.0080 0.0080 0.0080 0.0080 0.0071 0.0026 0.0000 0.0080 0.3638 0.0038 0.0001 0.0016 0.0080 0.0080 0.0080 0.0000 333-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0049 0.0003 0.0000 0.0010 0.0661 0.0049 0.0049 0.0002 0.0050 0.0050 0.0050 0.0000 334-AH 0.0000 0.0040 0.0040 0.0050 0.0050 0.0040 0.0014 0.0010 0.0050 0.3430 0.0029 0.0002 0.0008 0.0040 0.0050 0.0044 0.0005 335-AH 0.0000 0.0040 0.0125 0.0140 0.0150 0.0099 0.0052 0.0100 0.0150 0.5293 0.0062 0.0002 0.0047 0.0000 0.0150 0.0099 0.0052 336-AH 0.0000 0.0030 0.0115 0.0170 0.0170 0.0107 0.0067 0.0140 0.0170 0.6309 0.0059 0.0002 0.0059 0.0000 0.0170 0.0107 0.0067 337-AH 0.0120 0.0190 0.0200 0.0200 0.0200 0.0189 0.0026 0.0010 0.0080 0.1348 0.0187 0.0185 0.0015 0.0190 0.0200 0.0198 0.0004 338-AH 0.0040 0.0080 0.0080 0.0100 0.0100 0.0082 0.0018 0.0020 0.0060 0.2152 0.0079 0.0077 0.0013 0.0060 0.0100 0.0086 0.0012 339-AH 0.0000 0.0190 0.0190 0.0190 0.0190 0.0169 0.0060 0.0000 0.0190 0.3535 0.0106 0.0002 0.0036 0.0190 0.0190 0.0190 0.0000 340-AH 0.0000 0.0010 0.0050 0.0050 0.0050 0.0038 0.0020 0.0040 0.0050 0.5414 0.0019 0.0001 0.0018 0.0000 0.0050 0.0038 0.0020 428 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 341-AH 0.0020 0.0040 0.0045 0.0060 0.0060 0.0045 0.0014 0.0020 0.0040 0.3166 0.0042 0.0039 0.0012 0.0020 0.0060 0.0045 0.0014 342-AH 0.0730 0.0910 0.0960 0.0960 0.0960 0.0921 0.0066 0.0050 0.0230 0.0711 0.0919 0.0916 0.0049 0.0850 0.0960 0.0940 0.0035 343-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0008 0.0004 0.0000 0.0010 0.4602 0.0005 0.0001 0.0003 0.0010 0.0010 0.0010 0.0000 344-AH 0.0080 0.0290 0.0305 0.0330 0.0330 0.0281 0.0075 0.0040 0.0250 0.2671 0.0265 0.0240 0.0054 0.0230 0.0330 0.0309 0.0027 345-AH 0.0000 0.0040 0.0080 0.0090 0.0090 0.0062 0.0034 0.0050 0.0090 0.5445 0.0024 0.0001 0.0028 0.0000 0.0090 0.0062 0.0034 346-AH 0.0000 0.0020 0.0040 0.0110 0.0110 0.0058 0.0046 0.0090 0.0110 0.7933 0.0030 0.0002 0.0043 0.0000 0.0110 0.0058 0.0046 347-AH 0.0000 0.0070 0.0070 0.0080 0.0090 0.0067 0.0025 0.0010 0.0090 0.3816 0.0036 0.0001 0.0016 0.0060 0.0090 0.0075 0.0008 348-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0016 0.0007 0.0010 0.0020 0.4331 0.0010 0.0001 0.0006 0.0000 0.0020 0.0016 0.0007 349-AH 0.0020 0.0260 0.0270 0.0270 0.0270 0.0239 0.0080 0.0010 0.0250 0.3352 0.0200 0.0112 0.0049 0.0250 0.0270 0.0268 0.0006 350-AH 0.0020 0.0100 0.0100 0.0100 0.0100 0.0091 0.0026 0.0000 0.0080 0.2846 0.0083 0.0069 0.0016 0.0100 0.0100 0.0100 0.0000 429 Individual Experiment Results and Graphs 430 431 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,981 Pooled false Geometric Mean Average Precision 0.1945 Non-WSD 1 Binary Preference (BPREF) 0.4107 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.83 DA_1 10 64.80 90% 20 60.28 80% 30 53.38 40 49.42 70% 50 46.66 60% 60 41.39 Precision 70 35.38 50% 80 29.92 40% 90 24.69 30% 100 17.48 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 43.96 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1741 Second Quartile 0.4194 Third Quartile 0.6873 Interquartile range 0.5132 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4396 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3104 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4396 10 Std With No Outliers 0.3104 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 432 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.85 251-AH 57.37 281-AH 62.18 311-AH 42.30 341-AH 95.83 142-AH 97.50 172-AH 6.29 252-AH 46.30 282-AH 18.86 312-AH 29.22 342-AH 80.08 143-AH 92.86 173-AH 100.00 253-AH 43.58 283-AH 60.87 313-AH 2.05 343-AH 2.44 144-AH 71.01 174-AH 100.00 254-AH 25.21 284-AH 55.66 314-AH 7.78 344-AH 69.36 145-AH 67.49 175-AH 77.06 255-AH 46.68 285-AH 81.86 315-AH 49.87 345-AH 35.85 146-AH 25.26 176-AH 92.92 256-AH 84.96 286-AH 9.18 316-AH 7.39 346-AH 7.82 147-AH 82.86 177-AH 60.50 257-AH 26.42 287-AH 44.10 317-AH 23.53 347-AH 3.23 148-AH 11.66 178-AH 4.77 258-AH 2.36 288-AH 16.73 318-AH 46.32 348-AH 100.00 149-AH 0.00 179-AH 84.44 259-AH 67.29 289-AH 62.33 319-AH 42.74 349-AH 78.60 150-AH 14.99 180-AH 72.26 260-AH 64.72 290-AH 39.61 320-AH 2.28 350-AH 68.58 151-AH 3.93 181-AH 84.92 261-AH 11.26 291-AH 73.18 321-AH 0.00 152-AH 49.13 182-AH 15.38 262-AH 22.63 292-AH 81.67 322-AH 3.04 153-AH 0.00 183-AH 31.51 263-AH 22.60 293-AH 62.93 323-AH 32.65 154-AH 30.54 184-AH 54.43 264-AH 60.02 294-AH 68.70 324-AH 21.70 155-AH 16.54 185-AH 50.00 265-AH 42.12 295-AH 38.32 325-AH 53.68 156-AH 20.39 186-AH 0.00 266-AH 16.07 296-AH 48.04 326-AH 45.72 157-AH 68.51 187-AH 50.00 267-AH 33.72 297-AH 36.08 327-AH 5.12 158-AH 33.41 188-AH 14.29 268-AH 69.44 298-AH 16.68 328-AH 40.71 159-AH 25.09 189-AH 100.00 269-AH 21.24 299-AH 41.44 329-AH 63.91 160-AH 20.00 190-AH 68.75 270-AH 74.52 300-AH 19.62 330-AH 84.21 161-AH 0.00 191-AH 0.00 271-AH 58.84 301-AH 1.71 331-AH 25.33 162-AH 25.00 192-AH 94.44 272-AH 19.57 302-AH 45.05 332-AH 44.19 163-AH 86.45 193-AH 44.19 273-AH 81.18 303-AH 46.93 333-AH 100.00 164-AH 11.08 194-AH 20.00 274-AH 30.59 304-AH 33.49 334-AH 22.06 165-AH 100.00 195-AH 0.00 275-AH 30.93 305-AH 44.36 335-AH 19.00 166-AH 0.00 196-AH 100.00 276-AH 62.48 306-AH 100.00 336-AH 17.58 167-AH 9.53 197-AH 86.28 277-AH 17.23 307-AH 30.29 337-AH 87.15 168-AH 33.01 198-AH 100.00 278-AH 26.88 308-AH 81.72 338-AH 78.17 169-AH 0.72 199-AH 41.76 279-AH 31.01 309-AH 5.23 339-AH 73.16 170-AH 100.00 200-AH 62.56 280-AH 6.18 310-AH 10.74 340-AH 53.71 433 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.63 DA_1 10 docs 42.44 90% 15 docs 38.00 80% 20 docs 34.63 30 docs 30.42 70% 100 docs 16.89 60% 200 docs 10.07 Precision 500 docs 4.62 50% 1000 docs 2.49 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.62 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4202 Third Quartile 0.6316 Interquartile range 0.4316 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4162 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2984 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4162 15 Std With No Outliers 0.2984 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 434 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 58.46 281-AH 59.52 311-AH 48.15 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 22.58 312-AH 38.71 342-AH 78.12 143-AH 84.62 173-AH 100.00 253-AH 48.42 283-AH 63.16 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 30.57 284-AH 44.74 314-AH 5.56 344-AH 60.61 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 73.91 315-AH 57.63 345-AH 44.44 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 8.33 316-AH 8.47 346-AH 0.00 147-AH 80.39 177-AH 61.54 257-AH 34.92 287-AH 53.06 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 61.11 319-AH 47.37 349-AH 59.26 150-AH 30.00 180-AH 62.50 260-AH 60.32 290-AH 48.98 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 78.26 261-AH 20.59 291-AH 66.67 321-AH 0.00 152-AH 54.55 182-AH 25.00 262-AH 22.35 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 31.25 293-AH 61.76 323-AH 34.62 154-AH 28.57 184-AH 55.56 264-AH 54.55 294-AH 62.96 324-AH 28.38 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 43.14 325-AH 52.46 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 64.03 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00 158-AH 32.35 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 47.83 159-AH 27.78 189-AH 100.00 269-AH 22.22 299-AH 44.74 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 9.52 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 83.33 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 77.87 193-AH 28.57 273-AH 73.49 303-AH 42.86 333-AH 100.00 164-AH 11.11 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 40.91 305-AH 44.26 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 59.32 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 76.00 277-AH 34.62 307-AH 40.26 337-AH 80.00 168-AH 38.89 198-AH 100.00 278-AH 28.57 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 12.00 310-AH 20.63 340-AH 60.00 435 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,947 Pooled false Geometric Mean Average Precision 0.1951 Non-WSD 2 Binary Preference (BPREF) 0.4130 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.72 DA_2 10 64.65 90% 20 60.01 80% 30 53.66 40 50.25 70% 50 46.88 60% 60 41.47 Precision 70 35.34 50% 80 30.14 40% 90 24.69 30% 100 16.96 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 44.09 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1672 Second Quartile 0.4060 Third Quartile 0.6899 Interquartile range 0.5227 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4409 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3083 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4409 10 Std With No Outliers 0.3083 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 436 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 13.67 251-AH 57.20 281-AH 58.59 311-AH 39.13 341-AH 95.83 142-AH 97.50 172-AH 7.58 252-AH 44.67 282-AH 15.40 312-AH 30.21 342-AH 80.00 143-AH 92.12 173-AH 100.00 253-AH 45.59 283-AH 61.98 313-AH 1.76 343-AH 2.86 144-AH 73.81 174-AH 100.00 254-AH 23.60 284-AH 50.60 314-AH 7.62 344-AH 71.53 145-AH 67.44 175-AH 77.06 255-AH 44.37 285-AH 80.32 315-AH 53.73 345-AH 35.85 146-AH 50.48 176-AH 92.92 256-AH 85.01 286-AH 9.41 316-AH 2.01 346-AH 9.18 147-AH 83.32 177-AH 59.45 257-AH 24.30 287-AH 42.88 317-AH 20.26 347-AH 4.00 148-AH 8.92 178-AH 4.77 258-AH 2.48 288-AH 24.95 318-AH 39.27 348-AH 100.00 149-AH 0.00 179-AH 83.06 259-AH 67.28 289-AH 66.56 319-AH 42.74 349-AH 78.60 150-AH 14.99 180-AH 72.88 260-AH 66.26 290-AH 33.00 320-AH 2.19 350-AH 68.58 151-AH 3.93 181-AH 83.26 261-AH 11.45 291-AH 73.08 321-AH 0.00 152-AH 51.53 182-AH 15.43 262-AH 37.38 292-AH 81.67 322-AH 3.04 153-AH 0.00 183-AH 23.81 263-AH 23.44 293-AH 60.09 323-AH 30.97 154-AH 30.54 184-AH 54.43 264-AH 56.28 294-AH 65.51 324-AH 23.47 155-AH 16.05 185-AH 50.00 265-AH 46.34 295-AH 38.39 325-AH 51.45 156-AH 29.01 186-AH 0.00 266-AH 15.75 296-AH 53.69 326-AH 45.90 157-AH 59.50 187-AH 33.33 267-AH 33.81 297-AH 43.61 327-AH 14.24 158-AH 37.12 188-AH 14.29 268-AH 69.23 298-AH 18.53 328-AH 39.59 159-AH 24.23 189-AH 98.21 269-AH 19.71 299-AH 38.86 329-AH 63.91 160-AH 17.14 190-AH 68.75 270-AH 74.27 300-AH 26.65 330-AH 84.26 161-AH 0.00 191-AH 0.00 271-AH 60.86 301-AH 0.90 331-AH 25.33 162-AH 25.00 192-AH 94.44 272-AH 19.57 302-AH 40.08 332-AH 44.19 163-AH 85.94 193-AH 45.00 273-AH 79.16 303-AH 45.71 333-AH 100.00 164-AH 12.35 194-AH 20.00 274-AH 28.86 304-AH 32.74 334-AH 22.06 165-AH 100.00 195-AH 0.00 275-AH 39.25 305-AH 44.36 335-AH 19.00 166-AH 0.00 196-AH 100.00 276-AH 58.28 306-AH 100.00 336-AH 14.54 167-AH 9.23 197-AH 86.28 277-AH 16.29 307-AH 30.56 337-AH 87.15 168-AH 33.01 198-AH 100.00 278-AH 25.36 308-AH 82.28 338-AH 78.17 169-AH 0.73 199-AH 41.76 279-AH 41.13 309-AH 5.08 339-AH 73.16 170-AH 100.00 200-AH 69.57 280-AH 8.17 310-AH 10.75 340-AH 53.71 437 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 48.38 DA_2 10 docs 42.44 90% 15 docs 37.92 80% 20 docs 34.69 30 docs 30.58 70% 100 docs 17.01 60% 200 docs 10.14 Precision 500 docs 4.62 50% 1000 docs 2.47 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.67 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4226 Third Quartile 0.6427 Interquartile range 0.4427 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4167 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2964 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4167 15 Std With No Outliers 0.2964 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 438 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 56.92 281-AH 59.52 311-AH 48.15 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 22.58 312-AH 38.71 342-AH 77.08 143-AH 84.62 173-AH 100.00 253-AH 47.89 283-AH 65.79 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.44 284-AH 44.74 314-AH 5.56 344-AH 63.64 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 73.91 315-AH 62.71 345-AH 44.44 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 8.33 316-AH 7.63 346-AH 9.09 147-AH 76.47 177-AH 61.54 257-AH 30.16 287-AH 51.02 317-AH 26.67 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 40.79 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 61.11 319-AH 47.37 349-AH 59.26 150-AH 30.00 180-AH 62.50 260-AH 58.73 290-AH 42.86 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 78.26 261-AH 20.59 291-AH 70.00 321-AH 0.00 152-AH 54.55 182-AH 25.00 262-AH 38.82 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 61.76 323-AH 30.77 154-AH 28.57 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 31.08 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 43.14 325-AH 47.54 156-AH 36.36 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 57.55 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 0.00 158-AH 35.29 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 47.83 159-AH 25.93 189-AH 85.71 269-AH 11.11 299-AH 40.79 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 21.43 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 83.33 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 77.87 193-AH 28.57 273-AH 72.29 303-AH 42.86 333-AH 100.00 164-AH 11.11 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 43.94 305-AH 44.26 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 59.32 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 76.00 277-AH 34.62 307-AH 41.56 337-AH 80.00 168-AH 38.89 198-AH 100.00 278-AH 28.57 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 16.00 310-AH 20.63 340-AH 60.00 439 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,855 Pooled false Geometric Mean Average Precision 0.1846 Non-WSD 3 Binary Preference (BPREF) 0.4074 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.23 DA_3 10 64.30 90% 20 59.35 80% 30 53.64 40 48.55 70% 50 45.54 60% 60 39.73 Precision 70 34.34 50% 80 29.27 40% 90 24.38 30% 100 17.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 43.16 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1764 Second Quartile 0.3815 Third Quartile 0.6820 Interquartile range 0.5056 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4316 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3130 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4316 10 Std With No Outliers 0.3130 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 440 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.07 251-AH 56.38 281-AH 60.16 311-AH 39.69 341-AH 95.83 142-AH 97.50 172-AH 6.31 252-AH 41.02 282-AH 19.12 312-AH 15.45 342-AH 80.84 143-AH 92.74 173-AH 100.00 253-AH 42.55 283-AH 56.94 313-AH 1.45 343-AH 1.89 144-AH 57.69 174-AH 100.00 254-AH 24.78 284-AH 42.26 314-AH 8.04 344-AH 69.65 145-AH 67.21 175-AH 77.71 255-AH 34.70 285-AH 79.54 315-AH 58.40 345-AH 32.27 146-AH 50.81 176-AH 93.58 256-AH 85.84 286-AH 3.46 316-AH 0.72 346-AH 10.87 147-AH 67.42 177-AH 60.54 257-AH 28.57 287-AH 43.38 317-AH 21.65 347-AH 4.61 148-AH 8.78 178-AH 12.12 258-AH 3.23 288-AH 16.10 318-AH 41.08 348-AH 100.00 149-AH 0.00 179-AH 83.61 259-AH 67.75 289-AH 63.22 319-AH 39.93 349-AH 73.71 150-AH 16.66 180-AH 75.34 260-AH 62.88 290-AH 34.90 320-AH 1.25 350-AH 68.64 151-AH 5.18 181-AH 85.44 261-AH 10.06 291-AH 73.35 321-AH 0.00 152-AH 54.25 182-AH 7.99 262-AH 18.79 292-AH 73.21 322-AH 3.32 153-AH 0.00 183-AH 29.97 263-AH 18.74 293-AH 57.34 323-AH 29.06 154-AH 33.94 184-AH 57.00 264-AH 61.94 294-AH 69.20 324-AH 22.53 155-AH 22.90 185-AH 100.00 265-AH 21.78 295-AH 33.63 325-AH 51.75 156-AH 36.76 186-AH 0.00 266-AH 15.95 296-AH 53.52 326-AH 53.46 157-AH 66.89 187-AH 33.33 267-AH 32.72 297-AH 30.77 327-AH 4.36 158-AH 22.48 188-AH 20.00 268-AH 57.68 298-AH 10.63 328-AH 42.20 159-AH 23.32 189-AH 94.78 269-AH 15.87 299-AH 40.07 329-AH 65.38 160-AH 22.92 190-AH 68.95 270-AH 71.31 300-AH 25.68 330-AH 82.07 161-AH 0.00 191-AH 0.00 271-AH 60.16 301-AH 0.52 331-AH 23.45 162-AH 25.00 192-AH 95.83 272-AH 21.39 302-AH 30.72 332-AH 43.99 163-AH 83.36 193-AH 47.49 273-AH 82.57 303-AH 44.69 333-AH 100.00 164-AH 6.72 194-AH 33.33 274-AH 26.92 304-AH 30.45 334-AH 24.47 165-AH 100.00 195-AH 0.00 275-AH 26.49 305-AH 40.76 335-AH 18.61 166-AH 0.00 196-AH 100.00 276-AH 51.01 306-AH 100.00 336-AH 20.28 167-AH 9.04 197-AH 90.76 277-AH 16.41 307-AH 24.00 337-AH 87.59 168-AH 32.93 198-AH 100.00 278-AH 25.21 308-AH 81.24 338-AH 78.77 169-AH 1.06 199-AH 39.53 279-AH 31.38 309-AH 4.11 339-AH 69.97 170-AH 100.00 200-AH 63.98 280-AH 7.89 310-AH 10.52 340-AH 53.27 441 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 48.63 DA_3 10 docs 40.81 90% 15 docs 37.00 80% 20 docs 33.72 30 docs 29.96 70% 100 docs 16.40 60% 200 docs 9.91 Precision 500 docs 4.56 50% 1000 docs 2.41 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.13 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1791 Second Quartile 0.3849 Third Quartile 0.6466 Interquartile range 0.4675 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4113 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2998 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4113 15 Std With No Outliers 0.2998 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 442 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 55.38 281-AH 59.52 311-AH 44.44 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 22.58 312-AH 32.26 342-AH 76.04 143-AH 82.05 173-AH 100.00 253-AH 46.84 283-AH 52.63 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 32.31 284-AH 44.74 314-AH 11.11 344-AH 63.64 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 73.91 315-AH 64.41 345-AH 33.33 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 8.33 316-AH 0.85 346-AH 18.18 147-AH 60.78 177-AH 69.23 257-AH 34.92 287-AH 51.02 317-AH 26.67 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 26.32 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 72.73 259-AH 66.67 289-AH 61.11 319-AH 42.11 349-AH 59.26 150-AH 30.00 180-AH 65.00 260-AH 58.73 290-AH 40.82 320-AH 0.00 350-AH 70.00 151-AH 0.00 181-AH 79.35 261-AH 17.65 291-AH 66.67 321-AH 0.00 152-AH 54.55 182-AH 0.00 262-AH 22.35 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 25.00 293-AH 61.76 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 32.43 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 35.29 325-AH 47.54 156-AH 36.36 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 60.43 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00 158-AH 29.41 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 47.83 159-AH 25.93 189-AH 85.71 269-AH 11.11 299-AH 42.11 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 30.95 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 0.00 331-AH 11.76 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 74.59 193-AH 28.57 273-AH 73.49 303-AH 42.86 333-AH 100.00 164-AH 11.11 194-AH 0.00 274-AH 31.25 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 31.82 305-AH 42.62 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 55.93 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 78.00 277-AH 26.92 307-AH 36.36 337-AH 85.00 168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 15.87 340-AH 60.00 443 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 4,009 Pooled false Geometric Mean Average Precision 0.2042 Non-WSD 4 Binary Preference (BPREF) 0.4246 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.30 DA_4 10 66.00 90% 20 60.91 80% 30 54.64 40 50.59 70% 50 47.41 60% 60 42.61 Precision 70 36.89 50% 80 31.73 40% 90 26.31 30% 100 18.41 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 45.09 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1879 Second Quartile 0.4026 Third Quartile 0.7085 Interquartile range 0.5206 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4509 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3113 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4509 10 Std With No Outliers 0.3113 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 444 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 17.04 251-AH 59.30 281-AH 51.96 311-AH 37.26 341-AH 97.62 142-AH 97.50 172-AH 8.99 252-AH 43.44 282-AH 16.49 312-AH 73.98 342-AH 79.69 143-AH 92.98 173-AH 100.00 253-AH 45.07 283-AH 56.55 313-AH 1.46 343-AH 3.70 144-AH 75.00 174-AH 100.00 254-AH 21.97 284-AH 60.49 314-AH 7.66 344-AH 70.64 145-AH 65.90 175-AH 77.71 255-AH 59.72 285-AH 78.60 315-AH 40.49 345-AH 29.75 146-AH 25.54 176-AH 93.58 256-AH 85.75 286-AH 9.61 316-AH 10.28 346-AH 7.62 147-AH 83.92 177-AH 60.41 257-AH 19.33 287-AH 42.36 317-AH 18.89 347-AH 3.19 148-AH 9.29 178-AH 11.88 258-AH 3.49 288-AH 31.01 318-AH 27.45 348-AH 100.00 149-AH 0.00 179-AH 73.74 259-AH 56.15 289-AH 66.15 319-AH 39.93 349-AH 73.71 150-AH 16.81 180-AH 74.60 260-AH 67.07 290-AH 35.21 320-AH 3.23 350-AH 68.64 151-AH 5.18 181-AH 81.66 261-AH 12.21 291-AH 74.80 321-AH 0.00 152-AH 45.78 182-AH 33.29 262-AH 34.79 292-AH 88.75 322-AH 3.31 153-AH 0.00 183-AH 18.69 263-AH 27.60 293-AH 62.05 323-AH 30.07 154-AH 33.94 184-AH 59.82 264-AH 61.60 294-AH 62.35 324-AH 22.84 155-AH 10.86 185-AH 100.00 265-AH 69.50 295-AH 37.33 325-AH 52.38 156-AH 9.44 186-AH 0.00 266-AH 18.45 296-AH 52.45 326-AH 46.06 157-AH 49.30 187-AH 25.00 267-AH 35.46 297-AH 44.38 327-AH 40.21 158-AH 63.34 188-AH 20.00 268-AH 68.79 298-AH 30.54 328-AH 41.82 159-AH 23.94 189-AH 100.00 269-AH 24.23 299-AH 24.59 329-AH 64.16 160-AH 14.58 190-AH 71.06 270-AH 73.47 300-AH 21.98 330-AH 84.05 161-AH 0.00 191-AH 0.00 271-AH 53.93 301-AH 1.68 331-AH 26.64 162-AH 25.00 192-AH 95.83 272-AH 21.39 302-AH 32.87 332-AH 43.99 163-AH 85.79 193-AH 51.13 273-AH 79.48 303-AH 39.54 333-AH 100.00 164-AH 23.38 194-AH 25.00 274-AH 32.80 304-AH 34.78 334-AH 23.31 165-AH 100.00 195-AH 0.00 275-AH 44.16 305-AH 40.31 335-AH 18.61 166-AH 0.00 196-AH 100.00 276-AH 61.81 306-AH 100.00 336-AH 10.13 167-AH 8.95 197-AH 90.76 277-AH 16.59 307-AH 35.81 337-AH 87.59 168-AH 32.93 198-AH 100.00 278-AH 22.76 308-AH 81.46 338-AH 78.77 169-AH 0.92 199-AH 39.05 279-AH 56.85 309-AH 6.15 339-AH 69.97 170-AH 100.00 200-AH 73.57 280-AH 10.62 310-AH 10.39 340-AH 53.27 445 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 50.00 DA_4 10 docs 42.19 90% 15 docs 37.88 80% 20 docs 34.72 30 docs 30.77 70% 100 docs 16.95 60% 200 docs 10.19 Precision 500 docs 4.72 50% 1000 docs 2.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 43.01 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4286 Third Quartile 0.6667 Interquartile range 0.4667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4301 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2987 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4301 15 Std With No Outliers 0.2987 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 446 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 56.92 281-AH 52.38 311-AH 46.30 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 41.38 282-AH 25.81 312-AH 61.29 342-AH 77.08 143-AH 84.62 173-AH 100.00 253-AH 48.95 283-AH 52.63 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.88 284-AH 57.89 314-AH 5.56 344-AH 66.67 145-AH 65.79 175-AH 57.14 255-AH 50.00 285-AH 73.91 315-AH 50.85 345-AH 33.33 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 8.33 316-AH 6.78 346-AH 0.00 147-AH 76.47 177-AH 69.23 257-AH 26.98 287-AH 51.02 317-AH 26.67 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 43.42 318-AH 33.33 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 61.11 319-AH 42.11 349-AH 59.26 150-AH 30.00 180-AH 62.50 260-AH 58.73 290-AH 42.86 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 76.09 261-AH 20.59 291-AH 70.00 321-AH 0.00 152-AH 36.36 182-AH 25.00 262-AH 35.29 292-AH 75.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 33.33 293-AH 61.76 323-AH 30.77 154-AH 38.10 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 28.38 155-AH 0.00 185-AH 100.00 265-AH 66.67 295-AH 43.14 325-AH 49.18 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00 157-AH 53.24 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 50.00 158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 36.67 328-AH 47.83 159-AH 27.78 189-AH 100.00 269-AH 22.22 299-AH 32.89 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 61.40 300-AH 19.05 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 29.41 332-AH 37.50 163-AH 77.05 193-AH 42.86 273-AH 71.08 303-AH 35.71 333-AH 100.00 164-AH 25.93 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 43.94 305-AH 42.62 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 62.71 306-AH 100.00 336-AH 11.76 167-AH 20.00 197-AH 78.00 277-AH 34.62 307-AH 42.86 337-AH 85.00 168-AH 38.89 198-AH 100.00 278-AH 28.57 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 16.00 310-AH 17.46 340-AH 60.00 447 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,997 Pooled false Geometric Mean Average Precision 0.2034 Non-WSD 5 Binary Preference (BPREF) 0.4208 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.10 DA_5 10 66.10 90% 20 61.16 80% 30 54.99 40 50.59 70% 50 47.70 60% 60 42.25 Precision 70 36.67 50% 80 31.63 40% 90 26.41 30% 100 18.78 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 45.00 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1881 Second Quartile 0.4188 Third Quartile 0.6865 Interquartile range 0.4984 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4500 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3088 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4500 10 Std With No Outliers 0.3088 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 448 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 9.07 251-AH 60.11 281-AH 57.05 311-AH 39.56 341-AH 97.62 142-AH 97.50 172-AH 7.93 252-AH 42.99 282-AH 17.42 312-AH 46.74 342-AH 80.95 143-AH 93.47 173-AH 100.00 253-AH 45.09 283-AH 59.88 313-AH 1.69 343-AH 2.63 144-AH 66.67 174-AH 100.00 254-AH 23.05 284-AH 50.65 314-AH 8.31 344-AH 70.30 145-AH 67.68 175-AH 78.99 255-AH 45.22 285-AH 80.04 315-AH 55.40 345-AH 26.15 146-AH 50.51 176-AH 93.89 256-AH 85.96 286-AH 9.31 316-AH 3.41 346-AH 8.95 147-AH 84.77 177-AH 59.85 257-AH 27.03 287-AH 42.21 317-AH 22.41 347-AH 3.68 148-AH 9.22 178-AH 12.47 258-AH 4.50 288-AH 25.84 318-AH 42.76 348-AH 100.00 149-AH 0.00 179-AH 72.58 259-AH 67.44 289-AH 61.17 319-AH 41.56 349-AH 70.09 150-AH 19.04 180-AH 77.26 260-AH 66.03 290-AH 35.41 320-AH 2.23 350-AH 68.67 151-AH 6.81 181-AH 83.68 261-AH 11.98 291-AH 74.13 321-AH 0.00 152-AH 54.16 182-AH 15.27 262-AH 35.81 292-AH 81.67 322-AH 3.48 153-AH 0.00 183-AH 19.86 263-AH 23.69 293-AH 60.05 323-AH 30.23 154-AH 37.64 184-AH 57.90 264-AH 65.28 294-AH 66.17 324-AH 23.10 155-AH 14.68 185-AH 100.00 265-AH 40.81 295-AH 38.24 325-AH 53.29 156-AH 30.35 186-AH 0.00 266-AH 16.81 296-AH 54.31 326-AH 54.19 157-AH 58.45 187-AH 33.33 267-AH 33.82 297-AH 44.74 327-AH 24.16 158-AH 44.73 188-AH 16.67 268-AH 68.21 298-AH 18.54 328-AH 43.66 159-AH 23.47 189-AH 100.00 269-AH 20.27 299-AH 35.78 329-AH 64.39 160-AH 15.56 190-AH 70.42 270-AH 73.09 300-AH 25.94 330-AH 83.20 161-AH 0.00 191-AH 0.00 271-AH 62.44 301-AH 1.26 331-AH 24.56 162-AH 25.00 192-AH 97.62 272-AH 22.45 302-AH 36.14 332-AH 43.99 163-AH 84.53 193-AH 52.83 273-AH 79.84 303-AH 43.89 333-AH 100.00 164-AH 14.60 194-AH 33.33 274-AH 31.89 304-AH 32.94 334-AH 24.56 165-AH 100.00 195-AH 0.00 275-AH 37.75 305-AH 40.51 335-AH 18.07 166-AH 0.00 196-AH 100.00 276-AH 58.54 306-AH 100.00 336-AH 18.82 167-AH 8.77 197-AH 94.92 277-AH 18.79 307-AH 35.67 337-AH 87.42 168-AH 32.93 198-AH 100.00 278-AH 22.55 308-AH 80.23 338-AH 72.89 169-AH 0.95 199-AH 39.05 279-AH 49.17 309-AH 5.05 339-AH 68.62 170-AH 100.00 200-AH 71.35 280-AH 9.63 310-AH 10.19 340-AH 53.22 449 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.13 DA_5 10 docs 42.63 90% 15 docs 38.04 80% 20 docs 34.69 30 docs 30.77 70% 100 docs 17.17 60% 200 docs 10.23 Precision 500 docs 4.68 50% 1000 docs 2.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 42.57 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4226 Third Quartile 0.6623 Interquartile range 0.4623 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4257 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3002 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4257 15 Std With No Outliers 0.3002 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 450 darmstadt 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 56.92 281-AH 59.52 311-AH 48.15 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 41.38 282-AH 22.58 312-AH 45.16 342-AH 75.00 143-AH 84.62 173-AH 100.00 253-AH 49.47 283-AH 63.16 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 30.57 284-AH 47.37 314-AH 5.56 344-AH 66.67 145-AH 65.79 175-AH 71.43 255-AH 25.00 285-AH 75.36 315-AH 61.02 345-AH 22.22 146-AH 50.00 176-AH 82.05 256-AH 70.59 286-AH 8.33 316-AH 6.78 346-AH 9.09 147-AH 78.43 177-AH 61.54 257-AH 31.75 287-AH 51.02 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 40.79 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 61.11 319-AH 36.84 349-AH 59.26 150-AH 30.00 180-AH 67.50 260-AH 57.14 290-AH 42.86 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 78.26 261-AH 20.59 291-AH 66.67 321-AH 0.00 152-AH 54.55 182-AH 25.00 262-AH 35.29 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 58.82 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 31.08 155-AH 0.00 185-AH 100.00 265-AH 33.33 295-AH 43.14 325-AH 50.82 156-AH 40.91 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 56.83 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 0.00 158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 47.83 159-AH 25.93 189-AH 100.00 269-AH 22.22 299-AH 42.11 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 66.67 300-AH 26.19 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 11.76 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 41.18 332-AH 37.50 163-AH 76.23 193-AH 42.86 273-AH 74.70 303-AH 50.00 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 42.42 305-AH 40.98 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 62.71 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 86.00 277-AH 34.62 307-AH 42.86 337-AH 80.00 168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 63.64 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 15.87 340-AH 60.00 451 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATDOMTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,840 Pooled false Geometric Mean Average Precision 0.1788 text + contextual information Binary Preference (BPREF) 0.3917 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.75 ISIENNATDOMTDN 10 67.54 90% 20 62.26 80% 30 52.70 40 48.15 70% 50 43.03 60% 60 36.69 Precision 70 30.29 50% 80 24.20 40% 90 18.91 30% 100 13.45 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 41.71 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1959 Second Quartile 0.3869 Third Quartile 0.6340 Interquartile range 0.4381 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4171 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2882 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4171 10 Std With No Outliers 0.2882 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ISIENNATDOMTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ISIENNATDOMTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ISIENNATDOMTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ISIENNATDOMTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ISIENNATDOMTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ISIENNATDOMTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ISIENNATDOMTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 452 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATDOMTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.83 251-AH 48.81 281-AH 48.99 311-AH 36.95 341-AH 67.94 142-AH 93.38 172-AH 8.02 252-AH 54.94 282-AH 13.20 312-AH 68.92 342-AH 56.37 143-AH 58.61 173-AH 100.00 253-AH 43.13 283-AH 24.30 313-AH 0.23 343-AH 5.56 144-AH 36.25 174-AH 100.00 254-AH 31.16 284-AH 52.27 314-AH 10.40 344-AH 28.82 145-AH 68.57 175-AH 72.46 255-AH 34.72 285-AH 73.98 315-AH 15.52 345-AH 22.77 146-AH 50.76 176-AH 91.93 256-AH 48.86 286-AH 10.72 316-AH 28.21 346-AH 9.65 147-AH 74.83 177-AH 30.84 257-AH 20.09 287-AH 44.26 317-AH 21.19 347-AH 4.85 148-AH 19.58 178-AH 27.87 258-AH 2.12 288-AH 17.45 318-AH 10.83 348-AH 100.00 149-AH 0.00 179-AH 38.54 259-AH 50.32 289-AH 76.43 319-AH 49.01 349-AH 38.85 150-AH 5.82 180-AH 67.52 260-AH 50.73 290-AH 29.24 320-AH 1.97 350-AH 64.31 151-AH 22.51 181-AH 86.59 261-AH 34.45 291-AH 49.49 321-AH 0.00 152-AH 63.40 182-AH 54.17 262-AH 41.26 292-AH 61.25 322-AH 3.49 153-AH 0.00 183-AH 48.07 263-AH 20.81 293-AH 68.85 323-AH 27.75 154-AH 41.77 184-AH 57.81 264-AH 36.70 294-AH 65.75 324-AH 54.19 155-AH 19.60 185-AH 33.33 265-AH 19.81 295-AH 14.11 325-AH 64.38 156-AH 16.00 186-AH 0.00 266-AH 12.95 296-AH 66.21 326-AH 25.00 157-AH 46.95 187-AH 100.00 267-AH 25.44 297-AH 49.50 327-AH 51.67 158-AH 0.01 188-AH 0.88 268-AH 66.84 298-AH 22.32 328-AH 60.70 159-AH 21.22 189-AH 87.14 269-AH 26.68 299-AH 37.02 329-AH 69.36 160-AH 4.55 190-AH 67.27 270-AH 70.73 300-AH 22.00 330-AH 68.28 161-AH 0.00 191-AH 0.00 271-AH 7.27 301-AH 1.47 331-AH 47.73 162-AH 50.00 192-AH 52.60 272-AH 9.73 302-AH 29.91 332-AH 51.25 163-AH 86.80 193-AH 58.37 273-AH 57.71 303-AH 30.36 333-AH 100.00 164-AH 16.83 194-AH 100.00 274-AH 42.50 304-AH 27.93 334-AH 45.22 165-AH 100.00 195-AH 0.00 275-AH 48.63 305-AH 28.78 335-AH 27.06 166-AH 0.00 196-AH 50.00 276-AH 54.27 306-AH 100.00 336-AH 24.66 167-AH 30.53 197-AH 79.57 277-AH 15.97 307-AH 33.90 337-AH 86.31 168-AH 49.81 198-AH 100.00 278-AH 30.00 308-AH 74.75 338-AH 64.83 169-AH 1.31 199-AH 55.20 279-AH 31.08 309-AH 4.76 339-AH 63.41 170-AH 100.00 200-AH 71.44 280-AH 4.27 310-AH 8.23 340-AH 34.67 453 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATDOMTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.13 ISIENNATDOMTDN 10 docs 40.56 90% 15 docs 36.17 80% 20 docs 33.19 30 docs 28.77 70% 100 docs 15.67 60% 200 docs 9.57 Precision 500 docs 4.49 50% 1000 docs 2.40 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.43 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2017 Second Quartile 0.4000 Third Quartile 0.5952 Interquartile range 0.3935 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4043 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2823 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4043 10 Std With No Outliers 0.2823 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ISIENNATDOMTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ISIENNATDOMTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ISIENNATDOMTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ISIENNATDOMTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ISIENNATDOMTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ISIENNATDOMTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ISIENNATDOMTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 454 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATDOMTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 49.23 281-AH 45.24 311-AH 44.44 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 51.72 282-AH 19.35 312-AH 64.52 342-AH 51.04 143-AH 51.28 173-AH 100.00 253-AH 49.47 283-AH 34.21 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 39.30 284-AH 44.74 314-AH 0.00 344-AH 27.27 145-AH 60.53 175-AH 71.43 255-AH 25.00 285-AH 69.57 315-AH 20.34 345-AH 22.22 146-AH 50.00 176-AH 82.05 256-AH 52.94 286-AH 8.33 316-AH 33.90 346-AH 9.09 147-AH 66.67 177-AH 46.15 257-AH 26.98 287-AH 51.02 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 30.26 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 31.82 259-AH 33.33 289-AH 72.22 319-AH 47.37 349-AH 33.33 150-AH 20.00 180-AH 62.50 260-AH 50.79 290-AH 28.57 320-AH 6.25 350-AH 60.00 151-AH 33.33 181-AH 79.35 261-AH 44.12 291-AH 56.67 321-AH 0.00 152-AH 63.64 182-AH 50.00 262-AH 44.71 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 61.76 323-AH 23.08 154-AH 42.86 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 56.76 155-AH 33.33 185-AH 0.00 265-AH 16.67 295-AH 31.37 325-AH 62.30 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 66.67 326-AH 25.00 157-AH 53.96 187-AH 100.00 267-AH 28.57 297-AH 41.67 327-AH 25.00 158-AH 0.00 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 60.87 159-AH 16.67 189-AH 71.43 269-AH 33.33 299-AH 36.84 329-AH 58.82 160-AH 0.00 190-AH 77.78 270-AH 63.16 300-AH 19.05 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 47.06 162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 50.00 163-AH 78.69 193-AH 57.14 273-AH 59.04 303-AH 42.86 333-AH 100.00 164-AH 11.11 194-AH 100.00 274-AH 50.00 304-AH 26.67 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 54.55 305-AH 32.79 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 57.63 306-AH 100.00 336-AH 29.41 167-AH 40.00 197-AH 72.00 277-AH 30.77 307-AH 45.45 337-AH 80.00 168-AH 50.00 198-AH 100.00 278-AH 28.57 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 9.52 340-AH 40.00 455 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,840 Pooled false Geometric Mean Average Precision 0.1788 text Binary Preference (BPREF) 0.3917 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.75 ISIENNATTDN 10 67.54 90% 20 62.26 80% 30 52.70 40 48.15 70% 50 43.03 60% 60 36.69 Precision 70 30.29 50% 80 24.20 40% 90 18.91 30% 100 13.45 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 41.71 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1959 Second Quartile 0.3869 Third Quartile 0.6340 Interquartile range 0.4381 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4171 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2882 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4171 10 Std With No Outliers 0.2882 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ISIENNATTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ISIENNATTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ISIENNATTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ISIENNATTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ISIENNATTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ISIENNATTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ISIENNATTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 456 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.83 251-AH 48.81 281-AH 48.99 311-AH 36.95 341-AH 67.94 142-AH 93.38 172-AH 8.02 252-AH 54.94 282-AH 13.20 312-AH 68.92 342-AH 56.37 143-AH 58.61 173-AH 100.00 253-AH 43.13 283-AH 24.30 313-AH 0.23 343-AH 5.56 144-AH 36.25 174-AH 100.00 254-AH 31.16 284-AH 52.27 314-AH 10.40 344-AH 28.82 145-AH 68.57 175-AH 72.46 255-AH 34.72 285-AH 73.98 315-AH 15.52 345-AH 22.77 146-AH 50.76 176-AH 91.93 256-AH 48.86 286-AH 10.72 316-AH 28.21 346-AH 9.65 147-AH 74.83 177-AH 30.84 257-AH 20.09 287-AH 44.26 317-AH 21.19 347-AH 4.85 148-AH 19.58 178-AH 27.87 258-AH 2.12 288-AH 17.45 318-AH 10.83 348-AH 100.00 149-AH 0.00 179-AH 38.54 259-AH 50.32 289-AH 76.43 319-AH 49.01 349-AH 38.85 150-AH 5.82 180-AH 67.52 260-AH 50.73 290-AH 29.24 320-AH 1.97 350-AH 64.31 151-AH 22.51 181-AH 86.59 261-AH 34.45 291-AH 49.49 321-AH 0.00 152-AH 63.40 182-AH 54.17 262-AH 41.26 292-AH 61.25 322-AH 3.49 153-AH 0.00 183-AH 48.07 263-AH 20.81 293-AH 68.85 323-AH 27.75 154-AH 41.77 184-AH 57.81 264-AH 36.70 294-AH 65.75 324-AH 54.19 155-AH 19.60 185-AH 33.33 265-AH 19.81 295-AH 14.11 325-AH 64.38 156-AH 16.00 186-AH 0.00 266-AH 12.95 296-AH 66.21 326-AH 25.00 157-AH 46.95 187-AH 100.00 267-AH 25.44 297-AH 49.50 327-AH 51.67 158-AH 0.01 188-AH 0.88 268-AH 66.84 298-AH 22.32 328-AH 60.70 159-AH 21.22 189-AH 87.14 269-AH 26.68 299-AH 37.02 329-AH 69.36 160-AH 4.55 190-AH 67.27 270-AH 70.73 300-AH 22.00 330-AH 68.28 161-AH 0.00 191-AH 0.00 271-AH 7.27 301-AH 1.47 331-AH 47.73 162-AH 50.00 192-AH 52.60 272-AH 9.73 302-AH 29.91 332-AH 51.25 163-AH 86.80 193-AH 58.37 273-AH 57.71 303-AH 30.36 333-AH 100.00 164-AH 16.83 194-AH 100.00 274-AH 42.50 304-AH 27.93 334-AH 45.22 165-AH 100.00 195-AH 0.00 275-AH 48.63 305-AH 28.78 335-AH 27.06 166-AH 0.00 196-AH 50.00 276-AH 54.27 306-AH 100.00 336-AH 24.66 167-AH 30.53 197-AH 79.57 277-AH 15.97 307-AH 33.90 337-AH 86.31 168-AH 49.81 198-AH 100.00 278-AH 30.00 308-AH 74.75 338-AH 64.83 169-AH 1.31 199-AH 55.20 279-AH 31.08 309-AH 4.76 339-AH 63.41 170-AH 100.00 200-AH 71.44 280-AH 4.27 310-AH 8.23 340-AH 34.67 457 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.13 ISIENNATTDN 10 docs 40.56 90% 15 docs 36.17 80% 20 docs 33.19 30 docs 28.77 70% 100 docs 15.67 60% 200 docs 9.57 Precision 500 docs 4.49 50% 1000 docs 2.40 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.43 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2017 Second Quartile 0.4000 Third Quartile 0.5952 Interquartile range 0.3935 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4043 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2823 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4043 10 Std With No Outliers 0.2823 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ISIENNATTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ISIENNATTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ISIENNATTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ISIENNATTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ISIENNATTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ISIENNATTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ISIENNATTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 458 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISIENNATTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 49.23 281-AH 45.24 311-AH 44.44 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 51.72 282-AH 19.35 312-AH 64.52 342-AH 51.04 143-AH 51.28 173-AH 100.00 253-AH 49.47 283-AH 34.21 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 39.30 284-AH 44.74 314-AH 0.00 344-AH 27.27 145-AH 60.53 175-AH 71.43 255-AH 25.00 285-AH 69.57 315-AH 20.34 345-AH 22.22 146-AH 50.00 176-AH 82.05 256-AH 52.94 286-AH 8.33 316-AH 33.90 346-AH 9.09 147-AH 66.67 177-AH 46.15 257-AH 26.98 287-AH 51.02 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 30.26 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 31.82 259-AH 33.33 289-AH 72.22 319-AH 47.37 349-AH 33.33 150-AH 20.00 180-AH 62.50 260-AH 50.79 290-AH 28.57 320-AH 6.25 350-AH 60.00 151-AH 33.33 181-AH 79.35 261-AH 44.12 291-AH 56.67 321-AH 0.00 152-AH 63.64 182-AH 50.00 262-AH 44.71 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 61.76 323-AH 23.08 154-AH 42.86 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 56.76 155-AH 33.33 185-AH 0.00 265-AH 16.67 295-AH 31.37 325-AH 62.30 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 66.67 326-AH 25.00 157-AH 53.96 187-AH 100.00 267-AH 28.57 297-AH 41.67 327-AH 25.00 158-AH 0.00 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 60.87 159-AH 16.67 189-AH 71.43 269-AH 33.33 299-AH 36.84 329-AH 58.82 160-AH 0.00 190-AH 77.78 270-AH 63.16 300-AH 19.05 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 47.06 162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 50.00 163-AH 78.69 193-AH 57.14 273-AH 59.04 303-AH 42.86 333-AH 100.00 164-AH 11.11 194-AH 100.00 274-AH 50.00 304-AH 26.67 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 54.55 305-AH 32.79 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 57.63 306-AH 100.00 336-AH 29.41 167-AH 40.00 197-AH 72.00 277-AH 30.77 307-AH 45.45 337-AH 80.00 168-AH 50.00 198-AH 100.00 278-AH 28.57 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 9.52 340-AH 40.00 459 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,807 Pooled false Geometric Mean Average Precision 0.1642 lemma Binary Preference (BPREF) 0.3510 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.68 ISILEMTD 10 61.27 90% 20 54.97 80% 30 47.74 40 42.70 70% 50 38.87 60% 60 32.14 Precision 70 27.63 50% 80 22.27 40% 90 17.01 30% 100 11.23 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.38 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1410 Second Quartile 0.3221 Third Quartile 0.5409 Interquartile range 0.3999 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3738 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2838 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3738 10 Std With No Outliers 0.2838 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ISILEMTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ISILEMTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ISILEMTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ISILEMTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ISILEMTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ISILEMTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ISILEMTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 460 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 8.35 251-AH 54.04 281-AH 40.98 311-AH 34.37 341-AH 84.72 142-AH 89.78 172-AH 7.00 252-AH 44.01 282-AH 14.03 312-AH 61.97 342-AH 68.94 143-AH 88.71 173-AH 100.00 253-AH 35.76 283-AH 36.57 313-AH 0.37 343-AH 3.70 144-AH 27.99 174-AH 100.00 254-AH 24.28 284-AH 54.13 314-AH 5.95 344-AH 22.03 145-AH 53.82 175-AH 71.71 255-AH 47.79 285-AH 72.48 315-AH 20.54 345-AH 7.89 146-AH 50.63 176-AH 89.67 256-AH 47.20 286-AH 3.99 316-AH 20.30 346-AH 10.40 147-AH 81.20 177-AH 34.67 257-AH 14.03 287-AH 37.85 317-AH 22.72 347-AH 4.12 148-AH 19.63 178-AH 12.07 258-AH 1.07 288-AH 13.56 318-AH 18.31 348-AH 100.00 149-AH 0.00 179-AH 21.66 259-AH 46.80 289-AH 46.75 319-AH 30.38 349-AH 29.43 150-AH 7.93 180-AH 69.23 260-AH 63.12 290-AH 31.95 320-AH 1.99 350-AH 70.98 151-AH 39.21 181-AH 83.23 261-AH 11.40 291-AH 26.20 321-AH 0.00 152-AH 52.65 182-AH 38.09 262-AH 45.20 292-AH 52.80 322-AH 3.25 153-AH 0.00 183-AH 17.89 263-AH 18.05 293-AH 63.96 323-AH 17.08 154-AH 35.82 184-AH 38.85 264-AH 31.21 294-AH 67.69 324-AH 13.17 155-AH 13.59 185-AH 33.33 265-AH 25.86 295-AH 20.90 325-AH 56.11 156-AH 14.26 186-AH 0.00 266-AH 5.18 296-AH 57.14 326-AH 51.14 157-AH 46.97 187-AH 20.00 267-AH 25.42 297-AH 37.77 327-AH 55.83 158-AH 34.58 188-AH 10.00 268-AH 66.67 298-AH 23.12 328-AH 52.53 159-AH 20.15 189-AH 88.10 269-AH 17.39 299-AH 30.94 329-AH 61.44 160-AH 5.62 190-AH 64.95 270-AH 67.86 300-AH 26.76 330-AH 76.72 161-AH 0.00 191-AH 0.00 271-AH 8.38 301-AH 1.96 331-AH 25.09 162-AH 25.00 192-AH 35.23 272-AH 14.16 302-AH 36.79 332-AH 47.74 163-AH 83.40 193-AH 61.67 273-AH 45.35 303-AH 33.10 333-AH 100.00 164-AH 21.16 194-AH 25.00 274-AH 29.26 304-AH 26.93 334-AH 12.75 165-AH 100.00 195-AH 0.00 275-AH 14.50 305-AH 29.44 335-AH 15.55 166-AH 0.00 196-AH 50.00 276-AH 47.54 306-AH 100.00 336-AH 6.67 167-AH 11.76 197-AH 88.17 277-AH 15.49 307-AH 32.78 337-AH 73.66 168-AH 35.83 198-AH 100.00 278-AH 18.13 308-AH 75.97 338-AH 52.58 169-AH 0.44 199-AH 48.09 279-AH 41.62 309-AH 5.00 339-AH 58.88 170-AH 100.00 200-AH 32.47 280-AH 10.19 310-AH 8.81 340-AH 24.29 461 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.25 ISILEMTD 10 docs 37.56 90% 15 docs 33.71 80% 20 docs 31.13 30 docs 27.15 70% 100 docs 15.17 60% 200 docs 9.30 Precision 500 docs 4.40 50% 1000 docs 2.38 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.92 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1791 Second Quartile 0.3333 Third Quartile 0.5279 Interquartile range 0.3487 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3692 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2778 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3692 15 Std With No Outliers 0.2778 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ISILEMTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ISILEMTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ISILEMTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ISILEMTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ISILEMTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ISILEMTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ISILEMTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 462 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 50.77 281-AH 38.10 311-AH 46.30 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 44.83 282-AH 12.90 312-AH 61.29 342-AH 68.75 143-AH 79.49 173-AH 100.00 253-AH 43.68 283-AH 36.84 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 33.19 284-AH 47.37 314-AH 0.00 344-AH 33.33 145-AH 52.63 175-AH 57.14 255-AH 50.00 285-AH 68.12 315-AH 32.20 345-AH 11.11 146-AH 50.00 176-AH 76.92 256-AH 52.94 286-AH 8.33 316-AH 29.66 346-AH 9.09 147-AH 68.63 177-AH 46.15 257-AH 19.05 287-AH 46.94 317-AH 33.33 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 26.32 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 27.27 259-AH 33.33 289-AH 50.00 319-AH 31.58 349-AH 33.33 150-AH 20.00 180-AH 60.00 260-AH 57.14 290-AH 38.78 320-AH 0.00 350-AH 70.00 151-AH 33.33 181-AH 78.26 261-AH 17.65 291-AH 30.00 321-AH 0.00 152-AH 54.55 182-AH 25.00 262-AH 49.41 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 67.65 323-AH 19.23 154-AH 33.33 184-AH 44.44 264-AH 27.27 294-AH 66.67 324-AH 20.27 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 27.45 325-AH 57.38 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 50.00 157-AH 51.80 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00 158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 25.93 189-AH 71.43 269-AH 22.22 299-AH 35.53 329-AH 64.71 160-AH 0.00 190-AH 55.56 270-AH 61.40 300-AH 33.33 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 29.41 162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 41.18 332-AH 50.00 163-AH 74.59 193-AH 42.86 273-AH 45.78 303-AH 42.86 333-AH 100.00 164-AH 18.52 194-AH 0.00 274-AH 37.50 304-AH 26.67 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 21.21 305-AH 31.15 335-AH 13.33 166-AH 0.00 196-AH 0.00 276-AH 50.85 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 78.00 277-AH 26.92 307-AH 41.56 337-AH 75.00 168-AH 44.44 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 33.33 280-AH 20.00 310-AH 19.05 340-AH 20.00 463 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NAT_TDN_WEB AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,868 Pooled false Geometric Mean Average Precision 0.1778 NAT_TDN_WEB Binary Preference (BPREF) 0.3914 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 76.04 NAT_TDN_WEB 10 67.35 90% 20 61.50 80% 30 52.80 40 47.61 70% 50 42.72 60% 60 36.75 Precision 70 30.37 50% 80 24.33 40% 90 18.78 30% 100 13.17 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 41.59 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1746 Second Quartile 0.3854 Third Quartile 0.6177 Interquartile range 0.4431 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4159 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2900 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4159 10 Std With No Outliers 0.2900 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NAT_TDN_WEB Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NAT_TDN_WEB Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NAT_TDN_WEB Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NAT_TDN_WEB Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NAT_TDN_WEB Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NAT_TDN_WEB Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NAT_TDN_WEB Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 464 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NAT_TDN_WEB AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.64 251-AH 47.78 281-AH 46.31 311-AH 35.84 341-AH 68.21 142-AH 93.38 172-AH 9.15 252-AH 57.66 282-AH 13.42 312-AH 69.54 342-AH 57.60 143-AH 60.39 173-AH 100.00 253-AH 43.29 283-AH 28.24 313-AH 0.12 343-AH 5.00 144-AH 52.92 174-AH 100.00 254-AH 31.26 284-AH 52.31 314-AH 8.11 344-AH 20.78 145-AH 59.14 175-AH 72.50 255-AH 35.66 285-AH 73.68 315-AH 15.93 345-AH 22.93 146-AH 50.78 176-AH 92.50 256-AH 49.53 286-AH 10.85 316-AH 28.38 346-AH 9.73 147-AH 74.91 177-AH 34.85 257-AH 22.67 287-AH 44.00 317-AH 25.49 347-AH 4.30 148-AH 19.83 178-AH 27.91 258-AH 3.51 288-AH 17.94 318-AH 15.39 348-AH 100.00 149-AH 0.00 179-AH 38.58 259-AH 41.89 289-AH 77.86 319-AH 48.71 349-AH 33.56 150-AH 8.46 180-AH 66.02 260-AH 48.85 290-AH 28.50 320-AH 2.00 350-AH 67.48 151-AH 18.58 181-AH 86.60 261-AH 34.41 291-AH 49.54 321-AH 0.00 152-AH 61.09 182-AH 56.80 262-AH 30.08 292-AH 62.91 322-AH 3.79 153-AH 0.00 183-AH 48.75 263-AH 20.69 293-AH 67.85 323-AH 27.87 154-AH 41.04 184-AH 57.72 264-AH 34.06 294-AH 66.66 324-AH 60.17 155-AH 25.22 185-AH 16.67 265-AH 20.37 295-AH 13.91 325-AH 65.74 156-AH 16.29 186-AH 0.00 266-AH 12.95 296-AH 60.27 326-AH 25.00 157-AH 46.95 187-AH 100.00 267-AH 25.23 297-AH 43.13 327-AH 51.52 158-AH 0.01 188-AH 0.91 268-AH 66.87 298-AH 22.48 328-AH 62.45 159-AH 21.70 189-AH 87.14 269-AH 28.49 299-AH 38.49 329-AH 68.29 160-AH 4.55 190-AH 70.20 270-AH 70.59 300-AH 22.13 330-AH 69.34 161-AH 0.00 191-AH 0.00 271-AH 7.21 301-AH 1.28 331-AH 46.76 162-AH 50.00 192-AH 52.93 272-AH 10.47 302-AH 30.41 332-AH 52.26 163-AH 86.98 193-AH 65.46 273-AH 60.42 303-AH 30.37 333-AH 100.00 164-AH 16.98 194-AH 100.00 274-AH 42.51 304-AH 28.03 334-AH 45.22 165-AH 100.00 195-AH 0.00 275-AH 48.12 305-AH 25.99 335-AH 24.33 166-AH 0.00 196-AH 50.00 276-AH 58.14 306-AH 100.00 336-AH 22.03 167-AH 26.81 197-AH 83.43 277-AH 16.74 307-AH 33.93 337-AH 86.31 168-AH 47.08 198-AH 100.00 278-AH 32.40 308-AH 74.82 338-AH 66.02 169-AH 1.38 199-AH 54.49 279-AH 16.33 309-AH 4.52 339-AH 60.96 170-AH 100.00 200-AH 71.96 280-AH 4.50 310-AH 8.05 340-AH 34.67 465 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NAT_TDN_WEB AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.38 NAT_TDN_WEB 10 docs 40.94 90% 15 docs 36.00 80% 20 docs 33.16 30 docs 28.73 70% 100 docs 15.71 60% 200 docs 9.59 Precision 500 docs 4.51 50% 1000 docs 2.42 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.25 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2017 Second Quartile 0.3747 Third Quartile 0.5690 Interquartile range 0.3674 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4025 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2809 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4025 10 Std With No Outliers 0.2809 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NAT_TDN_WEB Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NAT_TDN_WEB Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NAT_TDN_WEB Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NAT_TDN_WEB Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NAT_TDN_WEB Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NAT_TDN_WEB Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NAT_TDN_WEB Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 466 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NAT_TDN_WEB AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 47.69 281-AH 38.10 311-AH 44.44 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 55.17 282-AH 19.35 312-AH 64.52 342-AH 54.17 143-AH 53.85 173-AH 100.00 253-AH 48.95 283-AH 36.84 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 39.30 284-AH 47.37 314-AH 0.00 344-AH 27.27 145-AH 55.26 175-AH 71.43 255-AH 25.00 285-AH 72.46 315-AH 20.34 345-AH 22.22 146-AH 50.00 176-AH 82.05 256-AH 55.88 286-AH 8.33 316-AH 33.90 346-AH 9.09 147-AH 68.63 177-AH 46.15 257-AH 31.75 287-AH 51.02 317-AH 33.33 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 26.32 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 31.82 259-AH 33.33 289-AH 72.22 319-AH 47.37 349-AH 29.63 150-AH 20.00 180-AH 62.50 260-AH 52.38 290-AH 30.61 320-AH 6.25 350-AH 70.00 151-AH 25.00 181-AH 79.35 261-AH 44.12 291-AH 56.67 321-AH 0.00 152-AH 63.64 182-AH 50.00 262-AH 34.12 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 25.00 293-AH 55.88 323-AH 23.08 154-AH 42.86 184-AH 55.56 264-AH 36.36 294-AH 66.67 324-AH 62.16 155-AH 33.33 185-AH 0.00 265-AH 16.67 295-AH 31.37 325-AH 63.93 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 62.50 326-AH 25.00 157-AH 53.96 187-AH 100.00 267-AH 28.57 297-AH 41.67 327-AH 25.00 158-AH 0.00 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 56.52 159-AH 16.67 189-AH 71.43 269-AH 33.33 299-AH 36.84 329-AH 52.94 160-AH 0.00 190-AH 77.78 270-AH 61.40 300-AH 16.67 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 41.18 162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 50.00 163-AH 77.87 193-AH 57.14 273-AH 60.24 303-AH 42.86 333-AH 100.00 164-AH 14.81 194-AH 100.00 274-AH 50.00 304-AH 26.67 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 53.03 305-AH 27.87 335-AH 33.33 166-AH 0.00 196-AH 0.00 276-AH 55.93 306-AH 100.00 336-AH 29.41 167-AH 20.00 197-AH 74.00 277-AH 30.77 307-AH 41.56 337-AH 80.00 168-AH 44.44 198-AH 100.00 278-AH 33.33 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 7.94 340-AH 40.00 467 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NUS_WSD_TD AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,528 Pooled false Geometric Mean Average Precision 0.1022 NUS_WSD_TD Binary Preference (BPREF) 0.2966 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.31 NUS_WSD_TD 10 54.33 90% 20 45.50 80% 30 38.12 40 33.80 70% 50 29.88 60% 60 22.85 Precision 70 19.29 50% 80 15.43 40% 90 11.39 30% 100 7.72 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.35 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0766 Second Quartile 0.2428 Third Quartile 0.4142 Interquartile range 0.3377 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2935 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2586 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.8917 25 Mean With No Outliers 0.2660 20 15 Std With No Outliers 0.2217 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NUS_WSD_TD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NUS_WSD_TD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NUS_WSD_TD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NUS_WSD_TD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NUS_WSD_TD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NUS_WSD_TD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NUS_WSD_TD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 468 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NUS_WSD_TD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 6.67 171-AH 0.05 251-AH 49.19 281-AH 37.06 311-AH 23.83 341-AH 84.90 142-AH 40.62 172-AH 13.04 252-AH 31.90 282-AH 11.78 312-AH 60.11 342-AH 36.06 143-AH 89.17 173-AH 100.00 253-AH 32.90 283-AH 33.50 313-AH 4.98 343-AH 2.22 144-AH 26.11 174-AH 100.00 254-AH 25.11 284-AH 50.19 314-AH 7.77 344-AH 54.24 145-AH 54.88 175-AH 73.08 255-AH 32.99 285-AH 58.83 315-AH 24.15 345-AH 5.54 146-AH 50.22 176-AH 87.38 256-AH 25.01 286-AH 4.80 316-AH 17.22 346-AH 10.17 147-AH 76.47 177-AH 36.29 257-AH 14.63 287-AH 31.28 317-AH 20.96 347-AH 4.49 148-AH 17.03 178-AH 24.40 258-AH 13.99 288-AH 16.16 318-AH 16.56 348-AH 0.00 149-AH 0.00 179-AH 23.28 259-AH 40.90 289-AH 1.37 319-AH 24.66 349-AH 32.98 150-AH 13.11 180-AH 65.47 260-AH 54.47 290-AH 19.85 320-AH 1.33 350-AH 57.97 151-AH 35.51 181-AH 72.69 261-AH 6.97 291-AH 26.80 321-AH 0.00 152-AH 38.91 182-AH 3.58 262-AH 15.94 292-AH 14.29 322-AH 14.53 153-AH 0.00 183-AH 18.53 263-AH 18.73 293-AH 63.94 323-AH 16.83 154-AH 26.42 184-AH 57.22 264-AH 23.54 294-AH 67.58 324-AH 3.25 155-AH 28.89 185-AH 0.46 265-AH 2.34 295-AH 21.92 325-AH 54.99 156-AH 10.35 186-AH 0.00 266-AH 7.11 296-AH 0.27 326-AH 50.14 157-AH 4.79 187-AH 20.00 267-AH 29.75 297-AH 36.50 327-AH 41.94 158-AH 35.70 188-AH 0.56 268-AH 7.54 298-AH 19.07 328-AH 44.40 159-AH 15.09 189-AH 72.54 269-AH 11.16 299-AH 47.38 329-AH 59.53 160-AH 14.63 190-AH 57.05 270-AH 1.15 300-AH 28.35 330-AH 20.23 161-AH 0.00 191-AH 0.00 271-AH 42.46 301-AH 1.11 331-AH 4.49 162-AH 20.00 192-AH 32.36 272-AH 1.49 302-AH 28.82 332-AH 12.60 163-AH 80.06 193-AH 57.03 273-AH 57.42 303-AH 39.66 333-AH 14.65 164-AH 32.57 194-AH 6.25 274-AH 39.23 304-AH 26.86 334-AH 8.99 165-AH 100.00 195-AH 0.00 275-AH 8.44 305-AH 25.56 335-AH 25.84 166-AH 0.00 196-AH 100.00 276-AH 36.90 306-AH 100.00 336-AH 0.00 167-AH 21.60 197-AH 26.00 277-AH 15.29 307-AH 29.18 337-AH 53.37 168-AH 1.04 198-AH 12.50 278-AH 15.51 308-AH 59.66 338-AH 3.83 169-AH 3.37 199-AH 35.75 279-AH 26.40 309-AH 4.71 339-AH 40.74 170-AH 100.00 200-AH 60.88 280-AH 7.27 310-AH 5.17 340-AH 28.26 469 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NUS_WSD_TD AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 39.25 NUS_WSD_TD 10 docs 32.38 90% 15 docs 29.25 80% 20 docs 26.72 30 docs 22.96 70% 100 docs 13.07 60% 200 docs 8.14 Precision 500 docs 3.99 50% 1000 docs 2.21 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0551 Second Quartile 0.2667 Third Quartile 0.4753 Interquartile range 0.4202 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2953 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2582 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.2953 20 15 Std With No Outliers 0.2582 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NUS_WSD_TD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NUS_WSD_TD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NUS_WSD_TD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NUS_WSD_TD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NUS_WSD_TD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NUS_WSD_TD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NUS_WSD_TD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 470 geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.GENEVA.NUS_WSD_TD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 47.69 281-AH 40.48 311-AH 35.19 341-AH 83.33 142-AH 50.00 172-AH 14.29 252-AH 37.93 282-AH 16.13 312-AH 51.61 342-AH 36.46 143-AH 79.49 173-AH 100.00 253-AH 41.05 283-AH 42.11 313-AH 15.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 33.19 284-AH 42.11 314-AH 0.00 344-AH 51.52 145-AH 50.00 175-AH 57.14 255-AH 25.00 285-AH 55.07 315-AH 35.59 345-AH 11.11 146-AH 50.00 176-AH 74.36 256-AH 26.47 286-AH 8.33 316-AH 24.58 346-AH 9.09 147-AH 68.63 177-AH 53.85 257-AH 25.40 287-AH 36.73 317-AH 23.33 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 28.95 318-AH 11.11 348-AH 0.00 149-AH 0.00 179-AH 36.36 259-AH 33.33 289-AH 0.00 319-AH 26.32 349-AH 37.04 150-AH 30.00 180-AH 55.00 260-AH 53.97 290-AH 30.61 320-AH 0.00 350-AH 50.00 151-AH 41.67 181-AH 71.74 261-AH 11.76 291-AH 30.00 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 24.71 292-AH 0.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 55.88 323-AH 15.38 154-AH 23.81 184-AH 66.67 264-AH 22.73 294-AH 66.67 324-AH 10.81 155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 23.53 325-AH 55.74 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 50.00 157-AH 14.39 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00 158-AH 41.18 188-AH 0.00 268-AH 0.00 298-AH 30.00 328-AH 47.83 159-AH 22.22 189-AH 71.43 269-AH 11.11 299-AH 47.37 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 7.02 300-AH 38.10 330-AH 29.41 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 6.25 331-AH 11.76 162-AH 0.00 192-AH 33.33 272-AH 0.00 302-AH 29.41 332-AH 12.50 163-AH 75.41 193-AH 57.14 273-AH 50.60 303-AH 50.00 333-AH 20.00 164-AH 25.93 194-AH 0.00 274-AH 43.75 304-AH 26.67 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 15.15 305-AH 29.51 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 42.37 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 32.00 277-AH 26.92 307-AH 42.86 337-AH 60.00 168-AH 0.00 198-AH 0.00 278-AH 19.05 308-AH 54.55 338-AH 0.00 169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 0.00 339-AH 36.84 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 40.00 471 ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.IXA.ENENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,894 Pooled false Geometric Mean Average Precision 0.1707 No WSD information Binary Preference (BPREF) 0.3600 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.24 ENENNOWSD 10 60.43 90% 20 54.75 80% 30 48.32 40 44.15 70% 50 39.98 60% 60 34.42 Precision 70 28.52 50% 80 23.97 40% 90 19.14 30% 100 13.83 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.26 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1310 Second Quartile 0.3068 Third Quartile 0.5959 Interquartile range 0.4649 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3826 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2926 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3826 10 Std With No Outliers 0.2926 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ENENNOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ENENNOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ENENNOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ENENNOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ENENNOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ENENNOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ENENNOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 472 ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.IXA.ENENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 9.83 251-AH 56.47 281-AH 34.37 311-AH 25.15 341-AH 75.30 142-AH 93.75 172-AH 7.98 252-AH 43.53 282-AH 26.60 312-AH 39.14 342-AH 63.66 143-AH 66.13 173-AH 100.00 253-AH 23.97 283-AH 11.57 313-AH 11.87 343-AH 11.11 144-AH 70.00 174-AH 100.00 254-AH 15.20 284-AH 56.81 314-AH 8.92 344-AH 45.30 145-AH 59.54 175-AH 80.57 255-AH 53.82 285-AH 36.39 315-AH 40.87 345-AH 25.21 146-AH 26.79 176-AH 92.72 256-AH 86.97 286-AH 2.43 316-AH 20.41 346-AH 5.36 147-AH 54.17 177-AH 7.41 257-AH 26.87 287-AH 40.04 317-AH 24.62 347-AH 9.18 148-AH 8.18 178-AH 1.93 258-AH 2.26 288-AH 11.16 318-AH 17.95 348-AH 100.00 149-AH 0.00 179-AH 60.33 259-AH 66.86 289-AH 72.76 319-AH 21.09 349-AH 27.75 150-AH 18.87 180-AH 18.91 260-AH 63.43 290-AH 12.60 320-AH 8.56 350-AH 66.13 151-AH 10.22 181-AH 75.95 261-AH 13.60 291-AH 51.02 321-AH 0.00 152-AH 72.33 182-AH 32.22 262-AH 18.62 292-AH 65.15 322-AH 3.27 153-AH 0.10 183-AH 1.93 263-AH 24.97 293-AH 64.70 323-AH 26.89 154-AH 39.50 184-AH 59.64 264-AH 56.34 294-AH 63.08 324-AH 48.92 155-AH 11.25 185-AH 100.00 265-AH 53.40 295-AH 17.02 325-AH 49.83 156-AH 10.65 186-AH 0.00 266-AH 1.68 296-AH 34.42 326-AH 19.25 157-AH 45.03 187-AH 14.29 267-AH 32.66 297-AH 40.85 327-AH 8.51 158-AH 47.78 188-AH 1.79 268-AH 66.91 298-AH 22.42 328-AH 51.24 159-AH 19.37 189-AH 90.95 269-AH 30.12 299-AH 42.10 329-AH 70.72 160-AH 5.93 190-AH 57.14 270-AH 66.99 300-AH 22.46 330-AH 82.57 161-AH 0.00 191-AH 0.00 271-AH 59.31 301-AH 1.65 331-AH 24.99 162-AH 33.33 192-AH 57.77 272-AH 26.11 302-AH 33.92 332-AH 36.80 163-AH 78.45 193-AH 59.30 273-AH 71.97 303-AH 14.16 333-AH 100.00 164-AH 4.25 194-AH 25.00 274-AH 29.24 304-AH 35.47 334-AH 25.11 165-AH 100.00 195-AH 0.00 275-AH 25.52 305-AH 28.42 335-AH 14.34 166-AH 0.00 196-AH 50.00 276-AH 39.59 306-AH 100.00 336-AH 1.97 167-AH 29.21 197-AH 55.54 277-AH 16.82 307-AH 26.17 337-AH 70.74 168-AH 47.19 198-AH 100.00 278-AH 15.99 308-AH 75.26 338-AH 74.31 169-AH 4.69 199-AH 61.16 279-AH 17.36 309-AH 5.59 339-AH 56.54 170-AH 100.00 200-AH 30.58 280-AH 4.84 310-AH 7.32 340-AH 30.79 473 ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.IXA.ENENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.88 ENENNOWSD 10 docs 37.81 90% 15 docs 33.92 80% 20 docs 30.94 30 docs 26.75 70% 100 docs 14.81 60% 200 docs 9.28 Precision 500 docs 4.48 50% 1000 docs 2.43 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.13 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1667 Second Quartile 0.3333 Third Quartile 0.5436 Interquartile range 0.3769 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3713 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2777 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.3713 10 Std With No Outliers 0.2777 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ENENNOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ENENNOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ENENNOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ENENNOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ENENNOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ENENNOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ENENNOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 474 ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.IXA.ENENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 53.85 281-AH 30.95 311-AH 35.19 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 34.48 282-AH 35.48 312-AH 48.39 342-AH 61.46 143-AH 58.97 173-AH 100.00 253-AH 32.11 283-AH 10.53 313-AH 20.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 26.20 284-AH 55.26 314-AH 5.56 344-AH 42.42 145-AH 57.89 175-AH 71.43 255-AH 25.00 285-AH 39.13 315-AH 42.37 345-AH 44.44 146-AH 50.00 176-AH 82.05 256-AH 73.53 286-AH 8.33 316-AH 27.12 346-AH 0.00 147-AH 50.98 177-AH 7.69 257-AH 34.92 287-AH 48.98 317-AH 30.00 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 17.11 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 59.09 259-AH 66.67 289-AH 72.22 319-AH 21.05 349-AH 29.63 150-AH 20.00 180-AH 22.50 260-AH 57.14 290-AH 16.33 320-AH 12.50 350-AH 50.00 151-AH 16.67 181-AH 75.00 261-AH 23.53 291-AH 50.00 321-AH 0.00 152-AH 72.73 182-AH 25.00 262-AH 24.71 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 39.58 293-AH 64.71 323-AH 23.08 154-AH 47.62 184-AH 66.67 264-AH 54.55 294-AH 55.56 324-AH 45.95 155-AH 0.00 185-AH 100.00 265-AH 50.00 295-AH 21.57 325-AH 47.54 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 25.00 157-AH 50.36 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 25.00 158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 52.17 159-AH 25.93 189-AH 71.43 269-AH 33.33 299-AH 40.79 329-AH 70.59 160-AH 0.00 190-AH 66.67 270-AH 59.65 300-AH 16.67 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 29.41 162-AH 0.00 192-AH 50.00 272-AH 28.57 302-AH 29.41 332-AH 25.00 163-AH 68.85 193-AH 42.86 273-AH 68.67 303-AH 21.43 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 30.30 305-AH 26.23 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 37.29 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 52.00 277-AH 30.77 307-AH 37.66 337-AH 55.00 168-AH 50.00 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 47.37 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 14.29 340-AH 40.00 475 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,487 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,963 Pooled false Geometric Mean Average Precision 0.1864 asso Binary Preference (BPREF) 0.3881 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.00 ASSO 10 63.17 90% 20 58.14 80% 30 51.76 40 48.34 70% 50 44.06 60% 60 38.22 Precision 70 32.82 50% 80 27.77 40% 90 22.41 30% 100 14.99 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 41.70 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1538 Second Quartile 0.3859 Third Quartile 0.6660 Interquartile range 0.5122 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4170 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3021 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4170 10 Std With No Outliers 0.3021 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ASSO Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ASSO Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ASSO Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ASSO Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ASSO Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ASSO Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ASSO Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 476 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.70 251-AH 54.13 281-AH 41.13 311-AH 29.46 341-AH 88.89 142-AH 95.19 172-AH 13.26 252-AH 43.32 282-AH 15.32 312-AH 47.48 342-AH 79.15 143-AH 72.79 173-AH 100.00 253-AH 33.16 283-AH 26.01 313-AH 1.95 343-AH 5.00 144-AH 68.06 174-AH 100.00 254-AH 32.09 284-AH 50.93 314-AH 6.88 344-AH 43.93 145-AH 66.66 175-AH 80.98 255-AH 53.85 285-AH 39.36 315-AH 35.53 345-AH 6.54 146-AH 18.14 176-AH 79.87 256-AH 81.54 286-AH 7.40 316-AH 20.10 346-AH 10.04 147-AH 81.59 177-AH 38.10 257-AH 24.78 287-AH 47.28 317-AH 19.01 347-AH 3.80 148-AH 20.36 178-AH 1.31 258-AH 2.84 288-AH 24.83 318-AH 16.12 348-AH 100.00 149-AH 0.00 179-AH 53.33 259-AH 68.28 289-AH 75.56 319-AH 39.48 349-AH 38.87 150-AH 8.01 180-AH 7.54 260-AH 66.35 290-AH 20.30 320-AH 5.47 350-AH 71.92 151-AH 30.50 181-AH 84.23 261-AH 5.29 291-AH 71.47 321-AH 0.00 152-AH 67.71 182-AH 15.49 262-AH 38.31 292-AH 73.21 322-AH 6.02 153-AH 0.11 183-AH 4.06 263-AH 22.56 293-AH 60.48 323-AH 26.58 154-AH 40.06 184-AH 64.70 264-AH 47.51 294-AH 53.42 324-AH 69.89 155-AH 9.33 185-AH 100.00 265-AH 46.43 295-AH 37.67 325-AH 66.55 156-AH 12.44 186-AH 0.00 266-AH 0.78 296-AH 52.48 326-AH 51.78 157-AH 51.79 187-AH 12.50 267-AH 25.17 297-AH 42.76 327-AH 11.78 158-AH 52.09 188-AH 0.15 268-AH 68.21 298-AH 26.74 328-AH 44.55 159-AH 50.30 189-AH 96.83 269-AH 23.21 299-AH 52.21 329-AH 63.66 160-AH 8.71 190-AH 74.66 270-AH 75.75 300-AH 23.32 330-AH 82.78 161-AH 0.00 191-AH 0.00 271-AH 56.97 301-AH 42.27 331-AH 26.88 162-AH 100.00 192-AH 40.81 272-AH 24.92 302-AH 33.83 332-AH 30.60 163-AH 88.67 193-AH 36.03 273-AH 74.12 303-AH 29.95 333-AH 100.00 164-AH 13.32 194-AH 33.33 274-AH 24.67 304-AH 39.21 334-AH 15.44 165-AH 100.00 195-AH 0.00 275-AH 45.66 305-AH 29.09 335-AH 10.82 166-AH 0.00 196-AH 100.00 276-AH 57.57 306-AH 100.00 336-AH 5.06 167-AH 30.19 197-AH 95.58 277-AH 12.50 307-AH 26.02 337-AH 71.21 168-AH 42.98 198-AH 25.00 278-AH 31.36 308-AH 80.40 338-AH 72.41 169-AH 2.40 199-AH 57.77 279-AH 59.03 309-AH 5.30 339-AH 54.09 170-AH 100.00 200-AH 48.44 280-AH 10.85 310-AH 13.39 340-AH 29.21 477 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 47.75 ASSO 10 docs 39.81 90% 15 docs 36.17 80% 20 docs 33.06 30 docs 29.44 70% 100 docs 16.58 60% 200 docs 10.14 Precision 500 docs 4.68 50% 1000 docs 2.48 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.13 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1574 Second Quartile 0.4000 Third Quartile 0.6026 Interquartile range 0.4452 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4013 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2946 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4013 15 Std With No Outliers 0.2946 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ASSO Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ASSO Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ASSO Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ASSO Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ASSO Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ASSO Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ASSO Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 478 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 55.38 281-AH 38.10 311-AH 38.89 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 41.38 282-AH 22.58 312-AH 54.84 342-AH 78.12 143-AH 56.41 173-AH 100.00 253-AH 41.58 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 37.55 284-AH 50.00 314-AH 0.00 344-AH 42.42 145-AH 60.53 175-AH 71.43 255-AH 50.00 285-AH 46.38 315-AH 42.37 345-AH 0.00 146-AH 0.00 176-AH 66.67 256-AH 73.53 286-AH 8.33 316-AH 30.51 346-AH 9.09 147-AH 68.63 177-AH 23.08 257-AH 36.51 287-AH 48.98 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 34.21 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 50.00 259-AH 66.67 289-AH 66.67 319-AH 42.11 349-AH 40.74 150-AH 10.00 180-AH 5.00 260-AH 55.56 290-AH 22.45 320-AH 6.25 350-AH 70.00 151-AH 41.67 181-AH 80.43 261-AH 17.65 291-AH 73.33 321-AH 0.00 152-AH 63.64 182-AH 25.00 262-AH 40.00 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 22.92 293-AH 58.82 323-AH 23.08 154-AH 42.86 184-AH 55.56 264-AH 45.45 294-AH 51.85 324-AH 66.22 155-AH 0.00 185-AH 100.00 265-AH 50.00 295-AH 39.22 325-AH 63.93 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00 157-AH 56.12 187-AH 0.00 267-AH 23.81 297-AH 41.67 327-AH 0.00 158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 52.17 159-AH 48.15 189-AH 85.71 269-AH 22.22 299-AH 50.00 329-AH 64.71 160-AH 0.00 190-AH 66.67 270-AH 66.67 300-AH 19.05 330-AH 76.47 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 43.75 331-AH 29.41 162-AH 100.00 192-AH 33.33 272-AH 28.57 302-AH 35.29 332-AH 25.00 163-AH 81.97 193-AH 28.57 273-AH 71.08 303-AH 35.71 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 31.25 304-AH 40.00 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 48.48 305-AH 27.87 335-AH 13.33 166-AH 0.00 196-AH 100.00 276-AH 54.24 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 86.00 277-AH 23.08 307-AH 36.36 337-AH 65.00 168-AH 50.00 198-AH 0.00 278-AH 28.57 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 75.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 19.05 340-AH 40.00 479 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYM AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 156,576 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,911 Pooled false Geometric Mean Average Precision 0.1805 synonym Binary Preference (BPREF) 0.3764 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.29 SYNONYM 10 62.54 90% 20 56.64 80% 30 50.88 40 47.06 70% 50 42.35 60% 60 36.32 Precision 70 31.16 50% 80 25.75 40% 90 20.67 30% 100 14.35 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.33 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1408 Second Quartile 0.3735 Third Quartile 0.6164 Interquartile range 0.4756 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4033 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2965 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4033 10 Std With No Outliers 0.2965 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 SYNONYM Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 SYNONYM Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 SYNONYM Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 SYNONYM Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 SYNONYM Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 SYNONYM Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 SYNONYM Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 480 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYM AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 11.76 251-AH 52.92 281-AH 39.53 311-AH 29.46 341-AH 89.22 142-AH 97.50 172-AH 10.32 252-AH 39.27 282-AH 16.95 312-AH 44.30 342-AH 81.94 143-AH 71.78 173-AH 100.00 253-AH 29.44 283-AH 25.83 313-AH 1.96 343-AH 5.26 144-AH 80.56 174-AH 100.00 254-AH 25.74 284-AH 51.38 314-AH 7.27 344-AH 45.13 145-AH 68.47 175-AH 72.90 255-AH 56.86 285-AH 41.26 315-AH 30.40 345-AH 6.78 146-AH 51.72 176-AH 78.36 256-AH 80.57 286-AH 8.85 316-AH 16.85 346-AH 9.13 147-AH 80.17 177-AH 21.11 257-AH 22.99 287-AH 37.24 317-AH 21.69 347-AH 4.15 148-AH 19.75 178-AH 1.53 258-AH 1.86 288-AH 20.99 318-AH 15.00 348-AH 100.00 149-AH 0.00 179-AH 41.58 259-AH 68.36 289-AH 70.97 319-AH 38.49 349-AH 38.48 150-AH 5.30 180-AH 10.63 260-AH 67.11 290-AH 18.29 320-AH 5.71 350-AH 72.24 151-AH 23.06 181-AH 82.29 261-AH 5.88 291-AH 66.19 321-AH 0.00 152-AH 71.43 182-AH 9.84 262-AH 41.04 292-AH 60.57 322-AH 5.13 153-AH 0.13 183-AH 4.96 263-AH 21.77 293-AH 60.48 323-AH 26.80 154-AH 37.46 184-AH 66.75 264-AH 42.97 294-AH 53.31 324-AH 65.83 155-AH 11.59 185-AH 100.00 265-AH 57.40 295-AH 33.77 325-AH 60.95 156-AH 13.11 186-AH 0.00 266-AH 0.82 296-AH 50.22 326-AH 52.09 157-AH 47.36 187-AH 11.11 267-AH 25.17 297-AH 41.56 327-AH 19.25 158-AH 46.99 188-AH 0.17 268-AH 67.20 298-AH 21.10 328-AH 43.61 159-AH 40.51 189-AH 100.00 269-AH 21.42 299-AH 49.32 329-AH 63.65 160-AH 6.56 190-AH 68.02 270-AH 71.12 300-AH 24.67 330-AH 82.46 161-AH 0.00 191-AH 0.00 271-AH 58.57 301-AH 39.96 331-AH 26.99 162-AH 100.00 192-AH 42.58 272-AH 22.68 302-AH 33.05 332-AH 28.10 163-AH 86.62 193-AH 36.38 273-AH 72.63 303-AH 27.61 333-AH 100.00 164-AH 12.83 194-AH 20.00 274-AH 26.55 304-AH 39.95 334-AH 15.83 165-AH 100.00 195-AH 0.00 275-AH 38.50 305-AH 32.61 335-AH 13.15 166-AH 0.00 196-AH 50.00 276-AH 53.57 306-AH 100.00 336-AH 4.71 167-AH 30.15 197-AH 95.36 277-AH 11.99 307-AH 24.76 337-AH 62.33 168-AH 43.10 198-AH 33.33 278-AH 29.93 308-AH 80.31 338-AH 59.55 169-AH 1.61 199-AH 56.82 279-AH 49.35 309-AH 5.66 339-AH 54.32 170-AH 100.00 200-AH 35.36 280-AH 12.69 310-AH 12.97 340-AH 29.21 481 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYM AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 46.25 SYNONYM 10 docs 38.81 90% 15 docs 34.92 80% 20 docs 32.25 30 docs 28.38 70% 100 docs 16.14 60% 200 docs 9.95 Precision 500 docs 4.59 50% 1000 docs 2.44 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 38.87 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1583 Second Quartile 0.3849 Third Quartile 0.5798 Interquartile range 0.4215 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3887 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2894 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3887 15 Std With No Outliers 0.2894 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 SYNONYM Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 SYNONYM Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 SYNONYM Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 SYNONYM Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 SYNONYM Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 SYNONYM Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 SYNONYM Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 482 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYM AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 53.85 281-AH 38.10 311-AH 38.89 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 37.93 282-AH 32.26 312-AH 48.39 342-AH 80.21 143-AH 61.54 173-AH 100.00 253-AH 38.95 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 36.24 284-AH 50.00 314-AH 0.00 344-AH 42.42 145-AH 65.79 175-AH 57.14 255-AH 50.00 285-AH 46.38 315-AH 38.98 345-AH 0.00 146-AH 50.00 176-AH 66.67 256-AH 73.53 286-AH 8.33 316-AH 18.64 346-AH 9.09 147-AH 68.63 177-AH 23.08 257-AH 34.92 287-AH 34.69 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 27.63 318-AH 11.11 348-AH 100.00 149-AH 0.00 179-AH 45.45 259-AH 66.67 289-AH 61.11 319-AH 47.37 349-AH 37.04 150-AH 0.00 180-AH 15.00 260-AH 55.56 290-AH 18.37 320-AH 18.75 350-AH 70.00 151-AH 41.67 181-AH 79.35 261-AH 17.65 291-AH 63.33 321-AH 0.00 152-AH 63.64 182-AH 0.00 262-AH 41.18 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 58.82 323-AH 23.08 154-AH 33.33 184-AH 55.56 264-AH 40.91 294-AH 44.44 324-AH 64.86 155-AH 0.00 185-AH 100.00 265-AH 66.67 295-AH 39.22 325-AH 55.74 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 56.12 187-AH 0.00 267-AH 23.81 297-AH 41.67 327-AH 0.00 158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 42.59 189-AH 100.00 269-AH 22.22 299-AH 47.37 329-AH 58.82 160-AH 0.00 190-AH 66.67 270-AH 59.65 300-AH 19.05 330-AH 76.47 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 43.75 331-AH 29.41 162-AH 100.00 192-AH 33.33 272-AH 28.57 302-AH 29.41 332-AH 25.00 163-AH 79.51 193-AH 28.57 273-AH 67.47 303-AH 28.57 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 31.25 304-AH 40.00 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 37.88 305-AH 36.07 335-AH 13.33 166-AH 0.00 196-AH 0.00 276-AH 49.15 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 84.00 277-AH 19.23 307-AH 35.06 337-AH 70.00 168-AH 50.00 198-AH 0.00 278-AH 23.81 308-AH 72.73 338-AH 50.00 169-AH 0.00 199-AH 40.00 279-AH 75.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 15.87 340-AH 40.00 483 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSET AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 156,576 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,911 Pooled false Geometric Mean Average Precision 0.1805 synset Binary Preference (BPREF) 0.3764 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.29 SYNSET 10 62.54 90% 20 56.64 80% 30 50.88 40 47.06 70% 50 42.35 60% 60 36.32 Precision 70 31.16 50% 80 25.75 40% 90 20.67 30% 100 14.35 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.33 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1408 Second Quartile 0.3735 Third Quartile 0.6164 Interquartile range 0.4756 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4033 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2965 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4033 10 Std With No Outliers 0.2965 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 SYNSET Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 SYNSET Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 SYNSET Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 SYNSET Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 SYNSET Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 SYNSET Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 SYNSET Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 484 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSET AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 11.76 251-AH 52.92 281-AH 39.53 311-AH 29.46 341-AH 89.22 142-AH 97.50 172-AH 10.32 252-AH 39.27 282-AH 16.95 312-AH 44.30 342-AH 81.94 143-AH 71.78 173-AH 100.00 253-AH 29.44 283-AH 25.83 313-AH 1.96 343-AH 5.26 144-AH 80.56 174-AH 100.00 254-AH 25.74 284-AH 51.38 314-AH 7.27 344-AH 45.13 145-AH 68.47 175-AH 72.90 255-AH 56.86 285-AH 41.26 315-AH 30.40 345-AH 6.78 146-AH 51.72 176-AH 78.36 256-AH 80.57 286-AH 8.85 316-AH 16.85 346-AH 9.13 147-AH 80.17 177-AH 21.11 257-AH 22.99 287-AH 37.24 317-AH 21.69 347-AH 4.15 148-AH 19.75 178-AH 1.53 258-AH 1.86 288-AH 20.99 318-AH 15.00 348-AH 100.00 149-AH 0.00 179-AH 41.58 259-AH 68.36 289-AH 70.97 319-AH 38.49 349-AH 38.48 150-AH 5.30 180-AH 10.63 260-AH 67.11 290-AH 18.29 320-AH 5.71 350-AH 72.24 151-AH 23.06 181-AH 82.29 261-AH 5.88 291-AH 66.19 321-AH 0.00 152-AH 71.43 182-AH 9.84 262-AH 41.04 292-AH 60.57 322-AH 5.13 153-AH 0.13 183-AH 4.96 263-AH 21.77 293-AH 60.48 323-AH 26.80 154-AH 37.46 184-AH 66.75 264-AH 42.97 294-AH 53.31 324-AH 65.83 155-AH 11.59 185-AH 100.00 265-AH 57.40 295-AH 33.77 325-AH 60.95 156-AH 13.11 186-AH 0.00 266-AH 0.82 296-AH 50.22 326-AH 52.09 157-AH 47.36 187-AH 11.11 267-AH 25.17 297-AH 41.56 327-AH 19.25 158-AH 46.99 188-AH 0.17 268-AH 67.20 298-AH 21.10 328-AH 43.61 159-AH 40.51 189-AH 100.00 269-AH 21.42 299-AH 49.32 329-AH 63.65 160-AH 6.56 190-AH 68.02 270-AH 71.12 300-AH 24.67 330-AH 82.46 161-AH 0.00 191-AH 0.00 271-AH 58.57 301-AH 39.96 331-AH 26.99 162-AH 100.00 192-AH 42.58 272-AH 22.68 302-AH 33.05 332-AH 28.10 163-AH 86.62 193-AH 36.38 273-AH 72.63 303-AH 27.61 333-AH 100.00 164-AH 12.83 194-AH 20.00 274-AH 26.55 304-AH 39.95 334-AH 15.83 165-AH 100.00 195-AH 0.00 275-AH 38.50 305-AH 32.61 335-AH 13.15 166-AH 0.00 196-AH 50.00 276-AH 53.57 306-AH 100.00 336-AH 4.71 167-AH 30.15 197-AH 95.36 277-AH 11.99 307-AH 24.76 337-AH 62.33 168-AH 43.10 198-AH 33.33 278-AH 29.93 308-AH 80.31 338-AH 59.55 169-AH 1.61 199-AH 56.82 279-AH 49.35 309-AH 5.66 339-AH 54.32 170-AH 100.00 200-AH 35.36 280-AH 12.69 310-AH 12.97 340-AH 29.21 485 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSET AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 46.25 SYNSET 10 docs 38.81 90% 15 docs 34.92 80% 20 docs 32.25 30 docs 28.38 70% 100 docs 16.14 60% 200 docs 9.95 Precision 500 docs 4.59 50% 1000 docs 2.44 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 38.87 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1583 Second Quartile 0.3849 Third Quartile 0.5798 Interquartile range 0.4215 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3887 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2894 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3887 15 Std With No Outliers 0.2894 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 SYNSET Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 SYNSET Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 SYNSET Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 SYNSET Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 SYNSET Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 SYNSET Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 SYNSET Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 486 know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSET AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 53.85 281-AH 38.10 311-AH 38.89 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 37.93 282-AH 32.26 312-AH 48.39 342-AH 80.21 143-AH 61.54 173-AH 100.00 253-AH 38.95 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 36.24 284-AH 50.00 314-AH 0.00 344-AH 42.42 145-AH 65.79 175-AH 57.14 255-AH 50.00 285-AH 46.38 315-AH 38.98 345-AH 0.00 146-AH 50.00 176-AH 66.67 256-AH 73.53 286-AH 8.33 316-AH 18.64 346-AH 9.09 147-AH 68.63 177-AH 23.08 257-AH 34.92 287-AH 34.69 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 27.63 318-AH 11.11 348-AH 100.00 149-AH 0.00 179-AH 45.45 259-AH 66.67 289-AH 61.11 319-AH 47.37 349-AH 37.04 150-AH 0.00 180-AH 15.00 260-AH 55.56 290-AH 18.37 320-AH 18.75 350-AH 70.00 151-AH 41.67 181-AH 79.35 261-AH 17.65 291-AH 63.33 321-AH 0.00 152-AH 63.64 182-AH 0.00 262-AH 41.18 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 58.82 323-AH 23.08 154-AH 33.33 184-AH 55.56 264-AH 40.91 294-AH 44.44 324-AH 64.86 155-AH 0.00 185-AH 100.00 265-AH 66.67 295-AH 39.22 325-AH 55.74 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 56.12 187-AH 0.00 267-AH 23.81 297-AH 41.67 327-AH 0.00 158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 42.59 189-AH 100.00 269-AH 22.22 299-AH 47.37 329-AH 58.82 160-AH 0.00 190-AH 66.67 270-AH 59.65 300-AH 19.05 330-AH 76.47 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 43.75 331-AH 29.41 162-AH 100.00 192-AH 33.33 272-AH 28.57 302-AH 29.41 332-AH 25.00 163-AH 79.51 193-AH 28.57 273-AH 67.47 303-AH 28.57 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 31.25 304-AH 40.00 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 37.88 305-AH 36.07 335-AH 13.33 166-AH 0.00 196-AH 0.00 276-AH 49.15 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 84.00 277-AH 19.23 307-AH 35.06 337-AH 70.00 168-AH 50.00 198-AH 0.00 278-AH 23.81 308-AH 72.73 338-AH 50.00 169-AH 0.00 199-AH 40.00 279-AH 75.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 15.87 340-AH 40.00 487 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,997 Pooled false Geometric Mean Average Precision 0.1916 Vector space model, query expansion Binary Preference (BPREF) 0.3901 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.01 ROB1 10 65.14 90% 20 59.46 80% 30 51.91 40 48.04 70% 50 44.70 60% 60 38.97 Precision 70 32.91 50% 80 26.93 40% 90 20.97 30% 100 14.24 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 41.94 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1530 Second Quartile 0.3873 Third Quartile 0.6767 Interquartile range 0.5237 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4194 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2996 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4194 10 Std With No Outliers 0.2996 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROB1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROB1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROB1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROB1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROB1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROB1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROB1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 488 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 11.96 251-AH 54.05 281-AH 43.95 311-AH 32.84 341-AH 90.48 142-AH 95.19 172-AH 9.55 252-AH 56.37 282-AH 16.65 312-AH 47.06 342-AH 67.48 143-AH 85.31 173-AH 100.00 253-AH 44.94 283-AH 39.60 313-AH 4.43 343-AH 3.45 144-AH 75.00 174-AH 100.00 254-AH 22.33 284-AH 55.89 314-AH 6.98 344-AH 44.31 145-AH 70.14 175-AH 78.06 255-AH 52.50 285-AH 68.26 315-AH 26.67 345-AH 29.39 146-AH 50.41 176-AH 92.61 256-AH 85.96 286-AH 4.61 316-AH 6.39 346-AH 6.52 147-AH 84.65 177-AH 43.77 257-AH 26.37 287-AH 43.29 317-AH 24.91 347-AH 7.48 148-AH 20.21 178-AH 12.90 258-AH 6.97 288-AH 27.27 318-AH 6.85 348-AH 100.00 149-AH 0.00 179-AH 80.18 259-AH 67.23 289-AH 77.68 319-AH 43.47 349-AH 27.91 150-AH 1.34 180-AH 3.19 260-AH 71.10 290-AH 25.38 320-AH 4.10 350-AH 71.75 151-AH 34.68 181-AH 82.58 261-AH 9.74 291-AH 59.87 321-AH 0.00 152-AH 71.28 182-AH 51.36 262-AH 35.04 292-AH 58.95 322-AH 13.76 153-AH 0.10 183-AH 17.68 263-AH 23.65 293-AH 56.00 323-AH 29.01 154-AH 40.06 184-AH 66.18 264-AH 43.84 294-AH 67.96 324-AH 26.47 155-AH 7.63 185-AH 25.00 265-AH 50.63 295-AH 34.09 325-AH 75.38 156-AH 13.16 186-AH 0.00 266-AH 0.55 296-AH 45.17 326-AH 15.40 157-AH 49.63 187-AH 14.29 267-AH 36.13 297-AH 39.04 327-AH 25.96 158-AH 62.81 188-AH 0.98 268-AH 68.99 298-AH 21.28 328-AH 38.41 159-AH 34.85 189-AH 90.48 269-AH 28.21 299-AH 44.19 329-AH 57.26 160-AH 15.34 190-AH 69.81 270-AH 77.84 300-AH 19.10 330-AH 79.39 161-AH 0.00 191-AH 0.00 271-AH 59.56 301-AH 44.56 331-AH 22.92 162-AH 50.00 192-AH 21.77 272-AH 17.06 302-AH 44.84 332-AH 35.80 163-AH 86.51 193-AH 40.57 273-AH 73.66 303-AH 37.38 333-AH 100.00 164-AH 11.64 194-AH 50.00 274-AH 10.84 304-AH 36.57 334-AH 20.31 165-AH 100.00 195-AH 0.00 275-AH 36.08 305-AH 30.41 335-AH 12.01 166-AH 0.00 196-AH 100.00 276-AH 64.76 306-AH 100.00 336-AH 2.30 167-AH 42.56 197-AH 79.59 277-AH 17.23 307-AH 36.71 337-AH 75.71 168-AH 58.39 198-AH 100.00 278-AH 26.82 308-AH 79.20 338-AH 68.76 169-AH 8.52 199-AH 67.86 279-AH 11.42 309-AH 5.02 339-AH 54.98 170-AH 100.00 200-AH 15.01 280-AH 8.69 310-AH 15.26 340-AH 41.96 489 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 47.25 ROB1 10 docs 40.75 90% 15 docs 36.67 80% 20 docs 33.81 30 docs 29.08 70% 100 docs 16.01 60% 200 docs 9.92 Precision 500 docs 4.66 50% 1000 docs 2.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.94 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1861 Second Quartile 0.3934 Third Quartile 0.6442 Interquartile range 0.4581 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4094 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2915 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4094 15 Std With No Outliers 0.2915 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROB1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROB1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROB1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROB1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROB1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROB1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROB1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 490 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB1 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 53.85 281-AH 45.24 311-AH 42.59 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 55.17 282-AH 29.03 312-AH 58.06 342-AH 61.46 143-AH 74.36 173-AH 100.00 253-AH 52.63 283-AH 39.47 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.88 284-AH 52.63 314-AH 5.56 344-AH 45.45 145-AH 65.79 175-AH 71.43 255-AH 50.00 285-AH 63.77 315-AH 33.90 345-AH 33.33 146-AH 50.00 176-AH 84.62 256-AH 76.47 286-AH 8.33 316-AH 0.85 346-AH 9.09 147-AH 74.51 177-AH 53.85 257-AH 34.92 287-AH 48.98 317-AH 26.67 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 36.84 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 72.73 259-AH 66.67 289-AH 72.22 319-AH 52.63 349-AH 25.93 150-AH 0.00 180-AH 0.00 260-AH 65.08 290-AH 28.57 320-AH 6.25 350-AH 70.00 151-AH 33.33 181-AH 78.26 261-AH 20.59 291-AH 56.67 321-AH 0.00 152-AH 72.73 182-AH 75.00 262-AH 41.18 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 50.00 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 45.45 294-AH 70.37 324-AH 35.14 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 39.22 325-AH 75.41 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 25.00 157-AH 54.68 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 25.00 158-AH 61.76 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 52.17 159-AH 35.19 189-AH 71.43 269-AH 33.33 299-AH 42.11 329-AH 58.82 160-AH 0.00 190-AH 66.67 270-AH 68.42 300-AH 19.05 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 50.00 331-AH 29.41 162-AH 0.00 192-AH 33.33 272-AH 21.43 302-AH 47.06 332-AH 25.00 163-AH 79.51 193-AH 28.57 273-AH 69.88 303-AH 35.71 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 42.42 305-AH 36.07 335-AH 6.67 166-AH 0.00 196-AH 100.00 276-AH 55.93 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 70.00 277-AH 30.77 307-AH 45.45 337-AH 75.00 168-AH 44.44 198-AH 100.00 278-AH 23.81 308-AH 72.73 338-AH 60.00 169-AH 16.67 199-AH 70.00 279-AH 25.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 22.22 280-AH 16.00 310-AH 23.81 340-AH 60.00 491 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 4,009 Pooled false Geometric Mean Average Precision 0.2118 Vector space model, query expansion Binary Preference (BPREF) 0.4222 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.07 ROB2 10 69.68 90% 20 63.82 80% 30 56.61 40 51.76 70% 50 46.97 60% 60 40.11 Precision 70 33.60 50% 80 27.71 40% 90 21.36 30% 100 14.57 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 44.52 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1965 Second Quartile 0.4259 Third Quartile 0.6519 Interquartile range 0.4554 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4452 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2970 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 1.0000 10 Mean With No Outliers 0.4452 Std With No Outliers 0.2970 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROB2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROB2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROB2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROB2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROB2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROB2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROB2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 492 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 13.59 251-AH 47.67 281-AH 59.08 311-AH 36.62 341-AH 90.48 142-AH 96.59 172-AH 13.90 252-AH 51.93 282-AH 14.39 312-AH 60.49 342-AH 63.27 143-AH 63.67 173-AH 100.00 253-AH 47.67 283-AH 25.63 313-AH 15.59 343-AH 6.67 144-AH 75.00 174-AH 100.00 254-AH 29.57 284-AH 57.03 314-AH 7.59 344-AH 39.93 145-AH 76.97 175-AH 77.16 255-AH 44.94 285-AH 72.48 315-AH 21.34 345-AH 23.64 146-AH 50.38 176-AH 93.91 256-AH 87.18 286-AH 5.33 316-AH 25.76 346-AH 7.21 147-AH 81.57 177-AH 45.33 257-AH 28.37 287-AH 46.55 317-AH 24.79 347-AH 10.74 148-AH 20.55 178-AH 6.12 258-AH 15.12 288-AH 25.41 318-AH 5.07 348-AH 100.00 149-AH 0.00 179-AH 77.12 259-AH 67.28 289-AH 90.81 319-AH 52.73 349-AH 53.07 150-AH 1.50 180-AH 60.48 260-AH 68.56 290-AH 26.58 320-AH 3.23 350-AH 56.34 151-AH 23.33 181-AH 83.98 261-AH 38.69 291-AH 53.96 321-AH 0.00 152-AH 37.64 182-AH 51.14 262-AH 36.86 292-AH 58.12 322-AH 7.98 153-AH 0.13 183-AH 31.60 263-AH 26.79 293-AH 56.24 323-AH 28.02 154-AH 47.21 184-AH 60.11 264-AH 54.43 294-AH 67.40 324-AH 38.90 155-AH 10.43 185-AH 11.11 265-AH 40.40 295-AH 39.05 325-AH 76.24 156-AH 14.13 186-AH 0.00 266-AH 3.38 296-AH 53.46 326-AH 38.11 157-AH 52.67 187-AH 100.00 267-AH 35.04 297-AH 42.40 327-AH 15.37 158-AH 57.87 188-AH 0.29 268-AH 72.55 298-AH 21.20 328-AH 40.30 159-AH 27.35 189-AH 90.48 269-AH 34.97 299-AH 45.73 329-AH 65.97 160-AH 13.10 190-AH 72.95 270-AH 75.93 300-AH 20.19 330-AH 69.89 161-AH 0.00 191-AH 0.00 271-AH 53.54 301-AH 54.53 331-AH 59.35 162-AH 100.00 192-AH 42.78 272-AH 17.30 302-AH 46.57 332-AH 35.83 163-AH 86.25 193-AH 40.71 273-AH 72.02 303-AH 29.74 333-AH 100.00 164-AH 6.50 194-AH 100.00 274-AH 21.63 304-AH 44.12 334-AH 39.46 165-AH 100.00 195-AH 0.00 275-AH 58.70 305-AH 31.65 335-AH 28.88 166-AH 0.00 196-AH 50.00 276-AH 60.63 306-AH 100.00 336-AH 13.80 167-AH 27.22 197-AH 68.88 277-AH 16.89 307-AH 36.64 337-AH 83.69 168-AH 47.27 198-AH 100.00 278-AH 19.11 308-AH 79.12 338-AH 62.95 169-AH 7.31 199-AH 64.42 279-AH 9.83 309-AH 5.27 339-AH 71.46 170-AH 100.00 200-AH 63.22 280-AH 2.69 310-AH 8.88 340-AH 41.67 493 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 52.25 ROB2 10 docs 44.50 90% 15 docs 39.21 80% 20 docs 35.97 30 docs 30.77 70% 100 docs 16.56 60% 200 docs 10.09 Precision 500 docs 4.71 50% 1000 docs 2.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 43.54 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2296 Second Quartile 0.4444 Third Quartile 0.6428 Interquartile range 0.4132 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4354 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2899 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4354 10 Std With No Outliers 0.2899 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROB2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROB2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROB2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROB2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROB2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROB2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROB2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 494 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB2 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 49.23 281-AH 54.76 311-AH 44.44 341-AH 83.33 142-AH 87.50 172-AH 28.57 252-AH 58.62 282-AH 22.58 312-AH 54.84 342-AH 61.46 143-AH 61.54 173-AH 100.00 253-AH 50.53 283-AH 31.58 313-AH 20.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 36.24 284-AH 57.89 314-AH 0.00 344-AH 39.39 145-AH 68.42 175-AH 71.43 255-AH 25.00 285-AH 72.46 315-AH 27.12 345-AH 22.22 146-AH 50.00 176-AH 84.62 256-AH 82.35 286-AH 8.33 316-AH 32.20 346-AH 9.09 147-AH 70.59 177-AH 46.15 257-AH 36.51 287-AH 51.02 317-AH 26.67 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 25.00 288-AH 36.84 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 88.89 319-AH 57.89 349-AH 44.44 150-AH 0.00 180-AH 65.00 260-AH 61.90 290-AH 26.53 320-AH 6.25 350-AH 50.00 151-AH 33.33 181-AH 76.09 261-AH 41.18 291-AH 53.33 321-AH 0.00 152-AH 27.27 182-AH 75.00 262-AH 41.18 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 25.00 263-AH 31.25 293-AH 50.00 323-AH 26.92 154-AH 38.10 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 41.89 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 47.06 325-AH 68.85 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00 157-AH 54.68 187-AH 100.00 267-AH 33.33 297-AH 41.67 327-AH 0.00 158-AH 55.88 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 47.83 159-AH 27.78 189-AH 71.43 269-AH 44.44 299-AH 43.42 329-AH 64.71 160-AH 0.00 190-AH 77.78 270-AH 64.91 300-AH 19.05 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 62.50 331-AH 52.94 162-AH 100.00 192-AH 50.00 272-AH 21.43 302-AH 47.06 332-AH 25.00 163-AH 76.23 193-AH 28.57 273-AH 63.86 303-AH 35.71 333-AH 100.00 164-AH 0.00 194-AH 100.00 274-AH 25.00 304-AH 40.00 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 62.12 305-AH 36.07 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 55.93 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 62.00 277-AH 30.77 307-AH 46.75 337-AH 85.00 168-AH 44.44 198-AH 100.00 278-AH 23.81 308-AH 72.73 338-AH 50.00 169-AH 16.67 199-AH 70.00 279-AH 25.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 66.67 280-AH 0.00 310-AH 14.29 340-AH 60.00 495 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title Relevant retrieved 3,881 Pooled false Geometric Mean Average Precision 0.1349 Vector space model, query expansion Binary Preference (BPREF) 0.3584 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.37 ROB3 10 57.83 90% 20 52.86 80% 30 46.14 40 42.75 70% 50 38.53 60% 60 33.56 Precision 70 28.64 50% 80 24.63 40% 90 18.84 30% 100 12.98 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.09 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0856 Second Quartile 0.3063 Third Quartile 0.5788 Interquartile range 0.4932 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3709 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3108 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3709 15 Std With No Outliers 0.3108 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROB3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROB3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROB3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROB3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROB3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROB3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROB3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 496 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 11.11 251-AH 24.83 281-AH 25.54 311-AH 23.74 341-AH 11.47 142-AH 97.50 172-AH 1.94 252-AH 47.17 282-AH 0.77 312-AH 49.07 342-AH 66.29 143-AH 90.82 173-AH 100.00 253-AH 41.89 283-AH 42.28 313-AH 1.28 343-AH 1.79 144-AH 73.81 174-AH 100.00 254-AH 25.58 284-AH 43.94 314-AH 2.66 344-AH 43.90 145-AH 65.05 175-AH 48.21 255-AH 30.68 285-AH 68.13 315-AH 30.57 345-AH 30.39 146-AH 50.00 176-AH 91.88 256-AH 85.63 286-AH 2.44 316-AH 6.39 346-AH 11.48 147-AH 66.18 177-AH 44.01 257-AH 29.81 287-AH 27.88 317-AH 20.35 347-AH 7.89 148-AH 20.21 178-AH 1.66 258-AH 4.70 288-AH 14.72 318-AH 6.89 348-AH 100.00 149-AH 0.00 179-AH 78.74 259-AH 0.25 289-AH 77.68 319-AH 29.25 349-AH 42.27 150-AH 0.13 180-AH 2.09 260-AH 53.59 290-AH 13.69 320-AH 0.70 350-AH 68.88 151-AH 40.03 181-AH 83.13 261-AH 1.42 291-AH 56.99 321-AH 0.00 152-AH 11.45 182-AH 4.76 262-AH 45.80 292-AH 14.02 322-AH 4.76 153-AH 0.13 183-AH 18.69 263-AH 19.32 293-AH 54.03 323-AH 27.23 154-AH 17.15 184-AH 45.21 264-AH 54.96 294-AH 62.05 324-AH 56.10 155-AH 13.91 185-AH 11.11 265-AH 74.10 295-AH 42.28 325-AH 50.44 156-AH 18.77 186-AH 0.00 266-AH 0.24 296-AH 51.88 326-AH 22.15 157-AH 42.48 187-AH 9.09 267-AH 37.96 297-AH 36.58 327-AH 46.10 158-AH 60.62 188-AH 0.16 268-AH 69.23 298-AH 6.05 328-AH 39.50 159-AH 50.32 189-AH 94.78 269-AH 23.10 299-AH 30.51 329-AH 50.82 160-AH 5.30 190-AH 65.86 270-AH 77.60 300-AH 21.30 330-AH 77.15 161-AH 0.00 191-AH 0.00 271-AH 58.77 301-AH 44.48 331-AH 25.04 162-AH 100.00 192-AH 15.39 272-AH 1.91 302-AH 46.20 332-AH 30.71 163-AH 78.96 193-AH 20.67 273-AH 60.76 303-AH 34.16 333-AH 100.00 164-AH 6.72 194-AH 11.11 274-AH 1.00 304-AH 27.48 334-AH 12.42 165-AH 100.00 195-AH 0.00 275-AH 34.84 305-AH 32.22 335-AH 6.40 166-AH 0.00 196-AH 100.00 276-AH 62.20 306-AH 100.00 336-AH 0.62 167-AH 29.56 197-AH 75.16 277-AH 9.21 307-AH 31.40 337-AH 87.25 168-AH 50.77 198-AH 100.00 278-AH 36.77 308-AH 79.67 338-AH 20.19 169-AH 5.11 199-AH 67.04 279-AH 2.76 309-AH 3.91 339-AH 54.70 170-AH 100.00 200-AH 8.54 280-AH 8.58 310-AH 8.09 340-AH 36.71 497 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 41.63 ROB3 10 docs 36.06 90% 15 docs 33.25 80% 20 docs 30.41 30 docs 26.83 70% 100 docs 14.79 60% 200 docs 9.27 Precision 500 docs 4.48 50% 1000 docs 2.43 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.49 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0714 Second Quartile 0.3598 Third Quartile 0.5627 Interquartile range 0.4913 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3649 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3024 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3649 20 15 Std With No Outliers 0.3024 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROB3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROB3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROB3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROB3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROB3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROB3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROB3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 498 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB3 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 23.08 281-AH 28.57 311-AH 33.33 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 0.00 312-AH 51.61 342-AH 53.12 143-AH 82.05 173-AH 100.00 253-AH 45.26 283-AH 50.00 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 36.24 284-AH 44.74 314-AH 0.00 344-AH 54.55 145-AH 60.53 175-AH 42.86 255-AH 25.00 285-AH 59.42 315-AH 38.98 345-AH 33.33 146-AH 50.00 176-AH 87.18 256-AH 79.41 286-AH 8.33 316-AH 0.85 346-AH 18.18 147-AH 62.75 177-AH 46.15 257-AH 42.86 287-AH 34.69 317-AH 30.00 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 22.37 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 68.18 259-AH 0.00 289-AH 72.22 319-AH 26.32 349-AH 40.74 150-AH 0.00 180-AH 0.00 260-AH 52.38 290-AH 12.24 320-AH 0.00 350-AH 70.00 151-AH 41.67 181-AH 79.35 261-AH 2.94 291-AH 56.67 321-AH 0.00 152-AH 18.18 182-AH 0.00 262-AH 48.24 292-AH 25.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 47.06 323-AH 26.92 154-AH 14.29 184-AH 44.44 264-AH 50.00 294-AH 66.67 324-AH 56.76 155-AH 0.00 185-AH 0.00 265-AH 66.67 295-AH 41.18 325-AH 57.38 156-AH 27.27 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 25.00 157-AH 49.64 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 25.00 158-AH 55.88 188-AH 0.00 268-AH 66.67 298-AH 0.00 328-AH 47.83 159-AH 50.00 189-AH 85.71 269-AH 44.44 299-AH 34.21 329-AH 41.18 160-AH 0.00 190-AH 66.67 270-AH 63.16 300-AH 23.81 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 43.75 331-AH 23.53 162-AH 100.00 192-AH 16.67 272-AH 7.14 302-AH 47.06 332-AH 25.00 163-AH 70.49 193-AH 14.29 273-AH 54.22 303-AH 35.71 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 0.00 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 45.45 305-AH 31.15 335-AH 0.00 166-AH 0.00 196-AH 100.00 276-AH 57.63 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 64.00 277-AH 15.38 307-AH 40.26 337-AH 85.00 168-AH 38.89 198-AH 100.00 278-AH 38.10 308-AH 72.73 338-AH 20.00 169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 11.11 280-AH 12.00 310-AH 11.11 340-AH 40.00 499 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 4,011 Pooled false Geometric Mean Average Precision 0.2105 Vector space model, no query expansion Binary Preference (BPREF) 0.4093 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.13 ROB4 10 69.68 90% 20 63.07 80% 30 54.74 40 50.00 70% 50 45.43 60% 60 38.45 Precision 70 32.46 50% 80 26.73 40% 90 21.02 30% 100 14.64 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 43.50 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1921 Second Quartile 0.4302 Third Quartile 0.6415 Interquartile range 0.4495 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4350 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2894 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 1.0000 10 Mean With No Outliers 0.4350 Std With No Outliers 0.2894 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROB4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROB4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROB4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROB4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROB4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROB4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROB4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 500 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 13.83 251-AH 46.44 281-AH 55.48 311-AH 38.02 341-AH 88.89 142-AH 97.50 172-AH 12.06 252-AH 50.14 282-AH 14.69 312-AH 62.33 342-AH 59.76 143-AH 69.86 173-AH 100.00 253-AH 43.65 283-AH 21.56 313-AH 17.02 343-AH 12.50 144-AH 72.22 174-AH 100.00 254-AH 29.08 284-AH 54.40 314-AH 8.27 344-AH 38.65 145-AH 74.84 175-AH 67.67 255-AH 45.42 285-AH 71.60 315-AH 21.94 345-AH 18.54 146-AH 50.40 176-AH 93.68 256-AH 87.71 286-AH 5.45 316-AH 22.18 346-AH 5.45 147-AH 75.87 177-AH 29.66 257-AH 27.24 287-AH 49.40 317-AH 25.59 347-AH 10.73 148-AH 20.15 178-AH 13.27 258-AH 15.44 288-AH 17.53 318-AH 7.42 348-AH 100.00 149-AH 0.00 179-AH 53.27 259-AH 67.54 289-AH 87.12 319-AH 49.09 349-AH 39.41 150-AH 2.59 180-AH 59.49 260-AH 63.96 290-AH 25.40 320-AH 3.88 350-AH 57.32 151-AH 21.53 181-AH 82.96 261-AH 38.62 291-AH 57.33 321-AH 0.00 152-AH 40.08 182-AH 50.95 262-AH 43.28 292-AH 59.43 322-AH 8.67 153-AH 0.11 183-AH 50.71 263-AH 29.19 293-AH 64.63 323-AH 27.17 154-AH 45.60 184-AH 59.52 264-AH 44.22 294-AH 66.42 324-AH 43.68 155-AH 21.34 185-AH 11.11 265-AH 41.92 295-AH 34.18 325-AH 70.51 156-AH 12.90 186-AH 0.00 266-AH 4.16 296-AH 58.23 326-AH 19.11 157-AH 50.02 187-AH 100.00 267-AH 36.71 297-AH 42.26 327-AH 16.85 158-AH 46.18 188-AH 0.40 268-AH 70.83 298-AH 19.30 328-AH 48.07 159-AH 25.26 189-AH 87.14 269-AH 32.75 299-AH 43.78 329-AH 66.53 160-AH 6.41 190-AH 64.35 270-AH 72.92 300-AH 21.28 330-AH 69.67 161-AH 0.00 191-AH 0.00 271-AH 53.02 301-AH 53.71 331-AH 60.28 162-AH 100.00 192-AH 45.37 272-AH 17.55 302-AH 42.75 332-AH 38.67 163-AH 84.97 193-AH 42.55 273-AH 72.77 303-AH 27.86 333-AH 100.00 164-AH 8.35 194-AH 100.00 274-AH 24.51 304-AH 40.22 334-AH 39.28 165-AH 100.00 195-AH 0.00 275-AH 52.82 305-AH 31.71 335-AH 25.89 166-AH 0.00 196-AH 50.00 276-AH 56.37 306-AH 100.00 336-AH 20.42 167-AH 32.47 197-AH 70.46 277-AH 17.02 307-AH 33.68 337-AH 88.95 168-AH 56.90 198-AH 25.00 278-AH 25.57 308-AH 78.15 338-AH 65.17 169-AH 5.99 199-AH 61.90 279-AH 10.04 309-AH 4.40 339-AH 73.16 170-AH 100.00 200-AH 62.96 280-AH 3.03 310-AH 8.28 340-AH 46.17 501 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 51.00 ROB4 10 docs 43.56 90% 15 docs 38.46 80% 20 docs 35.09 30 docs 30.44 70% 100 docs 16.41 60% 200 docs 9.98 Precision 500 docs 4.70 50% 1000 docs 2.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 42.37 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2500 Second Quartile 0.4118 Third Quartile 0.6077 Interquartile range 0.3577 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4237 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2809 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4237 10 Std With No Outliers 0.2809 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROB4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROB4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROB4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROB4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROB4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROB4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROB4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 502 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB4 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 47.69 281-AH 54.76 311-AH 42.59 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 44.83 282-AH 22.58 312-AH 58.06 342-AH 58.33 143-AH 61.54 173-AH 100.00 253-AH 50.00 283-AH 31.58 313-AH 25.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 35.81 284-AH 52.63 314-AH 0.00 344-AH 39.39 145-AH 65.79 175-AH 71.43 255-AH 25.00 285-AH 66.67 315-AH 27.12 345-AH 22.22 146-AH 50.00 176-AH 82.05 256-AH 85.29 286-AH 8.33 316-AH 33.05 346-AH 0.00 147-AH 66.67 177-AH 30.77 257-AH 34.92 287-AH 53.06 317-AH 30.00 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 28.95 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 50.00 259-AH 66.67 289-AH 77.78 319-AH 52.63 349-AH 33.33 150-AH 0.00 180-AH 62.50 260-AH 58.73 290-AH 28.57 320-AH 6.25 350-AH 50.00 151-AH 33.33 181-AH 73.91 261-AH 41.18 291-AH 53.33 321-AH 0.00 152-AH 36.36 182-AH 75.00 262-AH 43.53 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 25.00 263-AH 35.42 293-AH 55.88 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 45.45 294-AH 70.37 324-AH 44.59 155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 45.10 325-AH 62.30 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 25.00 157-AH 53.96 187-AH 100.00 267-AH 33.33 297-AH 41.67 327-AH 0.00 158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 47.83 159-AH 25.93 189-AH 71.43 269-AH 44.44 299-AH 40.79 329-AH 64.71 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 19.05 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 56.25 331-AH 58.82 162-AH 100.00 192-AH 33.33 272-AH 21.43 302-AH 41.18 332-AH 25.00 163-AH 76.23 193-AH 28.57 273-AH 63.86 303-AH 35.71 333-AH 100.00 164-AH 7.41 194-AH 100.00 274-AH 31.25 304-AH 40.00 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 57.58 305-AH 34.43 335-AH 33.33 166-AH 0.00 196-AH 0.00 276-AH 54.24 306-AH 100.00 336-AH 29.41 167-AH 40.00 197-AH 60.00 277-AH 26.92 307-AH 44.16 337-AH 80.00 168-AH 50.00 198-AH 0.00 278-AH 28.57 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 66.67 280-AH 0.00 310-AH 9.52 340-AH 60.00 503 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 4,002 Pooled false Geometric Mean Average Precision 0.1869 Vector space model, no query expansion Binary Preference (BPREF) 0.3721 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.77 ROB5 10 63.92 90% 20 58.34 80% 30 50.72 40 46.61 70% 50 42.44 60% 60 36.65 Precision 70 31.29 50% 80 25.49 40% 90 20.43 30% 100 13.96 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.66 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1676 Second Quartile 0.3474 Third Quartile 0.6212 Interquartile range 0.4536 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4066 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2892 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 1.0000 10 Mean With No Outliers 0.4066 Std With No Outliers 0.2892 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROB5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROB5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROB5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROB5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROB5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROB5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROB5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 504 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.41 251-AH 53.35 281-AH 42.19 311-AH 34.54 341-AH 87.50 142-AH 96.59 172-AH 10.46 252-AH 47.40 282-AH 16.91 312-AH 53.27 342-AH 67.18 143-AH 85.31 173-AH 100.00 253-AH 40.10 283-AH 36.10 313-AH 7.18 343-AH 5.88 144-AH 66.67 174-AH 100.00 254-AH 23.32 284-AH 50.76 314-AH 7.75 344-AH 46.32 145-AH 69.24 175-AH 77.86 255-AH 56.83 285-AH 64.62 315-AH 24.80 345-AH 21.76 146-AH 50.42 176-AH 92.47 256-AH 87.71 286-AH 5.20 316-AH 16.88 346-AH 5.97 147-AH 80.70 177-AH 28.98 257-AH 25.72 287-AH 42.42 317-AH 26.51 347-AH 8.39 148-AH 20.15 178-AH 6.87 258-AH 6.21 288-AH 16.63 318-AH 12.98 348-AH 100.00 149-AH 0.00 179-AH 56.43 259-AH 67.34 289-AH 73.08 319-AH 37.55 349-AH 31.64 150-AH 2.28 180-AH 9.21 260-AH 67.87 290-AH 26.82 320-AH 3.37 350-AH 69.86 151-AH 27.02 181-AH 80.79 261-AH 11.63 291-AH 56.39 321-AH 0.00 152-AH 76.73 182-AH 51.36 262-AH 44.33 292-AH 59.97 322-AH 7.71 153-AH 0.00 183-AH 20.14 263-AH 24.20 293-AH 67.11 323-AH 26.48 154-AH 41.32 184-AH 65.46 264-AH 34.22 294-AH 62.22 324-AH 34.82 155-AH 10.22 185-AH 20.00 265-AH 53.15 295-AH 32.59 325-AH 68.04 156-AH 13.55 186-AH 0.00 266-AH 1.73 296-AH 50.55 326-AH 29.99 157-AH 47.94 187-AH 14.29 267-AH 39.79 297-AH 43.13 327-AH 20.15 158-AH 42.46 188-AH 0.96 268-AH 68.04 298-AH 20.22 328-AH 44.09 159-AH 30.40 189-AH 87.14 269-AH 22.91 299-AH 42.45 329-AH 59.86 160-AH 9.55 190-AH 58.63 270-AH 74.33 300-AH 23.88 330-AH 82.49 161-AH 0.00 191-AH 0.00 271-AH 55.37 301-AH 48.44 331-AH 27.74 162-AH 50.00 192-AH 20.74 272-AH 16.56 302-AH 39.04 332-AH 38.50 163-AH 87.59 193-AH 44.46 273-AH 70.47 303-AH 29.77 333-AH 100.00 164-AH 11.25 194-AH 25.00 274-AH 19.52 304-AH 34.67 334-AH 19.20 165-AH 100.00 195-AH 0.00 275-AH 33.74 305-AH 31.04 335-AH 17.19 166-AH 0.00 196-AH 50.00 276-AH 58.77 306-AH 100.00 336-AH 4.76 167-AH 33.59 197-AH 85.38 277-AH 15.46 307-AH 31.80 337-AH 75.69 168-AH 49.19 198-AH 100.00 278-AH 27.37 308-AH 74.63 338-AH 59.63 169-AH 6.43 199-AH 64.43 279-AH 10.68 309-AH 4.01 339-AH 62.02 170-AH 100.00 200-AH 27.84 280-AH 6.87 310-AH 13.34 340-AH 32.70 505 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 47.75 ROB5 10 docs 39.94 90% 15 docs 35.83 80% 20 docs 33.31 30 docs 29.46 70% 100 docs 15.89 60% 200 docs 10.02 Precision 500 docs 4.68 50% 1000 docs 2.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.12 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1716 Second Quartile 0.3810 Third Quartile 0.5882 Interquartile range 0.4167 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3912 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2816 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.3912 10 Std With No Outliers 0.2816 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROB5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROB5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROB5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROB5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROB5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROB5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROB5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 506 reina 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.REINA.ROB5 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 52.31 281-AH 35.71 311-AH 40.74 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 25.81 312-AH 61.29 342-AH 59.38 143-AH 76.92 173-AH 100.00 253-AH 48.95 283-AH 34.21 313-AH 5.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 36.24 284-AH 52.63 314-AH 5.56 344-AH 51.52 145-AH 63.16 175-AH 57.14 255-AH 25.00 285-AH 59.42 315-AH 25.42 345-AH 22.22 146-AH 50.00 176-AH 79.49 256-AH 82.35 286-AH 8.33 316-AH 20.34 346-AH 9.09 147-AH 70.59 177-AH 38.46 257-AH 34.92 287-AH 44.90 317-AH 30.00 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 27.63 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 72.22 319-AH 47.37 349-AH 29.63 150-AH 0.00 180-AH 12.50 260-AH 63.49 290-AH 26.53 320-AH 6.25 350-AH 70.00 151-AH 33.33 181-AH 78.26 261-AH 17.65 291-AH 56.67 321-AH 0.00 152-AH 72.73 182-AH 75.00 262-AH 44.71 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 58.82 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 31.82 294-AH 62.96 324-AH 39.19 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 39.22 325-AH 65.57 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00 157-AH 52.52 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 25.00 158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 33.33 189-AH 71.43 269-AH 33.33 299-AH 40.79 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 63.16 300-AH 19.05 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 50.00 331-AH 29.41 162-AH 0.00 192-AH 33.33 272-AH 21.43 302-AH 41.18 332-AH 25.00 163-AH 77.87 193-AH 42.86 273-AH 67.47 303-AH 21.43 333-AH 100.00 164-AH 11.11 194-AH 0.00 274-AH 31.25 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 29.51 335-AH 13.33 166-AH 0.00 196-AH 0.00 276-AH 55.93 306-AH 100.00 336-AH 5.88 167-AH 40.00 197-AH 76.00 277-AH 23.08 307-AH 42.86 337-AH 70.00 168-AH 44.44 198-AH 100.00 278-AH 28.57 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 33.33 280-AH 12.00 310-AH 20.63 340-AH 40.00 507 ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UFRGS.UFRGS_MONO AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,290 Pooled false Geometric Mean Average Precision 0.1155 mono baseline Binary Preference (BPREF) 0.3156 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.96 UFRGS_MONO 10 53.13 90% 20 46.22 80% 30 38.80 40 34.78 70% 50 30.92 60% 60 27.30 Precision 70 23.35 50% 80 19.52 40% 90 14.38 30% 100 10.76 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 31.69 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0686 Second Quartile 0.2446 Third Quartile 0.5002 Interquartile range 0.4316 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3169 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2882 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3169 20 15 Std With No Outliers 0.2882 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UFRGS_MONO Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UFRGS_MONO Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UFRGS_MONO Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UFRGS_MONO Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UFRGS_MONO Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UFRGS_MONO Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UFRGS_MONO Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 508 ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UFRGS.UFRGS_MONO AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.77 251-AH 52.10 281-AH 50.03 311-AH 19.71 341-AH 87.18 142-AH 97.05 172-AH 7.38 252-AH 25.44 282-AH 17.51 312-AH 8.19 342-AH 76.61 143-AH 61.60 173-AH 100.00 253-AH 9.95 283-AH 6.72 313-AH 10.28 343-AH 3.12 144-AH 36.46 174-AH 100.00 254-AH 6.28 284-AH 36.00 314-AH 8.93 344-AH 56.96 145-AH 40.77 175-AH 74.73 255-AH 27.13 285-AH 38.04 315-AH 34.67 345-AH 27.26 146-AH 4.86 176-AH 90.14 256-AH 81.48 286-AH 0.66 316-AH 7.84 346-AH 4.53 147-AH 29.78 177-AH 11.12 257-AH 21.02 287-AH 20.33 317-AH 19.95 347-AH 6.57 148-AH 6.13 178-AH 1.38 258-AH 1.62 288-AH 6.94 318-AH 36.57 348-AH 100.00 149-AH 0.00 179-AH 13.18 259-AH 68.23 289-AH 51.31 319-AH 9.88 349-AH 38.72 150-AH 14.19 180-AH 67.91 260-AH 52.13 290-AH 11.90 320-AH 2.28 350-AH 72.87 151-AH 23.92 181-AH 76.07 261-AH 7.68 291-AH 48.27 321-AH 0.00 152-AH 67.15 182-AH 4.47 262-AH 4.93 292-AH 81.67 322-AH 2.61 153-AH 0.00 183-AH 4.06 263-AH 11.77 293-AH 48.81 323-AH 21.33 154-AH 32.62 184-AH 50.52 264-AH 61.52 294-AH 57.15 324-AH 11.93 155-AH 28.61 185-AH 33.33 265-AH 9.54 295-AH 8.80 325-AH 45.64 156-AH 8.98 186-AH 0.00 266-AH 2.19 296-AH 22.65 326-AH 16.13 157-AH 33.97 187-AH 5.26 267-AH 23.17 297-AH 14.07 327-AH 0.00 158-AH 27.13 188-AH 4.17 268-AH 55.56 298-AH 11.04 328-AH 46.51 159-AH 10.88 189-AH 92.40 269-AH 13.38 299-AH 35.49 329-AH 75.36 160-AH 25.22 190-AH 31.01 270-AH 41.59 300-AH 19.28 330-AH 73.51 161-AH 0.00 191-AH 0.00 271-AH 48.86 301-AH 0.24 331-AH 28.92 162-AH 100.00 192-AH 25.33 272-AH 27.10 302-AH 4.88 332-AH 41.51 163-AH 57.55 193-AH 48.06 273-AH 60.42 303-AH 4.80 333-AH 100.00 164-AH 4.06 194-AH 16.67 274-AH 20.55 304-AH 28.42 334-AH 28.41 165-AH 50.00 195-AH 0.00 275-AH 9.33 305-AH 19.26 335-AH 16.67 166-AH 0.00 196-AH 50.00 276-AH 32.07 306-AH 50.00 336-AH 0.79 167-AH 4.17 197-AH 44.70 277-AH 11.43 307-AH 4.96 337-AH 69.61 168-AH 32.38 198-AH 25.00 278-AH 6.10 308-AH 73.97 338-AH 75.41 169-AH 4.44 199-AH 67.78 279-AH 9.57 309-AH 3.44 339-AH 51.95 170-AH 100.00 200-AH 25.40 280-AH 4.18 310-AH 6.22 340-AH 63.93 509 ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UFRGS.UFRGS_MONO AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 41.63 UFRGS_MONO 10 docs 34.25 90% 15 docs 30.17 80% 20 docs 26.81 30 docs 23.27 70% 100 docs 12.42 60% 200 docs 7.77 Precision 500 docs 3.74 50% 1000 docs 2.06 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 31.30 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0728 Second Quartile 0.2520 Third Quartile 0.4734 Interquartile range 0.4006 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3130 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2792 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3130 20 15 Std With No Outliers 0.2792 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UFRGS_MONO Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UFRGS_MONO Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UFRGS_MONO Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UFRGS_MONO Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UFRGS_MONO Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UFRGS_MONO Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UFRGS_MONO Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 510 ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UFRGS.UFRGS_MONO AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 50.77 281-AH 50.00 311-AH 27.78 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 37.93 282-AH 25.81 312-AH 16.13 342-AH 77.08 143-AH 56.41 173-AH 100.00 253-AH 20.00 283-AH 10.53 313-AH 30.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 15.72 284-AH 36.84 314-AH 11.11 344-AH 54.55 145-AH 42.11 175-AH 71.43 255-AH 25.00 285-AH 42.03 315-AH 49.15 345-AH 22.22 146-AH 0.00 176-AH 84.62 256-AH 70.59 286-AH 0.00 316-AH 16.95 346-AH 0.00 147-AH 33.33 177-AH 7.69 257-AH 25.40 287-AH 22.45 317-AH 26.67 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 11.84 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 13.64 259-AH 66.67 289-AH 44.44 319-AH 15.79 349-AH 40.74 150-AH 0.00 180-AH 65.00 260-AH 47.62 290-AH 18.37 320-AH 6.25 350-AH 70.00 151-AH 25.00 181-AH 72.83 261-AH 14.71 291-AH 43.33 321-AH 0.00 152-AH 63.64 182-AH 0.00 262-AH 11.76 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 20.83 293-AH 47.06 323-AH 23.08 154-AH 42.86 184-AH 44.44 264-AH 68.18 294-AH 51.85 324-AH 22.97 155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 15.69 325-AH 44.26 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 25.00 157-AH 40.29 187-AH 0.00 267-AH 38.10 297-AH 16.67 327-AH 0.00 158-AH 32.35 188-AH 0.00 268-AH 66.67 298-AH 16.67 328-AH 47.83 159-AH 12.96 189-AH 85.71 269-AH 11.11 299-AH 42.11 329-AH 64.71 160-AH 50.00 190-AH 33.33 270-AH 35.09 300-AH 28.57 330-AH 78.43 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 0.00 331-AH 41.18 162-AH 100.00 192-AH 16.67 272-AH 35.71 302-AH 5.88 332-AH 37.50 163-AH 53.28 193-AH 42.86 273-AH 59.04 303-AH 14.29 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 16.67 305-AH 22.95 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 30.51 306-AH 0.00 336-AH 0.00 167-AH 0.00 197-AH 42.00 277-AH 23.08 307-AH 11.69 337-AH 60.00 168-AH 38.89 198-AH 0.00 278-AH 19.05 308-AH 72.73 338-AH 80.00 169-AH 16.67 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 42.11 170-AH 100.00 200-AH 33.33 280-AH 4.00 310-AH 9.52 340-AH 60.00 511 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKRF AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,895 Pooled false Geometric Mean Average Precision 0.1793 keyword lucene + BM25 + RF Binary Preference (BPREF) 0.4147 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.10 UNIBAKRF 10 66.01 90% 20 60.67 80% 30 53.58 40 48.30 70% 50 43.92 60% 60 37.81 Precision 70 31.80 50% 80 27.59 40% 90 22.40 30% 100 15.75 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 42.50 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1647 Second Quartile 0.3784 Third Quartile 0.6658 Interquartile range 0.5012 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4250 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3032 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4250 10 Std With No Outliers 0.3032 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 512 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKRF AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 4.17 251-AH 53.67 281-AH 52.94 311-AH 22.49 341-AH 68.61 142-AH 100.00 172-AH 19.31 252-AH 52.58 282-AH 8.78 312-AH 49.02 342-AH 76.12 143-AH 69.57 173-AH 100.00 253-AH 46.56 283-AH 33.98 313-AH 5.56 343-AH 0.89 144-AH 72.22 174-AH 100.00 254-AH 19.45 284-AH 59.33 314-AH 6.16 344-AH 43.76 145-AH 63.27 175-AH 71.31 255-AH 42.39 285-AH 82.73 315-AH 38.97 345-AH 14.31 146-AH 50.63 176-AH 81.48 256-AH 82.15 286-AH 2.15 316-AH 6.25 346-AH 11.39 147-AH 60.13 177-AH 19.23 257-AH 29.39 287-AH 34.42 317-AH 28.85 347-AH 15.14 148-AH 5.55 178-AH 16.97 258-AH 16.53 288-AH 25.13 318-AH 5.01 348-AH 100.00 149-AH 0.00 179-AH 78.16 259-AH 67.17 289-AH 77.12 319-AH 33.82 349-AH 40.28 150-AH 5.91 180-AH 50.26 260-AH 52.90 290-AH 8.56 320-AH 1.68 350-AH 43.14 151-AH 23.68 181-AH 83.18 261-AH 37.88 291-AH 44.38 321-AH 0.00 152-AH 22.44 182-AH 10.06 262-AH 30.77 292-AH 73.21 322-AH 3.18 153-AH 0.28 183-AH 60.00 263-AH 28.10 293-AH 51.00 323-AH 26.44 154-AH 34.19 184-AH 57.11 264-AH 58.90 294-AH 62.28 324-AH 57.07 155-AH 14.84 185-AH 33.33 265-AH 62.60 295-AH 28.23 325-AH 57.46 156-AH 15.09 186-AH 0.00 266-AH 0.73 296-AH 53.27 326-AH 33.87 157-AH 66.09 187-AH 50.00 267-AH 24.95 297-AH 36.99 327-AH 35.76 158-AH 57.60 188-AH 0.00 268-AH 67.93 298-AH 16.41 328-AH 70.08 159-AH 33.28 189-AH 96.83 269-AH 37.80 299-AH 32.49 329-AH 70.03 160-AH 2.53 190-AH 67.28 270-AH 67.08 300-AH 21.22 330-AH 77.91 161-AH 0.00 191-AH 0.00 271-AH 53.05 301-AH 0.67 331-AH 74.10 162-AH 100.00 192-AH 54.74 272-AH 15.31 302-AH 34.61 332-AH 41.63 163-AH 81.00 193-AH 46.25 273-AH 64.71 303-AH 21.53 333-AH 100.00 164-AH 6.73 194-AH 100.00 274-AH 34.38 304-AH 28.93 334-AH 26.47 165-AH 100.00 195-AH 0.00 275-AH 30.58 305-AH 15.70 335-AH 20.40 166-AH 0.00 196-AH 100.00 276-AH 48.74 306-AH 100.00 336-AH 28.52 167-AH 2.02 197-AH 68.65 277-AH 27.16 307-AH 13.78 337-AH 85.53 168-AH 78.30 198-AH 100.00 278-AH 37.26 308-AH 75.32 338-AH 79.04 169-AH 16.73 199-AH 64.68 279-AH 19.52 309-AH 4.09 339-AH 60.30 170-AH 100.00 200-AH 58.45 280-AH 3.35 310-AH 3.52 340-AH 50.37 513 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKRF AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 48.25 UNIBAKRF 10 docs 41.50 90% 15 docs 36.42 80% 20 docs 33.22 30 docs 28.77 70% 100 docs 15.84 60% 200 docs 9.74 Precision 500 docs 4.54 50% 1000 docs 2.43 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.28 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2183 Second Quartile 0.3866 Third Quartile 0.6000 Interquartile range 0.3817 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4128 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2879 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4128 10 Std With No Outliers 0.2879 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 514 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKRF AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 52.31 281-AH 50.00 311-AH 25.93 341-AH 66.67 142-AH 100.00 172-AH 14.29 252-AH 44.83 282-AH 12.90 312-AH 51.61 342-AH 70.83 143-AH 69.23 173-AH 100.00 253-AH 51.58 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 27.95 284-AH 57.89 314-AH 5.56 344-AH 39.39 145-AH 71.05 175-AH 57.14 255-AH 25.00 285-AH 76.81 315-AH 45.76 345-AH 11.11 146-AH 50.00 176-AH 66.67 256-AH 70.59 286-AH 0.00 316-AH 16.10 346-AH 9.09 147-AH 58.82 177-AH 30.77 257-AH 39.68 287-AH 42.86 317-AH 36.67 347-AH 22.22 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 32.89 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 72.73 259-AH 66.67 289-AH 77.78 319-AH 31.58 349-AH 33.33 150-AH 0.00 180-AH 47.50 260-AH 53.97 290-AH 12.24 320-AH 0.00 350-AH 30.00 151-AH 33.33 181-AH 72.83 261-AH 44.12 291-AH 53.33 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 35.29 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 35.42 293-AH 52.94 323-AH 30.77 154-AH 38.10 184-AH 55.56 264-AH 45.45 294-AH 70.37 324-AH 64.86 155-AH 33.33 185-AH 0.00 265-AH 66.67 295-AH 39.22 325-AH 50.82 156-AH 27.27 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 25.00 157-AH 63.31 187-AH 0.00 267-AH 33.33 297-AH 33.33 327-AH 25.00 158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 60.87 159-AH 31.48 189-AH 85.71 269-AH 33.33 299-AH 35.53 329-AH 58.82 160-AH 0.00 190-AH 66.67 270-AH 59.65 300-AH 26.19 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 0.00 331-AH 58.82 162-AH 100.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 72.13 193-AH 42.86 273-AH 59.04 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 43.75 304-AH 33.33 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 24.59 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 50.85 306-AH 100.00 336-AH 29.41 167-AH 0.00 197-AH 58.00 277-AH 34.62 307-AH 19.48 337-AH 80.00 168-AH 61.11 198-AH 100.00 278-AH 38.10 308-AH 63.64 338-AH 70.00 169-AH 16.67 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 60.00 515 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,877 Pooled false Geometric Mean Average Precision 0.1684 keyword title+description lucene+bm25 Binary Preference (BPREF) 0.3807 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.55 UNIBAKTD 10 62.52 90% 20 55.41 80% 30 49.39 40 45.89 70% 50 40.61 60% 60 35.83 Precision 70 29.44 50% 80 24.95 40% 90 20.65 30% 100 15.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 39.62 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1391 Second Quartile 0.3230 Third Quartile 0.6090 Interquartile range 0.4699 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3962 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3012 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.3962 10 Std With No Outliers 0.3012 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 516 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 4.46 251-AH 46.21 281-AH 43.64 311-AH 27.06 341-AH 68.22 142-AH 100.00 172-AH 27.67 252-AH 29.20 282-AH 13.13 312-AH 55.92 342-AH 76.38 143-AH 94.41 173-AH 100.00 253-AH 36.32 283-AH 26.78 313-AH 4.98 343-AH 0.41 144-AH 80.56 174-AH 100.00 254-AH 15.72 284-AH 59.68 314-AH 6.39 344-AH 49.55 145-AH 72.39 175-AH 70.69 255-AH 32.08 285-AH 74.82 315-AH 39.62 345-AH 16.89 146-AH 25.97 176-AH 93.92 256-AH 83.84 286-AH 6.20 316-AH 8.94 346-AH 5.04 147-AH 68.44 177-AH 27.66 257-AH 32.05 287-AH 35.31 317-AH 27.49 347-AH 9.99 148-AH 5.26 178-AH 20.76 258-AH 11.05 288-AH 4.73 318-AH 27.17 348-AH 100.00 149-AH 0.00 179-AH 69.70 259-AH 67.45 289-AH 69.13 319-AH 24.34 349-AH 36.43 150-AH 6.15 180-AH 5.69 260-AH 56.23 290-AH 10.36 320-AH 1.50 350-AH 59.09 151-AH 34.39 181-AH 81.56 261-AH 16.71 291-AH 50.84 321-AH 0.00 152-AH 63.04 182-AH 6.14 262-AH 19.01 292-AH 44.93 322-AH 2.75 153-AH 0.24 183-AH 4.28 263-AH 25.74 293-AH 57.53 323-AH 25.69 154-AH 28.27 184-AH 53.99 264-AH 58.98 294-AH 66.61 324-AH 60.36 155-AH 12.69 185-AH 100.00 265-AH 68.96 295-AH 29.49 325-AH 54.16 156-AH 17.86 186-AH 0.00 266-AH 1.09 296-AH 50.51 326-AH 43.55 157-AH 45.04 187-AH 12.50 267-AH 21.83 297-AH 35.20 327-AH 52.76 158-AH 47.59 188-AH 0.30 268-AH 66.89 298-AH 14.25 328-AH 62.15 159-AH 27.05 189-AH 98.21 269-AH 19.75 299-AH 32.30 329-AH 62.43 160-AH 2.44 190-AH 71.01 270-AH 68.08 300-AH 22.10 330-AH 79.14 161-AH 0.00 191-AH 0.00 271-AH 52.47 301-AH 1.79 331-AH 24.17 162-AH 50.00 192-AH 52.20 272-AH 16.74 302-AH 38.34 332-AH 37.15 163-AH 80.70 193-AH 53.89 273-AH 62.23 303-AH 15.37 333-AH 100.00 164-AH 13.58 194-AH 100.00 274-AH 29.11 304-AH 30.58 334-AH 14.46 165-AH 100.00 195-AH 0.00 275-AH 16.99 305-AH 25.03 335-AH 14.33 166-AH 0.00 196-AH 50.00 276-AH 43.35 306-AH 100.00 336-AH 8.15 167-AH 6.38 197-AH 60.81 277-AH 21.16 307-AH 15.97 337-AH 64.93 168-AH 51.33 198-AH 100.00 278-AH 32.30 308-AH 55.54 338-AH 59.76 169-AH 0.15 199-AH 53.06 279-AH 60.99 309-AH 2.72 339-AH 50.82 170-AH 100.00 200-AH 28.10 280-AH 13.47 310-AH 6.83 340-AH 30.18 517 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.63 UNIBAKTD 10 docs 38.88 90% 15 docs 33.42 80% 20 docs 30.53 30 docs 26.58 70% 100 docs 15.12 60% 200 docs 9.23 Precision 500 docs 4.45 50% 1000 docs 2.42 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.40 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1667 Second Quartile 0.3780 Third Quartile 0.6000 Interquartile range 0.4333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3940 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2932 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3940 15 Std With No Outliers 0.2932 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 518 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTD AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 41.54 281-AH 45.24 311-AH 33.33 341-AH 66.67 142-AH 100.00 172-AH 28.57 252-AH 24.14 282-AH 19.35 312-AH 61.29 342-AH 72.92 143-AH 84.62 173-AH 100.00 253-AH 45.26 283-AH 31.58 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 24.02 284-AH 52.63 314-AH 0.00 344-AH 48.48 145-AH 71.05 175-AH 71.43 255-AH 25.00 285-AH 71.01 315-AH 45.76 345-AH 11.11 146-AH 50.00 176-AH 84.62 256-AH 73.53 286-AH 16.67 316-AH 8.47 346-AH 0.00 147-AH 64.71 177-AH 46.15 257-AH 39.68 287-AH 40.82 317-AH 33.33 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 3.95 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 61.11 319-AH 26.32 349-AH 25.93 150-AH 0.00 180-AH 7.50 260-AH 61.90 290-AH 8.16 320-AH 0.00 350-AH 50.00 151-AH 41.67 181-AH 78.26 261-AH 26.47 291-AH 60.00 321-AH 0.00 152-AH 63.64 182-AH 0.00 262-AH 31.76 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 35.42 293-AH 58.82 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 70.27 155-AH 0.00 185-AH 100.00 265-AH 66.67 295-AH 41.18 325-AH 57.38 156-AH 31.82 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 51.08 187-AH 0.00 267-AH 19.05 297-AH 41.67 327-AH 50.00 158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 16.67 328-AH 60.87 159-AH 35.19 189-AH 85.71 269-AH 22.22 299-AH 34.21 329-AH 52.94 160-AH 0.00 190-AH 66.67 270-AH 57.89 300-AH 26.19 330-AH 74.51 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 50.00 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 69.67 193-AH 42.86 273-AH 54.22 303-AH 28.57 333-AH 100.00 164-AH 7.41 194-AH 100.00 274-AH 25.00 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 30.30 305-AH 34.43 335-AH 13.33 166-AH 0.00 196-AH 0.00 276-AH 42.37 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 52.00 277-AH 34.62 307-AH 20.78 337-AH 55.00 168-AH 50.00 198-AH 100.00 278-AH 33.33 308-AH 54.55 338-AH 60.00 169-AH 0.00 199-AH 50.00 279-AH 75.00 309-AH 0.00 339-AH 36.84 170-AH 100.00 200-AH 33.33 280-AH 28.00 310-AH 9.52 340-AH 40.00 519 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,853 Pooled false Geometric Mean Average Precision 0.1744 keyword title+description+narrative lucene+bm25 Binary Preference (BPREF) 0.4027 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.09 UNIBAKTDN 10 66.12 90% 20 59.59 80% 30 51.96 40 46.83 70% 50 43.00 60% 60 37.01 Precision 70 30.76 50% 80 26.17 40% 90 21.43 30% 100 15.14 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 41.50 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1662 Second Quartile 0.3656 Third Quartile 0.6160 Interquartile range 0.4498 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4150 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2965 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4150 10 Std With No Outliers 0.2965 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 520 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 4.19 251-AH 47.11 281-AH 51.51 311-AH 22.89 341-AH 67.98 142-AH 100.00 172-AH 18.88 252-AH 52.45 282-AH 8.70 312-AH 49.85 342-AH 75.46 143-AH 69.59 173-AH 100.00 253-AH 46.53 283-AH 26.35 313-AH 5.57 343-AH 0.56 144-AH 75.56 174-AH 100.00 254-AH 19.43 284-AH 59.54 314-AH 6.43 344-AH 43.79 145-AH 60.52 175-AH 71.31 255-AH 42.39 285-AH 80.36 315-AH 37.34 345-AH 19.12 146-AH 50.63 176-AH 93.22 256-AH 82.15 286-AH 2.15 316-AH 6.12 346-AH 4.82 147-AH 59.73 177-AH 19.09 257-AH 28.53 287-AH 30.74 317-AH 28.62 347-AH 19.77 148-AH 5.23 178-AH 16.91 258-AH 16.53 288-AH 8.05 318-AH 5.02 348-AH 100.00 149-AH 0.00 179-AH 64.80 259-AH 67.35 289-AH 76.12 319-AH 33.13 349-AH 40.15 150-AH 5.37 180-AH 55.84 260-AH 53.63 290-AH 8.56 320-AH 1.68 350-AH 47.09 151-AH 35.78 181-AH 83.07 261-AH 35.59 291-AH 43.33 321-AH 0.00 152-AH 22.92 182-AH 8.61 262-AH 30.44 292-AH 60.71 322-AH 3.18 153-AH 0.26 183-AH 57.50 263-AH 29.13 293-AH 49.18 323-AH 28.47 154-AH 34.81 184-AH 57.11 264-AH 55.66 294-AH 59.67 324-AH 57.03 155-AH 14.84 185-AH 33.33 265-AH 62.34 295-AH 28.23 325-AH 54.80 156-AH 15.12 186-AH 0.00 266-AH 0.73 296-AH 55.34 326-AH 33.88 157-AH 48.74 187-AH 50.00 267-AH 21.41 297-AH 27.74 327-AH 35.76 158-AH 57.60 188-AH 0.00 268-AH 67.68 298-AH 13.22 328-AH 63.66 159-AH 33.50 189-AH 100.00 269-AH 29.87 299-AH 32.39 329-AH 62.50 160-AH 2.42 190-AH 70.26 270-AH 66.34 300-AH 19.73 330-AH 77.87 161-AH 0.00 191-AH 0.00 271-AH 54.50 301-AH 0.69 331-AH 66.88 162-AH 100.00 192-AH 56.18 272-AH 16.51 302-AH 34.56 332-AH 41.63 163-AH 77.22 193-AH 52.22 273-AH 64.65 303-AH 21.53 333-AH 100.00 164-AH 6.69 194-AH 100.00 274-AH 34.38 304-AH 28.93 334-AH 35.69 165-AH 100.00 195-AH 0.00 275-AH 29.43 305-AH 14.58 335-AH 19.68 166-AH 0.00 196-AH 50.00 276-AH 44.00 306-AH 100.00 336-AH 28.32 167-AH 2.22 197-AH 67.38 277-AH 27.16 307-AH 13.79 337-AH 81.34 168-AH 57.17 198-AH 100.00 278-AH 35.71 308-AH 70.05 338-AH 78.31 169-AH 16.71 199-AH 64.18 279-AH 60.86 309-AH 3.88 339-AH 50.72 170-AH 100.00 200-AH 58.45 280-AH 3.60 310-AH 3.52 340-AH 39.94 521 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 47.13 UNIBAKTDN 10 docs 40.19 90% 15 docs 35.88 80% 20 docs 33.06 30 docs 28.27 70% 100 docs 15.40 60% 200 docs 9.48 Precision 500 docs 4.47 50% 1000 docs 2.41 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.82 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1873 Second Quartile 0.3930 Third Quartile 0.5955 Interquartile range 0.4081 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4082 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2899 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4082 15 Std With No Outliers 0.2899 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 522 uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKTDN AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 46.15 281-AH 50.00 311-AH 27.78 341-AH 66.67 142-AH 100.00 172-AH 14.29 252-AH 44.83 282-AH 12.90 312-AH 51.61 342-AH 71.88 143-AH 69.23 173-AH 100.00 253-AH 51.58 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 27.51 284-AH 55.26 314-AH 5.56 344-AH 39.39 145-AH 68.42 175-AH 57.14 255-AH 25.00 285-AH 75.36 315-AH 42.37 345-AH 11.11 146-AH 50.00 176-AH 84.62 256-AH 70.59 286-AH 0.00 316-AH 16.10 346-AH 0.00 147-AH 58.82 177-AH 30.77 257-AH 36.51 287-AH 38.78 317-AH 36.67 347-AH 22.22 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 18.42 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 77.78 319-AH 31.58 349-AH 40.74 150-AH 0.00 180-AH 60.00 260-AH 57.14 290-AH 12.24 320-AH 0.00 350-AH 40.00 151-AH 33.33 181-AH 72.83 261-AH 41.18 291-AH 53.33 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 35.29 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 31.25 293-AH 52.94 323-AH 30.77 154-AH 38.10 184-AH 55.56 264-AH 59.09 294-AH 70.37 324-AH 64.86 155-AH 33.33 185-AH 0.00 265-AH 66.67 295-AH 39.22 325-AH 57.38 156-AH 27.27 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 25.00 157-AH 51.08 187-AH 0.00 267-AH 19.05 297-AH 33.33 327-AH 25.00 158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 16.67 328-AH 56.52 159-AH 31.48 189-AH 100.00 269-AH 44.44 299-AH 35.53 329-AH 52.94 160-AH 0.00 190-AH 66.67 270-AH 57.89 300-AH 23.81 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 64.71 162-AH 100.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 68.03 193-AH 42.86 273-AH 59.04 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 43.75 304-AH 33.33 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 40.91 305-AH 21.31 335-AH 33.33 166-AH 0.00 196-AH 0.00 276-AH 45.76 306-AH 100.00 336-AH 29.41 167-AH 0.00 197-AH 58.00 277-AH 34.62 307-AH 19.48 337-AH 75.00 168-AH 55.56 198-AH 100.00 278-AH 38.10 308-AH 63.64 338-AH 70.00 169-AH 16.67 199-AH 60.00 279-AH 75.00 309-AH 0.00 339-AH 42.11 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 60.00 523 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0901 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,982 Pooled false Geometric Mean Average Precision 0.1750 Standard system, BRF no WSD Binary Preference (BPREF) 0.3930 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.78 NLEL0901 10 61.02 90% 20 55.73 80% 30 50.42 40 46.52 70% 50 42.23 60% 60 37.39 Precision 70 31.60 50% 80 26.96 40% 90 21.22 30% 100 15.11 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.26 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1402 Second Quartile 0.3424 Third Quartile 0.6376 Interquartile range 0.4974 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4026 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3006 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4026 10 Std With No Outliers 0.3006 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0901 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0901 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0901 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0901 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0901 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0901 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0901 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 524 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0901 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.69 251-AH 45.22 281-AH 53.26 311-AH 21.94 341-AH 87.88 142-AH 96.59 172-AH 6.52 252-AH 24.18 282-AH 12.16 312-AH 52.54 342-AH 71.77 143-AH 72.37 173-AH 100.00 253-AH 47.07 283-AH 47.68 313-AH 4.38 343-AH 3.45 144-AH 70.24 174-AH 100.00 254-AH 13.11 284-AH 44.44 314-AH 6.35 344-AH 49.07 145-AH 58.06 175-AH 83.22 255-AH 33.93 285-AH 80.21 315-AH 58.11 345-AH 48.61 146-AH 50.39 176-AH 89.63 256-AH 83.91 286-AH 4.59 316-AH 16.37 346-AH 14.11 147-AH 73.22 177-AH 16.44 257-AH 30.17 287-AH 43.36 317-AH 20.12 347-AH 5.88 148-AH 8.06 178-AH 29.32 258-AH 30.39 288-AH 37.20 318-AH 12.10 348-AH 32.50 149-AH 0.00 179-AH 78.07 259-AH 67.78 289-AH 62.46 319-AH 50.41 349-AH 27.63 150-AH 23.23 180-AH 4.87 260-AH 54.61 290-AH 30.37 320-AH 2.04 350-AH 67.45 151-AH 17.37 181-AH 53.87 261-AH 29.69 291-AH 66.11 321-AH 0.00 152-AH 44.40 182-AH 17.15 262-AH 11.56 292-AH 88.75 322-AH 1.86 153-AH 0.21 183-AH 12.53 263-AH 21.29 293-AH 49.00 323-AH 26.68 154-AH 20.42 184-AH 66.95 264-AH 73.31 294-AH 63.38 324-AH 30.59 155-AH 5.53 185-AH 100.00 265-AH 44.21 295-AH 34.08 325-AH 53.50 156-AH 5.56 186-AH 0.00 266-AH 5.62 296-AH 36.91 326-AH 17.68 157-AH 71.43 187-AH 12.50 267-AH 44.09 297-AH 57.75 327-AH 15.62 158-AH 69.84 188-AH 0.45 268-AH 71.21 298-AH 30.40 328-AH 50.47 159-AH 53.59 189-AH 95.71 269-AH 27.13 299-AH 37.83 329-AH 56.74 160-AH 14.09 190-AH 81.09 270-AH 67.24 300-AH 15.51 330-AH 62.68 161-AH 0.00 191-AH 0.00 271-AH 60.04 301-AH 1.10 331-AH 8.01 162-AH 16.67 192-AH 80.69 272-AH 13.95 302-AH 31.23 332-AH 31.79 163-AH 86.03 193-AH 69.04 273-AH 75.72 303-AH 17.88 333-AH 92.67 164-AH 12.98 194-AH 100.00 274-AH 30.81 304-AH 34.40 334-AH 16.85 165-AH 100.00 195-AH 0.00 275-AH 45.23 305-AH 28.54 335-AH 17.09 166-AH 0.00 196-AH 100.00 276-AH 49.46 306-AH 7.14 336-AH 0.14 167-AH 6.87 197-AH 38.92 277-AH 22.27 307-AH 47.02 337-AH 81.89 168-AH 64.15 198-AH 33.33 278-AH 34.55 308-AH 76.76 338-AH 94.56 169-AH 0.79 199-AH 55.33 279-AH 30.46 309-AH 9.50 339-AH 45.96 170-AH 100.00 200-AH 7.91 280-AH 3.51 310-AH 25.35 340-AH 35.57 525 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0901 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 46.38 NLEL0901 10 docs 40.31 90% 15 docs 35.38 80% 20 docs 32.56 30 docs 27.90 70% 100 docs 15.90 60% 200 docs 10.11 Precision 500 docs 4.65 50% 1000 docs 2.49 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 38.72 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1381 Second Quartile 0.3820 Third Quartile 0.5917 Interquartile range 0.4536 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3872 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2896 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3872 20 15 Std With No Outliers 0.2896 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0901 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0901 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0901 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0901 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0901 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0901 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0901 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 526 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0901 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 0.00 251-AH 44.62 281-AH 47.62 311-AH 24.07 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 16.13 312-AH 54.84 342-AH 64.58 143-AH 61.54 173-AH 100.00 253-AH 52.11 283-AH 47.37 313-AH 10.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 20.52 284-AH 42.11 314-AH 5.56 344-AH 48.48 145-AH 47.37 175-AH 85.71 255-AH 25.00 285-AH 75.36 315-AH 61.02 345-AH 44.44 146-AH 50.00 176-AH 76.92 256-AH 70.59 286-AH 8.33 316-AH 22.88 346-AH 18.18 147-AH 66.67 177-AH 23.08 257-AH 33.33 287-AH 51.02 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 50.00 288-AH 39.47 318-AH 0.00 348-AH 0.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 55.56 319-AH 42.11 349-AH 25.93 150-AH 20.00 180-AH 0.00 260-AH 53.97 290-AH 36.73 320-AH 6.25 350-AH 60.00 151-AH 33.33 181-AH 56.52 261-AH 38.24 291-AH 60.00 321-AH 0.00 152-AH 45.45 182-AH 25.00 262-AH 18.82 292-AH 75.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 47.06 323-AH 30.77 154-AH 14.29 184-AH 66.67 264-AH 68.18 294-AH 62.96 324-AH 35.14 155-AH 0.00 185-AH 100.00 265-AH 33.33 295-AH 29.41 325-AH 55.74 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 25.00 157-AH 66.91 187-AH 0.00 267-AH 42.86 297-AH 58.33 327-AH 0.00 158-AH 61.76 188-AH 0.00 268-AH 66.67 298-AH 36.67 328-AH 56.52 159-AH 50.00 189-AH 85.71 269-AH 33.33 299-AH 38.16 329-AH 47.06 160-AH 0.00 190-AH 77.78 270-AH 56.14 300-AH 9.52 330-AH 54.90 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 6.25 331-AH 0.00 162-AH 0.00 192-AH 66.67 272-AH 14.29 302-AH 35.29 332-AH 25.00 163-AH 77.87 193-AH 57.14 273-AH 67.47 303-AH 28.57 333-AH 80.00 164-AH 7.41 194-AH 100.00 274-AH 37.50 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 48.48 305-AH 34.43 335-AH 13.33 166-AH 0.00 196-AH 100.00 276-AH 47.46 306-AH 0.00 336-AH 0.00 167-AH 20.00 197-AH 42.00 277-AH 30.77 307-AH 50.65 337-AH 80.00 168-AH 66.67 198-AH 0.00 278-AH 42.86 308-AH 72.73 338-AH 90.00 169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 10.00 339-AH 47.37 170-AH 100.00 200-AH 0.00 280-AH 4.00 310-AH 36.51 340-AH 40.00 527 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0906 AH-ROBUST-MONO-EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,070 Source Language English Relevant 4,327 Topic Fields title Relevant retrieved 3,603 Pooled false Geometric Mean Average Precision 0.0876 Standard system, BRF no WSD, Title Only Binary Preference (BPREF) 0.3548 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 58.56 NLEL0906 10 52.65 90% 20 46.96 80% 30 42.16 40 38.91 70% 50 35.67 60% 60 30.41 Precision 70 26.45 50% 80 21.70 40% 90 16.61 30% 100 12.62 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 33.42 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0412 Second Quartile 0.2694 Third Quartile 0.5681 Interquartile range 0.5269 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3342 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3091 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.3342 20 Std With No Outliers 0.3091 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0906 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0906 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0906 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0906 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0906 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0906 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0906 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 528 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0906 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 0.89 251-AH 15.46 281-AH 15.84 311-AH 10.26 341-AH 72.18 142-AH 90.10 172-AH 11.37 252-AH 40.10 282-AH 0.01 312-AH 20.47 342-AH 37.14 143-AH 65.43 173-AH 100.00 253-AH 33.39 283-AH 67.51 313-AH 1.24 343-AH 0.35 144-AH 57.83 174-AH 100.00 254-AH 14.60 284-AH 33.35 314-AH 1.60 344-AH 30.69 145-AH 51.31 175-AH 75.33 255-AH 13.17 285-AH 76.47 315-AH 64.87 345-AH 6.83 146-AH 50.00 176-AH 92.44 256-AH 85.79 286-AH 0.09 316-AH 17.41 346-AH 10.80 147-AH 49.25 177-AH 49.30 257-AH 26.83 287-AH 16.09 317-AH 7.45 347-AH 11.98 148-AH 6.38 178-AH 11.97 258-AH 0.77 288-AH 19.01 318-AH 1.63 348-AH 58.33 149-AH 0.00 179-AH 77.95 259-AH 0.12 289-AH 60.06 319-AH 27.41 349-AH 28.33 150-AH 0.10 180-AH 0.95 260-AH 30.93 290-AH 21.25 320-AH 0.27 350-AH 68.09 151-AH 44.64 181-AH 75.03 261-AH 0.43 291-AH 46.36 321-AH 0.00 152-AH 32.24 182-AH 2.68 262-AH 8.26 292-AH 89.29 322-AH 3.57 153-AH 0.18 183-AH 3.38 263-AH 4.01 293-AH 0.55 323-AH 9.47 154-AH 11.32 184-AH 38.27 264-AH 63.28 294-AH 36.07 324-AH 59.38 155-AH 0.91 185-AH 50.00 265-AH 36.08 295-AH 22.35 325-AH 41.35 156-AH 12.53 186-AH 0.00 266-AH 1.70 296-AH 29.09 326-AH 57.12 157-AH 56.44 187-AH 1.09 267-AH 44.18 297-AH 54.89 327-AH 53.48 158-AH 62.03 188-AH 0.11 268-AH 42.59 298-AH 26.03 328-AH 80.62 159-AH 74.30 189-AH 93.67 269-AH 7.69 299-AH 22.83 329-AH 39.61 160-AH 4.22 190-AH 80.77 270-AH 58.86 300-AH 16.17 330-AH 56.50 161-AH 0.00 191-AH 0.00 271-AH 31.91 301-AH 0.22 331-AH 5.39 162-AH 25.00 192-AH 70.28 272-AH 1.02 302-AH 13.54 332-AH 22.67 163-AH 72.46 193-AH 78.71 273-AH 63.28 303-AH 11.17 333-AH 87.67 164-AH 24.28 194-AH 100.00 274-AH 5.04 304-AH 27.66 334-AH 1.15 165-AH 100.00 195-AH 0.00 275-AH 21.90 305-AH 39.71 335-AH 2.47 166-AH 0.00 196-AH 100.00 276-AH 34.80 306-AH 100.00 336-AH 0.19 167-AH 0.03 197-AH 42.42 277-AH 14.11 307-AH 35.49 337-AH 88.23 168-AH 21.47 198-AH 33.33 278-AH 16.75 308-AH 81.76 338-AH 91.34 169-AH 0.04 199-AH 47.17 279-AH 31.95 309-AH 1.25 339-AH 27.06 170-AH 33.33 200-AH 0.07 280-AH 0.04 310-AH 14.03 340-AH 32.71 529 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0906 AH-ROBUST-MONO-EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 39.88 NLEL0906 10 docs 33.63 90% 15 docs 29.83 80% 20 docs 27.53 30 docs 23.83 70% 100 docs 13.09 60% 200 docs 8.31 Precision 500 docs 4.06 50% 1000 docs 2.25 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 32.98 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.2857 Third Quartile 0.5390 Interquartile range 0.5390 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3298 Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2971 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.3298 20 Std With No Outliers 0.2971 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0906 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0906 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0906 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0906 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0906 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0906 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0906 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 530 valencia 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0906 AH-ROBUST-MONO-EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 0.00 251-AH 24.62 281-AH 14.29 311-AH 18.52 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 34.48 282-AH 0.00 312-AH 22.58 342-AH 41.67 143-AH 58.97 173-AH 100.00 253-AH 40.53 283-AH 63.16 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 23.58 284-AH 31.58 314-AH 0.00 344-AH 30.30 145-AH 44.74 175-AH 57.14 255-AH 25.00 285-AH 72.46 315-AH 67.80 345-AH 0.00 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 0.00 316-AH 25.42 346-AH 18.18 147-AH 50.98 177-AH 53.85 257-AH 33.33 287-AH 20.41 317-AH 20.00 347-AH 22.22 148-AH 0.00 178-AH 25.00 258-AH 0.00 288-AH 26.32 318-AH 0.00 348-AH 50.00 149-AH 0.00 179-AH 68.18 259-AH 0.00 289-AH 55.56 319-AH 31.58 349-AH 33.33 150-AH 0.00 180-AH 0.00 260-AH 39.68 290-AH 28.57 320-AH 0.00 350-AH 60.00 151-AH 41.67 181-AH 72.83 261-AH 2.94 291-AH 53.33 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 16.47 292-AH 75.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 2.94 323-AH 15.38 154-AH 4.76 184-AH 33.33 264-AH 59.09 294-AH 44.44 324-AH 64.86 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 31.37 325-AH 42.62 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 20.83 326-AH 50.00 157-AH 53.96 187-AH 0.00 267-AH 42.86 297-AH 50.00 327-AH 50.00 158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 36.67 328-AH 78.26 159-AH 66.67 189-AH 85.71 269-AH 11.11 299-AH 22.37 329-AH 41.18 160-AH 0.00 190-AH 77.78 270-AH 49.12 300-AH 4.76 330-AH 54.90 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 0.00 331-AH 0.00 162-AH 0.00 192-AH 83.33 272-AH 0.00 302-AH 23.53 332-AH 25.00 163-AH 74.59 193-AH 71.43 273-AH 56.63 303-AH 28.57 333-AH 80.00 164-AH 14.81 194-AH 100.00 274-AH 12.50 304-AH 26.67 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 33.33 305-AH 44.26 335-AH 0.00 166-AH 0.00 196-AH 100.00 276-AH 40.68 306-AH 100.00 336-AH 0.00 167-AH 0.00 197-AH 40.00 277-AH 34.62 307-AH 41.56 337-AH 80.00 168-AH 27.78 198-AH 0.00 278-AH 19.05 308-AH 81.82 338-AH 70.00 169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 0.00 339-AH 31.58 170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 15.87 340-AH 40.00 531 ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.IXA.ESENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,294 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 2,531 Pooled false Geometric Mean Average Precision 0.0190 No WSD information, topics translated to English Binary Preference (BPREF) 0.2228 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 38.45 ESENNOWSD 10 30.78 90% 20 26.73 80% 30 22.32 40 19.68 70% 50 18.18 60% 60 15.06 Precision 70 13.26 50% 80 10.91 40% 90 8.38 30% 100 6.93 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 18.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0055 Second Quartile 0.0556 Third Quartile 0.2752 Interquartile range 0.2697 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1805 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2638 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.5152 50 Mean With No Outliers 0.1126 40 30 Std With No Outliers 0.1481 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ESENNOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ESENNOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ESENNOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ESENNOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ESENNOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ESENNOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ESENNOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 532 ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.IXA.ESENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.25 251-AH 47.14 281-AH 32.16 311-AH 3.05 341-AH 51.52 142-AH 97.50 172-AH 0.16 252-AH 12.87 282-AH 13.41 312-AH 0.00 342-AH 27.67 143-AH 0.03 173-AH 100.00 253-AH 15.71 283-AH 4.30 313-AH 2.57 343-AH 0.14 144-AH 0.85 174-AH 100.00 254-AH 9.63 284-AH 1.47 314-AH 2.49 344-AH 1.97 145-AH 2.56 175-AH 78.31 255-AH 37.02 285-AH 0.73 315-AH 0.96 345-AH 0.00 146-AH 25.39 176-AH 70.76 256-AH 85.58 286-AH 0.13 316-AH 13.75 346-AH 5.79 147-AH 8.92 177-AH 20.86 257-AH 0.61 287-AH 24.60 317-AH 5.46 347-AH 4.00 148-AH 0.00 178-AH 0.23 258-AH 0.96 288-AH 5.49 318-AH 1.22 348-AH 100.00 149-AH 0.00 179-AH 0.00 259-AH 0.56 289-AH 31.96 319-AH 17.23 349-AH 31.67 150-AH 0.43 180-AH 2.79 260-AH 36.54 290-AH 0.54 320-AH 0.24 350-AH 45.14 151-AH 1.19 181-AH 33.25 261-AH 1.09 291-AH 7.34 321-AH 0.00 152-AH 0.00 182-AH 7.52 262-AH 0.59 292-AH 49.09 322-AH 4.27 153-AH 0.12 183-AH 6.99 263-AH 0.00 293-AH 2.34 323-AH 2.14 154-AH 27.37 184-AH 0.12 264-AH 19.49 294-AH 31.69 324-AH 0.47 155-AH 0.00 185-AH 100.00 265-AH 6.83 295-AH 0.32 325-AH 0.25 156-AH 1.60 186-AH 0.00 266-AH 0.81 296-AH 17.29 326-AH 29.37 157-AH 36.01 187-AH 0.61 267-AH 9.82 297-AH 5.48 327-AH 0.00 158-AH 0.16 188-AH 0.00 268-AH 7.21 298-AH 9.96 328-AH 18.65 159-AH 0.01 189-AH 89.09 269-AH 6.10 299-AH 0.76 329-AH 36.86 160-AH 26.30 190-AH 22.78 270-AH 48.31 300-AH 8.54 330-AH 71.34 161-AH 0.00 191-AH 0.00 271-AH 36.41 301-AH 0.68 331-AH 13.49 162-AH 0.00 192-AH 2.83 272-AH 13.49 302-AH 34.97 332-AH 33.39 163-AH 35.97 193-AH 30.18 273-AH 3.85 303-AH 5.63 333-AH 100.00 164-AH 0.11 194-AH 0.00 274-AH 0.10 304-AH 4.73 334-AH 8.18 165-AH 50.00 195-AH 0.00 275-AH 17.58 305-AH 0.03 335-AH 0.16 166-AH 0.00 196-AH 50.00 276-AH 9.20 306-AH 16.67 336-AH 0.97 167-AH 22.57 197-AH 47.86 277-AH 6.49 307-AH 0.04 337-AH 77.04 168-AH 7.73 198-AH 0.94 278-AH 1.12 308-AH 74.19 338-AH 41.13 169-AH 19.45 199-AH 47.82 279-AH 1.32 309-AH 1.08 339-AH 17.42 170-AH 0.00 200-AH 1.11 280-AH 0.57 310-AH 0.16 340-AH 10.21 533 ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.IXA.ESENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 20.00 ESENNOWSD 10 docs 18.00 90% 15 docs 15.88 80% 20 docs 14.28 30 docs 12.79 70% 100 docs 7.21 60% 200 docs 4.82 Precision 500 docs 2.66 50% 1000 docs 1.58 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.86 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0646 Third Quartile 0.2857 Interquartile range 0.2857 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1886 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2573 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.7143 50 Mean With No Outliers 0.1443 40 30 Std With No Outliers 0.1854 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ESENNOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ESENNOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ESENNOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ESENNOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ESENNOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ESENNOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ESENNOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 534 ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.IXA.ESENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 46.15 281-AH 33.33 311-AH 0.00 341-AH 50.00 142-AH 87.50 172-AH 0.00 252-AH 17.24 282-AH 29.03 312-AH 0.00 342-AH 28.12 143-AH 0.00 173-AH 100.00 253-AH 26.84 283-AH 13.16 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 17.03 284-AH 7.89 314-AH 5.56 344-AH 6.06 145-AH 2.63 175-AH 71.43 255-AH 50.00 285-AH 2.90 315-AH 3.39 345-AH 0.00 146-AH 50.00 176-AH 64.10 256-AH 79.41 286-AH 0.00 316-AH 17.80 346-AH 9.09 147-AH 21.57 177-AH 30.77 257-AH 1.59 287-AH 30.61 317-AH 13.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 10.53 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 27.78 319-AH 21.05 349-AH 33.33 150-AH 0.00 180-AH 5.00 260-AH 41.27 290-AH 2.04 320-AH 0.00 350-AH 30.00 151-AH 8.33 181-AH 39.13 261-AH 2.94 291-AH 6.67 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 4.71 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 5.88 323-AH 3.85 154-AH 28.57 184-AH 0.00 264-AH 27.27 294-AH 33.33 324-AH 0.00 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 0.00 325-AH 0.00 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 25.00 326-AH 25.00 157-AH 42.45 187-AH 0.00 267-AH 19.05 297-AH 16.67 327-AH 0.00 158-AH 2.94 188-AH 0.00 268-AH 0.00 298-AH 23.33 328-AH 17.39 159-AH 0.00 189-AH 71.43 269-AH 0.00 299-AH 3.95 329-AH 41.18 160-AH 50.00 190-AH 11.11 270-AH 45.61 300-AH 16.67 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 33.33 301-AH 6.25 331-AH 5.88 162-AH 0.00 192-AH 0.00 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 41.80 193-AH 28.57 273-AH 13.25 303-AH 7.14 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 13.33 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 27.27 305-AH 0.00 335-AH 0.00 166-AH 0.00 196-AH 0.00 276-AH 18.64 306-AH 0.00 336-AH 0.00 167-AH 20.00 197-AH 48.00 277-AH 15.38 307-AH 0.00 337-AH 70.00 168-AH 11.11 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 50.00 169-AH 16.67 199-AH 50.00 279-AH 0.00 309-AH 0.00 339-AH 15.79 170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 1.59 340-AH 0.00 535 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSO AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 157,548 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,373 Pooled false Geometric Mean Average Precision 0.0679 biliasso Binary Preference (BPREF) 0.3013 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 56.25 BILIASSO 10 48.78 90% 20 42.23 80% 30 36.62 40 32.85 70% 50 29.73 60% 60 24.89 Precision 70 21.75 50% 80 17.76 40% 90 13.60 30% 100 9.71 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.98 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0414 Second Quartile 0.1760 Third Quartile 0.4845 Interquartile range 0.4431 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2898 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2914 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2898 20 Std With No Outliers 0.2914 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILIASSO Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILIASSO Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILIASSO Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILIASSO Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILIASSO Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILIASSO Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILIASSO Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 536 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSO AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 5.14 251-AH 33.25 281-AH 36.28 311-AH 22.02 341-AH 2.32 142-AH 91.39 172-AH 6.80 252-AH 16.63 282-AH 15.86 312-AH 45.81 342-AH 57.96 143-AH 81.91 173-AH 100.00 253-AH 30.82 283-AH 13.35 313-AH 0.91 343-AH 2.94 144-AH 63.89 174-AH 100.00 254-AH 16.12 284-AH 43.17 314-AH 2.25 344-AH 49.62 145-AH 4.75 175-AH 53.45 255-AH 55.38 285-AH 12.62 315-AH 24.61 345-AH 3.68 146-AH 0.72 176-AH 74.95 256-AH 38.72 286-AH 1.97 316-AH 14.39 346-AH 4.78 147-AH 60.27 177-AH 18.42 257-AH 13.91 287-AH 0.67 317-AH 8.35 347-AH 0.70 148-AH 19.64 178-AH 0.00 258-AH 0.38 288-AH 19.62 318-AH 10.78 348-AH 25.00 149-AH 0.00 179-AH 26.30 259-AH 6.08 289-AH 76.47 319-AH 48.22 349-AH 35.45 150-AH 1.20 180-AH 0.00 260-AH 32.97 290-AH 8.41 320-AH 3.08 350-AH 64.72 151-AH 0.05 181-AH 67.60 261-AH 2.02 291-AH 65.47 321-AH 0.00 152-AH 29.92 182-AH 17.86 262-AH 4.60 292-AH 88.75 322-AH 13.18 153-AH 0.63 183-AH 24.09 263-AH 0.85 293-AH 48.69 323-AH 5.83 154-AH 30.49 184-AH 13.38 264-AH 17.35 294-AH 8.58 324-AH 15.16 155-AH 0.03 185-AH 100.00 265-AH 11.56 295-AH 28.00 325-AH 2.94 156-AH 12.75 186-AH 0.00 266-AH 0.00 296-AH 35.62 326-AH 38.82 157-AH 53.46 187-AH 7.14 267-AH 16.93 297-AH 3.68 327-AH 1.32 158-AH 25.21 188-AH 0.00 268-AH 33.90 298-AH 15.77 328-AH 55.93 159-AH 54.65 189-AH 93.25 269-AH 14.17 299-AH 13.60 329-AH 74.79 160-AH 12.92 190-AH 40.35 270-AH 73.67 300-AH 0.60 330-AH 78.64 161-AH 0.00 191-AH 0.00 271-AH 45.84 301-AH 7.54 331-AH 11.56 162-AH 50.00 192-AH 58.12 272-AH 33.47 302-AH 27.95 332-AH 30.58 163-AH 83.80 193-AH 37.69 273-AH 63.58 303-AH 1.64 333-AH 85.29 164-AH 12.80 194-AH 8.33 274-AH 2.22 304-AH 30.76 334-AH 10.45 165-AH 100.00 195-AH 0.00 275-AH 55.56 305-AH 30.52 335-AH 8.93 166-AH 0.00 196-AH 50.00 276-AH 23.03 306-AH 100.00 336-AH 0.12 167-AH 22.98 197-AH 98.07 277-AH 7.69 307-AH 10.93 337-AH 67.20 168-AH 46.60 198-AH 0.00 278-AH 2.68 308-AH 74.37 338-AH 56.53 169-AH 1.05 199-AH 69.24 279-AH 29.46 309-AH 24.67 339-AH 42.60 170-AH 100.00 200-AH 29.55 280-AH 7.71 310-AH 12.91 340-AH 0.03 537 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSO AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 36.38 BILIASSO 10 docs 31.25 90% 15 docs 28.13 80% 20 docs 25.19 30 docs 21.58 70% 100 docs 12.24 60% 200 docs 7.74 Precision 500 docs 3.83 50% 1000 docs 2.11 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.66 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0310 Second Quartile 0.2397 Third Quartile 0.5000 Interquartile range 0.4690 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2966 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2768 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2966 20 Std With No Outliers 0.2768 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILIASSO Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILIASSO Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILIASSO Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILIASSO Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILIASSO Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILIASSO Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILIASSO Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 538 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSO AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 10.53 251-AH 35.38 281-AH 35.71 311-AH 27.78 341-AH 0.00 142-AH 75.00 172-AH 0.00 252-AH 24.14 282-AH 25.81 312-AH 45.16 342-AH 54.17 143-AH 71.79 173-AH 100.00 253-AH 38.95 283-AH 21.05 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 23.58 284-AH 47.37 314-AH 0.00 344-AH 51.52 145-AH 5.26 175-AH 57.14 255-AH 50.00 285-AH 21.74 315-AH 30.51 345-AH 0.00 146-AH 0.00 176-AH 64.10 256-AH 17.65 286-AH 8.33 316-AH 17.80 346-AH 9.09 147-AH 56.86 177-AH 23.08 257-AH 23.81 287-AH 2.04 317-AH 10.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 11.11 348-AH 50.00 149-AH 0.00 179-AH 31.82 259-AH 0.00 289-AH 77.78 319-AH 47.37 349-AH 37.04 150-AH 0.00 180-AH 0.00 260-AH 38.10 290-AH 14.29 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 69.57 261-AH 5.88 291-AH 63.33 321-AH 0.00 152-AH 27.27 182-AH 25.00 262-AH 4.71 292-AH 75.00 322-AH 28.57 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 52.94 323-AH 15.38 154-AH 33.33 184-AH 11.11 264-AH 27.27 294-AH 22.22 324-AH 27.03 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 35.29 325-AH 6.56 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 53.96 187-AH 0.00 267-AH 14.29 297-AH 8.33 327-AH 0.00 158-AH 29.41 188-AH 0.00 268-AH 33.33 298-AH 20.00 328-AH 60.87 159-AH 55.56 189-AH 71.43 269-AH 22.22 299-AH 18.42 329-AH 64.71 160-AH 0.00 190-AH 44.44 270-AH 63.16 300-AH 0.00 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 18.75 331-AH 5.88 162-AH 0.00 192-AH 50.00 272-AH 35.71 302-AH 35.29 332-AH 37.50 163-AH 77.05 193-AH 42.86 273-AH 60.24 303-AH 0.00 333-AH 80.00 164-AH 11.11 194-AH 0.00 274-AH 6.25 304-AH 40.00 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 54.55 305-AH 34.43 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 94.00 277-AH 19.23 307-AH 25.97 337-AH 65.00 168-AH 50.00 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 20.00 339-AH 42.11 170-AH 100.00 200-AH 33.33 280-AH 16.00 310-AH 23.81 340-AH 0.00 539 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYM AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 155,160 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,344 Pooled false Geometric Mean Average Precision 0.0668 bilisynonym Binary Preference (BPREF) 0.2930 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 56.41 BILISYNONYM 10 48.52 90% 20 41.81 80% 30 36.11 40 32.11 70% 50 28.98 60% 60 24.46 Precision 70 21.04 50% 80 17.20 40% 90 12.98 30% 100 9.08 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.49 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0418 Second Quartile 0.1697 Third Quartile 0.4868 Interquartile range 0.4451 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2849 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2884 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2849 20 Std With No Outliers 0.2884 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNONYM Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNONYM Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNONYM Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNONYM Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNONYM Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNONYM Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNONYM Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 540 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYM AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 5.14 251-AH 33.25 281-AH 36.04 311-AH 22.03 341-AH 2.32 142-AH 92.60 172-AH 6.32 252-AH 17.13 282-AH 15.86 312-AH 45.81 342-AH 57.96 143-AH 81.91 173-AH 100.00 253-AH 30.82 283-AH 12.15 313-AH 0.91 343-AH 2.94 144-AH 63.89 174-AH 100.00 254-AH 16.09 284-AH 43.17 314-AH 2.30 344-AH 49.58 145-AH 5.58 175-AH 52.90 255-AH 60.77 285-AH 12.63 315-AH 24.61 345-AH 3.69 146-AH 0.72 176-AH 74.67 256-AH 11.76 286-AH 1.97 316-AH 14.28 346-AH 4.66 147-AH 60.27 177-AH 18.58 257-AH 13.92 287-AH 0.67 317-AH 8.35 347-AH 0.70 148-AH 19.64 178-AH 0.00 258-AH 0.38 288-AH 19.63 318-AH 10.78 348-AH 25.00 149-AH 0.00 179-AH 26.30 259-AH 6.08 289-AH 73.34 319-AH 48.19 349-AH 35.29 150-AH 1.21 180-AH 0.00 260-AH 32.97 290-AH 8.44 320-AH 3.08 350-AH 66.04 151-AH 0.05 181-AH 65.90 261-AH 2.02 291-AH 65.47 321-AH 0.00 152-AH 29.93 182-AH 17.86 262-AH 4.66 292-AH 88.75 322-AH 13.20 153-AH 0.53 183-AH 24.09 263-AH 0.84 293-AH 49.18 323-AH 5.83 154-AH 30.35 184-AH 13.38 264-AH 17.00 294-AH 8.58 324-AH 15.16 155-AH 0.03 185-AH 100.00 265-AH 11.56 295-AH 28.00 325-AH 2.95 156-AH 12.77 186-AH 0.00 266-AH 0.00 296-AH 35.67 326-AH 38.84 157-AH 52.21 187-AH 7.14 267-AH 16.95 297-AH 3.68 327-AH 1.39 158-AH 25.01 188-AH 0.00 268-AH 33.90 298-AH 15.58 328-AH 55.93 159-AH 54.65 189-AH 93.25 269-AH 14.17 299-AH 13.61 329-AH 74.79 160-AH 12.92 190-AH 40.35 270-AH 72.43 300-AH 0.60 330-AH 75.66 161-AH 0.00 191-AH 0.00 271-AH 45.84 301-AH 7.52 331-AH 11.82 162-AH 50.00 192-AH 58.12 272-AH 33.47 302-AH 27.95 332-AH 29.34 163-AH 83.82 193-AH 37.69 273-AH 63.58 303-AH 1.64 333-AH 55.68 164-AH 12.80 194-AH 8.33 274-AH 2.22 304-AH 30.76 334-AH 9.09 165-AH 100.00 195-AH 0.00 275-AH 55.56 305-AH 29.52 335-AH 8.93 166-AH 0.00 196-AH 50.00 276-AH 23.04 306-AH 100.00 336-AH 0.10 167-AH 22.97 197-AH 96.28 277-AH 7.69 307-AH 10.93 337-AH 67.20 168-AH 46.68 198-AH 0.00 278-AH 2.68 308-AH 72.12 338-AH 56.53 169-AH 1.09 199-AH 69.24 279-AH 16.93 309-AH 24.67 339-AH 44.15 170-AH 100.00 200-AH 29.55 280-AH 7.71 310-AH 12.93 340-AH 0.03 541 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYM AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 35.75 BILISYNONYM 10 docs 30.88 90% 15 docs 27.79 80% 20 docs 25.22 30 docs 21.60 70% 100 docs 12.04 60% 200 docs 7.63 Precision 500 docs 3.78 50% 1000 docs 2.09 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.37 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0310 Second Quartile 0.2397 Third Quartile 0.4793 Interquartile range 0.4482 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2937 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2730 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2937 20 Std With No Outliers 0.2730 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNONYM Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNONYM Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNONYM Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNONYM Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNONYM Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNONYM Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNONYM Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 542 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYM AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 10.53 251-AH 35.38 281-AH 38.10 311-AH 27.78 341-AH 0.00 142-AH 87.50 172-AH 0.00 252-AH 24.14 282-AH 25.81 312-AH 45.16 342-AH 54.17 143-AH 71.79 173-AH 100.00 253-AH 38.95 283-AH 18.42 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 23.58 284-AH 47.37 314-AH 0.00 344-AH 48.48 145-AH 13.16 175-AH 57.14 255-AH 50.00 285-AH 21.74 315-AH 30.51 345-AH 0.00 146-AH 0.00 176-AH 64.10 256-AH 11.76 286-AH 8.33 316-AH 17.80 346-AH 9.09 147-AH 56.86 177-AH 23.08 257-AH 23.81 287-AH 2.04 317-AH 10.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 11.11 348-AH 50.00 149-AH 0.00 179-AH 31.82 259-AH 0.00 289-AH 72.22 319-AH 47.37 349-AH 37.04 150-AH 0.00 180-AH 0.00 260-AH 38.10 290-AH 14.29 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 68.48 261-AH 5.88 291-AH 63.33 321-AH 0.00 152-AH 27.27 182-AH 25.00 262-AH 4.71 292-AH 75.00 322-AH 28.57 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 55.88 323-AH 15.38 154-AH 33.33 184-AH 11.11 264-AH 27.27 294-AH 22.22 324-AH 27.03 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 35.29 325-AH 6.56 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 52.52 187-AH 0.00 267-AH 14.29 297-AH 8.33 327-AH 0.00 158-AH 29.41 188-AH 0.00 268-AH 33.33 298-AH 20.00 328-AH 60.87 159-AH 55.56 189-AH 71.43 269-AH 22.22 299-AH 18.42 329-AH 64.71 160-AH 0.00 190-AH 44.44 270-AH 63.16 300-AH 0.00 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 18.75 331-AH 5.88 162-AH 0.00 192-AH 50.00 272-AH 35.71 302-AH 35.29 332-AH 37.50 163-AH 77.05 193-AH 42.86 273-AH 60.24 303-AH 0.00 333-AH 40.00 164-AH 11.11 194-AH 0.00 274-AH 6.25 304-AH 40.00 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 54.55 305-AH 34.43 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 86.00 277-AH 19.23 307-AH 25.97 337-AH 65.00 168-AH 50.00 198-AH 0.00 278-AH 4.76 308-AH 63.64 338-AH 60.00 169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 20.00 339-AH 47.37 170-AH 100.00 200-AH 33.33 280-AH 16.00 310-AH 23.81 340-AH 0.00 543 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSET AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 155,160 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,344 Pooled false Geometric Mean Average Precision 0.0668 bilisynset Binary Preference (BPREF) 0.2930 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 56.41 BILISYNSET 10 48.52 90% 20 41.81 80% 30 36.11 40 32.11 70% 50 28.98 60% 60 24.46 Precision 70 21.04 50% 80 17.20 40% 90 12.98 30% 100 9.08 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.49 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0418 Second Quartile 0.1697 Third Quartile 0.4868 Interquartile range 0.4451 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2849 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2884 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2849 20 Std With No Outliers 0.2884 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNSET Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNSET Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNSET Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNSET Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNSET Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNSET Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNSET Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 544 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSET AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 5.14 251-AH 33.25 281-AH 36.04 311-AH 22.03 341-AH 2.32 142-AH 92.60 172-AH 6.32 252-AH 17.13 282-AH 15.86 312-AH 45.81 342-AH 57.96 143-AH 81.91 173-AH 100.00 253-AH 30.82 283-AH 12.15 313-AH 0.91 343-AH 2.94 144-AH 63.89 174-AH 100.00 254-AH 16.09 284-AH 43.17 314-AH 2.30 344-AH 49.58 145-AH 5.58 175-AH 52.90 255-AH 60.77 285-AH 12.63 315-AH 24.61 345-AH 3.69 146-AH 0.72 176-AH 74.67 256-AH 11.76 286-AH 1.97 316-AH 14.28 346-AH 4.66 147-AH 60.27 177-AH 18.58 257-AH 13.92 287-AH 0.67 317-AH 8.35 347-AH 0.70 148-AH 19.64 178-AH 0.00 258-AH 0.38 288-AH 19.63 318-AH 10.78 348-AH 25.00 149-AH 0.00 179-AH 26.30 259-AH 6.08 289-AH 73.34 319-AH 48.19 349-AH 35.29 150-AH 1.21 180-AH 0.00 260-AH 32.97 290-AH 8.44 320-AH 3.08 350-AH 66.04 151-AH 0.05 181-AH 65.90 261-AH 2.02 291-AH 65.47 321-AH 0.00 152-AH 29.93 182-AH 17.86 262-AH 4.66 292-AH 88.75 322-AH 13.20 153-AH 0.53 183-AH 24.09 263-AH 0.84 293-AH 49.18 323-AH 5.83 154-AH 30.35 184-AH 13.38 264-AH 17.00 294-AH 8.58 324-AH 15.16 155-AH 0.03 185-AH 100.00 265-AH 11.56 295-AH 28.00 325-AH 2.95 156-AH 12.77 186-AH 0.00 266-AH 0.00 296-AH 35.67 326-AH 38.84 157-AH 52.21 187-AH 7.14 267-AH 16.95 297-AH 3.68 327-AH 1.39 158-AH 25.01 188-AH 0.00 268-AH 33.90 298-AH 15.58 328-AH 55.93 159-AH 54.65 189-AH 93.25 269-AH 14.17 299-AH 13.61 329-AH 74.79 160-AH 12.92 190-AH 40.35 270-AH 72.43 300-AH 0.60 330-AH 75.66 161-AH 0.00 191-AH 0.00 271-AH 45.84 301-AH 7.52 331-AH 11.82 162-AH 50.00 192-AH 58.12 272-AH 33.47 302-AH 27.95 332-AH 29.34 163-AH 83.82 193-AH 37.69 273-AH 63.58 303-AH 1.64 333-AH 55.68 164-AH 12.80 194-AH 8.33 274-AH 2.22 304-AH 30.76 334-AH 9.09 165-AH 100.00 195-AH 0.00 275-AH 55.56 305-AH 29.52 335-AH 8.93 166-AH 0.00 196-AH 50.00 276-AH 23.04 306-AH 100.00 336-AH 0.10 167-AH 22.97 197-AH 96.28 277-AH 7.69 307-AH 10.93 337-AH 67.20 168-AH 46.68 198-AH 0.00 278-AH 2.68 308-AH 72.12 338-AH 56.53 169-AH 1.09 199-AH 69.24 279-AH 16.93 309-AH 24.67 339-AH 44.15 170-AH 100.00 200-AH 29.55 280-AH 7.71 310-AH 12.93 340-AH 0.03 545 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSET AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 35.75 BILISYNSET 10 docs 30.88 90% 15 docs 27.79 80% 20 docs 25.22 30 docs 21.60 70% 100 docs 12.04 60% 200 docs 7.63 Precision 500 docs 3.78 50% 1000 docs 2.09 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.37 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0310 Second Quartile 0.2397 Third Quartile 0.4793 Interquartile range 0.4482 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2937 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2730 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2937 20 Std With No Outliers 0.2730 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNSET Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNSET Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNSET Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNSET Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNSET Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNSET Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNSET Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 546 know-center 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSET AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 10.53 251-AH 35.38 281-AH 38.10 311-AH 27.78 341-AH 0.00 142-AH 87.50 172-AH 0.00 252-AH 24.14 282-AH 25.81 312-AH 45.16 342-AH 54.17 143-AH 71.79 173-AH 100.00 253-AH 38.95 283-AH 18.42 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 23.58 284-AH 47.37 314-AH 0.00 344-AH 48.48 145-AH 13.16 175-AH 57.14 255-AH 50.00 285-AH 21.74 315-AH 30.51 345-AH 0.00 146-AH 0.00 176-AH 64.10 256-AH 11.76 286-AH 8.33 316-AH 17.80 346-AH 9.09 147-AH 56.86 177-AH 23.08 257-AH 23.81 287-AH 2.04 317-AH 10.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 11.11 348-AH 50.00 149-AH 0.00 179-AH 31.82 259-AH 0.00 289-AH 72.22 319-AH 47.37 349-AH 37.04 150-AH 0.00 180-AH 0.00 260-AH 38.10 290-AH 14.29 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 68.48 261-AH 5.88 291-AH 63.33 321-AH 0.00 152-AH 27.27 182-AH 25.00 262-AH 4.71 292-AH 75.00 322-AH 28.57 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 55.88 323-AH 15.38 154-AH 33.33 184-AH 11.11 264-AH 27.27 294-AH 22.22 324-AH 27.03 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 35.29 325-AH 6.56 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 52.52 187-AH 0.00 267-AH 14.29 297-AH 8.33 327-AH 0.00 158-AH 29.41 188-AH 0.00 268-AH 33.33 298-AH 20.00 328-AH 60.87 159-AH 55.56 189-AH 71.43 269-AH 22.22 299-AH 18.42 329-AH 64.71 160-AH 0.00 190-AH 44.44 270-AH 63.16 300-AH 0.00 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 18.75 331-AH 5.88 162-AH 0.00 192-AH 50.00 272-AH 35.71 302-AH 35.29 332-AH 37.50 163-AH 77.05 193-AH 42.86 273-AH 60.24 303-AH 0.00 333-AH 40.00 164-AH 11.11 194-AH 0.00 274-AH 6.25 304-AH 40.00 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 54.55 305-AH 34.43 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 86.00 277-AH 19.23 307-AH 25.97 337-AH 65.00 168-AH 50.00 198-AH 0.00 278-AH 4.76 308-AH 63.64 338-AH 60.00 169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 20.00 339-AH 47.37 170-AH 100.00 200-AH 33.33 280-AH 16.00 310-AH 23.81 340-AH 0.00 547 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI1 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,580 Pooled false Geometric Mean Average Precision 0.1222 Online translation with expansion Binary Preference (BPREF) 0.3340 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.02 BILI1 10 55.86 90% 20 49.51 80% 30 43.64 40 39.40 70% 50 35.92 60% 60 31.46 Precision 70 25.93 50% 80 21.58 40% 90 15.84 30% 100 11.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.37 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0791 Second Quartile 0.2559 Third Quartile 0.5795 Interquartile range 0.5004 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3437 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3049 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3437 15 Std With No Outliers 0.3049 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILI1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILI1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILI1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILI1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILI1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILI1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILI1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 548 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI1 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 9.11 251-AH 51.89 281-AH 37.40 311-AH 23.73 341-AH 29.81 142-AH 93.06 172-AH 5.62 252-AH 57.05 282-AH 31.58 312-AH 22.55 342-AH 64.24 143-AH 11.70 173-AH 100.00 253-AH 22.85 283-AH 34.60 313-AH 1.14 343-AH 5.88 144-AH 63.89 174-AH 100.00 254-AH 16.99 284-AH 53.24 314-AH 8.36 344-AH 52.31 145-AH 68.30 175-AH 66.08 255-AH 72.60 285-AH 10.54 315-AH 26.87 345-AH 28.72 146-AH 16.78 176-AH 92.70 256-AH 82.67 286-AH 6.28 316-AH 8.04 346-AH 8.50 147-AH 61.21 177-AH 41.54 257-AH 17.73 287-AH 46.79 317-AH 19.73 347-AH 11.00 148-AH 9.00 178-AH 1.67 258-AH 8.44 288-AH 28.67 318-AH 13.12 348-AH 100.00 149-AH 0.00 179-AH 79.95 259-AH 67.17 289-AH 77.68 319-AH 37.59 349-AH 48.62 150-AH 10.65 180-AH 2.01 260-AH 57.86 290-AH 16.27 320-AH 7.98 350-AH 65.34 151-AH 2.33 181-AH 72.28 261-AH 18.22 291-AH 48.80 321-AH 0.00 152-AH 6.44 182-AH 48.71 262-AH 11.45 292-AH 60.57 322-AH 17.46 153-AH 0.00 183-AH 0.66 263-AH 0.96 293-AH 56.27 323-AH 2.76 154-AH 34.41 184-AH 5.91 264-AH 47.11 294-AH 62.70 324-AH 11.32 155-AH 0.17 185-AH 14.29 265-AH 20.80 295-AH 26.19 325-AH 0.34 156-AH 5.62 186-AH 0.00 266-AH 0.36 296-AH 47.72 326-AH 32.71 157-AH 52.06 187-AH 10.00 267-AH 42.21 297-AH 32.69 327-AH 28.03 158-AH 16.34 188-AH 3.45 268-AH 70.67 298-AH 21.90 328-AH 40.71 159-AH 37.41 189-AH 87.69 269-AH 20.24 299-AH 15.66 329-AH 69.42 160-AH 4.52 190-AH 6.97 270-AH 77.26 300-AH 12.95 330-AH 78.96 161-AH 0.00 191-AH 0.00 271-AH 48.52 301-AH 58.04 331-AH 22.92 162-AH 25.00 192-AH 100.00 272-AH 22.06 302-AH 36.22 332-AH 32.44 163-AH 68.28 193-AH 38.75 273-AH 67.84 303-AH 2.52 333-AH 100.00 164-AH 6.20 194-AH 9.09 274-AH 0.21 304-AH 1.84 334-AH 17.90 165-AH 100.00 195-AH 0.00 275-AH 48.93 305-AH 28.29 335-AH 27.27 166-AH 0.00 196-AH 100.00 276-AH 6.98 306-AH 50.00 336-AH 5.89 167-AH 42.56 197-AH 79.43 277-AH 11.65 307-AH 4.53 337-AH 87.06 168-AH 65.23 198-AH 3.03 278-AH 6.85 308-AH 79.38 338-AH 74.86 169-AH 10.98 199-AH 68.10 279-AH 1.44 309-AH 6.60 339-AH 67.25 170-AH 100.00 200-AH 40.20 280-AH 7.84 310-AH 1.05 340-AH 15.03 549 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI1 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 41.38 BILI1 10 docs 35.19 90% 15 docs 31.08 80% 20 docs 28.56 30 docs 24.75 70% 100 docs 13.25 60% 200 docs 8.28 Precision 500 docs 4.04 50% 1000 docs 2.24 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.70 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0909 Second Quartile 0.2857 Third Quartile 0.5523 Interquartile range 0.4614 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3470 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2941 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3470 20 15 Std With No Outliers 0.2941 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILI1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILI1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILI1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILI1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILI1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILI1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILI1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 550 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI1 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 53.85 281-AH 40.48 311-AH 27.78 341-AH 50.00 142-AH 87.50 172-AH 14.29 252-AH 51.72 282-AH 45.16 312-AH 32.26 342-AH 58.33 143-AH 30.77 173-AH 100.00 253-AH 32.63 283-AH 34.21 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 24.45 284-AH 57.89 314-AH 11.11 344-AH 54.55 145-AH 65.79 175-AH 71.43 255-AH 75.00 285-AH 18.84 315-AH 32.20 345-AH 33.33 146-AH 0.00 176-AH 84.62 256-AH 73.53 286-AH 16.67 316-AH 2.54 346-AH 9.09 147-AH 54.90 177-AH 46.15 257-AH 28.57 287-AH 51.02 317-AH 20.00 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 25.00 288-AH 38.16 318-AH 11.11 348-AH 100.00 149-AH 0.00 179-AH 72.73 259-AH 66.67 289-AH 72.22 319-AH 42.11 349-AH 51.85 150-AH 20.00 180-AH 0.00 260-AH 53.97 290-AH 18.37 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 75.00 261-AH 23.53 291-AH 46.67 321-AH 0.00 152-AH 9.09 182-AH 50.00 262-AH 14.12 292-AH 50.00 322-AH 28.57 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 47.06 323-AH 3.85 154-AH 33.33 184-AH 0.00 264-AH 45.45 294-AH 55.56 324-AH 22.97 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 33.33 325-AH 0.00 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 25.00 157-AH 53.96 187-AH 0.00 267-AH 42.86 297-AH 41.67 327-AH 25.00 158-AH 23.53 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 44.44 189-AH 71.43 269-AH 22.22 299-AH 25.00 329-AH 64.71 160-AH 0.00 190-AH 11.11 270-AH 66.67 300-AH 16.67 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 62.50 331-AH 29.41 162-AH 0.00 192-AH 100.00 272-AH 21.43 302-AH 41.18 332-AH 25.00 163-AH 63.93 193-AH 28.57 273-AH 66.27 303-AH 0.00 333-AH 100.00 164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 6.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 45.45 305-AH 31.15 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 13.56 306-AH 0.00 336-AH 11.76 167-AH 40.00 197-AH 72.00 277-AH 26.92 307-AH 9.09 337-AH 80.00 168-AH 66.67 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 70.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 68.42 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 6.35 340-AH 20.00 551 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI2 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,721 Pooled false Geometric Mean Average Precision 0.1511 Online translation with expansion Binary Preference (BPREF) 0.3679 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.08 BILI2 10 62.50 90% 20 56.44 80% 30 48.26 40 44.29 70% 50 39.47 60% 60 33.71 Precision 70 27.77 50% 80 22.92 40% 90 17.62 30% 100 12.72 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.42 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1111 Second Quartile 0.3447 Third Quartile 0.6190 Interquartile range 0.5080 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3842 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3011 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.3842 10 Std With No Outliers 0.3011 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILI2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILI2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILI2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILI2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILI2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILI2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILI2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 552 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI2 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 8.56 251-AH 44.66 281-AH 48.47 311-AH 33.13 341-AH 41.13 142-AH 92.76 172-AH 2.74 252-AH 53.00 282-AH 20.79 312-AH 35.05 342-AH 66.06 143-AH 11.76 173-AH 100.00 253-AH 34.84 283-AH 32.50 313-AH 2.27 343-AH 16.67 144-AH 75.00 174-AH 100.00 254-AH 26.95 284-AH 55.42 314-AH 4.97 344-AH 45.02 145-AH 73.90 175-AH 69.81 255-AH 76.69 285-AH 40.07 315-AH 18.75 345-AH 15.24 146-AH 50.00 176-AH 94.47 256-AH 84.00 286-AH 3.50 316-AH 8.28 346-AH 7.36 147-AH 64.12 177-AH 44.82 257-AH 21.11 287-AH 48.18 317-AH 21.36 347-AH 12.10 148-AH 8.84 178-AH 25.09 258-AH 25.22 288-AH 24.13 318-AH 5.44 348-AH 100.00 149-AH 0.00 179-AH 73.98 259-AH 66.99 289-AH 86.30 319-AH 47.10 349-AH 56.86 150-AH 11.25 180-AH 32.33 260-AH 37.88 290-AH 12.05 320-AH 5.44 350-AH 63.24 151-AH 0.60 181-AH 82.01 261-AH 39.06 291-AH 51.07 321-AH 0.00 152-AH 30.00 182-AH 51.92 262-AH 9.27 292-AH 60.57 322-AH 11.79 153-AH 0.12 183-AH 41.60 263-AH 2.20 293-AH 56.44 323-AH 8.18 154-AH 35.42 184-AH 48.16 264-AH 41.23 294-AH 65.12 324-AH 31.46 155-AH 0.13 185-AH 14.29 265-AH 23.05 295-AH 34.67 325-AH 3.43 156-AH 5.35 186-AH 0.00 266-AH 7.18 296-AH 60.14 326-AH 29.29 157-AH 53.37 187-AH 100.00 267-AH 39.20 297-AH 39.33 327-AH 19.31 158-AH 30.26 188-AH 0.00 268-AH 72.92 298-AH 22.62 328-AH 41.27 159-AH 22.45 189-AH 89.29 269-AH 46.24 299-AH 21.22 329-AH 71.51 160-AH 5.83 190-AH 7.79 270-AH 76.13 300-AH 10.96 330-AH 74.58 161-AH 0.00 191-AH 0.00 271-AH 51.75 301-AH 53.17 331-AH 57.10 162-AH 50.00 192-AH 100.00 272-AH 20.59 302-AH 38.65 332-AH 34.19 163-AH 68.96 193-AH 40.81 273-AH 72.82 303-AH 12.69 333-AH 100.00 164-AH 5.80 194-AH 50.00 274-AH 0.38 304-AH 9.70 334-AH 32.65 165-AH 100.00 195-AH 0.00 275-AH 52.50 305-AH 27.47 335-AH 34.27 166-AH 0.00 196-AH 50.00 276-AH 16.61 306-AH 100.00 336-AH 19.29 167-AH 22.46 197-AH 68.90 277-AH 14.39 307-AH 14.41 337-AH 92.79 168-AH 63.27 198-AH 0.75 278-AH 6.48 308-AH 79.88 338-AH 70.51 169-AH 7.61 199-AH 63.46 279-AH 2.04 309-AH 7.25 339-AH 63.46 170-AH 100.00 200-AH 66.77 280-AH 2.50 310-AH 4.11 340-AH 20.67 553 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI2 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.75 BILI2 10 docs 38.63 90% 15 docs 34.54 80% 20 docs 31.16 30 docs 26.44 70% 100 docs 14.18 60% 200 docs 8.73 Precision 500 docs 4.23 50% 1000 docs 2.33 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.73 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1261 Second Quartile 0.3475 Third Quartile 0.5774 Interquartile range 0.4513 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3773 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2876 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3773 15 Std With No Outliers 0.2876 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILI2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILI2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILI2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILI2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILI2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILI2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILI2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 554 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI2 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 44.62 281-AH 47.62 311-AH 40.74 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 22.58 312-AH 29.03 342-AH 60.42 143-AH 25.64 173-AH 100.00 253-AH 44.74 283-AH 34.21 313-AH 10.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 33.19 284-AH 52.63 314-AH 0.00 344-AH 51.52 145-AH 63.16 175-AH 71.43 255-AH 75.00 285-AH 42.03 315-AH 25.42 345-AH 22.22 146-AH 50.00 176-AH 84.62 256-AH 76.47 286-AH 8.33 316-AH 12.71 346-AH 9.09 147-AH 54.90 177-AH 46.15 257-AH 30.16 287-AH 57.14 317-AH 23.33 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 35.53 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 72.22 319-AH 47.37 349-AH 48.15 150-AH 20.00 180-AH 45.00 260-AH 42.86 290-AH 18.37 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 75.00 261-AH 44.12 291-AH 50.00 321-AH 0.00 152-AH 27.27 182-AH 75.00 262-AH 14.12 292-AH 50.00 322-AH 21.43 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 47.06 323-AH 15.38 154-AH 33.33 184-AH 55.56 264-AH 40.91 294-AH 66.67 324-AH 40.54 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 39.22 325-AH 8.20 156-AH 9.09 186-AH 0.00 266-AH 25.00 296-AH 54.17 326-AH 25.00 157-AH 55.40 187-AH 100.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 32.35 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 47.83 159-AH 29.63 189-AH 71.43 269-AH 44.44 299-AH 30.26 329-AH 58.82 160-AH 0.00 190-AH 11.11 270-AH 68.42 300-AH 21.43 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 56.25 331-AH 52.94 162-AH 0.00 192-AH 100.00 272-AH 21.43 302-AH 47.06 332-AH 25.00 163-AH 63.11 193-AH 28.57 273-AH 65.06 303-AH 7.14 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 0.00 304-AH 20.00 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 50.00 305-AH 32.79 335-AH 40.00 166-AH 0.00 196-AH 0.00 276-AH 27.12 306-AH 100.00 336-AH 35.29 167-AH 20.00 197-AH 64.00 277-AH 30.77 307-AH 23.38 337-AH 85.00 168-AH 55.56 198-AH 0.00 278-AH 14.29 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 0.00 310-AH 7.94 340-AH 40.00 555 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI3 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title Relevant retrieved 3,024 Pooled false Geometric Mean Average Precision 0.0513 Online translation with query expansion Binary Preference (BPREF) 0.2981 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 50.29 BILI3 10 44.92 90% 20 40.88 80% 30 35.52 40 32.37 70% 50 29.63 60% 60 25.76 Precision 70 21.84 50% 80 18.64 40% 90 13.48 30% 100 9.98 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.54 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0166 Second Quartile 0.1476 Third Quartile 0.5009 Interquartile range 0.4843 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2854 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3205 60 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 50 Upper Outlier Threshold 1.0000 40 Mean With No Outliers 0.2854 30 Std With No Outliers 0.3205 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILI3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILI3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILI3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILI3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILI3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILI3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILI3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 556 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI3 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.13 251-AH 23.42 281-AH 25.54 311-AH 27.76 341-AH 0.08 142-AH 97.50 172-AH 1.58 252-AH 23.70 282-AH 1.63 312-AH 8.48 342-AH 66.29 143-AH 0.01 173-AH 100.00 253-AH 0.34 283-AH 39.58 313-AH 1.27 343-AH 2.22 144-AH 74.36 174-AH 100.00 254-AH 7.22 284-AH 0.69 314-AH 3.60 344-AH 50.59 145-AH 69.60 175-AH 66.17 255-AH 74.63 285-AH 18.74 315-AH 37.44 345-AH 24.71 146-AH 25.00 176-AH 91.88 256-AH 85.63 286-AH 3.78 316-AH 7.96 346-AH 11.48 147-AH 0.00 177-AH 42.98 257-AH 17.27 287-AH 22.05 317-AH 8.59 347-AH 11.61 148-AH 4.89 178-AH 0.11 258-AH 0.13 288-AH 31.49 318-AH 6.36 348-AH 100.00 149-AH 0.00 179-AH 81.76 259-AH 0.63 289-AH 77.68 319-AH 40.92 349-AH 42.27 150-AH 0.10 180-AH 2.09 260-AH 23.72 290-AH 3.33 320-AH 0.07 350-AH 68.88 151-AH 23.57 181-AH 71.32 261-AH 0.00 291-AH 28.71 321-AH 0.00 152-AH 0.08 182-AH 9.43 262-AH 12.11 292-AH 1.44 322-AH 14.63 153-AH 0.00 183-AH 0.44 263-AH 0.01 293-AH 54.03 323-AH 0.52 154-AH 31.02 184-AH 5.72 264-AH 64.64 294-AH 0.02 324-AH 58.61 155-AH 0.29 185-AH 11.11 265-AH 5.23 295-AH 15.68 325-AH 0.02 156-AH 5.35 186-AH 0.00 266-AH 1.69 296-AH 41.23 326-AH 51.05 157-AH 50.18 187-AH 6.67 267-AH 30.84 297-AH 2.73 327-AH 46.10 158-AH 48.23 188-AH 0.13 268-AH 68.84 298-AH 6.05 328-AH 35.37 159-AH 42.45 189-AH 92.76 269-AH 5.47 299-AH 0.21 329-AH 14.89 160-AH 1.55 190-AH 0.65 270-AH 77.60 300-AH 22.92 330-AH 76.31 161-AH 0.00 191-AH 0.00 271-AH 16.72 301-AH 52.03 331-AH 25.04 162-AH 100.00 192-AH 3.22 272-AH 0.19 302-AH 46.20 332-AH 31.72 163-AH 63.15 193-AH 21.97 273-AH 54.39 303-AH 1.11 333-AH 100.00 164-AH 22.49 194-AH 3.23 274-AH 0.07 304-AH 0.06 334-AH 9.55 165-AH 100.00 195-AH 0.00 275-AH 32.28 305-AH 3.28 335-AH 24.20 166-AH 0.00 196-AH 100.00 276-AH 12.19 306-AH 100.00 336-AH 3.51 167-AH 29.56 197-AH 93.90 277-AH 15.46 307-AH 7.21 337-AH 87.25 168-AH 71.62 198-AH 2.13 278-AH 6.34 308-AH 79.67 338-AH 22.42 169-AH 3.59 199-AH 67.04 279-AH 0.87 309-AH 3.91 339-AH 67.30 170-AH 50.00 200-AH 6.33 280-AH 8.58 310-AH 0.50 340-AH 13.64 557 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI3 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 32.88 BILI3 10 docs 28.13 90% 15 docs 25.88 80% 20 docs 23.75 30 docs 20.27 70% 100 docs 10.94 60% 200 docs 6.94 Precision 500 docs 3.32 50% 1000 docs 1.89 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.57 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.2039 Third Quartile 0.4894 Interquartile range 0.4894 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2857 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3113 60 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 50 Upper Outlier Threshold 1.0000 40 Mean With No Outliers 0.2857 30 Std With No Outliers 0.3113 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILI3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILI3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILI3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILI3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILI3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILI3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILI3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 558 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI3 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 27.69 281-AH 28.57 311-AH 37.04 341-AH 0.00 142-AH 87.50 172-AH 0.00 252-AH 31.03 282-AH 0.00 312-AH 6.45 342-AH 53.12 143-AH 0.00 173-AH 100.00 253-AH 3.68 283-AH 42.11 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 10.48 284-AH 0.00 314-AH 0.00 344-AH 48.48 145-AH 65.79 175-AH 57.14 255-AH 75.00 285-AH 27.54 315-AH 44.07 345-AH 22.22 146-AH 50.00 176-AH 87.18 256-AH 79.41 286-AH 8.33 316-AH 15.25 346-AH 18.18 147-AH 0.00 177-AH 46.15 257-AH 31.75 287-AH 28.57 317-AH 13.33 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 35.53 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 77.27 259-AH 0.00 289-AH 72.22 319-AH 42.11 349-AH 40.74 150-AH 0.00 180-AH 0.00 260-AH 31.75 290-AH 2.04 320-AH 0.00 350-AH 70.00 151-AH 33.33 181-AH 73.91 261-AH 0.00 291-AH 33.33 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 14.12 292-AH 0.00 322-AH 21.43 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 47.06 323-AH 3.85 154-AH 33.33 184-AH 11.11 264-AH 54.55 294-AH 0.00 324-AH 59.46 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 21.57 325-AH 0.00 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00 157-AH 55.40 187-AH 0.00 267-AH 28.57 297-AH 0.00 327-AH 25.00 158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 0.00 328-AH 39.13 159-AH 44.44 189-AH 85.71 269-AH 0.00 299-AH 1.32 329-AH 17.65 160-AH 0.00 190-AH 0.00 270-AH 63.16 300-AH 30.95 330-AH 64.71 161-AH 0.00 191-AH 0.00 271-AH 33.33 301-AH 56.25 331-AH 23.53 162-AH 100.00 192-AH 0.00 272-AH 0.00 302-AH 47.06 332-AH 25.00 163-AH 63.93 193-AH 28.57 273-AH 49.40 303-AH 0.00 333-AH 100.00 164-AH 22.22 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 4.92 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 16.95 306-AH 100.00 336-AH 5.88 167-AH 40.00 197-AH 86.00 277-AH 26.92 307-AH 20.78 337-AH 85.00 168-AH 66.67 198-AH 0.00 278-AH 9.52 308-AH 72.73 338-AH 40.00 169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 63.16 170-AH 0.00 200-AH 0.00 280-AH 12.00 310-AH 6.35 340-AH 20.00 559 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI4 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,703 Pooled false Geometric Mean Average Precision 0.1476 Online translation, no query expansion Binary Preference (BPREF) 0.3543 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.03 BILI4 10 62.23 90% 20 55.79 80% 30 47.78 40 42.75 70% 50 38.13 60% 60 31.94 Precision 70 26.49 50% 80 21.68 40% 90 16.73 30% 100 12.14 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1149 Second Quartile 0.3315 Third Quartile 0.6220 Interquartile range 0.5071 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3731 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2919 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.3731 10 Std With No Outliers 0.2919 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILI4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILI4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILI4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILI4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILI4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILI4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILI4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 560 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI4 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 8.29 251-AH 44.08 281-AH 47.66 311-AH 35.04 341-AH 44.37 142-AH 92.26 172-AH 2.76 252-AH 45.66 282-AH 19.43 312-AH 39.85 342-AH 63.16 143-AH 12.83 173-AH 100.00 253-AH 29.89 283-AH 29.97 313-AH 2.41 343-AH 25.00 144-AH 66.67 174-AH 100.00 254-AH 25.65 284-AH 57.47 314-AH 5.03 344-AH 48.71 145-AH 64.38 175-AH 63.38 255-AH 76.20 285-AH 40.87 315-AH 18.41 345-AH 12.79 146-AH 50.00 176-AH 94.52 256-AH 84.78 286-AH 4.97 316-AH 13.79 346-AH 5.01 147-AH 73.05 177-AH 32.09 257-AH 19.37 287-AH 47.92 317-AH 22.55 347-AH 8.25 148-AH 8.06 178-AH 25.06 258-AH 12.62 288-AH 15.48 318-AH 5.73 348-AH 100.00 149-AH 0.00 179-AH 48.08 259-AH 66.91 289-AH 78.75 319-AH 45.04 349-AH 42.22 150-AH 11.41 180-AH 32.90 260-AH 37.30 290-AH 12.86 320-AH 4.65 350-AH 66.62 151-AH 0.80 181-AH 81.26 261-AH 40.85 291-AH 45.33 321-AH 0.00 152-AH 19.80 182-AH 51.49 262-AH 9.71 292-AH 61.25 322-AH 13.51 153-AH 0.10 183-AH 51.74 263-AH 2.45 293-AH 64.43 323-AH 8.17 154-AH 37.74 184-AH 41.87 264-AH 40.01 294-AH 66.55 324-AH 35.03 155-AH 0.07 185-AH 11.11 265-AH 23.02 295-AH 31.82 325-AH 2.40 156-AH 5.16 186-AH 0.00 266-AH 8.34 296-AH 66.34 326-AH 29.69 157-AH 45.85 187-AH 33.33 267-AH 37.63 297-AH 41.53 327-AH 21.78 158-AH 25.98 188-AH 0.00 268-AH 70.83 298-AH 21.84 328-AH 49.42 159-AH 21.40 189-AH 87.14 269-AH 46.70 299-AH 20.53 329-AH 70.17 160-AH 2.57 190-AH 16.09 270-AH 73.03 300-AH 11.57 330-AH 73.23 161-AH 0.00 191-AH 0.00 271-AH 47.01 301-AH 51.33 331-AH 59.72 162-AH 25.00 192-AH 100.00 272-AH 20.26 302-AH 44.25 332-AH 42.07 163-AH 65.20 193-AH 42.19 273-AH 69.35 303-AH 8.20 333-AH 100.00 164-AH 9.43 194-AH 50.00 274-AH 0.54 304-AH 15.12 334-AH 32.96 165-AH 100.00 195-AH 0.00 275-AH 49.74 305-AH 24.33 335-AH 35.63 166-AH 0.00 196-AH 50.00 276-AH 29.20 306-AH 100.00 336-AH 27.74 167-AH 22.22 197-AH 68.58 277-AH 13.63 307-AH 16.81 337-AH 83.86 168-AH 63.65 198-AH 0.88 278-AH 4.31 308-AH 78.37 338-AH 66.04 169-AH 6.31 199-AH 64.26 279-AH 2.93 309-AH 5.98 339-AH 67.86 170-AH 100.00 200-AH 63.70 280-AH 2.46 310-AH 4.07 340-AH 21.67 561 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI4 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 46.00 BILI4 10 docs 38.50 90% 15 docs 34.29 80% 20 docs 30.72 30 docs 26.52 70% 100 docs 13.93 60% 200 docs 8.61 Precision 500 docs 4.20 50% 1000 docs 2.31 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.60 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1032 Second Quartile 0.3780 Third Quartile 0.5607 Interquartile range 0.4575 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3660 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2846 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3660 20 15 Std With No Outliers 0.2846 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILI4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILI4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILI4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILI4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILI4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILI4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILI4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 562 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI4 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 43.08 281-AH 42.86 311-AH 40.74 341-AH 50.00 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 22.58 312-AH 38.71 342-AH 56.25 143-AH 28.21 173-AH 100.00 253-AH 41.05 283-AH 31.58 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.88 284-AH 52.63 314-AH 5.56 344-AH 54.55 145-AH 57.89 175-AH 71.43 255-AH 75.00 285-AH 47.83 315-AH 23.73 345-AH 11.11 146-AH 50.00 176-AH 84.62 256-AH 76.47 286-AH 16.67 316-AH 16.10 346-AH 0.00 147-AH 68.63 177-AH 38.46 257-AH 26.98 287-AH 53.06 317-AH 26.67 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 26.32 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 45.45 259-AH 66.67 289-AH 77.78 319-AH 47.37 349-AH 37.04 150-AH 0.00 180-AH 42.50 260-AH 41.27 290-AH 18.37 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 71.74 261-AH 41.18 291-AH 50.00 321-AH 0.00 152-AH 27.27 182-AH 75.00 262-AH 12.94 292-AH 50.00 322-AH 21.43 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 55.88 323-AH 15.38 154-AH 38.10 184-AH 44.44 264-AH 40.91 294-AH 66.67 324-AH 41.89 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 39.22 325-AH 6.56 156-AH 9.09 186-AH 0.00 266-AH 25.00 296-AH 62.50 326-AH 25.00 157-AH 53.24 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 29.41 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 31.48 189-AH 71.43 269-AH 44.44 299-AH 34.21 329-AH 58.82 160-AH 0.00 190-AH 11.11 270-AH 61.40 300-AH 23.81 330-AH 62.75 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 56.25 331-AH 58.82 162-AH 0.00 192-AH 100.00 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 59.84 193-AH 28.57 273-AH 62.65 303-AH 7.14 333-AH 100.00 164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 20.00 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 53.03 305-AH 27.87 335-AH 40.00 166-AH 0.00 196-AH 0.00 276-AH 38.98 306-AH 100.00 336-AH 35.29 167-AH 40.00 197-AH 60.00 277-AH 26.92 307-AH 24.68 337-AH 75.00 168-AH 55.56 198-AH 0.00 278-AH 9.52 308-AH 72.73 338-AH 50.00 169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 66.67 280-AH 0.00 310-AH 7.94 340-AH 40.00 563 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI5 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,600 Pooled false Geometric Mean Average Precision 0.1299 Online translation, no query expansion Binary Preference (BPREF) 0.3365 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.39 BILI5 10 59.14 90% 20 50.96 80% 30 43.51 40 39.07 70% 50 35.07 60% 60 29.99 Precision 70 25.62 50% 80 20.55 40% 90 15.97 30% 100 11.64 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.52 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0790 Second Quartile 0.2520 Third Quartile 0.5743 Interquartile range 0.4953 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3452 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3000 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3452 15 Std With No Outliers 0.3000 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILI5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILI5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILI5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILI5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILI5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILI5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILI5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 564 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI5 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 7.07 251-AH 50.71 281-AH 41.32 311-AH 31.21 341-AH 41.37 142-AH 91.49 172-AH 3.42 252-AH 42.69 282-AH 25.39 312-AH 24.35 342-AH 61.98 143-AH 13.53 173-AH 100.00 253-AH 18.56 283-AH 35.52 313-AH 1.63 343-AH 9.09 144-AH 60.00 174-AH 100.00 254-AH 16.56 284-AH 47.82 314-AH 7.43 344-AH 55.01 145-AH 59.82 175-AH 71.40 255-AH 62.27 285-AH 11.04 315-AH 25.42 345-AH 23.63 146-AH 50.29 176-AH 92.65 256-AH 83.74 286-AH 6.85 316-AH 16.98 346-AH 5.58 147-AH 63.98 177-AH 30.84 257-AH 17.74 287-AH 46.90 317-AH 21.79 347-AH 14.66 148-AH 8.24 178-AH 2.27 258-AH 2.90 288-AH 13.69 318-AH 23.29 348-AH 100.00 149-AH 0.00 179-AH 57.17 259-AH 67.04 289-AH 73.08 319-AH 34.75 349-AH 38.68 150-AH 10.52 180-AH 5.05 260-AH 53.17 290-AH 18.76 320-AH 5.40 350-AH 68.22 151-AH 2.58 181-AH 72.63 261-AH 9.71 291-AH 44.97 321-AH 0.00 152-AH 16.38 182-AH 51.76 262-AH 10.09 292-AH 59.43 322-AH 18.85 153-AH 0.00 183-AH 1.22 263-AH 1.26 293-AH 66.62 323-AH 3.04 154-AH 36.81 184-AH 11.17 264-AH 35.82 294-AH 65.60 324-AH 15.18 155-AH 0.21 185-AH 14.29 265-AH 22.86 295-AH 24.33 325-AH 1.22 156-AH 6.00 186-AH 0.00 266-AH 1.71 296-AH 51.34 326-AH 31.71 157-AH 47.36 187-AH 7.14 267-AH 41.25 297-AH 41.11 327-AH 28.40 158-AH 21.02 188-AH 1.69 268-AH 69.52 298-AH 22.05 328-AH 49.40 159-AH 28.81 189-AH 87.14 269-AH 20.63 299-AH 17.38 329-AH 70.37 160-AH 3.53 190-AH 14.82 270-AH 74.26 300-AH 15.35 330-AH 82.42 161-AH 0.00 191-AH 0.00 271-AH 38.89 301-AH 57.69 331-AH 27.74 162-AH 25.00 192-AH 97.62 272-AH 21.26 302-AH 36.17 332-AH 38.63 163-AH 62.95 193-AH 41.03 273-AH 63.07 303-AH 2.50 333-AH 100.00 164-AH 7.55 194-AH 20.00 274-AH 0.51 304-AH 2.89 334-AH 20.73 165-AH 100.00 195-AH 0.00 275-AH 36.54 305-AH 29.81 335-AH 24.47 166-AH 0.00 196-AH 100.00 276-AH 17.73 306-AH 100.00 336-AH 26.50 167-AH 33.59 197-AH 88.93 277-AH 10.81 307-AH 4.88 337-AH 84.41 168-AH 52.75 198-AH 5.88 278-AH 4.27 308-AH 74.24 338-AH 68.46 169-AH 13.18 199-AH 63.83 279-AH 1.99 309-AH 5.51 339-AH 65.26 170-AH 100.00 200-AH 28.76 280-AH 5.09 310-AH 0.91 340-AH 16.14 565 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI5 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 41.50 BILI5 10 docs 34.94 90% 15 docs 30.96 80% 20 docs 28.34 30 docs 24.65 70% 100 docs 13.17 60% 200 docs 8.26 Precision 500 docs 4.07 50% 1000 docs 2.25 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.29 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0704 Second Quartile 0.2869 Third Quartile 0.5288 Interquartile range 0.4584 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3429 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2909 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3429 20 15 Std With No Outliers 0.2909 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILI5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILI5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILI5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILI5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILI5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILI5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILI5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 566 reina 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.REINA.BILI5 AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 50.77 281-AH 42.86 311-AH 37.04 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 44.83 282-AH 38.71 312-AH 19.35 342-AH 53.12 143-AH 30.77 173-AH 100.00 253-AH 27.89 283-AH 34.21 313-AH 5.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 24.45 284-AH 50.00 314-AH 5.56 344-AH 57.58 145-AH 55.26 175-AH 71.43 255-AH 75.00 285-AH 17.39 315-AH 28.81 345-AH 22.22 146-AH 50.00 176-AH 79.49 256-AH 76.47 286-AH 16.67 316-AH 20.34 346-AH 0.00 147-AH 60.78 177-AH 38.46 257-AH 26.98 287-AH 51.02 317-AH 23.33 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 21.05 318-AH 33.33 348-AH 100.00 149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 72.22 319-AH 36.84 349-AH 37.04 150-AH 0.00 180-AH 0.00 260-AH 52.38 290-AH 24.49 320-AH 12.50 350-AH 70.00 151-AH 0.00 181-AH 73.91 261-AH 14.71 291-AH 46.67 321-AH 0.00 152-AH 18.18 182-AH 75.00 262-AH 14.12 292-AH 50.00 322-AH 35.71 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 58.82 323-AH 3.85 154-AH 33.33 184-AH 0.00 264-AH 40.91 294-AH 55.56 324-AH 22.97 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 31.37 325-AH 3.28 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 25.00 157-AH 54.68 187-AH 0.00 267-AH 42.86 297-AH 41.67 327-AH 50.00 158-AH 26.47 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 33.33 189-AH 71.43 269-AH 22.22 299-AH 25.00 329-AH 64.71 160-AH 0.00 190-AH 11.11 270-AH 64.91 300-AH 26.19 330-AH 74.51 161-AH 0.00 191-AH 0.00 271-AH 33.33 301-AH 50.00 331-AH 29.41 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 35.29 332-AH 25.00 163-AH 59.84 193-AH 28.57 273-AH 62.65 303-AH 0.00 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 0.00 304-AH 6.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 40.91 305-AH 31.15 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 27.12 306-AH 100.00 336-AH 23.53 167-AH 40.00 197-AH 82.00 277-AH 26.92 307-AH 10.39 337-AH 80.00 168-AH 44.44 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 50.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 4.76 340-AH 20.00 567 ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UFRGS.BILINGUAL AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,787 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 2,884 Pooled false Geometric Mean Average Precision 0.0737 bilingual baseline Binary Preference (BPREF) 0.2892 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 59.40 BILINGUAL 10 46.48 90% 20 41.15 80% 30 34.01 40 29.97 70% 50 26.99 60% 60 23.81 Precision 70 19.59 50% 80 15.73 40% 90 12.03 30% 100 9.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 27.65 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0353 Second Quartile 0.1399 Third Quartile 0.4693 Interquartile range 0.4340 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2765 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2911 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2765 20 Std With No Outliers 0.2911 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILINGUAL Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILINGUAL Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILINGUAL Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILINGUAL Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILINGUAL Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILINGUAL Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILINGUAL Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 568 ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UFRGS.BILINGUAL AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 9.00 251-AH 51.74 281-AH 47.27 311-AH 13.78 341-AH 68.58 142-AH 89.78 172-AH 6.39 252-AH 30.84 282-AH 11.29 312-AH 5.31 342-AH 73.88 143-AH 17.99 173-AH 100.00 253-AH 0.19 283-AH 8.60 313-AH 1.06 343-AH 2.22 144-AH 31.20 174-AH 100.00 254-AH 3.64 284-AH 13.59 314-AH 5.82 344-AH 60.96 145-AH 46.60 175-AH 65.79 255-AH 25.56 285-AH 7.08 315-AH 35.93 345-AH 5.06 146-AH 6.96 176-AH 82.48 256-AH 77.50 286-AH 0.07 316-AH 7.43 346-AH 4.38 147-AH 21.08 177-AH 7.32 257-AH 20.95 287-AH 19.54 317-AH 2.63 347-AH 0.34 148-AH 1.89 178-AH 1.19 258-AH 0.00 288-AH 10.64 318-AH 6.12 348-AH 100.00 149-AH 0.00 179-AH 12.87 259-AH 42.86 289-AH 67.99 319-AH 9.09 349-AH 27.23 150-AH 6.32 180-AH 43.76 260-AH 46.14 290-AH 4.18 320-AH 5.89 350-AH 63.26 151-AH 1.09 181-AH 74.62 261-AH 11.31 291-AH 41.93 321-AH 0.00 152-AH 26.60 182-AH 27.19 262-AH 0.87 292-AH 46.45 322-AH 14.81 153-AH 0.00 183-AH 32.92 263-AH 10.88 293-AH 46.55 323-AH 0.84 154-AH 8.68 184-AH 0.27 264-AH 68.52 294-AH 23.97 324-AH 10.72 155-AH 7.64 185-AH 50.00 265-AH 46.49 295-AH 5.66 325-AH 6.53 156-AH 7.98 186-AH 0.00 266-AH 3.01 296-AH 20.36 326-AH 52.27 157-AH 34.97 187-AH 2.56 267-AH 19.46 297-AH 14.20 327-AH 0.67 158-AH 24.63 188-AH 2.50 268-AH 55.56 298-AH 5.26 328-AH 47.79 159-AH 3.73 189-AH 92.40 269-AH 3.25 299-AH 15.73 329-AH 69.83 160-AH 1.39 190-AH 6.55 270-AH 36.51 300-AH 3.43 330-AH 74.20 161-AH 0.00 191-AH 0.00 271-AH 47.62 301-AH 2.46 331-AH 15.43 162-AH 100.00 192-AH 47.58 272-AH 28.13 302-AH 13.48 332-AH 41.35 163-AH 62.08 193-AH 46.47 273-AH 60.48 303-AH 0.08 333-AH 100.00 164-AH 1.17 194-AH 0.36 274-AH 1.88 304-AH 26.95 334-AH 26.99 165-AH 50.00 195-AH 0.00 275-AH 9.24 305-AH 7.11 335-AH 14.99 166-AH 0.00 196-AH 50.00 276-AH 33.85 306-AH 50.00 336-AH 8.06 167-AH 11.55 197-AH 65.91 277-AH 8.98 307-AH 0.06 337-AH 72.26 168-AH 34.86 198-AH 33.33 278-AH 1.35 308-AH 73.99 338-AH 71.33 169-AH 0.26 199-AH 66.36 279-AH 10.05 309-AH 2.57 339-AH 46.22 170-AH 100.00 200-AH 71.75 280-AH 0.35 310-AH 2.18 340-AH 2.86 569 ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UFRGS.BILINGUAL AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 35.13 BILINGUAL 10 docs 29.50 90% 15 docs 25.50 80% 20 docs 22.19 30 docs 19.50 70% 100 docs 10.51 60% 200 docs 6.58 Precision 500 docs 3.21 50% 1000 docs 1.80 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.21 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1820 Third Quartile 0.4670 Interquartile range 0.4670 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2721 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2861 60 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 50 Upper Outlier Threshold 1.0000 40 Mean With No Outliers 0.2721 30 Std With No Outliers 0.2861 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILINGUAL Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILINGUAL Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILINGUAL Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILINGUAL Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILINGUAL Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILINGUAL Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILINGUAL Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 570 ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UFRGS.BILINGUAL AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 50.77 281-AH 42.86 311-AH 12.96 341-AH 66.67 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 16.13 312-AH 12.90 342-AH 75.00 143-AH 20.51 173-AH 100.00 253-AH 1.05 283-AH 13.16 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 11.35 284-AH 21.05 314-AH 5.56 344-AH 57.58 145-AH 47.37 175-AH 57.14 255-AH 25.00 285-AH 14.49 315-AH 42.37 345-AH 0.00 146-AH 0.00 176-AH 69.23 256-AH 70.59 286-AH 0.00 316-AH 14.41 346-AH 9.09 147-AH 31.37 177-AH 0.00 257-AH 26.98 287-AH 30.61 317-AH 3.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 21.05 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 13.64 259-AH 33.33 289-AH 66.67 319-AH 15.79 349-AH 29.63 150-AH 0.00 180-AH 52.50 260-AH 46.03 290-AH 12.24 320-AH 18.75 350-AH 70.00 151-AH 0.00 181-AH 72.83 261-AH 14.71 291-AH 36.67 321-AH 0.00 152-AH 27.27 182-AH 25.00 262-AH 3.53 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 25.00 263-AH 14.58 293-AH 44.12 323-AH 0.00 154-AH 14.29 184-AH 0.00 264-AH 63.64 294-AH 33.33 324-AH 20.27 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 7.84 325-AH 16.39 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 50.00 157-AH 41.01 187-AH 0.00 267-AH 33.33 297-AH 8.33 327-AH 0.00 158-AH 26.47 188-AH 0.00 268-AH 66.67 298-AH 10.00 328-AH 47.83 159-AH 7.41 189-AH 85.71 269-AH 0.00 299-AH 23.68 329-AH 64.71 160-AH 0.00 190-AH 22.22 270-AH 42.11 300-AH 4.76 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 6.25 331-AH 5.88 162-AH 100.00 192-AH 50.00 272-AH 35.71 302-AH 17.65 332-AH 37.50 163-AH 59.02 193-AH 42.86 273-AH 59.04 303-AH 0.00 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 26.67 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 13.64 305-AH 9.84 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 40.68 306-AH 0.00 336-AH 5.88 167-AH 20.00 197-AH 72.00 277-AH 23.08 307-AH 0.00 337-AH 70.00 168-AH 50.00 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 47.37 170-AH 100.00 200-AH 77.78 280-AH 4.00 310-AH 1.59 340-AH 0.00 571 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYRF AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,632 Pooled false Geometric Mean Average Precision 0.1311 bilingual keyword lucene + BM25 + RF Binary Preference (BPREF) 0.3856 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.44 UNIBACROSSKEYRF 10 62.18 90% 20 54.61 80% 30 47.61 40 42.35 70% 50 38.67 60% 60 33.37 Precision 70 28.35 50% 80 24.46 40% 90 19.94 30% 100 14.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.09 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0968 Second Quartile 0.3220 Third Quartile 0.6264 Interquartile range 0.5296 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3809 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3079 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3809 20 15 Std With No Outliers 0.3079 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSKEYRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSKEYRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSKEYRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSKEYRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSKEYRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSKEYRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSKEYRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 572 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYRF AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.39 251-AH 52.02 281-AH 51.05 311-AH 18.19 341-AH 25.59 142-AH 98.61 172-AH 0.18 252-AH 31.96 282-AH 15.32 312-AH 51.58 342-AH 75.37 143-AH 77.10 173-AH 100.00 253-AH 17.76 283-AH 22.69 313-AH 6.64 343-AH 0.88 144-AH 1.46 174-AH 100.00 254-AH 9.12 284-AH 54.69 314-AH 4.52 344-AH 52.29 145-AH 70.02 175-AH 68.13 255-AH 65.58 285-AH 75.85 315-AH 50.09 345-AH 3.11 146-AH 50.38 176-AH 77.95 256-AH 80.21 286-AH 0.57 316-AH 1.95 346-AH 0.06 147-AH 36.17 177-AH 11.74 257-AH 27.30 287-AH 30.78 317-AH 9.30 347-AH 21.99 148-AH 2.14 178-AH 25.13 258-AH 0.41 288-AH 12.90 318-AH 6.97 348-AH 100.00 149-AH 0.00 179-AH 13.73 259-AH 67.46 289-AH 79.31 319-AH 34.07 349-AH 39.39 150-AH 0.24 180-AH 47.83 260-AH 40.59 290-AH 7.06 320-AH 4.52 350-AH 57.78 151-AH 27.15 181-AH 82.99 261-AH 36.21 291-AH 52.05 321-AH 0.00 152-AH 23.71 182-AH 19.23 262-AH 25.23 292-AH 52.50 322-AH 5.30 153-AH 0.14 183-AH 32.23 263-AH 6.40 293-AH 51.26 323-AH 20.89 154-AH 29.04 184-AH 52.85 264-AH 50.13 294-AH 56.01 324-AH 59.08 155-AH 36.74 185-AH 3.33 265-AH 61.41 295-AH 23.09 325-AH 39.70 156-AH 4.92 186-AH 0.00 266-AH 0.00 296-AH 51.13 326-AH 31.01 157-AH 63.86 187-AH 100.00 267-AH 24.12 297-AH 36.33 327-AH 4.17 158-AH 77.57 188-AH 0.37 268-AH 67.47 298-AH 14.60 328-AH 75.34 159-AH 27.94 189-AH 65.10 269-AH 35.06 299-AH 28.65 329-AH 68.39 160-AH 1.85 190-AH 57.87 270-AH 69.93 300-AH 10.06 330-AH 73.81 161-AH 0.00 191-AH 0.00 271-AH 44.88 301-AH 25.77 331-AH 60.23 162-AH 16.67 192-AH 94.84 272-AH 17.18 302-AH 43.43 332-AH 28.34 163-AH 76.09 193-AH 47.12 273-AH 66.51 303-AH 20.39 333-AH 100.00 164-AH 4.17 194-AH 100.00 274-AH 5.75 304-AH 27.06 334-AH 15.47 165-AH 100.00 195-AH 0.00 275-AH 33.22 305-AH 0.03 335-AH 32.17 166-AH 0.00 196-AH 50.00 276-AH 41.80 306-AH 100.00 336-AH 24.00 167-AH 17.15 197-AH 73.52 277-AH 11.09 307-AH 10.21 337-AH 76.20 168-AH 77.86 198-AH 100.00 278-AH 29.32 308-AH 64.49 338-AH 76.90 169-AH 4.65 199-AH 65.84 279-AH 38.46 309-AH 1.71 339-AH 36.68 170-AH 100.00 200-AH 53.04 280-AH 2.50 310-AH 2.83 340-AH 41.83 573 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYRF AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.13 UNIBACROSSKEYRF 10 docs 37.94 90% 15 docs 33.38 80% 20 docs 30.13 30 docs 26.35 70% 100 docs 14.27 60% 200 docs 8.75 Precision 500 docs 4.17 50% 1000 docs 2.27 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.55 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1181 Second Quartile 0.3333 Third Quartile 0.5690 Interquartile range 0.4510 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3755 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2896 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3755 15 Std With No Outliers 0.2896 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSKEYRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSKEYRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSKEYRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSKEYRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSKEYRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSKEYRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSKEYRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 574 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYRF AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 52.31 281-AH 47.62 311-AH 24.07 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 25.81 312-AH 48.39 342-AH 65.62 143-AH 71.79 173-AH 100.00 253-AH 28.95 283-AH 28.95 313-AH 15.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 18.34 284-AH 52.63 314-AH 0.00 344-AH 54.55 145-AH 68.42 175-AH 71.43 255-AH 50.00 285-AH 66.67 315-AH 49.15 345-AH 11.11 146-AH 50.00 176-AH 64.10 256-AH 70.59 286-AH 0.00 316-AH 5.93 346-AH 0.00 147-AH 43.14 177-AH 7.69 257-AH 34.92 287-AH 34.69 317-AH 20.00 347-AH 33.33 148-AH 0.00 178-AH 25.00 258-AH 0.00 288-AH 22.37 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 22.73 259-AH 66.67 289-AH 83.33 319-AH 42.11 349-AH 37.04 150-AH 0.00 180-AH 52.50 260-AH 41.27 290-AH 10.20 320-AH 12.50 350-AH 50.00 151-AH 33.33 181-AH 75.00 261-AH 44.12 291-AH 56.67 321-AH 0.00 152-AH 27.27 182-AH 25.00 262-AH 27.06 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 10.42 293-AH 55.88 323-AH 23.08 154-AH 33.33 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 64.86 155-AH 33.33 185-AH 0.00 265-AH 50.00 295-AH 33.33 325-AH 45.90 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 25.00 157-AH 57.55 187-AH 100.00 267-AH 33.33 297-AH 33.33 327-AH 0.00 158-AH 67.65 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 69.57 159-AH 35.19 189-AH 57.14 269-AH 33.33 299-AH 30.26 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 57.89 300-AH 9.52 330-AH 62.75 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 31.25 331-AH 52.94 162-AH 0.00 192-AH 83.33 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 69.67 193-AH 42.86 273-AH 62.65 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 6.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 40.91 305-AH 0.00 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 44.07 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 68.00 277-AH 15.38 307-AH 19.48 337-AH 65.00 168-AH 55.56 198-AH 100.00 278-AH 19.05 308-AH 54.55 338-AH 70.00 169-AH 16.67 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 31.58 170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 3.17 340-AH 40.00 575 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,583 Pooled false Geometric Mean Average Precision 0.1131 Title+Description using Google Translator (engine: Binary Preference (BPREF) 0.3399 Lucene+BM25) Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.90 UNIBACROSSTD 10 55.34 90% 20 50.25 80% 30 43.27 40 38.88 70% 50 34.08 60% 60 29.55 Precision 70 25.29 50% 80 21.37 40% 90 17.11 30% 100 11.94 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.14 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0726 Second Quartile 0.2669 Third Quartile 0.5719 Interquartile range 0.4993 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3414 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3008 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3414 20 15 Std With No Outliers 0.3008 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 576 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.96 251-AH 45.74 281-AH 28.42 311-AH 17.75 341-AH 29.33 142-AH 98.61 172-AH 0.14 252-AH 32.08 282-AH 15.12 312-AH 59.42 342-AH 74.56 143-AH 94.43 173-AH 100.00 253-AH 4.57 283-AH 26.73 313-AH 4.80 343-AH 1.43 144-AH 1.15 174-AH 100.00 254-AH 3.45 284-AH 57.57 314-AH 4.52 344-AH 58.47 145-AH 74.43 175-AH 71.49 255-AH 62.08 285-AH 20.41 315-AH 40.57 345-AH 0.56 146-AH 13.26 176-AH 78.14 256-AH 81.50 286-AH 1.03 316-AH 16.75 346-AH 0.04 147-AH 47.15 177-AH 26.69 257-AH 28.78 287-AH 31.68 317-AH 7.71 347-AH 1.66 148-AH 2.88 178-AH 25.09 258-AH 0.47 288-AH 3.75 318-AH 26.68 348-AH 100.00 149-AH 0.00 179-AH 24.33 259-AH 68.42 289-AH 71.44 319-AH 34.27 349-AH 36.40 150-AH 0.34 180-AH 3.91 260-AH 53.20 290-AH 8.91 320-AH 4.45 350-AH 52.90 151-AH 40.09 181-AH 85.58 261-AH 2.59 291-AH 54.38 321-AH 0.00 152-AH 45.80 182-AH 6.98 262-AH 28.65 292-AH 47.79 322-AH 8.02 153-AH 0.16 183-AH 10.57 263-AH 5.43 293-AH 63.16 323-AH 18.70 154-AH 26.62 184-AH 40.94 264-AH 51.68 294-AH 57.17 324-AH 60.44 155-AH 10.32 185-AH 5.88 265-AH 45.29 295-AH 26.33 325-AH 45.35 156-AH 8.16 186-AH 0.00 266-AH 0.00 296-AH 50.11 326-AH 21.82 157-AH 51.53 187-AH 6.25 267-AH 23.25 297-AH 35.20 327-AH 13.24 158-AH 78.75 188-AH 1.79 268-AH 67.09 298-AH 11.70 328-AH 65.35 159-AH 19.53 189-AH 71.72 269-AH 14.72 299-AH 24.22 329-AH 66.39 160-AH 2.96 190-AH 58.72 270-AH 66.16 300-AH 14.78 330-AH 76.34 161-AH 0.00 191-AH 0.00 271-AH 45.95 301-AH 36.57 331-AH 13.59 162-AH 16.67 192-AH 68.95 272-AH 17.81 302-AH 38.34 332-AH 31.51 163-AH 80.09 193-AH 49.46 273-AH 66.40 303-AH 11.42 333-AH 100.00 164-AH 11.32 194-AH 2.38 274-AH 5.16 304-AH 29.38 334-AH 17.46 165-AH 100.00 195-AH 0.00 275-AH 12.68 305-AH 0.06 335-AH 22.03 166-AH 0.00 196-AH 50.00 276-AH 43.35 306-AH 100.00 336-AH 13.52 167-AH 34.26 197-AH 78.77 277-AH 7.55 307-AH 17.81 337-AH 68.44 168-AH 51.33 198-AH 100.00 278-AH 23.15 308-AH 57.22 338-AH 1.55 169-AH 0.52 199-AH 57.43 279-AH 53.11 309-AH 1.04 339-AH 34.16 170-AH 100.00 200-AH 33.38 280-AH 10.56 310-AH 6.98 340-AH 13.37 577 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 40.13 UNIBACROSSTD 10 docs 34.19 90% 15 docs 30.54 80% 20 docs 27.84 30 docs 24.50 70% 100 docs 13.68 60% 200 docs 8.43 Precision 500 docs 4.09 50% 1000 docs 2.24 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 33.89 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0619 Second Quartile 0.3131 Third Quartile 0.5374 Interquartile range 0.4756 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3389 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2907 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3389 20 15 Std With No Outliers 0.2907 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 578 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTD AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 50.77 281-AH 33.33 311-AH 22.22 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 31.03 282-AH 29.03 312-AH 61.29 342-AH 68.75 143-AH 87.18 173-AH 100.00 253-AH 12.63 283-AH 31.58 313-AH 20.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 8.73 284-AH 47.37 314-AH 0.00 344-AH 57.58 145-AH 73.68 175-AH 71.43 255-AH 75.00 285-AH 26.09 315-AH 40.68 345-AH 0.00 146-AH 0.00 176-AH 66.67 256-AH 70.59 286-AH 0.00 316-AH 22.88 346-AH 0.00 147-AH 50.98 177-AH 30.77 257-AH 38.10 287-AH 26.53 317-AH 20.00 347-AH 0.00 148-AH 0.00 178-AH 25.00 258-AH 0.00 288-AH 5.26 318-AH 33.33 348-AH 100.00 149-AH 0.00 179-AH 36.36 259-AH 66.67 289-AH 61.11 319-AH 36.84 349-AH 37.04 150-AH 0.00 180-AH 0.00 260-AH 47.62 290-AH 6.12 320-AH 12.50 350-AH 50.00 151-AH 41.67 181-AH 78.26 261-AH 14.71 291-AH 60.00 321-AH 0.00 152-AH 36.36 182-AH 0.00 262-AH 35.29 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 6.25 293-AH 58.82 323-AH 19.23 154-AH 33.33 184-AH 44.44 264-AH 54.55 294-AH 59.26 324-AH 72.97 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 37.25 325-AH 50.82 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 25.00 157-AH 50.36 187-AH 0.00 267-AH 23.81 297-AH 41.67 327-AH 0.00 158-AH 67.65 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 69.57 159-AH 25.93 189-AH 57.14 269-AH 11.11 299-AH 31.58 329-AH 52.94 160-AH 0.00 190-AH 55.56 270-AH 56.14 300-AH 14.29 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 37.50 331-AH 5.88 162-AH 0.00 192-AH 66.67 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 72.95 193-AH 42.86 273-AH 59.04 303-AH 21.43 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 6.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 21.21 305-AH 0.00 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 42.37 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 74.00 277-AH 7.69 307-AH 27.27 337-AH 55.00 168-AH 50.00 198-AH 100.00 278-AH 23.81 308-AH 54.55 338-AH 0.00 169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 0.00 339-AH 47.37 170-AH 100.00 200-AH 44.44 280-AH 24.00 310-AH 6.35 340-AH 20.00 579 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTDN AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,590 Pooled false Geometric Mean Average Precision 0.1281 Title+Description+Narrative using Google Translator Binary Preference (BPREF) 0.3775 (engine: Lucene+BM25) Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 67.77 UNIBACROSSTDN 10 61.82 90% 20 54.18 80% 30 47.26 40 41.75 70% 50 37.40 60% 60 32.69 Precision 70 27.65 50% 80 23.31 40% 90 18.90 30% 100 13.44 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0921 Second Quartile 0.3133 Third Quartile 0.5952 Interquartile range 0.5031 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3731 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3044 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3731 15 Std With No Outliers 0.3044 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 580 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTDN AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.51 251-AH 46.82 281-AH 48.39 311-AH 17.93 341-AH 25.49 142-AH 98.61 172-AH 0.18 252-AH 34.26 282-AH 12.35 312-AH 51.81 342-AH 74.29 143-AH 77.16 173-AH 100.00 253-AH 14.22 283-AH 21.74 313-AH 6.64 343-AH 0.86 144-AH 1.46 174-AH 100.00 254-AH 9.12 284-AH 60.47 314-AH 4.16 344-AH 52.37 145-AH 68.85 175-AH 69.49 255-AH 75.60 285-AH 62.11 315-AH 49.94 345-AH 3.11 146-AH 50.38 176-AH 80.48 256-AH 80.21 286-AH 0.57 316-AH 1.95 346-AH 0.05 147-AH 36.17 177-AH 13.00 257-AH 27.07 287-AH 31.45 317-AH 9.30 347-AH 22.00 148-AH 3.14 178-AH 25.13 258-AH 0.41 288-AH 6.66 318-AH 6.87 348-AH 100.00 149-AH 0.00 179-AH 18.22 259-AH 67.59 289-AH 77.60 319-AH 37.71 349-AH 36.33 150-AH 0.24 180-AH 48.33 260-AH 38.44 290-AH 7.01 320-AH 6.38 350-AH 57.51 151-AH 31.09 181-AH 82.52 261-AH 34.95 291-AH 51.75 321-AH 0.00 152-AH 23.71 182-AH 10.58 262-AH 27.48 292-AH 52.50 322-AH 5.30 153-AH 0.14 183-AH 35.48 263-AH 5.35 293-AH 52.74 323-AH 20.89 154-AH 31.21 184-AH 52.84 264-AH 47.62 294-AH 56.26 324-AH 58.86 155-AH 36.74 185-AH 3.33 265-AH 59.80 295-AH 22.79 325-AH 40.14 156-AH 5.15 186-AH 0.00 266-AH 0.00 296-AH 50.93 326-AH 33.81 157-AH 49.94 187-AH 100.00 267-AH 23.14 297-AH 26.81 327-AH 4.17 158-AH 77.57 188-AH 0.37 268-AH 67.47 298-AH 10.62 328-AH 69.47 159-AH 27.90 189-AH 65.10 269-AH 24.82 299-AH 26.87 329-AH 65.84 160-AH 1.77 190-AH 57.87 270-AH 66.60 300-AH 10.32 330-AH 73.74 161-AH 0.00 191-AH 0.00 271-AH 32.96 301-AH 25.39 331-AH 60.23 162-AH 16.67 192-AH 91.07 272-AH 17.58 302-AH 43.56 332-AH 30.47 163-AH 74.82 193-AH 52.34 273-AH 65.26 303-AH 20.39 333-AH 100.00 164-AH 4.21 194-AH 100.00 274-AH 5.75 304-AH 27.06 334-AH 15.65 165-AH 100.00 195-AH 0.00 275-AH 30.62 305-AH 0.03 335-AH 31.92 166-AH 0.00 196-AH 50.00 276-AH 43.70 306-AH 100.00 336-AH 24.57 167-AH 28.71 197-AH 69.10 277-AH 11.09 307-AH 10.21 337-AH 67.72 168-AH 53.42 198-AH 100.00 278-AH 25.33 308-AH 61.47 338-AH 76.75 169-AH 2.87 199-AH 59.23 279-AH 52.93 309-AH 1.67 339-AH 36.25 170-AH 100.00 200-AH 53.04 280-AH 2.65 310-AH 2.76 340-AH 18.46 581 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTDN AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 43.63 UNIBACROSSTDN 10 docs 37.13 90% 15 docs 33.13 80% 20 docs 29.72 30 docs 25.56 70% 100 docs 13.95 60% 200 docs 8.57 Precision 500 docs 4.10 50% 1000 docs 2.24 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.00 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1292 Second Quartile 0.3333 Third Quartile 0.5556 Interquartile range 0.4264 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3700 Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2903 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3700 20 15 Std With No Outliers 0.2903 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 582 uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSTDN AH-ROBUST-BILI-X2EN-TEST-CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 50.77 281-AH 47.62 311-AH 24.07 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 19.35 312-AH 48.39 342-AH 67.71 143-AH 71.79 173-AH 100.00 253-AH 26.32 283-AH 26.32 313-AH 15.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 18.34 284-AH 55.26 314-AH 0.00 344-AH 54.55 145-AH 68.42 175-AH 71.43 255-AH 75.00 285-AH 60.87 315-AH 49.15 345-AH 11.11 146-AH 50.00 176-AH 69.23 256-AH 70.59 286-AH 0.00 316-AH 5.93 346-AH 0.00 147-AH 43.14 177-AH 23.08 257-AH 34.92 287-AH 34.69 317-AH 20.00 347-AH 33.33 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 18.42 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 31.82 259-AH 66.67 289-AH 88.89 319-AH 42.11 349-AH 33.33 150-AH 0.00 180-AH 52.50 260-AH 38.10 290-AH 10.20 320-AH 12.50 350-AH 50.00 151-AH 33.33 181-AH 72.83 261-AH 44.12 291-AH 56.67 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 31.76 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 6.25 293-AH 52.94 323-AH 23.08 154-AH 33.33 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 63.51 155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 33.33 325-AH 49.18 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 25.00 157-AH 53.96 187-AH 100.00 267-AH 23.81 297-AH 33.33 327-AH 0.00 158-AH 67.65 188-AH 0.00 268-AH 66.67 298-AH 13.33 328-AH 65.22 159-AH 33.33 189-AH 57.14 269-AH 33.33 299-AH 31.58 329-AH 47.06 160-AH 0.00 190-AH 55.56 270-AH 54.39 300-AH 14.29 330-AH 62.75 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 31.25 331-AH 52.94 162-AH 0.00 192-AH 66.67 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 67.21 193-AH 42.86 273-AH 62.65 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 6.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 36.36 305-AH 0.00 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 42.37 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 64.00 277-AH 15.38 307-AH 19.48 337-AH 65.00 168-AH 44.44 198-AH 100.00 278-AH 14.29 308-AH 54.55 338-AH 70.00 169-AH 0.00 199-AH 60.00 279-AH 50.00 309-AH 0.00 339-AH 31.58 170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 3.17 340-AH 20.00 583 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI01WND AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,751 Pooled false Geometric Mean Average Precision 0.1298 ALI BO1 LEMA WND Binary Preference (BPREF) 0.3520 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.89 ALI01WND 10 59.24 90% 20 54.34 80% 30 48.21 40 43.66 70% 50 39.56 60% 60 32.52 Precision 70 27.86 50% 80 23.89 40% 90 17.68 30% 100 11.53 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.52 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0852 Second Quartile 0.3334 Third Quartile 0.5918 Interquartile range 0.5066 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3752 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2995 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3752 15 Std With No Outliers 0.2995 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ALI01WND Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ALI01WND Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ALI01WND Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ALI01WND Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ALI01WND Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ALI01WND Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ALI01WND Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 584 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI01WND AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 20.27 251-AH 52.78 281-AH 33.15 311-AH 27.82 341-AH 83.66 142-AH 89.51 172-AH 13.88 252-AH 37.00 282-AH 21.47 312-AH 49.25 342-AH 37.58 143-AH 60.05 173-AH 66.67 253-AH 0.84 283-AH 15.39 313-AH 6.90 343-AH 1.92 144-AH 3.64 174-AH 100.00 254-AH 24.46 284-AH 51.67 314-AH 7.83 344-AH 38.96 145-AH 67.39 175-AH 88.10 255-AH 55.16 285-AH 69.35 315-AH 40.52 345-AH 7.44 146-AH 25.33 176-AH 82.30 256-AH 87.11 286-AH 2.55 316-AH 14.85 346-AH 3.26 147-AH 68.20 177-AH 26.29 257-AH 22.15 287-AH 39.64 317-AH 22.70 347-AH 5.48 148-AH 21.60 178-AH 0.00 258-AH 0.28 288-AH 52.76 318-AH 7.84 348-AH 100.00 149-AH 0.00 179-AH 62.97 259-AH 50.86 289-AH 79.09 319-AH 30.54 349-AH 30.65 150-AH 2.88 180-AH 10.13 260-AH 61.46 290-AH 25.70 320-AH 4.64 350-AH 62.16 151-AH 6.32 181-AH 83.10 261-AH 13.81 291-AH 54.72 321-AH 0.00 152-AH 44.40 182-AH 33.33 262-AH 3.26 292-AH 100.00 322-AH 5.62 153-AH 0.00 183-AH 1.84 263-AH 4.38 293-AH 60.56 323-AH 16.18 154-AH 36.90 184-AH 58.30 264-AH 66.62 294-AH 71.15 324-AH 45.80 155-AH 9.94 185-AH 14.29 265-AH 40.82 295-AH 22.36 325-AH 52.93 156-AH 2.66 186-AH 0.00 266-AH 0.67 296-AH 36.73 326-AH 4.79 157-AH 64.55 187-AH 16.67 267-AH 37.63 297-AH 37.18 327-AH 0.03 158-AH 46.15 188-AH 0.00 268-AH 39.14 298-AH 23.44 328-AH 51.93 159-AH 47.70 189-AH 69.06 269-AH 13.02 299-AH 56.44 329-AH 72.36 160-AH 3.99 190-AH 68.31 270-AH 75.47 300-AH 17.50 330-AH 72.89 161-AH 0.00 191-AH 0.00 271-AH 56.28 301-AH 41.93 331-AH 18.91 162-AH 50.00 192-AH 80.16 272-AH 25.05 302-AH 21.61 332-AH 41.25 163-AH 88.54 193-AH 47.97 273-AH 74.18 303-AH 32.23 333-AH 100.00 164-AH 6.97 194-AH 5.56 274-AH 27.98 304-AH 33.35 334-AH 43.63 165-AH 50.00 195-AH 0.00 275-AH 36.46 305-AH 33.08 335-AH 19.22 166-AH 0.00 196-AH 100.00 276-AH 43.05 306-AH 100.00 336-AH 1.50 167-AH 26.92 197-AH 49.32 277-AH 9.04 307-AH 16.77 337-AH 76.55 168-AH 37.91 198-AH 100.00 278-AH 32.60 308-AH 58.23 338-AH 77.94 169-AH 7.50 199-AH 78.08 279-AH 2.13 309-AH 8.11 339-AH 78.89 170-AH 100.00 200-AH 41.02 280-AH 2.32 310-AH 8.93 340-AH 30.74 585 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI01WND AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.63 ALI01WND 10 docs 38.63 90% 15 docs 34.54 80% 20 docs 31.16 30 docs 27.02 70% 100 docs 14.85 60% 200 docs 9.15 Precision 500 docs 4.33 50% 1000 docs 2.34 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.38 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0925 Second Quartile 0.3481 Third Quartile 0.5556 Interquartile range 0.4630 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3638 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2922 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3638 20 15 Std With No Outliers 0.2922 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ALI01WND Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ALI01WND Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ALI01WND Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ALI01WND Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ALI01WND Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ALI01WND Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ALI01WND Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 586 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI01WND AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 21.05 251-AH 53.85 281-AH 33.33 311-AH 40.74 341-AH 83.33 142-AH 87.50 172-AH 28.57 252-AH 41.38 282-AH 25.81 312-AH 41.94 342-AH 43.75 143-AH 51.28 173-AH 50.00 253-AH 4.74 283-AH 21.05 313-AH 10.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 34.93 284-AH 47.37 314-AH 0.00 344-AH 36.36 145-AH 57.89 175-AH 85.71 255-AH 25.00 285-AH 66.67 315-AH 49.15 345-AH 11.11 146-AH 50.00 176-AH 66.67 256-AH 73.53 286-AH 0.00 316-AH 18.64 346-AH 0.00 147-AH 58.82 177-AH 38.46 257-AH 30.16 287-AH 53.06 317-AH 23.33 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 52.63 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 59.09 259-AH 33.33 289-AH 72.22 319-AH 26.32 349-AH 48.15 150-AH 0.00 180-AH 15.00 260-AH 61.90 290-AH 34.69 320-AH 0.00 350-AH 50.00 151-AH 0.00 181-AH 81.52 261-AH 23.53 291-AH 50.00 321-AH 0.00 152-AH 36.36 182-AH 50.00 262-AH 9.41 292-AH 100.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 6.25 293-AH 55.88 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 59.09 294-AH 70.37 324-AH 48.65 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 25.49 325-AH 52.46 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 0.00 157-AH 61.15 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 60.87 159-AH 40.74 189-AH 57.14 269-AH 22.22 299-AH 55.26 329-AH 76.47 160-AH 0.00 190-AH 55.56 270-AH 64.91 300-AH 16.67 330-AH 64.71 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 50.00 331-AH 23.53 162-AH 0.00 192-AH 83.33 272-AH 28.57 302-AH 23.53 332-AH 37.50 163-AH 84.43 193-AH 28.57 273-AH 65.06 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 0.00 274-AH 37.50 304-AH 33.33 334-AH 40.00 165-AH 0.00 195-AH 0.00 275-AH 42.42 305-AH 34.43 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 49.15 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 46.00 277-AH 23.08 307-AH 27.27 337-AH 70.00 168-AH 33.33 198-AH 100.00 278-AH 38.10 308-AH 54.55 338-AH 70.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 68.42 170-AH 100.00 200-AH 66.67 280-AH 0.00 310-AH 11.11 340-AH 20.00 587 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI02WSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,769 Pooled false Geometric Mean Average Precision 0.1400 ALI BO1 LEMA WSD Binary Preference (BPREF) 0.3520 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.98 ALI02WSD 10 58.75 90% 20 53.84 80% 30 48.24 40 43.64 70% 50 39.35 60% 60 32.64 Precision 70 27.11 50% 80 23.40 40% 90 17.53 30% 100 12.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.38 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1011 Second Quartile 0.3363 Third Quartile 0.5915 Interquartile range 0.4903 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3738 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2974 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3738 15 Std With No Outliers 0.2974 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ALI02WSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ALI02WSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ALI02WSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ALI02WSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ALI02WSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ALI02WSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ALI02WSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 588 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI02WSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 18.55 251-AH 52.10 281-AH 31.14 311-AH 27.37 341-AH 66.51 142-AH 91.20 172-AH 16.05 252-AH 42.09 282-AH 26.93 312-AH 37.47 342-AH 39.59 143-AH 59.16 173-AH 100.00 253-AH 2.66 283-AH 10.25 313-AH 7.09 343-AH 2.44 144-AH 26.14 174-AH 100.00 254-AH 17.25 284-AH 53.05 314-AH 6.55 344-AH 43.79 145-AH 59.94 175-AH 87.21 255-AH 52.63 285-AH 71.83 315-AH 41.56 345-AH 13.50 146-AH 25.18 176-AH 84.66 256-AH 86.52 286-AH 2.81 316-AH 15.31 346-AH 4.03 147-AH 68.72 177-AH 29.10 257-AH 21.29 287-AH 39.36 317-AH 25.95 347-AH 5.76 148-AH 18.70 178-AH 0.56 258-AH 0.37 288-AH 43.01 318-AH 4.63 348-AH 100.00 149-AH 0.00 179-AH 54.27 259-AH 67.04 289-AH 76.52 319-AH 33.22 349-AH 28.56 150-AH 4.20 180-AH 10.12 260-AH 68.10 290-AH 26.19 320-AH 4.56 350-AH 62.31 151-AH 1.47 181-AH 82.25 261-AH 12.71 291-AH 54.15 321-AH 0.00 152-AH 29.66 182-AH 42.25 262-AH 8.31 292-AH 76.79 322-AH 5.89 153-AH 0.00 183-AH 1.50 263-AH 3.60 293-AH 60.23 323-AH 15.66 154-AH 36.83 184-AH 51.19 264-AH 64.24 294-AH 67.47 324-AH 46.03 155-AH 10.11 185-AH 25.00 265-AH 39.95 295-AH 24.75 325-AH 46.80 156-AH 6.95 186-AH 0.00 266-AH 0.64 296-AH 40.27 326-AH 5.53 157-AH 58.48 187-AH 20.00 267-AH 34.04 297-AH 36.22 327-AH 0.03 158-AH 59.14 188-AH 0.20 268-AH 39.11 298-AH 23.82 328-AH 46.90 159-AH 62.01 189-AH 81.76 269-AH 13.37 299-AH 54.84 329-AH 72.26 160-AH 3.81 190-AH 68.29 270-AH 72.68 300-AH 19.14 330-AH 73.52 161-AH 0.00 191-AH 0.00 271-AH 49.53 301-AH 1.00 331-AH 18.90 162-AH 50.00 192-AH 74.54 272-AH 23.85 302-AH 29.57 332-AH 45.45 163-AH 87.75 193-AH 46.29 273-AH 75.18 303-AH 29.54 333-AH 100.00 164-AH 3.49 194-AH 9.09 274-AH 15.75 304-AH 35.85 334-AH 47.13 165-AH 50.00 195-AH 0.00 275-AH 37.66 305-AH 28.68 335-AH 16.52 166-AH 0.00 196-AH 100.00 276-AH 43.26 306-AH 100.00 336-AH 1.31 167-AH 24.18 197-AH 52.81 277-AH 9.82 307-AH 14.28 337-AH 77.41 168-AH 39.07 198-AH 100.00 278-AH 40.83 308-AH 58.86 338-AH 76.76 169-AH 7.77 199-AH 73.73 279-AH 2.70 309-AH 11.88 339-AH 72.50 170-AH 100.00 200-AH 37.36 280-AH 2.29 310-AH 11.51 340-AH 31.01 589 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI02WSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.13 ALI02WSD 10 docs 37.75 90% 15 docs 34.04 80% 20 docs 31.25 30 docs 26.98 70% 100 docs 14.72 60% 200 docs 9.05 Precision 500 docs 4.32 50% 1000 docs 2.36 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.55 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1056 Second Quartile 0.3333 Third Quartile 0.5505 Interquartile range 0.4449 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3655 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2876 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3655 20 15 Std With No Outliers 0.2876 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ALI02WSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ALI02WSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ALI02WSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ALI02WSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ALI02WSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ALI02WSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ALI02WSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 590 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI02WSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 50.77 281-AH 30.95 311-AH 38.89 341-AH 66.67 142-AH 87.50 172-AH 28.57 252-AH 48.28 282-AH 32.26 312-AH 38.71 342-AH 45.83 143-AH 48.72 173-AH 100.00 253-AH 9.47 283-AH 18.42 313-AH 10.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 28.82 284-AH 50.00 314-AH 0.00 344-AH 39.39 145-AH 52.63 175-AH 85.71 255-AH 25.00 285-AH 66.67 315-AH 47.46 345-AH 22.22 146-AH 50.00 176-AH 74.36 256-AH 73.53 286-AH 8.33 316-AH 19.49 346-AH 0.00 147-AH 58.82 177-AH 38.46 257-AH 31.75 287-AH 53.06 317-AH 33.33 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 44.74 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 50.00 259-AH 66.67 289-AH 72.22 319-AH 36.84 349-AH 33.33 150-AH 0.00 180-AH 15.00 260-AH 63.49 290-AH 38.78 320-AH 6.25 350-AH 50.00 151-AH 0.00 181-AH 81.52 261-AH 23.53 291-AH 53.33 321-AH 0.00 152-AH 36.36 182-AH 50.00 262-AH 12.94 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 55.88 323-AH 23.08 154-AH 42.86 184-AH 44.44 264-AH 54.55 294-AH 66.67 324-AH 47.30 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 31.37 325-AH 45.90 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 0.00 157-AH 56.83 187-AH 0.00 267-AH 38.10 297-AH 33.33 327-AH 0.00 158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 56.52 159-AH 55.56 189-AH 71.43 269-AH 22.22 299-AH 53.95 329-AH 76.47 160-AH 0.00 190-AH 55.56 270-AH 63.16 300-AH 19.05 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 17.65 162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 29.41 332-AH 50.00 163-AH 84.43 193-AH 28.57 273-AH 68.67 303-AH 21.43 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 40.00 165-AH 0.00 195-AH 0.00 275-AH 40.91 305-AH 29.51 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 47.46 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 48.00 277-AH 26.92 307-AH 20.78 337-AH 70.00 168-AH 33.33 198-AH 100.00 278-AH 38.10 308-AH 54.55 338-AH 70.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 20.00 339-AH 57.89 170-AH 100.00 200-AH 55.56 280-AH 0.00 310-AH 11.11 340-AH 20.00 591 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI03WNDWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,769 Pooled false Geometric Mean Average Precision 0.1398 ALI BO1 LEMA WND WSD Binary Preference (BPREF) 0.3512 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.86 ALI03WNDWSD 10 58.55 90% 20 53.88 80% 30 48.22 40 43.75 70% 50 39.51 60% 60 32.36 Precision 70 26.92 50% 80 23.40 40% 90 17.61 30% 100 11.78 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.32 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1025 Second Quartile 0.3423 Third Quartile 0.5900 Interquartile range 0.4875 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3732 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2970 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3732 15 Std With No Outliers 0.2970 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ALI03WNDWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ALI03WNDWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ALI03WNDWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ALI03WNDWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ALI03WNDWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ALI03WNDWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ALI03WNDWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 592 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI03WNDWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 19.33 251-AH 51.61 281-AH 33.60 311-AH 26.35 341-AH 66.62 142-AH 91.07 172-AH 14.99 252-AH 41.42 282-AH 26.74 312-AH 36.79 342-AH 36.66 143-AH 59.43 173-AH 100.00 253-AH 2.66 283-AH 9.09 313-AH 6.52 343-AH 2.22 144-AH 25.38 174-AH 100.00 254-AH 17.63 284-AH 53.56 314-AH 6.70 344-AH 43.60 145-AH 59.78 175-AH 87.21 255-AH 52.63 285-AH 72.08 315-AH 41.15 345-AH 12.28 146-AH 25.18 176-AH 81.94 256-AH 86.55 286-AH 3.08 316-AH 15.92 346-AH 3.97 147-AH 68.90 177-AH 27.71 257-AH 21.08 287-AH 39.31 317-AH 25.35 347-AH 5.59 148-AH 18.87 178-AH 0.62 258-AH 0.36 288-AH 43.09 318-AH 4.41 348-AH 100.00 149-AH 0.00 179-AH 53.31 259-AH 67.02 289-AH 75.74 319-AH 32.84 349-AH 30.07 150-AH 4.32 180-AH 10.69 260-AH 67.45 290-AH 26.91 320-AH 4.08 350-AH 62.05 151-AH 1.36 181-AH 82.01 261-AH 13.43 291-AH 53.53 321-AH 0.00 152-AH 30.52 182-AH 42.11 262-AH 8.23 292-AH 81.67 322-AH 6.07 153-AH 0.00 183-AH 1.66 263-AH 3.68 293-AH 60.13 323-AH 15.81 154-AH 36.86 184-AH 51.06 264-AH 64.35 294-AH 67.12 324-AH 45.91 155-AH 11.62 185-AH 25.00 265-AH 37.96 295-AH 24.87 325-AH 48.98 156-AH 7.21 186-AH 0.00 266-AH 0.57 296-AH 39.78 326-AH 6.19 157-AH 57.49 187-AH 20.00 267-AH 34.85 297-AH 36.17 327-AH 0.03 158-AH 55.48 188-AH 0.23 268-AH 39.12 298-AH 23.47 328-AH 49.08 159-AH 62.11 189-AH 82.06 269-AH 13.07 299-AH 53.68 329-AH 72.22 160-AH 3.67 190-AH 67.41 270-AH 72.33 300-AH 18.12 330-AH 74.55 161-AH 0.00 191-AH 0.00 271-AH 49.63 301-AH 1.02 331-AH 19.08 162-AH 50.00 192-AH 69.14 272-AH 24.15 302-AH 30.27 332-AH 44.41 163-AH 87.62 193-AH 49.15 273-AH 75.56 303-AH 29.93 333-AH 100.00 164-AH 3.78 194-AH 5.88 274-AH 16.01 304-AH 35.59 334-AH 44.26 165-AH 50.00 195-AH 0.00 275-AH 38.12 305-AH 30.64 335-AH 18.35 166-AH 0.00 196-AH 100.00 276-AH 42.17 306-AH 100.00 336-AH 1.37 167-AH 24.19 197-AH 52.44 277-AH 9.81 307-AH 14.85 337-AH 78.36 168-AH 38.00 198-AH 100.00 278-AH 41.32 308-AH 58.56 338-AH 76.82 169-AH 6.44 199-AH 73.13 279-AH 2.99 309-AH 12.25 339-AH 73.01 170-AH 100.00 200-AH 40.82 280-AH 2.22 310-AH 11.76 340-AH 31.01 593 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI03WNDWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.88 ALI03WNDWSD 10 docs 38.00 90% 15 docs 34.00 80% 20 docs 31.38 30 docs 27.15 70% 100 docs 14.71 60% 200 docs 9.05 Precision 500 docs 4.31 50% 1000 docs 2.36 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.25 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1135 Second Quartile 0.3431 Third Quartile 0.5490 Interquartile range 0.4356 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3625 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2864 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3625 20 15 Std With No Outliers 0.2864 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ALI03WNDWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ALI03WNDWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ALI03WNDWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ALI03WNDWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ALI03WNDWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ALI03WNDWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ALI03WNDWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 594 alicante 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.ALICANTE.ALI03WNDWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 52.31 281-AH 28.57 311-AH 38.89 341-AH 66.67 142-AH 87.50 172-AH 28.57 252-AH 44.83 282-AH 29.03 312-AH 38.71 342-AH 42.71 143-AH 46.15 173-AH 100.00 253-AH 9.47 283-AH 15.79 313-AH 10.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 29.69 284-AH 52.63 314-AH 0.00 344-AH 39.39 145-AH 55.26 175-AH 85.71 255-AH 25.00 285-AH 65.22 315-AH 47.46 345-AH 22.22 146-AH 50.00 176-AH 66.67 256-AH 73.53 286-AH 8.33 316-AH 21.19 346-AH 0.00 147-AH 58.82 177-AH 38.46 257-AH 31.75 287-AH 51.02 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 46.05 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 50.00 259-AH 66.67 289-AH 66.67 319-AH 36.84 349-AH 33.33 150-AH 0.00 180-AH 15.00 260-AH 63.49 290-AH 40.82 320-AH 0.00 350-AH 50.00 151-AH 0.00 181-AH 80.43 261-AH 23.53 291-AH 50.00 321-AH 0.00 152-AH 36.36 182-AH 50.00 262-AH 12.94 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 6.25 293-AH 52.94 323-AH 23.08 154-AH 42.86 184-AH 44.44 264-AH 54.55 294-AH 66.67 324-AH 45.95 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 29.41 325-AH 50.82 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 0.00 157-AH 56.12 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 55.88 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 60.87 159-AH 55.56 189-AH 71.43 269-AH 22.22 299-AH 53.95 329-AH 76.47 160-AH 0.00 190-AH 55.56 270-AH 63.16 300-AH 19.05 330-AH 64.71 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 17.65 162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 35.29 332-AH 50.00 163-AH 83.61 193-AH 28.57 273-AH 67.47 303-AH 21.43 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 40.00 165-AH 0.00 195-AH 0.00 275-AH 40.91 305-AH 31.15 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 47.46 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 44.00 277-AH 26.92 307-AH 22.08 337-AH 70.00 168-AH 33.33 198-AH 100.00 278-AH 38.10 308-AH 54.55 338-AH 70.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 20.00 339-AH 57.89 170-AH 100.00 200-AH 55.56 280-AH 0.00 310-AH 12.70 340-AH 20.00 595 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,994 Pooled false Geometric Mean Average Precision 0.2034 WSD-1 Binary Preference (BPREF) 0.3989 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.26 DA_WSD_1 10 66.55 90% 20 61.22 80% 30 53.92 40 49.66 70% 50 46.60 60% 60 40.35 Precision 70 34.12 50% 80 28.88 40% 90 24.02 30% 100 16.46 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 43.80 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1898 Second Quartile 0.4148 Third Quartile 0.6779 Interquartile range 0.4881 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4380 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2982 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4380 10 Std With No Outliers 0.2982 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 596 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.81 251-AH 57.75 281-AH 58.45 311-AH 44.24 341-AH 100.00 142-AH 95.19 172-AH 6.23 252-AH 45.71 282-AH 24.03 312-AH 41.58 342-AH 76.61 143-AH 94.33 173-AH 100.00 253-AH 44.71 283-AH 47.73 313-AH 1.53 343-AH 3.03 144-AH 59.09 174-AH 100.00 254-AH 23.52 284-AH 56.36 314-AH 8.57 344-AH 70.82 145-AH 66.63 175-AH 79.30 255-AH 42.02 285-AH 85.44 315-AH 46.39 345-AH 29.05 146-AH 50.45 176-AH 92.14 256-AH 85.39 286-AH 4.34 316-AH 6.00 346-AH 7.72 147-AH 83.46 177-AH 60.61 257-AH 25.57 287-AH 44.29 317-AH 22.36 347-AH 5.07 148-AH 11.68 178-AH 41.55 258-AH 15.95 288-AH 19.00 318-AH 41.42 348-AH 100.00 149-AH 0.00 179-AH 69.58 259-AH 67.90 289-AH 65.85 319-AH 42.32 349-AH 73.77 150-AH 16.58 180-AH 73.44 260-AH 68.08 290-AH 31.31 320-AH 2.50 350-AH 65.31 151-AH 5.56 181-AH 87.05 261-AH 12.36 291-AH 67.69 321-AH 0.00 152-AH 46.15 182-AH 15.23 262-AH 45.59 292-AH 81.67 322-AH 6.16 153-AH 0.13 183-AH 34.01 263-AH 22.06 293-AH 66.32 323-AH 31.39 154-AH 41.03 184-AH 64.88 264-AH 60.01 294-AH 68.44 324-AH 12.30 155-AH 14.06 185-AH 33.33 265-AH 65.60 295-AH 40.91 325-AH 56.56 156-AH 21.43 186-AH 0.00 266-AH 17.95 296-AH 42.03 326-AH 52.52 157-AH 53.42 187-AH 33.33 267-AH 34.73 297-AH 36.40 327-AH 36.74 158-AH 40.70 188-AH 12.50 268-AH 68.79 298-AH 24.88 328-AH 73.86 159-AH 24.34 189-AH 100.00 269-AH 22.85 299-AH 46.68 329-AH 63.49 160-AH 30.95 190-AH 70.96 270-AH 74.07 300-AH 29.54 330-AH 84.30 161-AH 0.00 191-AH 0.00 271-AH 64.15 301-AH 1.62 331-AH 25.40 162-AH 25.00 192-AH 90.56 272-AH 15.56 302-AH 37.43 332-AH 42.38 163-AH 86.48 193-AH 43.75 273-AH 79.77 303-AH 46.45 333-AH 100.00 164-AH 11.08 194-AH 20.00 274-AH 34.31 304-AH 33.15 334-AH 18.97 165-AH 50.00 195-AH 0.00 275-AH 28.13 305-AH 40.55 335-AH 20.76 166-AH 0.00 196-AH 100.00 276-AH 55.78 306-AH 33.33 336-AH 0.14 167-AH 8.98 197-AH 86.77 277-AH 15.74 307-AH 33.93 337-AH 85.30 168-AH 33.78 198-AH 100.00 278-AH 25.99 308-AH 81.16 338-AH 38.54 169-AH 4.47 199-AH 43.59 279-AH 39.61 309-AH 4.90 339-AH 75.70 170-AH 100.00 200-AH 69.63 280-AH 4.82 310-AH 12.16 340-AH 54.04 597 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 50.75 DA_WSD_1 10 docs 42.88 90% 15 docs 37.96 80% 20 docs 34.59 30 docs 30.54 70% 100 docs 16.91 60% 200 docs 10.10 Precision 500 docs 4.64 50% 1000 docs 2.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.48 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1755 Second Quartile 0.4000 Third Quartile 0.5963 Interquartile range 0.4208 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4048 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2911 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4048 15 Std With No Outliers 0.2911 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 598 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 60.00 281-AH 52.38 311-AH 48.15 341-AH 100.00 142-AH 87.50 172-AH 0.00 252-AH 44.83 282-AH 25.81 312-AH 48.39 342-AH 75.00 143-AH 84.62 173-AH 100.00 253-AH 48.95 283-AH 55.26 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 31.44 284-AH 47.37 314-AH 5.56 344-AH 63.64 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 73.91 315-AH 55.93 345-AH 22.22 146-AH 50.00 176-AH 84.62 256-AH 70.59 286-AH 8.33 316-AH 6.78 346-AH 9.09 147-AH 76.47 177-AH 69.23 257-AH 31.75 287-AH 55.10 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 50.00 258-AH 0.00 288-AH 34.21 318-AH 33.33 348-AH 100.00 149-AH 0.00 179-AH 59.09 259-AH 66.67 289-AH 55.56 319-AH 42.11 349-AH 59.26 150-AH 30.00 180-AH 62.50 260-AH 63.49 290-AH 38.78 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 77.17 261-AH 20.59 291-AH 56.67 321-AH 0.00 152-AH 45.45 182-AH 25.00 262-AH 50.59 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 25.00 263-AH 31.25 293-AH 58.82 323-AH 34.62 154-AH 33.33 184-AH 55.56 264-AH 54.55 294-AH 62.96 324-AH 20.27 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 45.10 325-AH 54.10 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 55.40 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 25.00 158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 36.67 328-AH 60.87 159-AH 33.33 189-AH 100.00 269-AH 22.22 299-AH 47.37 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 30.95 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 0.00 331-AH 17.65 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 41.18 332-AH 37.50 163-AH 77.87 193-AH 28.57 273-AH 73.49 303-AH 50.00 333-AH 100.00 164-AH 11.11 194-AH 0.00 274-AH 37.50 304-AH 33.33 334-AH 0.00 165-AH 0.00 195-AH 0.00 275-AH 34.85 305-AH 40.98 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 55.93 306-AH 0.00 336-AH 0.00 167-AH 20.00 197-AH 80.00 277-AH 30.77 307-AH 44.16 337-AH 75.00 168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 63.64 338-AH 40.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 77.78 280-AH 8.00 310-AH 17.46 340-AH 60.00 599 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 4,015 Pooled false Geometric Mean Average Precision 0.2028 WSD-2 Binary Preference (BPREF) 0.4132 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.62 DA_WSD_2 10 65.64 90% 20 61.57 80% 30 54.92 40 50.92 70% 50 47.38 60% 60 41.72 Precision 70 35.61 50% 80 30.41 40% 90 24.77 30% 100 16.79 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 44.58 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1836 Second Quartile 0.4390 Third Quartile 0.6892 Interquartile range 0.5056 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4458 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3047 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4458 10 Std With No Outliers 0.3047 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 600 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.30 251-AH 58.91 281-AH 59.31 311-AH 39.82 341-AH 100.00 142-AH 94.64 172-AH 9.04 252-AH 45.07 282-AH 15.71 312-AH 51.16 342-AH 77.51 143-AH 92.34 173-AH 100.00 253-AH 45.83 283-AH 59.09 313-AH 1.49 343-AH 3.33 144-AH 74.36 174-AH 100.00 254-AH 24.23 284-AH 52.65 314-AH 8.43 344-AH 69.98 145-AH 66.84 175-AH 77.06 255-AH 46.67 285-AH 79.66 315-AH 52.63 345-AH 36.98 146-AH 50.44 176-AH 91.99 256-AH 83.92 286-AH 9.62 316-AH 6.12 346-AH 9.11 147-AH 85.69 177-AH 59.62 257-AH 24.65 287-AH 43.94 317-AH 20.10 347-AH 4.13 148-AH 7.81 178-AH 12.60 258-AH 4.39 288-AH 26.30 318-AH 38.68 348-AH 100.00 149-AH 0.00 179-AH 69.42 259-AH 67.37 289-AH 64.69 319-AH 42.64 349-AH 79.48 150-AH 19.26 180-AH 74.06 260-AH 68.16 290-AH 32.03 320-AH 1.88 350-AH 68.43 151-AH 4.12 181-AH 84.50 261-AH 13.83 291-AH 72.47 321-AH 0.00 152-AH 47.31 182-AH 15.31 262-AH 45.15 292-AH 81.67 322-AH 4.32 153-AH 0.00 183-AH 19.76 263-AH 23.79 293-AH 62.32 323-AH 31.56 154-AH 32.05 184-AH 57.89 264-AH 55.61 294-AH 64.38 324-AH 18.67 155-AH 13.99 185-AH 50.00 265-AH 65.60 295-AH 39.51 325-AH 51.45 156-AH 22.95 186-AH 0.00 266-AH 18.05 296-AH 46.95 326-AH 44.44 157-AH 55.67 187-AH 33.33 267-AH 35.01 297-AH 45.01 327-AH 26.25 158-AH 43.87 188-AH 14.29 268-AH 68.42 298-AH 20.76 328-AH 47.50 159-AH 24.83 189-AH 100.00 269-AH 19.10 299-AH 40.67 329-AH 63.80 160-AH 17.14 190-AH 70.96 270-AH 74.39 300-AH 28.71 330-AH 84.86 161-AH 0.00 191-AH 0.00 271-AH 62.56 301-AH 1.14 331-AH 25.06 162-AH 25.00 192-AH 77.68 272-AH 16.53 302-AH 41.39 332-AH 42.92 163-AH 86.19 193-AH 44.48 273-AH 81.63 303-AH 47.11 333-AH 100.00 164-AH 11.94 194-AH 20.00 274-AH 30.76 304-AH 32.66 334-AH 19.46 165-AH 100.00 195-AH 0.00 275-AH 42.49 305-AH 43.24 335-AH 21.10 166-AH 0.00 196-AH 100.00 276-AH 56.53 306-AH 100.00 336-AH 12.27 167-AH 8.99 197-AH 82.57 277-AH 15.71 307-AH 36.02 337-AH 87.23 168-AH 32.67 198-AH 100.00 278-AH 25.08 308-AH 81.19 338-AH 71.39 169-AH 2.34 199-AH 48.81 279-AH 44.89 309-AH 5.18 339-AH 75.93 170-AH 100.00 200-AH 76.92 280-AH 7.34 310-AH 10.72 340-AH 54.04 601 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.88 DA_WSD_2 10 docs 42.44 90% 15 docs 37.92 80% 20 docs 35.03 30 docs 30.75 70% 100 docs 17.16 60% 200 docs 10.21 Precision 500 docs 4.69 50% 1000 docs 2.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.99 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1882 Second Quartile 0.4288 Third Quartile 0.6310 Interquartile range 0.4428 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4199 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2978 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4199 15 Std With No Outliers 0.2978 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 602 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 60.00 281-AH 59.52 311-AH 42.59 341-AH 100.00 142-AH 87.50 172-AH 0.00 252-AH 44.83 282-AH 22.58 312-AH 54.84 342-AH 75.00 143-AH 84.62 173-AH 100.00 253-AH 47.89 283-AH 60.53 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 32.31 284-AH 44.74 314-AH 5.56 344-AH 63.64 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 76.81 315-AH 62.71 345-AH 44.44 146-AH 50.00 176-AH 82.05 256-AH 70.59 286-AH 8.33 316-AH 6.78 346-AH 9.09 147-AH 80.39 177-AH 69.23 257-AH 26.98 287-AH 48.98 317-AH 23.33 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 40.79 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 59.09 259-AH 66.67 289-AH 61.11 319-AH 47.37 349-AH 59.26 150-AH 40.00 180-AH 60.00 260-AH 63.49 290-AH 40.82 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 76.09 261-AH 20.59 291-AH 66.67 321-AH 0.00 152-AH 45.45 182-AH 25.00 262-AH 45.88 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 61.76 323-AH 30.77 154-AH 33.33 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 28.38 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 43.14 325-AH 45.90 156-AH 27.27 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 58.27 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 0.00 158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 52.17 159-AH 29.63 189-AH 100.00 269-AH 22.22 299-AH 40.79 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 30.95 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 17.65 162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 41.18 332-AH 37.50 163-AH 77.87 193-AH 28.57 273-AH 75.90 303-AH 50.00 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 50.00 305-AH 42.62 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 57.63 306-AH 100.00 336-AH 17.65 167-AH 20.00 197-AH 78.00 277-AH 34.62 307-AH 44.16 337-AH 80.00 168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 63.64 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 77.78 280-AH 8.00 310-AH 15.87 340-AH 60.00 603 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,957 Pooled false Geometric Mean Average Precision 0.1897 WSD-3 Binary Preference (BPREF) 0.4055 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.08 DA_WSD_3 10 64.29 90% 20 59.52 80% 30 54.08 40 49.09 70% 50 46.22 60% 60 40.11 Precision 70 34.32 50% 80 29.13 40% 90 23.93 30% 100 16.77 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 43.30 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1865 Second Quartile 0.4037 Third Quartile 0.6854 Interquartile range 0.4989 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4330 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3095 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4330 10 Std With No Outliers 0.3095 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 604 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.25 251-AH 57.69 281-AH 59.51 311-AH 40.31 341-AH 97.62 142-AH 95.19 172-AH 7.54 252-AH 41.19 282-AH 18.15 312-AH 19.42 342-AH 79.89 143-AH 92.76 173-AH 100.00 253-AH 42.99 283-AH 56.60 313-AH 1.51 343-AH 2.08 144-AH 56.67 174-AH 100.00 254-AH 25.57 284-AH 43.06 314-AH 8.49 344-AH 71.04 145-AH 66.82 175-AH 76.92 255-AH 36.53 285-AH 79.32 315-AH 57.44 345-AH 31.10 146-AH 50.56 176-AH 92.80 256-AH 85.59 286-AH 3.48 316-AH 2.91 346-AH 10.84 147-AH 75.94 177-AH 60.59 257-AH 29.50 287-AH 42.97 317-AH 21.03 347-AH 4.60 148-AH 8.91 178-AH 12.71 258-AH 4.17 288-AH 17.11 318-AH 40.43 348-AH 100.00 149-AH 0.00 179-AH 76.75 259-AH 67.72 289-AH 61.53 319-AH 41.80 349-AH 75.18 150-AH 20.13 180-AH 76.53 260-AH 64.56 290-AH 33.07 320-AH 1.47 350-AH 66.59 151-AH 5.52 181-AH 85.64 261-AH 10.72 291-AH 73.05 321-AH 0.00 152-AH 54.59 182-AH 8.85 262-AH 21.66 292-AH 81.67 322-AH 3.89 153-AH 0.00 183-AH 30.39 263-AH 19.44 293-AH 57.75 323-AH 30.17 154-AH 34.63 184-AH 57.03 264-AH 60.38 294-AH 68.72 324-AH 21.04 155-AH 19.14 185-AH 50.00 265-AH 24.73 295-AH 34.71 325-AH 51.28 156-AH 42.94 186-AH 0.00 266-AH 16.20 296-AH 52.08 326-AH 52.90 157-AH 65.11 187-AH 33.33 267-AH 33.34 297-AH 35.20 327-AH 5.88 158-AH 26.13 188-AH 14.29 268-AH 68.36 298-AH 10.77 328-AH 46.25 159-AH 23.79 189-AH 96.83 269-AH 17.06 299-AH 40.50 329-AH 65.54 160-AH 23.33 190-AH 71.26 270-AH 71.48 300-AH 26.43 330-AH 84.80 161-AH 0.00 191-AH 0.00 271-AH 62.82 301-AH 0.63 331-AH 23.57 162-AH 25.00 192-AH 93.33 272-AH 19.39 302-AH 34.06 332-AH 42.94 163-AH 83.88 193-AH 45.47 273-AH 82.25 303-AH 45.53 333-AH 100.00 164-AH 6.86 194-AH 25.00 274-AH 27.43 304-AH 30.21 334-AH 24.41 165-AH 100.00 195-AH 0.00 275-AH 28.08 305-AH 42.01 335-AH 19.53 166-AH 0.00 196-AH 100.00 276-AH 51.33 306-AH 100.00 336-AH 20.31 167-AH 8.97 197-AH 89.95 277-AH 16.81 307-AH 25.65 337-AH 87.02 168-AH 32.30 198-AH 100.00 278-AH 26.01 308-AH 79.18 338-AH 74.45 169-AH 1.57 199-AH 44.42 279-AH 36.73 309-AH 4.15 339-AH 75.24 170-AH 100.00 200-AH 71.47 280-AH 6.77 310-AH 10.72 340-AH 53.27 605 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 48.50 DA_WSD_3 10 docs 41.69 90% 15 docs 37.50 80% 20 docs 34.00 30 docs 30.17 70% 100 docs 16.52 60% 200 docs 9.98 Precision 500 docs 4.57 50% 1000 docs 2.47 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.76 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1716 Second Quartile 0.3822 Third Quartile 0.6402 Interquartile range 0.4686 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4076 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2984 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4076 15 Std With No Outliers 0.2984 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 606 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 55.38 281-AH 61.90 311-AH 48.15 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 44.83 282-AH 22.58 312-AH 35.48 342-AH 73.96 143-AH 84.62 173-AH 100.00 253-AH 46.84 283-AH 55.26 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 32.31 284-AH 42.11 314-AH 11.11 344-AH 63.64 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 75.36 315-AH 64.41 345-AH 33.33 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 8.33 316-AH 1.69 346-AH 18.18 147-AH 68.63 177-AH 69.23 257-AH 34.92 287-AH 51.02 317-AH 23.33 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 28.95 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 61.11 319-AH 42.11 349-AH 59.26 150-AH 30.00 180-AH 67.50 260-AH 60.32 290-AH 38.78 320-AH 0.00 350-AH 70.00 151-AH 0.00 181-AH 79.35 261-AH 17.65 291-AH 66.67 321-AH 0.00 152-AH 54.55 182-AH 0.00 262-AH 27.06 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 61.76 323-AH 23.08 154-AH 33.33 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 31.08 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 35.29 325-AH 47.54 156-AH 45.45 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00 157-AH 59.71 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00 158-AH 32.35 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 52.17 159-AH 29.63 189-AH 85.71 269-AH 11.11 299-AH 43.42 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 30.95 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 0.00 331-AH 11.76 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 75.41 193-AH 28.57 273-AH 77.11 303-AH 50.00 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 31.25 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 31.82 305-AH 44.26 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 54.24 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 78.00 277-AH 30.77 307-AH 37.66 337-AH 80.00 168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 63.64 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 77.78 280-AH 8.00 310-AH 14.29 340-AH 60.00 607 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 4,030 Pooled false Geometric Mean Average Precision 0.2049 WSD-4 Binary Preference (BPREF) 0.4193 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.27 DA_WSD_4 10 65.90 90% 20 61.60 80% 30 54.59 40 50.71 70% 50 47.54 60% 60 42.38 Precision 70 36.56 50% 80 31.35 40% 90 25.58 30% 100 17.79 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 45.00 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1904 Second Quartile 0.4202 Third Quartile 0.7086 Interquartile range 0.5182 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4500 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3071 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4500 10 Std With No Outliers 0.3071 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 608 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.33 251-AH 58.98 281-AH 53.41 311-AH 37.72 341-AH 100.00 142-AH 96.59 172-AH 9.30 252-AH 42.16 282-AH 15.51 312-AH 75.77 342-AH 78.41 143-AH 92.72 173-AH 100.00 253-AH 45.65 283-AH 56.39 313-AH 1.31 343-AH 3.57 144-AH 75.00 174-AH 100.00 254-AH 21.59 284-AH 59.90 314-AH 8.14 344-AH 70.34 145-AH 65.30 175-AH 76.92 255-AH 57.94 285-AH 79.14 315-AH 40.44 345-AH 29.87 146-AH 50.36 176-AH 92.80 256-AH 85.58 286-AH 9.77 316-AH 8.94 346-AH 7.70 147-AH 83.58 177-AH 60.13 257-AH 20.77 287-AH 42.32 317-AH 18.29 347-AH 3.29 148-AH 9.40 178-AH 12.48 258-AH 4.02 288-AH 31.32 318-AH 31.14 348-AH 100.00 149-AH 0.00 179-AH 65.58 259-AH 56.04 289-AH 67.03 319-AH 41.80 349-AH 75.18 150-AH 20.17 180-AH 75.51 260-AH 68.25 290-AH 33.77 320-AH 2.61 350-AH 66.59 151-AH 5.52 181-AH 82.47 261-AH 13.06 291-AH 74.32 321-AH 0.00 152-AH 41.87 182-AH 32.79 262-AH 40.12 292-AH 88.75 322-AH 3.84 153-AH 0.00 183-AH 18.69 263-AH 27.19 293-AH 62.39 323-AH 30.98 154-AH 34.63 184-AH 60.18 264-AH 59.83 294-AH 62.03 324-AH 20.98 155-AH 10.86 185-AH 50.00 265-AH 71.89 295-AH 40.49 325-AH 52.34 156-AH 9.77 186-AH 0.00 266-AH 18.07 296-AH 49.73 326-AH 44.82 157-AH 48.77 187-AH 25.00 267-AH 35.44 297-AH 44.79 327-AH 39.17 158-AH 63.00 188-AH 14.29 268-AH 68.21 298-AH 30.97 328-AH 46.10 159-AH 24.44 189-AH 100.00 269-AH 23.47 299-AH 25.92 329-AH 64.33 160-AH 16.25 190-AH 71.37 270-AH 73.49 300-AH 23.25 330-AH 84.31 161-AH 0.00 191-AH 0.00 271-AH 55.54 301-AH 1.57 331-AH 26.20 162-AH 25.00 192-AH 93.33 272-AH 19.39 302-AH 34.49 332-AH 42.94 163-AH 86.22 193-AH 47.95 273-AH 79.03 303-AH 43.83 333-AH 100.00 164-AH 22.57 194-AH 25.00 274-AH 32.68 304-AH 33.81 334-AH 23.24 165-AH 100.00 195-AH 0.00 275-AH 48.65 305-AH 41.60 335-AH 19.53 166-AH 0.00 196-AH 100.00 276-AH 61.69 306-AH 100.00 336-AH 8.40 167-AH 8.88 197-AH 89.95 277-AH 17.43 307-AH 37.83 337-AH 87.02 168-AH 32.30 198-AH 100.00 278-AH 24.89 308-AH 80.95 338-AH 74.45 169-AH 1.39 199-AH 44.03 279-AH 55.62 309-AH 6.08 339-AH 75.24 170-AH 100.00 200-AH 74.81 280-AH 9.89 310-AH 10.51 340-AH 53.27 609 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.75 DA_WSD_4 10 docs 42.13 90% 15 docs 37.67 80% 20 docs 34.88 30 docs 30.77 70% 100 docs 17.09 60% 200 docs 10.22 Precision 500 docs 4.72 50% 1000 docs 2.52 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 42.43 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1952 Second Quartile 0.4235 Third Quartile 0.6623 Interquartile range 0.4670 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4243 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2989 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4243 15 Std With No Outliers 0.2989 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 610 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 58.46 281-AH 52.38 311-AH 42.59 341-AH 100.00 142-AH 87.50 172-AH 0.00 252-AH 41.38 282-AH 22.58 312-AH 67.74 342-AH 77.08 143-AH 84.62 173-AH 100.00 253-AH 48.95 283-AH 55.26 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.00 284-AH 57.89 314-AH 5.56 344-AH 66.67 145-AH 65.79 175-AH 57.14 255-AH 50.00 285-AH 72.46 315-AH 49.15 345-AH 33.33 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 8.33 316-AH 5.93 346-AH 0.00 147-AH 78.43 177-AH 69.23 257-AH 25.40 287-AH 48.98 317-AH 26.67 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 42.11 318-AH 33.33 348-AH 100.00 149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 61.11 319-AH 42.11 349-AH 59.26 150-AH 30.00 180-AH 62.50 260-AH 58.73 290-AH 42.86 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 77.17 261-AH 20.59 291-AH 66.67 321-AH 0.00 152-AH 36.36 182-AH 25.00 262-AH 38.82 292-AH 75.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 61.76 323-AH 34.62 154-AH 33.33 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 28.38 155-AH 0.00 185-AH 0.00 265-AH 66.67 295-AH 47.06 325-AH 49.18 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00 157-AH 53.96 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 50.00 158-AH 52.94 188-AH 0.00 268-AH 66.67 298-AH 36.67 328-AH 52.17 159-AH 29.63 189-AH 100.00 269-AH 33.33 299-AH 32.89 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 61.40 300-AH 19.05 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 41.18 332-AH 37.50 163-AH 77.87 193-AH 28.57 273-AH 73.49 303-AH 35.71 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 53.03 305-AH 42.62 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 61.02 306-AH 100.00 336-AH 11.76 167-AH 20.00 197-AH 78.00 277-AH 34.62 307-AH 44.16 337-AH 80.00 168-AH 38.89 198-AH 100.00 278-AH 28.57 308-AH 63.64 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 16.00 310-AH 15.87 340-AH 60.00 611 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 4,018 Pooled false Geometric Mean Average Precision 0.2035 WSD-5 Binary Preference (BPREF) 0.4146 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.99 DA_WSD_5 10 65.82 90% 20 61.16 80% 30 54.74 40 50.51 70% 50 47.10 60% 60 42.20 Precision 70 36.16 50% 80 31.10 40% 90 25.55 30% 100 17.84 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 44.81 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1946 Second Quartile 0.4276 Third Quartile 0.6983 Interquartile range 0.5037 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4481 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3061 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4481 10 Std With No Outliers 0.3061 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 612 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 9.10 251-AH 59.77 281-AH 58.31 311-AH 39.69 341-AH 97.62 142-AH 95.83 172-AH 8.65 252-AH 43.89 282-AH 16.47 312-AH 48.68 342-AH 79.71 143-AH 92.95 173-AH 100.00 253-AH 45.99 283-AH 60.42 313-AH 1.62 343-AH 2.86 144-AH 74.36 174-AH 100.00 254-AH 23.77 284-AH 52.53 314-AH 8.43 344-AH 71.58 145-AH 66.99 175-AH 76.92 255-AH 44.97 285-AH 80.10 315-AH 54.23 345-AH 30.88 146-AH 50.48 176-AH 92.80 256-AH 85.59 286-AH 9.42 316-AH 4.63 346-AH 9.07 147-AH 85.38 177-AH 59.85 257-AH 25.94 287-AH 42.32 317-AH 20.97 347-AH 3.82 148-AH 7.77 178-AH 12.64 258-AH 4.40 288-AH 26.13 318-AH 42.58 348-AH 100.00 149-AH 0.00 179-AH 71.65 259-AH 67.40 289-AH 64.52 319-AH 41.80 349-AH 75.18 150-AH 20.28 180-AH 76.50 260-AH 67.32 290-AH 33.78 320-AH 2.02 350-AH 66.59 151-AH 5.52 181-AH 84.03 261-AH 12.83 291-AH 74.46 321-AH 0.00 152-AH 52.44 182-AH 15.57 262-AH 40.62 292-AH 81.67 322-AH 3.88 153-AH 0.00 183-AH 20.62 263-AH 23.96 293-AH 60.42 323-AH 30.19 154-AH 34.63 184-AH 57.15 264-AH 59.86 294-AH 66.25 324-AH 21.52 155-AH 13.92 185-AH 50.00 265-AH 52.57 295-AH 38.76 325-AH 52.54 156-AH 27.16 186-AH 0.00 266-AH 17.44 296-AH 51.79 326-AH 44.75 157-AH 57.54 187-AH 33.33 267-AH 34.90 297-AH 44.12 327-AH 25.05 158-AH 44.33 188-AH 14.29 268-AH 68.39 298-AH 19.76 328-AH 46.20 159-AH 24.13 189-AH 100.00 269-AH 20.38 299-AH 38.54 329-AH 64.95 160-AH 16.67 190-AH 71.27 270-AH 73.63 300-AH 27.73 330-AH 85.10 161-AH 0.00 191-AH 0.00 271-AH 63.06 301-AH 1.21 331-AH 24.97 162-AH 25.00 192-AH 93.33 272-AH 19.39 302-AH 39.85 332-AH 42.94 163-AH 85.28 193-AH 46.45 273-AH 80.69 303-AH 45.64 333-AH 100.00 164-AH 13.64 194-AH 25.00 274-AH 31.54 304-AH 32.90 334-AH 23.28 165-AH 100.00 195-AH 0.00 275-AH 40.84 305-AH 42.04 335-AH 19.53 166-AH 0.00 196-AH 100.00 276-AH 57.77 306-AH 100.00 336-AH 16.70 167-AH 8.92 197-AH 89.95 277-AH 17.34 307-AH 35.85 337-AH 87.02 168-AH 32.30 198-AH 100.00 278-AH 25.46 308-AH 81.16 338-AH 74.45 169-AH 1.53 199-AH 44.42 279-AH 48.33 309-AH 5.01 339-AH 75.24 170-AH 100.00 200-AH 77.12 280-AH 8.31 310-AH 10.63 340-AH 53.27 613 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.00 DA_WSD_5 10 docs 42.75 90% 15 docs 38.08 80% 20 docs 34.94 30 docs 30.88 70% 100 docs 17.31 60% 200 docs 10.28 Precision 500 docs 4.68 50% 1000 docs 2.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 42.01 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4236 Third Quartile 0.6427 Interquartile range 0.4427 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4201 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2964 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4201 15 Std With No Outliers 0.2964 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 DA_WSD_5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 DA_WSD_5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 DA_WSD_5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 DA_WSD_5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 DA_WSD_5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 DA_WSD_5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 DA_WSD_5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 614 darmstadt 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.DARMSTADT.DA_WSD_5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 56.92 281-AH 61.90 311-AH 46.30 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 44.83 282-AH 22.58 312-AH 48.39 342-AH 73.96 143-AH 84.62 173-AH 100.00 253-AH 50.00 283-AH 60.53 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.44 284-AH 47.37 314-AH 5.56 344-AH 66.67 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 76.81 315-AH 61.02 345-AH 33.33 146-AH 50.00 176-AH 79.49 256-AH 70.59 286-AH 8.33 316-AH 6.78 346-AH 9.09 147-AH 80.39 177-AH 69.23 257-AH 28.57 287-AH 51.02 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 40.79 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 59.09 259-AH 66.67 289-AH 61.11 319-AH 42.11 349-AH 59.26 150-AH 30.00 180-AH 65.00 260-AH 57.14 290-AH 42.86 320-AH 6.25 350-AH 70.00 151-AH 0.00 181-AH 78.26 261-AH 20.59 291-AH 66.67 321-AH 0.00 152-AH 45.45 182-AH 25.00 262-AH 41.18 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 33.33 293-AH 61.76 323-AH 30.77 154-AH 33.33 184-AH 55.56 264-AH 54.55 294-AH 66.67 324-AH 31.08 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 43.14 325-AH 50.82 156-AH 36.36 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 57.55 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 0.00 158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 27.78 189-AH 100.00 269-AH 22.22 299-AH 40.79 329-AH 47.06 160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 30.95 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 17.65 162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 77.87 193-AH 28.57 273-AH 74.70 303-AH 50.00 333-AH 100.00 164-AH 11.11 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 48.48 305-AH 42.62 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 57.63 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 78.00 277-AH 34.62 307-AH 44.16 337-AH 80.00 168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 63.64 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 15.87 340-AH 60.00 615 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,698 Pooled false Geometric Mean Average Precision 0.1626 Lemmea + synset NUS Binary Preference (BPREF) 0.3609 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.32 ISINUSLWTDN 10 63.26 90% 20 57.22 80% 30 49.41 40 44.64 70% 50 39.78 60% 60 32.06 Precision 70 26.58 50% 80 22.11 40% 90 16.25 30% 100 11.11 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.11 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1378 Second Quartile 0.3510 Third Quartile 0.5529 Interquartile range 0.4151 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3811 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2798 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3811 10 Std With No Outliers 0.2798 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ISINUSLWTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ISINUSLWTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ISINUSLWTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ISINUSLWTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ISINUSLWTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ISINUSLWTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ISINUSLWTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 616 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 45.72 281-AH 45.13 311-AH 32.58 341-AH 72.52 142-AH 88.22 172-AH 7.89 252-AH 54.40 282-AH 8.51 312-AH 67.55 342-AH 56.22 143-AH 88.09 173-AH 100.00 253-AH 46.82 283-AH 24.82 313-AH 0.33 343-AH 5.26 144-AH 28.10 174-AH 100.00 254-AH 34.88 284-AH 52.05 314-AH 8.35 344-AH 10.87 145-AH 61.81 175-AH 72.32 255-AH 7.71 285-AH 72.92 315-AH 13.76 345-AH 17.43 146-AH 50.66 176-AH 92.00 256-AH 45.07 286-AH 7.26 316-AH 24.14 346-AH 9.03 147-AH 75.01 177-AH 40.50 257-AH 18.66 287-AH 36.54 317-AH 19.30 347-AH 5.49 148-AH 19.29 178-AH 47.86 258-AH 1.13 288-AH 23.25 318-AH 11.38 348-AH 100.00 149-AH 0.00 179-AH 21.71 259-AH 41.88 289-AH 53.43 319-AH 39.49 349-AH 45.04 150-AH 9.75 180-AH 74.09 260-AH 57.04 290-AH 31.01 320-AH 1.46 350-AH 62.72 151-AH 31.80 181-AH 82.55 261-AH 25.62 291-AH 77.44 321-AH 0.00 152-AH 49.94 182-AH 36.29 262-AH 38.62 292-AH 63.94 322-AH 15.31 153-AH 0.00 183-AH 25.59 263-AH 18.65 293-AH 34.52 323-AH 25.93 154-AH 38.75 184-AH 58.21 264-AH 30.65 294-AH 65.95 324-AH 8.83 155-AH 51.35 185-AH 7.14 265-AH 16.52 295-AH 8.65 325-AH 61.06 156-AH 18.25 186-AH 0.00 266-AH 13.39 296-AH 38.93 326-AH 50.33 157-AH 35.25 187-AH 50.00 267-AH 29.85 297-AH 46.34 327-AH 53.47 158-AH 0.01 188-AH 3.70 268-AH 66.79 298-AH 21.60 328-AH 58.23 159-AH 13.80 189-AH 92.40 269-AH 23.22 299-AH 29.39 329-AH 65.95 160-AH 6.82 190-AH 59.81 270-AH 55.41 300-AH 27.32 330-AH 54.31 161-AH 0.00 191-AH 0.00 271-AH 4.21 301-AH 1.66 331-AH 55.74 162-AH 25.00 192-AH 47.70 272-AH 5.74 302-AH 24.64 332-AH 48.28 163-AH 86.33 193-AH 49.12 273-AH 13.35 303-AH 38.63 333-AH 100.00 164-AH 17.09 194-AH 100.00 274-AH 49.80 304-AH 29.75 334-AH 47.35 165-AH 100.00 195-AH 0.00 275-AH 43.38 305-AH 32.12 335-AH 34.95 166-AH 0.00 196-AH 50.00 276-AH 42.85 306-AH 20.00 336-AH 10.39 167-AH 24.08 197-AH 61.54 277-AH 17.14 307-AH 37.58 337-AH 89.32 168-AH 37.24 198-AH 33.33 278-AH 17.94 308-AH 75.35 338-AH 55.18 169-AH 3.98 199-AH 45.42 279-AH 27.70 309-AH 5.19 339-AH 76.32 170-AH 100.00 200-AH 74.98 280-AH 3.16 310-AH 6.18 340-AH 41.06 617 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.50 ISINUSLWTDN 10 docs 38.44 90% 15 docs 34.38 80% 20 docs 31.78 30 docs 27.15 70% 100 docs 14.71 60% 200 docs 9.06 Precision 500 docs 4.31 50% 1000 docs 2.31 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.70 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1499 Second Quartile 0.3499 Third Quartile 0.5157 Interquartile range 0.3659 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3670 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2755 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3670 20 15 Std With No Outliers 0.2755 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ISINUSLWTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ISINUSLWTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ISINUSLWTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ISINUSLWTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ISINUSLWTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ISINUSLWTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ISINUSLWTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 618 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 44.62 281-AH 45.24 311-AH 40.74 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 16.13 312-AH 64.52 342-AH 51.04 143-AH 79.49 173-AH 100.00 253-AH 52.11 283-AH 26.32 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 39.74 284-AH 42.11 314-AH 0.00 344-AH 3.03 145-AH 60.53 175-AH 71.43 255-AH 0.00 285-AH 72.46 315-AH 22.03 345-AH 22.22 146-AH 50.00 176-AH 82.05 256-AH 44.12 286-AH 8.33 316-AH 31.36 346-AH 9.09 147-AH 66.67 177-AH 46.15 257-AH 31.75 287-AH 46.94 317-AH 33.33 347-AH 0.00 148-AH 16.67 178-AH 50.00 258-AH 0.00 288-AH 36.84 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 22.73 259-AH 33.33 289-AH 55.56 319-AH 42.11 349-AH 44.44 150-AH 10.00 180-AH 75.00 260-AH 55.56 290-AH 34.69 320-AH 0.00 350-AH 50.00 151-AH 33.33 181-AH 78.26 261-AH 35.29 291-AH 73.33 321-AH 0.00 152-AH 45.45 182-AH 25.00 262-AH 40.00 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 25.00 263-AH 25.00 293-AH 41.18 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 31.82 294-AH 66.67 324-AH 21.62 155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 15.69 325-AH 55.74 156-AH 31.82 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00 157-AH 43.17 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 25.00 158-AH 0.00 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 11.11 189-AH 85.71 269-AH 33.33 299-AH 34.21 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 49.12 300-AH 30.95 330-AH 54.90 161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 52.94 162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 29.41 332-AH 50.00 163-AH 77.05 193-AH 42.86 273-AH 16.87 303-AH 57.14 333-AH 100.00 164-AH 18.52 194-AH 100.00 274-AH 50.00 304-AH 26.67 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 50.00 305-AH 36.07 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 42.37 306-AH 0.00 336-AH 17.65 167-AH 20.00 197-AH 60.00 277-AH 26.92 307-AH 46.75 337-AH 80.00 168-AH 38.89 198-AH 0.00 278-AH 23.81 308-AH 72.73 338-AH 50.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 73.68 170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 6.35 340-AH 40.00 619 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,528 Pooled false Geometric Mean Average Precision 0.1022 sznsets NUS Binary Preference (BPREF) 0.2966 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.31 ISINUSWSDTD 10 54.33 90% 20 45.50 80% 30 38.12 40 33.80 70% 50 29.88 60% 60 22.85 Precision 70 19.29 50% 80 15.43 40% 90 11.39 30% 100 7.72 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.35 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0766 Second Quartile 0.2428 Third Quartile 0.4142 Interquartile range 0.3377 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2935 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2586 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.8917 25 Mean With No Outliers 0.2660 20 15 Std With No Outliers 0.2217 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ISINUSWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ISINUSWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ISINUSWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ISINUSWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ISINUSWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 620 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 6.67 171-AH 0.05 251-AH 49.19 281-AH 37.06 311-AH 23.83 341-AH 84.90 142-AH 40.62 172-AH 13.04 252-AH 31.90 282-AH 11.78 312-AH 60.11 342-AH 36.06 143-AH 89.17 173-AH 100.00 253-AH 32.90 283-AH 33.50 313-AH 4.98 343-AH 2.22 144-AH 26.11 174-AH 100.00 254-AH 25.11 284-AH 50.19 314-AH 7.77 344-AH 54.24 145-AH 54.88 175-AH 73.08 255-AH 32.99 285-AH 58.83 315-AH 24.15 345-AH 5.54 146-AH 50.22 176-AH 87.38 256-AH 25.01 286-AH 4.80 316-AH 17.22 346-AH 10.17 147-AH 76.47 177-AH 36.29 257-AH 14.63 287-AH 31.28 317-AH 20.96 347-AH 4.49 148-AH 17.03 178-AH 24.40 258-AH 13.99 288-AH 16.16 318-AH 16.56 348-AH 0.00 149-AH 0.00 179-AH 23.28 259-AH 40.90 289-AH 1.37 319-AH 24.66 349-AH 32.98 150-AH 13.11 180-AH 65.47 260-AH 54.47 290-AH 19.85 320-AH 1.33 350-AH 57.97 151-AH 35.51 181-AH 72.69 261-AH 6.97 291-AH 26.80 321-AH 0.00 152-AH 38.91 182-AH 3.58 262-AH 15.94 292-AH 14.29 322-AH 14.53 153-AH 0.00 183-AH 18.53 263-AH 18.73 293-AH 63.94 323-AH 16.83 154-AH 26.42 184-AH 57.22 264-AH 23.54 294-AH 67.58 324-AH 3.25 155-AH 28.89 185-AH 0.46 265-AH 2.34 295-AH 21.92 325-AH 54.99 156-AH 10.35 186-AH 0.00 266-AH 7.11 296-AH 0.27 326-AH 50.14 157-AH 4.79 187-AH 20.00 267-AH 29.75 297-AH 36.50 327-AH 41.94 158-AH 35.70 188-AH 0.56 268-AH 7.54 298-AH 19.07 328-AH 44.40 159-AH 15.09 189-AH 72.54 269-AH 11.16 299-AH 47.38 329-AH 59.53 160-AH 14.63 190-AH 57.05 270-AH 1.15 300-AH 28.35 330-AH 20.23 161-AH 0.00 191-AH 0.00 271-AH 42.46 301-AH 1.11 331-AH 4.49 162-AH 20.00 192-AH 32.36 272-AH 1.49 302-AH 28.82 332-AH 12.60 163-AH 80.06 193-AH 57.03 273-AH 57.42 303-AH 39.66 333-AH 14.65 164-AH 32.57 194-AH 6.25 274-AH 39.23 304-AH 26.86 334-AH 8.99 165-AH 100.00 195-AH 0.00 275-AH 8.44 305-AH 25.56 335-AH 25.84 166-AH 0.00 196-AH 100.00 276-AH 36.90 306-AH 100.00 336-AH 0.00 167-AH 21.60 197-AH 26.00 277-AH 15.29 307-AH 29.18 337-AH 53.37 168-AH 1.04 198-AH 12.50 278-AH 15.51 308-AH 59.66 338-AH 3.83 169-AH 3.37 199-AH 35.75 279-AH 26.40 309-AH 4.71 339-AH 40.74 170-AH 100.00 200-AH 60.88 280-AH 7.27 310-AH 5.17 340-AH 28.26 621 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 39.25 ISINUSWSDTD 10 docs 32.38 90% 15 docs 29.25 80% 20 docs 26.72 30 docs 22.96 70% 100 docs 13.07 60% 200 docs 8.14 Precision 500 docs 3.99 50% 1000 docs 2.21 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0551 Second Quartile 0.2667 Third Quartile 0.4753 Interquartile range 0.4202 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2953 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2582 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.2953 20 15 Std With No Outliers 0.2582 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ISINUSWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ISINUSWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ISINUSWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ISINUSWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ISINUSWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 622 geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 47.69 281-AH 40.48 311-AH 35.19 341-AH 83.33 142-AH 50.00 172-AH 14.29 252-AH 37.93 282-AH 16.13 312-AH 51.61 342-AH 36.46 143-AH 79.49 173-AH 100.00 253-AH 41.05 283-AH 42.11 313-AH 15.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 33.19 284-AH 42.11 314-AH 0.00 344-AH 51.52 145-AH 50.00 175-AH 57.14 255-AH 25.00 285-AH 55.07 315-AH 35.59 345-AH 11.11 146-AH 50.00 176-AH 74.36 256-AH 26.47 286-AH 8.33 316-AH 24.58 346-AH 9.09 147-AH 68.63 177-AH 53.85 257-AH 25.40 287-AH 36.73 317-AH 23.33 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 28.95 318-AH 11.11 348-AH 0.00 149-AH 0.00 179-AH 36.36 259-AH 33.33 289-AH 0.00 319-AH 26.32 349-AH 37.04 150-AH 30.00 180-AH 55.00 260-AH 53.97 290-AH 30.61 320-AH 0.00 350-AH 50.00 151-AH 41.67 181-AH 71.74 261-AH 11.76 291-AH 30.00 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 24.71 292-AH 0.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 55.88 323-AH 15.38 154-AH 23.81 184-AH 66.67 264-AH 22.73 294-AH 66.67 324-AH 10.81 155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 23.53 325-AH 55.74 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 50.00 157-AH 14.39 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00 158-AH 41.18 188-AH 0.00 268-AH 0.00 298-AH 30.00 328-AH 47.83 159-AH 22.22 189-AH 71.43 269-AH 11.11 299-AH 47.37 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 7.02 300-AH 38.10 330-AH 29.41 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 6.25 331-AH 11.76 162-AH 0.00 192-AH 33.33 272-AH 0.00 302-AH 29.41 332-AH 12.50 163-AH 75.41 193-AH 57.14 273-AH 50.60 303-AH 50.00 333-AH 20.00 164-AH 25.93 194-AH 0.00 274-AH 43.75 304-AH 26.67 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 15.15 305-AH 29.51 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 42.37 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 32.00 277-AH 26.92 307-AH 42.86 337-AH 60.00 168-AH 0.00 198-AH 0.00 278-AH 19.05 308-AH 54.55 338-AH 0.00 169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 0.00 339-AH 36.84 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 40.00 623 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENALLSENSES100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,852 Pooled false Geometric Mean Average Precision 0.1573 document expansion: 100 concepts based on all Binary Preference (BPREF) 0.3484 synsets Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.00 ENENALLSENSES100DOCS 10 60.20 90% 20 53.77 80% 30 46.12 40 41.24 70% 50 37.32 60% 60 32.50 Precision 70 26.60 50% 80 22.44 40% 90 17.39 30% 100 11.91 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.54 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1336 Second Quartile 0.2966 Third Quartile 0.5768 Interquartile range 0.4432 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3654 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2826 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3654 10 Std With No Outliers 0.2826 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ENENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ENENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 624 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENALLSENSES100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.79 251-AH 54.67 281-AH 38.17 311-AH 22.39 341-AH 71.14 142-AH 92.05 172-AH 6.05 252-AH 41.41 282-AH 22.71 312-AH 50.18 342-AH 67.05 143-AH 68.86 173-AH 100.00 253-AH 20.00 283-AH 9.28 313-AH 10.02 343-AH 2.27 144-AH 66.67 174-AH 100.00 254-AH 11.97 284-AH 55.18 314-AH 9.91 344-AH 47.21 145-AH 57.26 175-AH 74.13 255-AH 42.16 285-AH 33.81 315-AH 41.52 345-AH 25.66 146-AH 14.32 176-AH 92.75 256-AH 86.12 286-AH 1.66 316-AH 16.53 346-AH 5.13 147-AH 51.07 177-AH 12.43 257-AH 25.44 287-AH 38.75 317-AH 21.92 347-AH 10.96 148-AH 10.70 178-AH 1.69 258-AH 1.07 288-AH 13.57 318-AH 26.11 348-AH 100.00 149-AH 0.00 179-AH 67.57 259-AH 66.78 289-AH 73.36 319-AH 12.25 349-AH 24.63 150-AH 23.57 180-AH 17.24 260-AH 61.71 290-AH 12.53 320-AH 5.75 350-AH 69.41 151-AH 13.55 181-AH 77.30 261-AH 14.35 291-AH 49.53 321-AH 0.00 152-AH 67.49 182-AH 31.72 262-AH 17.71 292-AH 65.15 322-AH 2.91 153-AH 0.00 183-AH 2.10 263-AH 23.23 293-AH 67.06 323-AH 25.13 154-AH 35.72 184-AH 53.88 264-AH 56.69 294-AH 67.14 324-AH 40.86 155-AH 20.79 185-AH 50.00 265-AH 45.93 295-AH 16.51 325-AH 43.39 156-AH 13.17 186-AH 0.00 266-AH 2.35 296-AH 30.16 326-AH 22.87 157-AH 42.10 187-AH 16.67 267-AH 29.94 297-AH 40.57 327-AH 11.85 158-AH 47.09 188-AH 4.00 268-AH 66.83 298-AH 21.19 328-AH 61.25 159-AH 19.04 189-AH 92.14 269-AH 17.67 299-AH 35.82 329-AH 59.07 160-AH 6.13 190-AH 45.55 270-AH 59.63 300-AH 22.53 330-AH 76.88 161-AH 0.00 191-AH 0.00 271-AH 58.09 301-AH 0.47 331-AH 28.36 162-AH 16.67 192-AH 46.57 272-AH 26.63 302-AH 26.63 332-AH 37.09 163-AH 79.67 193-AH 60.57 273-AH 70.65 303-AH 17.46 333-AH 100.00 164-AH 5.08 194-AH 25.00 274-AH 30.68 304-AH 31.68 334-AH 31.56 165-AH 100.00 195-AH 0.00 275-AH 24.48 305-AH 23.71 335-AH 10.52 166-AH 0.00 196-AH 50.00 276-AH 31.66 306-AH 16.67 336-AH 1.79 167-AH 26.30 197-AH 62.10 277-AH 16.63 307-AH 25.15 337-AH 72.92 168-AH 46.81 198-AH 100.00 278-AH 14.30 308-AH 75.19 338-AH 69.43 169-AH 5.23 199-AH 56.92 279-AH 41.28 309-AH 4.85 339-AH 52.82 170-AH 100.00 200-AH 34.32 280-AH 5.69 310-AH 5.65 340-AH 29.37 625 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENALLSENSES100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 43.25 ENENALLSENSES100DOCS 10 docs 37.19 90% 15 docs 33.13 80% 20 docs 30.56 30 docs 26.50 70% 100 docs 14.46 60% 200 docs 9.05 Precision 500 docs 4.37 50% 1000 docs 2.41 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 35.28 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1548 Second Quartile 0.3279 Third Quartile 0.5339 Interquartile range 0.3791 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3528 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2738 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3528 15 Std With No Outliers 0.2738 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ENENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ENENALLSENSES100DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ENENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 626 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENALLSENSES100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 53.85 281-AH 33.33 311-AH 31.48 341-AH 66.67 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 32.26 312-AH 58.06 342-AH 62.50 143-AH 64.10 173-AH 100.00 253-AH 28.95 283-AH 18.42 313-AH 20.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 22.71 284-AH 47.37 314-AH 0.00 344-AH 51.52 145-AH 57.89 175-AH 71.43 255-AH 25.00 285-AH 39.13 315-AH 47.46 345-AH 44.44 146-AH 0.00 176-AH 82.05 256-AH 73.53 286-AH 0.00 316-AH 25.42 346-AH 0.00 147-AH 50.98 177-AH 7.69 257-AH 33.33 287-AH 46.94 317-AH 33.33 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 19.74 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 72.22 319-AH 21.05 349-AH 29.63 150-AH 20.00 180-AH 17.50 260-AH 61.90 290-AH 14.29 320-AH 12.50 350-AH 60.00 151-AH 16.67 181-AH 73.91 261-AH 17.65 291-AH 46.67 321-AH 0.00 152-AH 72.73 182-AH 25.00 262-AH 23.53 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 52.94 323-AH 26.92 154-AH 47.62 184-AH 55.56 264-AH 59.09 294-AH 66.67 324-AH 44.59 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 23.53 325-AH 42.62 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00 157-AH 48.92 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 25.00 158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 60.87 159-AH 18.52 189-AH 71.43 269-AH 33.33 299-AH 39.47 329-AH 52.94 160-AH 0.00 190-AH 55.56 270-AH 49.12 300-AH 28.57 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 33.33 272-AH 35.71 302-AH 29.41 332-AH 25.00 163-AH 74.59 193-AH 42.86 273-AH 67.47 303-AH 21.43 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 37.50 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 28.79 305-AH 27.87 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 0.00 336-AH 5.88 167-AH 20.00 197-AH 56.00 277-AH 26.92 307-AH 35.06 337-AH 55.00 168-AH 50.00 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 12.70 340-AH 20.00 627 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,854 Pooled false Geometric Mean Average Precision 0.1589 document expansion: 100 concepts based on the best Binary Preference (BPREF) 0.3503 sense Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.72 ENENBESTSENSE100DOCS 10 60.28 90% 20 54.37 80% 30 46.44 40 41.72 70% 50 37.30 60% 60 32.59 Precision 70 26.64 50% 80 22.43 40% 90 17.10 30% 100 11.87 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.68 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1339 Second Quartile 0.3010 Third Quartile 0.5832 Interquartile range 0.4493 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3668 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2824 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3668 10 Std With No Outliers 0.2824 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ENENBESTSENSE100DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ENENBESTSENSE100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 628 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.35 251-AH 54.77 281-AH 34.87 311-AH 24.11 341-AH 71.60 142-AH 91.85 172-AH 5.90 252-AH 41.43 282-AH 22.49 312-AH 43.21 342-AH 64.41 143-AH 68.33 173-AH 100.00 253-AH 20.45 283-AH 10.41 313-AH 11.88 343-AH 3.45 144-AH 72.22 174-AH 100.00 254-AH 11.95 284-AH 58.33 314-AH 9.43 344-AH 48.43 145-AH 55.50 175-AH 73.28 255-AH 42.16 285-AH 34.34 315-AH 41.99 345-AH 26.24 146-AH 14.19 176-AH 92.34 256-AH 86.08 286-AH 1.59 316-AH 16.06 346-AH 4.95 147-AH 52.41 177-AH 12.48 257-AH 26.01 287-AH 37.57 317-AH 22.41 347-AH 10.25 148-AH 7.82 178-AH 1.89 258-AH 0.86 288-AH 13.91 318-AH 21.17 348-AH 100.00 149-AH 0.00 179-AH 64.64 259-AH 66.78 289-AH 73.80 319-AH 10.78 349-AH 32.10 150-AH 21.33 180-AH 18.09 260-AH 64.07 290-AH 12.13 320-AH 5.44 350-AH 69.98 151-AH 19.01 181-AH 77.81 261-AH 14.90 291-AH 48.66 321-AH 0.00 152-AH 66.19 182-AH 32.41 262-AH 18.56 292-AH 63.94 322-AH 2.92 153-AH 0.00 183-AH 1.94 263-AH 24.28 293-AH 69.91 323-AH 25.39 154-AH 35.01 184-AH 54.11 264-AH 57.08 294-AH 65.16 324-AH 41.93 155-AH 17.04 185-AH 50.00 265-AH 45.74 295-AH 16.28 325-AH 43.87 156-AH 12.87 186-AH 0.00 266-AH 4.56 296-AH 29.49 326-AH 37.88 157-AH 42.62 187-AH 14.29 267-AH 29.18 297-AH 40.27 327-AH 11.46 158-AH 47.43 188-AH 5.88 268-AH 66.82 298-AH 19.15 328-AH 60.99 159-AH 18.70 189-AH 92.14 269-AH 19.06 299-AH 36.84 329-AH 61.06 160-AH 6.48 190-AH 44.82 270-AH 59.16 300-AH 23.52 330-AH 78.60 161-AH 0.00 191-AH 0.00 271-AH 58.32 301-AH 0.55 331-AH 27.65 162-AH 16.67 192-AH 44.70 272-AH 26.76 302-AH 29.63 332-AH 36.83 163-AH 80.59 193-AH 58.91 273-AH 70.60 303-AH 17.57 333-AH 100.00 164-AH 4.80 194-AH 25.00 274-AH 29.78 304-AH 30.42 334-AH 31.59 165-AH 100.00 195-AH 0.00 275-AH 23.78 305-AH 24.93 335-AH 8.92 166-AH 0.00 196-AH 50.00 276-AH 33.62 306-AH 16.67 336-AH 1.80 167-AH 25.95 197-AH 62.20 277-AH 17.33 307-AH 25.36 337-AH 72.62 168-AH 47.69 198-AH 100.00 278-AH 13.93 308-AH 75.66 338-AH 67.42 169-AH 6.56 199-AH 57.23 279-AH 38.56 309-AH 4.56 339-AH 53.61 170-AH 100.00 200-AH 32.74 280-AH 5.27 310-AH 5.47 340-AH 37.11 629 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 43.13 ENENBESTSENSE100DOCS 10 docs 37.56 90% 15 docs 33.13 80% 20 docs 30.38 30 docs 26.73 70% 100 docs 14.44 60% 200 docs 9.07 Precision 500 docs 4.39 50% 1000 docs 2.41 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 35.64 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1349 Second Quartile 0.3333 Third Quartile 0.5458 Interquartile range 0.4109 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3564 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2742 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3564 15 Std With No Outliers 0.2742 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ENENBESTSENSE100DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ENENBESTSENSE100DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ENENBESTSENSE100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 630 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE100DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 52.31 281-AH 33.33 311-AH 33.33 341-AH 66.67 142-AH 87.50 172-AH 0.00 252-AH 37.93 282-AH 35.48 312-AH 51.61 342-AH 61.46 143-AH 58.97 173-AH 100.00 253-AH 28.95 283-AH 18.42 313-AH 20.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 21.83 284-AH 50.00 314-AH 0.00 344-AH 57.58 145-AH 55.26 175-AH 57.14 255-AH 25.00 285-AH 36.23 315-AH 49.15 345-AH 44.44 146-AH 0.00 176-AH 79.49 256-AH 73.53 286-AH 0.00 316-AH 22.03 346-AH 0.00 147-AH 49.02 177-AH 7.69 257-AH 34.92 287-AH 46.94 317-AH 33.33 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 18.42 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 72.22 319-AH 15.79 349-AH 33.33 150-AH 20.00 180-AH 22.50 260-AH 63.49 290-AH 14.29 320-AH 6.25 350-AH 70.00 151-AH 25.00 181-AH 73.91 261-AH 20.59 291-AH 46.67 321-AH 0.00 152-AH 63.64 182-AH 25.00 262-AH 24.71 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 70.59 323-AH 30.77 154-AH 42.86 184-AH 55.56 264-AH 59.09 294-AH 66.67 324-AH 45.95 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 23.53 325-AH 42.62 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 50.00 157-AH 51.08 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 25.00 158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 60.87 159-AH 16.67 189-AH 71.43 269-AH 33.33 299-AH 39.47 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 50.88 300-AH 30.95 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 33.33 272-AH 35.71 302-AH 29.41 332-AH 25.00 163-AH 72.95 193-AH 42.86 273-AH 65.06 303-AH 21.43 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 37.50 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 30.30 305-AH 31.15 335-AH 6.67 166-AH 0.00 196-AH 0.00 276-AH 37.29 306-AH 0.00 336-AH 5.88 167-AH 20.00 197-AH 54.00 277-AH 30.77 307-AH 37.66 337-AH 55.00 168-AH 50.00 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 52.63 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 12.70 340-AH 40.00 631 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE500DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,912 Pooled false Geometric Mean Average Precision 0.1657 document expansion: 500 concepts based on the best Binary Preference (BPREF) 0.3556 sense Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.41 ENENBESTSENSE500DOCS 10 59.98 90% 20 54.84 80% 30 48.04 40 44.25 70% 50 39.56 60% 60 34.30 Precision 70 28.15 50% 80 24.01 40% 90 19.26 30% 100 13.45 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1359 Second Quartile 0.3102 Third Quartile 0.5977 Interquartile range 0.4618 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3805 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2891 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3805 10 Std With No Outliers 0.2891 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ENENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ENENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 632 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE500DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.15 251-AH 56.92 281-AH 35.87 311-AH 24.32 341-AH 77.58 142-AH 92.05 172-AH 7.74 252-AH 43.30 282-AH 27.12 312-AH 41.88 342-AH 61.01 143-AH 65.58 173-AH 100.00 253-AH 25.28 283-AH 13.03 313-AH 13.74 343-AH 7.69 144-AH 72.22 174-AH 100.00 254-AH 15.30 284-AH 58.52 314-AH 9.33 344-AH 48.27 145-AH 63.04 175-AH 79.37 255-AH 49.21 285-AH 34.12 315-AH 42.23 345-AH 23.80 146-AH 26.67 176-AH 92.21 256-AH 85.99 286-AH 2.90 316-AH 23.77 346-AH 5.07 147-AH 54.21 177-AH 7.11 257-AH 27.39 287-AH 38.37 317-AH 23.80 347-AH 8.86 148-AH 6.25 178-AH 2.18 258-AH 1.23 288-AH 11.16 318-AH 17.31 348-AH 100.00 149-AH 0.00 179-AH 63.82 259-AH 66.92 289-AH 74.90 319-AH 18.52 349-AH 27.85 150-AH 22.94 180-AH 12.28 260-AH 64.73 290-AH 11.54 320-AH 9.17 350-AH 64.59 151-AH 12.31 181-AH 76.69 261-AH 13.97 291-AH 52.83 321-AH 0.00 152-AH 73.63 182-AH 26.28 262-AH 20.83 292-AH 81.67 322-AH 3.55 153-AH 0.00 183-AH 2.21 263-AH 25.59 293-AH 64.73 323-AH 29.09 154-AH 40.65 184-AH 55.42 264-AH 59.77 294-AH 61.99 324-AH 41.81 155-AH 13.43 185-AH 50.00 265-AH 54.03 295-AH 20.25 325-AH 47.63 156-AH 12.41 186-AH 0.00 266-AH 2.21 296-AH 30.72 326-AH 19.17 157-AH 43.90 187-AH 14.29 267-AH 34.37 297-AH 41.47 327-AH 7.52 158-AH 48.08 188-AH 1.64 268-AH 66.79 298-AH 20.90 328-AH 52.80 159-AH 19.89 189-AH 90.95 269-AH 30.56 299-AH 42.78 329-AH 66.68 160-AH 6.29 190-AH 55.00 270-AH 59.76 300-AH 22.65 330-AH 81.32 161-AH 0.00 191-AH 0.00 271-AH 62.16 301-AH 1.87 331-AH 25.86 162-AH 33.33 192-AH 54.06 272-AH 24.61 302-AH 33.52 332-AH 37.23 163-AH 81.22 193-AH 59.61 273-AH 73.24 303-AH 15.27 333-AH 100.00 164-AH 4.97 194-AH 20.00 274-AH 27.04 304-AH 36.98 334-AH 37.17 165-AH 100.00 195-AH 0.00 275-AH 26.58 305-AH 25.24 335-AH 19.59 166-AH 0.00 196-AH 50.00 276-AH 41.34 306-AH 100.00 336-AH 1.80 167-AH 21.19 197-AH 55.48 277-AH 15.89 307-AH 29.46 337-AH 68.94 168-AH 46.65 198-AH 100.00 278-AH 16.00 308-AH 76.24 338-AH 73.71 169-AH 5.35 199-AH 60.92 279-AH 22.68 309-AH 4.96 339-AH 53.07 170-AH 100.00 200-AH 31.32 280-AH 4.39 310-AH 6.94 340-AH 31.70 633 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE500DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.63 ENENBESTSENSE500DOCS 10 docs 38.31 90% 15 docs 34.42 80% 20 docs 31.38 30 docs 27.10 70% 100 docs 14.83 60% 200 docs 9.29 Precision 500 docs 4.46 50% 1000 docs 2.44 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.69 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1689 Second Quartile 0.3408 Third Quartile 0.5447 Interquartile range 0.3758 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3669 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2768 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3669 15 Std With No Outliers 0.2768 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ENENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ENENBESTSENSE500DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ENENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 634 ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.IXA.ENENBESTSENSE500DOCS AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 53.85 281-AH 35.71 311-AH 37.04 341-AH 66.67 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 32.26 312-AH 48.39 342-AH 61.46 143-AH 56.41 173-AH 100.00 253-AH 33.68 283-AH 15.79 313-AH 20.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 27.95 284-AH 55.26 314-AH 0.00 344-AH 45.45 145-AH 60.53 175-AH 71.43 255-AH 25.00 285-AH 37.68 315-AH 47.46 345-AH 44.44 146-AH 50.00 176-AH 84.62 256-AH 73.53 286-AH 8.33 316-AH 29.66 346-AH 0.00 147-AH 50.98 177-AH 7.69 257-AH 38.10 287-AH 42.86 317-AH 30.00 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 17.11 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 72.22 319-AH 21.05 349-AH 25.93 150-AH 20.00 180-AH 20.00 260-AH 55.56 290-AH 16.33 320-AH 18.75 350-AH 50.00 151-AH 25.00 181-AH 75.00 261-AH 23.53 291-AH 50.00 321-AH 0.00 152-AH 72.73 182-AH 25.00 262-AH 27.06 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 35.42 293-AH 67.65 323-AH 23.08 154-AH 52.38 184-AH 55.56 264-AH 54.55 294-AH 55.56 324-AH 41.89 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 25.49 325-AH 42.62 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00 157-AH 51.08 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 56.52 159-AH 22.22 189-AH 71.43 269-AH 33.33 299-AH 40.79 329-AH 64.71 160-AH 0.00 190-AH 66.67 270-AH 54.39 300-AH 19.05 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 29.41 162-AH 0.00 192-AH 50.00 272-AH 28.57 302-AH 35.29 332-AH 25.00 163-AH 71.31 193-AH 42.86 273-AH 68.67 303-AH 21.43 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 37.50 304-AH 33.33 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 31.82 305-AH 26.23 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 37.29 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 50.00 277-AH 30.77 307-AH 41.56 337-AH 55.00 168-AH 50.00 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 47.37 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 12.70 340-AH 20.00 635 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI1_NOWSD_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,821 Pooled false Geometric Mean Average Precision 0.1269 Baseline case. No wsd. Okapi with fb Binary Preference (BPREF) 0.3581 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.66 SINAI1_NOWSD_FB_OKAPI 10 57.78 90% 20 53.54 80% 30 48.65 40 44.76 70% 50 40.29 60% 60 35.07 Precision 70 30.47 50% 80 25.86 40% 90 19.47 30% 100 12.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.19 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0745 Second Quartile 0.3036 Third Quartile 0.6323 Interquartile range 0.5578 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3819 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3130 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3819 20 15 Std With No Outliers 0.3130 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 636 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI1_NOWSD_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 25.00 171-AH 2.98 251-AH 50.84 281-AH 22.10 311-AH 27.57 341-AH 84.83 142-AH 92.26 172-AH 13.35 252-AH 24.05 282-AH 9.62 312-AH 60.24 342-AH 45.34 143-AH 82.46 173-AH 100.00 253-AH 0.89 283-AH 52.35 313-AH 0.99 343-AH 0.71 144-AH 0.61 174-AH 100.00 254-AH 21.95 284-AH 57.22 314-AH 5.33 344-AH 63.20 145-AH 70.03 175-AH 82.31 255-AH 37.60 285-AH 25.37 315-AH 58.08 345-AH 0.04 146-AH 6.01 176-AH 76.75 256-AH 83.06 286-AH 2.90 316-AH 6.28 346-AH 7.21 147-AH 84.11 177-AH 56.57 257-AH 23.56 287-AH 43.77 317-AH 14.09 347-AH 5.34 148-AH 0.17 178-AH 0.00 258-AH 16.07 288-AH 45.67 318-AH 6.06 348-AH 58.33 149-AH 0.00 179-AH 98.09 259-AH 55.82 289-AH 82.92 319-AH 54.78 349-AH 22.84 150-AH 4.81 180-AH 2.51 260-AH 66.54 290-AH 28.30 320-AH 2.32 350-AH 71.83 151-AH 53.71 181-AH 87.36 261-AH 13.09 291-AH 20.91 321-AH 0.00 152-AH 67.66 182-AH 17.63 262-AH 28.99 292-AH 2.03 322-AH 1.79 153-AH 0.19 183-AH 21.87 263-AH 22.98 293-AH 74.09 323-AH 28.39 154-AH 18.09 184-AH 63.26 264-AH 58.47 294-AH 75.04 324-AH 38.43 155-AH 8.00 185-AH 12.50 265-AH 60.79 295-AH 31.73 325-AH 70.66 156-AH 7.69 186-AH 0.00 266-AH 0.63 296-AH 52.46 326-AH 12.28 157-AH 72.17 187-AH 5.88 267-AH 49.58 297-AH 53.05 327-AH 0.09 158-AH 71.05 188-AH 0.14 268-AH 56.42 298-AH 42.65 328-AH 65.93 159-AH 24.34 189-AH 79.97 269-AH 21.27 299-AH 51.25 329-AH 68.18 160-AH 4.67 190-AH 86.42 270-AH 77.64 300-AH 19.86 330-AH 80.40 161-AH 0.00 191-AH 0.00 271-AH 56.19 301-AH 44.96 331-AH 25.57 162-AH 20.00 192-AH 54.33 272-AH 23.10 302-AH 34.43 332-AH 38.04 163-AH 91.21 193-AH 47.51 273-AH 76.31 303-AH 40.45 333-AH 100.00 164-AH 26.77 194-AH 1.15 274-AH 14.39 304-AH 28.70 334-AH 20.23 165-AH 100.00 195-AH 0.00 275-AH 57.43 305-AH 39.95 335-AH 13.88 166-AH 0.00 196-AH 100.00 276-AH 56.50 306-AH 14.29 336-AH 1.19 167-AH 4.64 197-AH 74.92 277-AH 10.29 307-AH 34.39 337-AH 79.66 168-AH 63.84 198-AH 100.00 278-AH 41.34 308-AH 83.44 338-AH 74.22 169-AH 2.72 199-AH 53.38 279-AH 15.73 309-AH 5.22 339-AH 46.38 170-AH 100.00 200-AH 2.29 280-AH 2.41 310-AH 9.72 340-AH 53.96 637 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI1_NOWSD_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.00 SINAI1_NOWSD_FB_OKAPI 10 docs 39.56 90% 15 docs 35.25 80% 20 docs 32.84 30 docs 28.71 70% 100 docs 15.48 60% 200 docs 9.36 Precision 500 docs 4.39 50% 1000 docs 2.39 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.51 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.3635 Third Quartile 0.6162 Interquartile range 0.6162 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3651 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3065 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.3651 20 Std With No Outliers 0.3065 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 SINAI1_NOWSD_FB_OKAPI Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 638 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI1_NOWSD_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 49.23 281-AH 26.19 311-AH 33.33 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 34.48 282-AH 9.68 312-AH 64.52 342-AH 52.08 143-AH 76.92 173-AH 100.00 253-AH 5.79 283-AH 50.00 313-AH 5.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 30.57 284-AH 55.26 314-AH 0.00 344-AH 51.52 145-AH 63.16 175-AH 85.71 255-AH 25.00 285-AH 36.23 315-AH 57.63 345-AH 0.00 146-AH 0.00 176-AH 71.79 256-AH 73.53 286-AH 8.33 316-AH 0.00 346-AH 0.00 147-AH 80.39 177-AH 53.85 257-AH 30.16 287-AH 51.02 317-AH 20.00 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 43.42 318-AH 0.00 348-AH 50.00 149-AH 0.00 179-AH 90.91 259-AH 66.67 289-AH 72.22 319-AH 57.89 349-AH 25.93 150-AH 0.00 180-AH 0.00 260-AH 58.73 290-AH 36.73 320-AH 0.00 350-AH 70.00 151-AH 50.00 181-AH 82.61 261-AH 20.59 291-AH 16.67 321-AH 0.00 152-AH 63.64 182-AH 0.00 262-AH 36.47 292-AH 0.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 67.65 323-AH 26.92 154-AH 19.05 184-AH 55.56 264-AH 50.00 294-AH 70.37 324-AH 43.24 155-AH 0.00 185-AH 0.00 265-AH 66.67 295-AH 41.18 325-AH 62.30 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 25.00 157-AH 69.06 187-AH 0.00 267-AH 42.86 297-AH 41.67 327-AH 0.00 158-AH 64.71 188-AH 0.00 268-AH 66.67 298-AH 40.00 328-AH 60.87 159-AH 27.78 189-AH 71.43 269-AH 22.22 299-AH 50.00 329-AH 58.82 160-AH 0.00 190-AH 77.78 270-AH 68.42 300-AH 14.29 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 50.00 331-AH 29.41 162-AH 0.00 192-AH 50.00 272-AH 28.57 302-AH 29.41 332-AH 37.50 163-AH 83.61 193-AH 42.86 273-AH 65.06 303-AH 35.71 333-AH 100.00 164-AH 37.04 194-AH 0.00 274-AH 18.75 304-AH 33.33 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 62.12 305-AH 37.70 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 52.54 306-AH 0.00 336-AH 5.88 167-AH 0.00 197-AH 68.00 277-AH 26.92 307-AH 41.56 337-AH 75.00 168-AH 61.11 198-AH 100.00 278-AH 42.86 308-AH 81.82 338-AH 70.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 47.37 170-AH 100.00 200-AH 0.00 280-AH 4.00 310-AH 11.11 340-AH 60.00 639 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI2_NUS_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,756 Pooled false Geometric Mean Average Precision 0.1391 WSD with nus. Okapi with fb Binary Preference (BPREF) 0.3653 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.23 SINAI2_NUS_FB_OKAPI 10 57.88 90% 20 53.38 80% 30 46.63 40 42.44 70% 50 38.72 60% 60 32.77 Precision 70 27.79 50% 80 23.85 40% 90 17.43 30% 100 10.87 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.81 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1085 Second Quartile 0.3301 Third Quartile 0.5753 Interquartile range 0.4668 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3681 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2974 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3681 15 Std With No Outliers 0.2974 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 640 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI2_NUS_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 50.00 171-AH 4.13 251-AH 49.72 281-AH 42.40 311-AH 30.52 341-AH 85.90 142-AH 88.64 172-AH 6.18 252-AH 39.35 282-AH 13.24 312-AH 68.72 342-AH 52.96 143-AH 93.36 173-AH 100.00 253-AH 35.83 283-AH 17.13 313-AH 11.52 343-AH 1.27 144-AH 41.67 174-AH 100.00 254-AH 25.85 284-AH 52.61 314-AH 4.37 344-AH 48.55 145-AH 57.67 175-AH 86.53 255-AH 14.69 285-AH 81.35 315-AH 37.94 345-AH 2.83 146-AH 25.00 176-AH 88.13 256-AH 90.14 286-AH 0.61 316-AH 8.04 346-AH 7.67 147-AH 81.11 177-AH 59.53 257-AH 19.26 287-AH 39.06 317-AH 17.93 347-AH 6.82 148-AH 17.20 178-AH 33.67 258-AH 14.49 288-AH 3.72 318-AH 29.21 348-AH 58.33 149-AH 0.00 179-AH 77.46 259-AH 33.33 289-AH 71.14 319-AH 15.63 349-AH 21.06 150-AH 15.95 180-AH 0.25 260-AH 57.40 290-AH 20.20 320-AH 0.45 350-AH 69.08 151-AH 24.94 181-AH 85.01 261-AH 14.49 291-AH 29.73 321-AH 0.00 152-AH 37.51 182-AH 4.74 262-AH 33.02 292-AH 81.67 322-AH 16.87 153-AH 0.00 183-AH 18.20 263-AH 20.00 293-AH 50.17 323-AH 9.60 154-AH 23.31 184-AH 66.16 264-AH 55.79 294-AH 63.34 324-AH 6.59 155-AH 16.64 185-AH 7.69 265-AH 12.27 295-AH 46.05 325-AH 39.77 156-AH 10.38 186-AH 0.00 266-AH 0.95 296-AH 57.73 326-AH 54.10 157-AH 55.00 187-AH 25.00 267-AH 40.73 297-AH 46.36 327-AH 67.78 158-AH 55.50 188-AH 0.14 268-AH 30.30 298-AH 33.69 328-AH 71.12 159-AH 6.82 189-AH 100.00 269-AH 6.87 299-AH 50.70 329-AH 65.05 160-AH 54.00 190-AH 56.25 270-AH 76.98 300-AH 28.54 330-AH 79.42 161-AH 0.00 191-AH 0.00 271-AH 44.26 301-AH 1.12 331-AH 23.43 162-AH 20.00 192-AH 15.22 272-AH 20.19 302-AH 38.88 332-AH 54.38 163-AH 86.80 193-AH 38.16 273-AH 77.64 303-AH 34.57 333-AH 100.00 164-AH 4.54 194-AH 1.89 274-AH 33.56 304-AH 32.01 334-AH 20.24 165-AH 33.33 195-AH 0.00 275-AH 1.53 305-AH 17.95 335-AH 32.99 166-AH 0.00 196-AH 100.00 276-AH 37.61 306-AH 16.67 336-AH 49.12 167-AH 1.01 197-AH 70.99 277-AH 20.62 307-AH 14.58 337-AH 84.06 168-AH 35.66 198-AH 2.94 278-AH 3.11 308-AH 82.80 338-AH 77.91 169-AH 9.85 199-AH 69.27 279-AH 7.97 309-AH 5.35 339-AH 81.20 170-AH 100.00 200-AH 74.19 280-AH 0.31 310-AH 11.31 340-AH 36.83 641 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI2_NUS_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.00 SINAI2_NUS_FB_OKAPI 10 docs 37.94 90% 15 docs 34.54 80% 20 docs 31.59 30 docs 27.02 70% 100 docs 14.54 60% 200 docs 9.01 Precision 500 docs 4.32 50% 1000 docs 2.35 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 35.43 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0858 Second Quartile 0.3333 Third Quartile 0.5279 Interquartile range 0.4421 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3543 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2870 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3543 20 15 Std With No Outliers 0.2870 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 SINAI2_NUS_FB_OKAPI Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 642 jaen 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.JAEN.SINAI2_NUS_FB_OKAPI AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 10.53 251-AH 52.31 281-AH 40.48 311-AH 38.89 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 44.83 282-AH 25.81 312-AH 61.29 342-AH 52.08 143-AH 84.62 173-AH 100.00 253-AH 39.47 283-AH 18.42 313-AH 10.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 36.24 284-AH 50.00 314-AH 0.00 344-AH 42.42 145-AH 52.63 175-AH 85.71 255-AH 25.00 285-AH 72.46 315-AH 49.15 345-AH 0.00 146-AH 50.00 176-AH 76.92 256-AH 79.41 286-AH 0.00 316-AH 19.49 346-AH 0.00 147-AH 76.47 177-AH 53.85 257-AH 22.22 287-AH 46.94 317-AH 23.33 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 5.26 318-AH 33.33 348-AH 50.00 149-AH 0.00 179-AH 68.18 259-AH 33.33 289-AH 72.22 319-AH 15.79 349-AH 11.11 150-AH 10.00 180-AH 0.00 260-AH 53.97 290-AH 32.65 320-AH 0.00 350-AH 60.00 151-AH 41.67 181-AH 78.26 261-AH 20.59 291-AH 26.67 321-AH 0.00 152-AH 36.36 182-AH 0.00 262-AH 36.47 292-AH 50.00 322-AH 21.43 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 44.12 323-AH 7.69 154-AH 23.81 184-AH 55.56 264-AH 50.00 294-AH 70.37 324-AH 9.46 155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 47.06 325-AH 40.98 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00 157-AH 58.27 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 50.00 158-AH 52.94 188-AH 0.00 268-AH 33.33 298-AH 43.33 328-AH 56.52 159-AH 5.56 189-AH 100.00 269-AH 0.00 299-AH 47.37 329-AH 52.94 160-AH 50.00 190-AH 44.44 270-AH 71.93 300-AH 33.33 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 47.06 332-AH 50.00 163-AH 78.69 193-AH 28.57 273-AH 71.08 303-AH 42.86 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 1.52 305-AH 29.51 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 40.68 306-AH 0.00 336-AH 47.06 167-AH 0.00 197-AH 62.00 277-AH 34.62 307-AH 25.97 337-AH 80.00 168-AH 44.44 198-AH 0.00 278-AH 9.52 308-AH 81.82 338-AH 70.00 169-AH 16.67 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 78.95 170-AH 100.00 200-AH 77.78 280-AH 0.00 310-AH 15.87 340-AH 40.00 643 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSOWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,488 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,981 Pooled false Geometric Mean Average Precision 0.1947 assowsd Binary Preference (BPREF) 0.3947 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.64 ASSOWSD 10 64.38 90% 20 58.99 80% 30 52.33 40 48.58 70% 50 44.14 60% 60 38.34 Precision 70 33.07 50% 80 27.65 40% 90 22.35 30% 100 15.09 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 42.22 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1578 Second Quartile 0.3910 Third Quartile 0.6616 Interquartile range 0.5038 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4222 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2998 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 1.0000 10 Mean With No Outliers 0.4222 Std With No Outliers 0.2998 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ASSOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ASSOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ASSOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ASSOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ASSOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ASSOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ASSOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 644 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSOWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.31 251-AH 55.14 281-AH 41.13 311-AH 29.51 341-AH 90.48 142-AH 93.75 172-AH 15.80 252-AH 42.23 282-AH 15.77 312-AH 46.55 342-AH 77.95 143-AH 78.82 173-AH 100.00 253-AH 41.65 283-AH 25.75 313-AH 2.27 343-AH 5.88 144-AH 66.67 174-AH 100.00 254-AH 32.98 284-AH 51.13 314-AH 7.01 344-AH 45.30 145-AH 66.18 175-AH 83.57 255-AH 52.22 285-AH 43.07 315-AH 32.42 345-AH 8.40 146-AH 26.82 176-AH 84.28 256-AH 76.90 286-AH 9.09 316-AH 21.93 346-AH 9.41 147-AH 81.01 177-AH 38.94 257-AH 23.97 287-AH 46.35 317-AH 20.25 347-AH 3.93 148-AH 20.55 178-AH 7.47 258-AH 5.27 288-AH 28.29 318-AH 17.22 348-AH 100.00 149-AH 0.00 179-AH 49.11 259-AH 68.84 289-AH 77.08 319-AH 34.79 349-AH 40.72 150-AH 6.07 180-AH 21.39 260-AH 69.26 290-AH 22.00 320-AH 4.33 350-AH 72.08 151-AH 36.80 181-AH 84.32 261-AH 5.53 291-AH 71.28 321-AH 0.00 152-AH 68.94 182-AH 12.46 262-AH 41.52 292-AH 81.67 322-AH 8.29 153-AH 0.13 183-AH 6.36 263-AH 22.49 293-AH 59.98 323-AH 26.31 154-AH 39.25 184-AH 66.15 264-AH 45.15 294-AH 58.38 324-AH 69.89 155-AH 15.97 185-AH 100.00 265-AH 58.81 295-AH 37.33 325-AH 64.49 156-AH 15.16 186-AH 0.00 266-AH 2.68 296-AH 43.30 326-AH 51.67 157-AH 46.29 187-AH 12.50 267-AH 27.10 297-AH 42.95 327-AH 20.70 158-AH 51.48 188-AH 0.22 268-AH 67.97 298-AH 23.96 328-AH 45.75 159-AH 40.90 189-AH 98.21 269-AH 22.74 299-AH 54.16 329-AH 64.95 160-AH 10.60 190-AH 76.71 270-AH 63.61 300-AH 24.56 330-AH 81.17 161-AH 0.00 191-AH 0.00 271-AH 56.19 301-AH 31.53 331-AH 28.88 162-AH 100.00 192-AH 43.13 272-AH 19.53 302-AH 33.67 332-AH 34.78 163-AH 88.67 193-AH 36.09 273-AH 75.97 303-AH 31.82 333-AH 100.00 164-AH 15.64 194-AH 50.00 274-AH 28.54 304-AH 39.78 334-AH 14.35 165-AH 100.00 195-AH 0.00 275-AH 43.81 305-AH 30.77 335-AH 12.37 166-AH 0.00 196-AH 100.00 276-AH 56.37 306-AH 100.00 336-AH 0.62 167-AH 27.78 197-AH 93.81 277-AH 13.19 307-AH 28.70 337-AH 72.31 168-AH 36.59 198-AH 14.29 278-AH 28.80 308-AH 79.80 338-AH 50.78 169-AH 2.66 199-AH 56.32 279-AH 73.33 309-AH 8.08 339-AH 64.25 170-AH 100.00 200-AH 56.40 280-AH 10.69 310-AH 13.70 340-AH 26.76 645 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSOWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 47.50 ASSOWSD 10 docs 40.56 90% 15 docs 36.29 80% 20 docs 33.41 30 docs 29.50 70% 100 docs 16.82 60% 200 docs 10.19 Precision 500 docs 4.69 50% 1000 docs 2.49 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.61 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1952 Second Quartile 0.4000 Third Quartile 0.6042 Interquartile range 0.4090 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4061 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2906 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4061 15 Std With No Outliers 0.2906 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ASSOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ASSOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ASSOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ASSOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ASSOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ASSOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ASSOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 646 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.ASSOWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 56.92 281-AH 38.10 311-AH 38.89 341-AH 83.33 142-AH 87.50 172-AH 28.57 252-AH 34.48 282-AH 25.81 312-AH 48.39 342-AH 72.92 143-AH 69.23 173-AH 100.00 253-AH 47.89 283-AH 26.32 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 40.17 284-AH 50.00 314-AH 0.00 344-AH 42.42 145-AH 60.53 175-AH 71.43 255-AH 50.00 285-AH 47.83 315-AH 44.07 345-AH 0.00 146-AH 50.00 176-AH 69.23 256-AH 73.53 286-AH 8.33 316-AH 29.66 346-AH 9.09 147-AH 68.63 177-AH 38.46 257-AH 33.33 287-AH 53.06 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 34.21 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 45.45 259-AH 66.67 289-AH 66.67 319-AH 42.11 349-AH 40.74 150-AH 10.00 180-AH 27.50 260-AH 60.32 290-AH 24.49 320-AH 6.25 350-AH 70.00 151-AH 41.67 181-AH 79.35 261-AH 17.65 291-AH 70.00 321-AH 0.00 152-AH 63.64 182-AH 0.00 262-AH 41.18 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 58.82 323-AH 23.08 154-AH 42.86 184-AH 55.56 264-AH 36.36 294-AH 55.56 324-AH 66.22 155-AH 0.00 185-AH 100.00 265-AH 50.00 295-AH 45.10 325-AH 59.02 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 54.68 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 0.00 158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 52.17 159-AH 42.59 189-AH 85.71 269-AH 22.22 299-AH 51.32 329-AH 64.71 160-AH 0.00 190-AH 77.78 270-AH 57.89 300-AH 19.05 330-AH 76.47 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 31.25 331-AH 29.41 162-AH 100.00 192-AH 33.33 272-AH 28.57 302-AH 29.41 332-AH 37.50 163-AH 81.15 193-AH 28.57 273-AH 71.08 303-AH 35.71 333-AH 100.00 164-AH 11.11 194-AH 0.00 274-AH 31.25 304-AH 40.00 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 43.94 305-AH 29.51 335-AH 13.33 166-AH 0.00 196-AH 100.00 276-AH 52.54 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 84.00 277-AH 23.08 307-AH 37.66 337-AH 70.00 168-AH 38.89 198-AH 0.00 278-AH 28.57 308-AH 72.73 338-AH 40.00 169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 20.00 339-AH 68.42 170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 20.63 340-AH 40.00 647 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYMWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 158,294 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,924 Pooled false Geometric Mean Average Precision 0.1849 synonymwsd Binary Preference (BPREF) 0.3793 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.98 SYNONYMWSD 10 63.07 90% 20 57.08 80% 30 51.22 40 47.38 70% 50 42.54 60% 60 36.54 Precision 70 31.51 50% 80 25.63 40% 90 20.59 30% 100 14.18 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.61 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1644 Second Quartile 0.3609 Third Quartile 0.6386 Interquartile range 0.4741 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4061 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2946 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4061 10 Std With No Outliers 0.2946 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 SYNONYMWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 SYNONYMWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 SYNONYMWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 SYNONYMWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 SYNONYMWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 SYNONYMWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 SYNONYMWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 648 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYMWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.54 251-AH 53.98 281-AH 39.53 311-AH 29.46 341-AH 90.48 142-AH 96.59 172-AH 11.76 252-AH 39.30 282-AH 17.29 312-AH 43.44 342-AH 81.67 143-AH 74.91 173-AH 100.00 253-AH 35.16 283-AH 25.50 313-AH 2.30 343-AH 8.33 144-AH 75.56 174-AH 100.00 254-AH 26.55 284-AH 52.67 314-AH 7.06 344-AH 45.51 145-AH 68.12 175-AH 74.18 255-AH 56.31 285-AH 41.47 315-AH 28.74 345-AH 7.25 146-AH 52.17 176-AH 81.82 256-AH 78.52 286-AH 9.09 316-AH 18.32 346-AH 8.23 147-AH 80.25 177-AH 23.32 257-AH 22.45 287-AH 39.31 317-AH 22.70 347-AH 4.27 148-AH 19.92 178-AH 2.28 258-AH 1.65 288-AH 24.48 318-AH 16.20 348-AH 100.00 149-AH 0.00 179-AH 42.28 259-AH 68.48 289-AH 72.73 319-AH 34.25 349-AH 38.83 150-AH 4.77 180-AH 23.07 260-AH 68.77 290-AH 20.04 320-AH 5.11 350-AH 71.59 151-AH 26.83 181-AH 81.51 261-AH 6.13 291-AH 65.80 321-AH 0.00 152-AH 72.48 182-AH 10.36 262-AH 39.29 292-AH 63.94 322-AH 6.22 153-AH 0.15 183-AH 5.30 263-AH 20.49 293-AH 59.79 323-AH 26.32 154-AH 36.84 184-AH 66.37 264-AH 42.03 294-AH 57.35 324-AH 65.83 155-AH 16.11 185-AH 100.00 265-AH 60.32 295-AH 34.07 325-AH 60.07 156-AH 14.18 186-AH 0.00 266-AH 2.33 296-AH 45.36 326-AH 52.14 157-AH 44.50 187-AH 12.50 267-AH 26.20 297-AH 40.46 327-AH 24.02 158-AH 47.73 188-AH 0.15 268-AH 67.20 298-AH 21.07 328-AH 42.18 159-AH 35.71 189-AH 100.00 269-AH 21.36 299-AH 50.88 329-AH 65.00 160-AH 6.90 190-AH 71.97 270-AH 63.77 300-AH 25.19 330-AH 82.18 161-AH 0.00 191-AH 0.00 271-AH 57.27 301-AH 33.18 331-AH 27.49 162-AH 100.00 192-AH 39.56 272-AH 20.37 302-AH 32.51 332-AH 33.45 163-AH 87.64 193-AH 36.47 273-AH 74.42 303-AH 26.89 333-AH 100.00 164-AH 13.93 194-AH 20.00 274-AH 30.08 304-AH 41.69 334-AH 16.69 165-AH 100.00 195-AH 0.00 275-AH 39.87 305-AH 34.02 335-AH 13.59 166-AH 0.00 196-AH 50.00 276-AH 52.06 306-AH 100.00 336-AH 1.66 167-AH 30.80 197-AH 94.85 277-AH 12.69 307-AH 26.13 337-AH 65.44 168-AH 38.92 198-AH 25.00 278-AH 29.58 308-AH 80.37 338-AH 51.77 169-AH 1.98 199-AH 57.54 279-AH 47.29 309-AH 6.10 339-AH 62.54 170-AH 100.00 200-AH 41.15 280-AH 12.68 310-AH 14.10 340-AH 29.21 649 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYMWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 46.38 SYNONYMWSD 10 docs 39.19 90% 15 docs 35.67 80% 20 docs 32.78 30 docs 28.54 70% 100 docs 16.34 60% 200 docs 10.01 Precision 500 docs 4.61 50% 1000 docs 2.45 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.41 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1706 Second Quartile 0.3844 Third Quartile 0.5735 Interquartile range 0.4029 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3941 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2896 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3941 15 Std With No Outliers 0.2896 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 SYNONYMWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 SYNONYMWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 SYNONYMWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 SYNONYMWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 SYNONYMWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 SYNONYMWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 SYNONYMWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 650 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNONYMWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 55.38 281-AH 38.10 311-AH 38.89 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 37.93 282-AH 32.26 312-AH 48.39 342-AH 79.17 143-AH 64.10 173-AH 100.00 253-AH 44.74 283-AH 26.32 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 37.99 284-AH 52.63 314-AH 0.00 344-AH 42.42 145-AH 65.79 175-AH 71.43 255-AH 50.00 285-AH 46.38 315-AH 37.29 345-AH 11.11 146-AH 50.00 176-AH 66.67 256-AH 73.53 286-AH 8.33 316-AH 24.58 346-AH 9.09 147-AH 70.59 177-AH 30.77 257-AH 31.75 287-AH 38.78 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 30.26 318-AH 11.11 348-AH 100.00 149-AH 0.00 179-AH 45.45 259-AH 66.67 289-AH 66.67 319-AH 36.84 349-AH 37.04 150-AH 0.00 180-AH 30.00 260-AH 60.32 290-AH 20.41 320-AH 18.75 350-AH 60.00 151-AH 41.67 181-AH 79.35 261-AH 17.65 291-AH 66.67 321-AH 0.00 152-AH 72.73 182-AH 0.00 262-AH 41.18 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 25.00 293-AH 55.88 323-AH 23.08 154-AH 33.33 184-AH 55.56 264-AH 36.36 294-AH 51.85 324-AH 64.86 155-AH 0.00 185-AH 100.00 265-AH 66.67 295-AH 41.18 325-AH 54.10 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 53.24 187-AH 0.00 267-AH 23.81 297-AH 41.67 327-AH 0.00 158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 38.89 189-AH 100.00 269-AH 22.22 299-AH 50.00 329-AH 58.82 160-AH 0.00 190-AH 77.78 270-AH 54.39 300-AH 19.05 330-AH 76.47 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 31.25 331-AH 29.41 162-AH 100.00 192-AH 50.00 272-AH 28.57 302-AH 29.41 332-AH 25.00 163-AH 81.15 193-AH 28.57 273-AH 71.08 303-AH 28.57 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 43.75 304-AH 40.00 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 40.91 305-AH 34.43 335-AH 6.67 166-AH 0.00 196-AH 0.00 276-AH 47.46 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 84.00 277-AH 19.23 307-AH 37.66 337-AH 70.00 168-AH 38.89 198-AH 0.00 278-AH 23.81 308-AH 72.73 338-AH 50.00 169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 10.00 339-AH 68.42 170-AH 100.00 200-AH 44.44 280-AH 8.00 310-AH 17.46 340-AH 40.00 651 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSETWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 157,033 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,918 Pooled false Geometric Mean Average Precision 0.1856 synsetwsd Binary Preference (BPREF) 0.3767 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.05 SYNSETWSD 10 63.13 90% 20 56.80 80% 30 50.77 40 47.08 70% 50 42.32 60% 60 36.33 Precision 70 31.00 50% 80 25.95 40% 90 20.46 30% 100 14.06 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.47 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1500 Second Quartile 0.3617 Third Quartile 0.6235 Interquartile range 0.4735 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4047 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2946 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4047 10 Std With No Outliers 0.2946 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 SYNSETWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 SYNSETWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 SYNSETWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 SYNSETWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 SYNSETWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 SYNSETWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 SYNSETWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 652 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSETWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.52 251-AH 53.28 281-AH 39.53 311-AH 30.28 341-AH 90.48 142-AH 95.19 172-AH 11.41 252-AH 40.27 282-AH 15.90 312-AH 43.12 342-AH 80.68 143-AH 76.93 173-AH 100.00 253-AH 34.39 283-AH 26.30 313-AH 1.96 343-AH 4.55 144-AH 75.56 174-AH 100.00 254-AH 26.63 284-AH 51.20 314-AH 7.31 344-AH 45.08 145-AH 68.80 175-AH 74.81 255-AH 56.31 285-AH 44.56 315-AH 30.90 345-AH 8.57 146-AH 51.85 176-AH 82.27 256-AH 78.66 286-AH 8.87 316-AH 17.19 346-AH 9.21 147-AH 81.32 177-AH 28.21 257-AH 22.85 287-AH 38.00 317-AH 21.95 347-AH 4.16 148-AH 19.83 178-AH 6.96 258-AH 4.35 288-AH 23.11 318-AH 16.07 348-AH 100.00 149-AH 0.00 179-AH 39.51 259-AH 69.11 289-AH 71.11 319-AH 37.84 349-AH 41.67 150-AH 5.94 180-AH 16.14 260-AH 68.38 290-AH 18.62 320-AH 5.65 350-AH 72.26 151-AH 29.28 181-AH 82.77 261-AH 5.81 291-AH 67.01 321-AH 0.00 152-AH 73.73 182-AH 8.89 262-AH 46.47 292-AH 61.25 322-AH 7.32 153-AH 0.16 183-AH 6.73 263-AH 20.31 293-AH 59.32 323-AH 26.72 154-AH 38.55 184-AH 68.67 264-AH 41.73 294-AH 54.75 324-AH 65.83 155-AH 13.77 185-AH 100.00 265-AH 57.82 295-AH 35.39 325-AH 61.24 156-AH 14.09 186-AH 0.00 266-AH 1.34 296-AH 44.25 326-AH 52.32 157-AH 43.75 187-AH 12.50 267-AH 25.59 297-AH 41.79 327-AH 22.23 158-AH 45.95 188-AH 0.26 268-AH 67.25 298-AH 20.39 328-AH 44.30 159-AH 37.36 189-AH 98.21 269-AH 21.54 299-AH 52.16 329-AH 63.92 160-AH 8.78 190-AH 69.11 270-AH 63.45 300-AH 25.56 330-AH 81.96 161-AH 0.00 191-AH 0.00 271-AH 57.96 301-AH 32.93 331-AH 27.96 162-AH 100.00 192-AH 36.84 272-AH 18.30 302-AH 32.61 332-AH 28.10 163-AH 86.37 193-AH 35.51 273-AH 73.39 303-AH 29.73 333-AH 100.00 164-AH 13.75 194-AH 25.00 274-AH 28.17 304-AH 40.84 334-AH 10.86 165-AH 100.00 195-AH 0.00 275-AH 35.02 305-AH 31.05 335-AH 14.11 166-AH 0.00 196-AH 50.00 276-AH 55.45 306-AH 100.00 336-AH 1.31 167-AH 29.77 197-AH 94.69 277-AH 13.02 307-AH 26.69 337-AH 64.82 168-AH 39.28 198-AH 16.67 278-AH 33.26 308-AH 80.72 338-AH 49.22 169-AH 1.93 199-AH 56.98 279-AH 41.37 309-AH 7.29 339-AH 60.46 170-AH 100.00 200-AH 43.99 280-AH 12.62 310-AH 13.09 340-AH 27.41 653 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSETWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 46.38 SYNSETWSD 10 docs 38.75 90% 15 docs 35.21 80% 20 docs 32.78 30 docs 28.63 70% 100 docs 16.31 60% 200 docs 9.97 Precision 500 docs 4.59 50% 1000 docs 2.45 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 38.77 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1583 Second Quartile 0.3774 Third Quartile 0.5798 Interquartile range 0.4215 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3877 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2875 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3877 15 Std With No Outliers 0.2875 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 SYNSETWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 SYNSETWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 SYNSETWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 SYNSETWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 SYNSETWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 SYNSETWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 SYNSETWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 654 know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.KNOW-CENTER.SYNSETWSD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 53.85 281-AH 38.10 311-AH 38.89 341-AH 83.33 142-AH 87.50 172-AH 0.00 252-AH 37.93 282-AH 25.81 312-AH 45.16 342-AH 79.17 143-AH 66.67 173-AH 100.00 253-AH 42.11 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 37.55 284-AH 50.00 314-AH 0.00 344-AH 42.42 145-AH 65.79 175-AH 57.14 255-AH 50.00 285-AH 47.83 315-AH 40.68 345-AH 11.11 146-AH 50.00 176-AH 66.67 256-AH 73.53 286-AH 8.33 316-AH 22.03 346-AH 9.09 147-AH 70.59 177-AH 23.08 257-AH 33.33 287-AH 36.73 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 30.26 318-AH 11.11 348-AH 100.00 149-AH 0.00 179-AH 45.45 259-AH 66.67 289-AH 61.11 319-AH 42.11 349-AH 37.04 150-AH 0.00 180-AH 22.50 260-AH 61.90 290-AH 20.41 320-AH 12.50 350-AH 70.00 151-AH 41.67 181-AH 81.52 261-AH 17.65 291-AH 66.67 321-AH 0.00 152-AH 72.73 182-AH 0.00 262-AH 48.24 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 58.82 323-AH 23.08 154-AH 38.10 184-AH 55.56 264-AH 36.36 294-AH 48.15 324-AH 64.86 155-AH 0.00 185-AH 100.00 265-AH 66.67 295-AH 45.10 325-AH 54.10 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 50.00 157-AH 51.08 187-AH 0.00 267-AH 19.05 297-AH 41.67 327-AH 0.00 158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17 159-AH 42.59 189-AH 85.71 269-AH 22.22 299-AH 50.00 329-AH 58.82 160-AH 0.00 190-AH 66.67 270-AH 56.14 300-AH 21.43 330-AH 76.47 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 31.25 331-AH 29.41 162-AH 100.00 192-AH 33.33 272-AH 28.57 302-AH 29.41 332-AH 25.00 163-AH 77.87 193-AH 28.57 273-AH 68.67 303-AH 28.57 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 31.25 304-AH 40.00 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 36.36 305-AH 34.43 335-AH 13.33 166-AH 0.00 196-AH 0.00 276-AH 49.15 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 84.00 277-AH 19.23 307-AH 36.36 337-AH 65.00 168-AH 38.89 198-AH 0.00 278-AH 28.57 308-AH 72.73 338-AH 40.00 169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 10.00 339-AH 68.42 170-AH 100.00 200-AH 44.44 280-AH 8.00 310-AH 15.87 340-AH 40.00 655 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,736 Pooled false Geometric Mean Average Precision 0.1556 Vector space model, query expansion Binary Preference (BPREF) 0.3566 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 67.07 ROBWSD1 10 60.49 90% 20 53.86 80% 30 48.40 40 43.99 70% 50 39.29 60% 60 32.55 Precision 70 27.52 50% 80 23.02 40% 90 18.73 30% 100 12.70 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.70 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1149 Second Quartile 0.3359 Third Quartile 0.5861 Interquartile range 0.4713 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3770 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2981 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.3770 10 Std With No Outliers 0.2981 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 656 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 13.70 251-AH 47.68 281-AH 25.21 311-AH 35.27 341-AH 100.00 142-AH 93.75 172-AH 10.45 252-AH 49.01 282-AH 17.69 312-AH 56.19 342-AH 68.13 143-AH 89.54 173-AH 100.00 253-AH 9.34 283-AH 35.01 313-AH 4.67 343-AH 25.00 144-AH 1.52 174-AH 100.00 254-AH 25.01 284-AH 57.80 314-AH 4.56 344-AH 44.73 145-AH 60.16 175-AH 76.93 255-AH 58.69 285-AH 71.23 315-AH 16.08 345-AH 5.95 146-AH 50.00 176-AH 92.88 256-AH 84.53 286-AH 4.48 316-AH 6.22 346-AH 0.13 147-AH 78.82 177-AH 29.74 257-AH 17.75 287-AH 44.45 317-AH 24.22 347-AH 17.61 148-AH 6.71 178-AH 1.77 258-AH 0.08 288-AH 14.27 318-AH 7.53 348-AH 100.00 149-AH 0.00 179-AH 56.05 259-AH 39.27 289-AH 79.45 319-AH 25.09 349-AH 46.40 150-AH 1.13 180-AH 74.93 260-AH 69.86 290-AH 18.28 320-AH 6.84 350-AH 64.43 151-AH 38.06 181-AH 79.98 261-AH 9.80 291-AH 43.40 321-AH 0.00 152-AH 60.49 182-AH 48.01 262-AH 32.46 292-AH 66.59 322-AH 3.19 153-AH 0.25 183-AH 11.65 263-AH 21.97 293-AH 57.96 323-AH 23.81 154-AH 26.38 184-AH 61.19 264-AH 41.00 294-AH 67.88 324-AH 11.32 155-AH 15.56 185-AH 25.00 265-AH 45.90 295-AH 24.58 325-AH 67.27 156-AH 4.93 186-AH 0.00 266-AH 0.38 296-AH 48.04 326-AH 21.68 157-AH 46.03 187-AH 33.33 267-AH 40.00 297-AH 39.37 327-AH 1.15 158-AH 46.44 188-AH 12.50 268-AH 68.21 298-AH 11.03 328-AH 35.80 159-AH 20.31 189-AH 73.38 269-AH 24.33 299-AH 34.54 329-AH 61.73 160-AH 2.76 190-AH 33.85 270-AH 77.25 300-AH 24.80 330-AH 81.92 161-AH 0.00 191-AH 0.00 271-AH 58.54 301-AH 43.58 331-AH 24.42 162-AH 25.00 192-AH 16.24 272-AH 21.15 302-AH 48.25 332-AH 38.16 163-AH 84.41 193-AH 35.17 273-AH 53.53 303-AH 35.44 333-AH 100.00 164-AH 6.54 194-AH 4.35 274-AH 9.20 304-AH 34.32 334-AH 15.14 165-AH 100.00 195-AH 0.00 275-AH 28.44 305-AH 27.50 335-AH 21.53 166-AH 0.00 196-AH 100.00 276-AH 51.24 306-AH 50.00 336-AH 3.67 167-AH 29.66 197-AH 83.35 277-AH 13.21 307-AH 31.63 337-AH 45.71 168-AH 34.28 198-AH 100.00 278-AH 13.28 308-AH 68.21 338-AH 46.50 169-AH 6.74 199-AH 68.35 279-AH 4.47 309-AH 5.22 339-AH 79.76 170-AH 100.00 200-AH 14.25 280-AH 7.31 310-AH 8.41 340-AH 42.97 657 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.75 ROBWSD1 10 docs 38.88 90% 15 docs 34.67 80% 20 docs 31.44 30 docs 27.71 70% 100 docs 14.86 60% 200 docs 9.14 Precision 500 docs 4.31 50% 1000 docs 2.34 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.89 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1213 Second Quartile 0.3507 Third Quartile 0.5572 Interquartile range 0.4359 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3689 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2898 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3689 20 15 Std With No Outliers 0.2898 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 658 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD1 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 49.23 281-AH 23.81 311-AH 44.44 341-AH 100.00 142-AH 87.50 172-AH 14.29 252-AH 44.83 282-AH 32.26 312-AH 67.74 342-AH 61.46 143-AH 82.05 173-AH 100.00 253-AH 16.32 283-AH 34.21 313-AH 5.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 35.81 284-AH 57.89 314-AH 5.56 344-AH 45.45 145-AH 55.26 175-AH 71.43 255-AH 50.00 285-AH 65.22 315-AH 23.73 345-AH 0.00 146-AH 50.00 176-AH 84.62 256-AH 73.53 286-AH 8.33 316-AH 1.69 346-AH 0.00 147-AH 64.71 177-AH 38.46 257-AH 25.40 287-AH 51.02 317-AH 30.00 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 25.00 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 72.22 319-AH 36.84 349-AH 44.44 150-AH 0.00 180-AH 67.50 260-AH 63.49 290-AH 20.41 320-AH 12.50 350-AH 60.00 151-AH 33.33 181-AH 73.91 261-AH 11.76 291-AH 40.00 321-AH 0.00 152-AH 54.55 182-AH 50.00 262-AH 36.47 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 25.00 293-AH 55.88 323-AH 23.08 154-AH 28.57 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 20.27 155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 35.29 325-AH 63.93 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00 157-AH 52.52 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 43.48 159-AH 27.78 189-AH 57.14 269-AH 33.33 299-AH 27.63 329-AH 58.82 160-AH 0.00 190-AH 44.44 270-AH 68.42 300-AH 33.33 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 43.75 331-AH 29.41 162-AH 0.00 192-AH 16.67 272-AH 14.29 302-AH 52.94 332-AH 25.00 163-AH 75.41 193-AH 28.57 273-AH 51.81 303-AH 42.86 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 18.75 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 34.85 305-AH 39.34 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 49.15 306-AH 0.00 336-AH 0.00 167-AH 20.00 197-AH 74.00 277-AH 26.92 307-AH 41.56 337-AH 45.00 168-AH 44.44 198-AH 100.00 278-AH 14.29 308-AH 63.64 338-AH 50.00 169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 11.11 280-AH 16.00 310-AH 14.29 340-AH 40.00 659 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,804 Pooled false Geometric Mean Average Precision 0.1838 Vector space model, query expansion Binary Preference (BPREF) 0.3913 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.41 ROBWSD2 10 67.04 90% 20 59.57 80% 30 51.51 40 47.06 70% 50 42.33 60% 60 35.88 Precision 70 30.32 50% 80 24.93 40% 90 20.09 30% 100 14.20 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 41.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1608 Second Quartile 0.3822 Third Quartile 0.6375 Interquartile range 0.4767 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4123 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2976 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4123 10 Std With No Outliers 0.2976 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 660 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 14.88 251-AH 42.14 281-AH 41.38 311-AH 37.97 341-AH 93.33 142-AH 94.64 172-AH 11.26 252-AH 63.27 282-AH 11.54 312-AH 59.03 342-AH 66.30 143-AH 73.76 173-AH 100.00 253-AH 19.12 283-AH 24.18 313-AH 21.99 343-AH 25.00 144-AH 1.39 174-AH 100.00 254-AH 31.82 284-AH 63.59 314-AH 5.61 344-AH 38.13 145-AH 66.63 175-AH 72.87 255-AH 19.01 285-AH 74.55 315-AH 16.86 345-AH 5.80 146-AH 50.11 176-AH 93.69 256-AH 87.71 286-AH 6.20 316-AH 19.62 346-AH 0.27 147-AH 77.23 177-AH 38.11 257-AH 20.78 287-AH 44.66 317-AH 23.02 347-AH 17.80 148-AH 17.62 178-AH 3.35 258-AH 2.95 288-AH 15.92 318-AH 5.43 348-AH 100.00 149-AH 0.00 179-AH 51.59 259-AH 33.83 289-AH 82.96 319-AH 34.19 349-AH 57.75 150-AH 1.39 180-AH 66.14 260-AH 68.92 290-AH 23.71 320-AH 5.11 350-AH 56.96 151-AH 28.65 181-AH 80.79 261-AH 32.58 291-AH 55.83 321-AH 0.00 152-AH 35.51 182-AH 50.77 262-AH 33.45 292-AH 64.29 322-AH 3.87 153-AH 0.13 183-AH 51.67 263-AH 26.60 293-AH 54.11 323-AH 30.49 154-AH 42.13 184-AH 58.48 264-AH 45.64 294-AH 67.91 324-AH 17.50 155-AH 11.43 185-AH 8.33 265-AH 39.46 295-AH 24.52 325-AH 72.97 156-AH 5.86 186-AH 0.00 266-AH 3.13 296-AH 58.41 326-AH 50.69 157-AH 49.23 187-AH 100.00 267-AH 40.40 297-AH 43.25 327-AH 2.51 158-AH 48.50 188-AH 3.85 268-AH 70.11 298-AH 10.25 328-AH 40.46 159-AH 12.16 189-AH 71.31 269-AH 33.70 299-AH 29.89 329-AH 66.53 160-AH 2.96 190-AH 55.59 270-AH 75.89 300-AH 28.30 330-AH 72.38 161-AH 0.00 191-AH 0.00 271-AH 51.45 301-AH 48.58 331-AH 52.00 162-AH 50.00 192-AH 39.25 272-AH 18.22 302-AH 50.91 332-AH 38.31 163-AH 87.33 193-AH 35.73 273-AH 62.18 303-AH 33.85 333-AH 100.00 164-AH 6.72 194-AH 33.33 274-AH 19.75 304-AH 38.49 334-AH 27.60 165-AH 100.00 195-AH 0.00 275-AH 46.16 305-AH 33.56 335-AH 31.10 166-AH 0.00 196-AH 100.00 276-AH 55.52 306-AH 100.00 336-AH 12.30 167-AH 28.25 197-AH 71.19 277-AH 16.23 307-AH 31.32 337-AH 84.63 168-AH 41.13 198-AH 100.00 278-AH 11.22 308-AH 66.33 338-AH 55.53 169-AH 9.09 199-AH 66.03 279-AH 10.09 309-AH 5.31 339-AH 82.05 170-AH 100.00 200-AH 57.12 280-AH 2.57 310-AH 6.11 340-AH 63.90 661 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.38 ROBWSD2 10 docs 41.38 90% 15 docs 36.75 80% 20 docs 33.56 30 docs 29.52 70% 100 docs 15.52 60% 200 docs 9.44 Precision 500 docs 4.41 50% 1000 docs 2.38 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.24 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1759 Second Quartile 0.4000 Third Quartile 0.6047 Interquartile range 0.4288 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4024 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2909 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4024 15 Std With No Outliers 0.2909 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 662 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD2 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 46.15 281-AH 42.86 311-AH 46.30 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 62.07 282-AH 25.81 312-AH 58.06 342-AH 60.42 143-AH 69.23 173-AH 100.00 253-AH 26.32 283-AH 31.58 313-AH 25.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 41.48 284-AH 60.53 314-AH 5.56 344-AH 42.42 145-AH 63.16 175-AH 71.43 255-AH 25.00 285-AH 71.01 315-AH 27.12 345-AH 0.00 146-AH 50.00 176-AH 84.62 256-AH 82.35 286-AH 8.33 316-AH 30.51 346-AH 0.00 147-AH 68.63 177-AH 38.46 257-AH 30.16 287-AH 53.06 317-AH 26.67 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 54.55 259-AH 33.33 289-AH 72.22 319-AH 36.84 349-AH 48.15 150-AH 0.00 180-AH 70.00 260-AH 61.90 290-AH 30.61 320-AH 6.25 350-AH 50.00 151-AH 33.33 181-AH 73.91 261-AH 35.29 291-AH 56.67 321-AH 0.00 152-AH 27.27 182-AH 75.00 262-AH 38.82 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 44.12 323-AH 26.92 154-AH 47.62 184-AH 55.56 264-AH 40.91 294-AH 70.37 324-AH 28.38 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 33.33 325-AH 70.49 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 50.00 157-AH 54.68 187-AH 100.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 16.67 328-AH 47.83 159-AH 18.52 189-AH 57.14 269-AH 44.44 299-AH 32.89 329-AH 64.71 160-AH 0.00 190-AH 44.44 270-AH 66.67 300-AH 30.95 330-AH 66.67 161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 50.00 331-AH 47.06 162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 52.94 332-AH 25.00 163-AH 78.69 193-AH 28.57 273-AH 56.63 303-AH 35.71 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 25.00 304-AH 33.33 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 50.00 305-AH 36.07 335-AH 40.00 166-AH 0.00 196-AH 100.00 276-AH 50.85 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 62.00 277-AH 30.77 307-AH 42.86 337-AH 75.00 168-AH 50.00 198-AH 100.00 278-AH 19.05 308-AH 63.64 338-AH 50.00 169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 0.00 339-AH 68.42 170-AH 100.00 200-AH 66.67 280-AH 0.00 310-AH 9.52 340-AH 60.00 663 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title Relevant retrieved 3,615 Pooled false Geometric Mean Average Precision 0.1049 Vector space model, query expansion Binary Preference (BPREF) 0.3453 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.78 ROBWSD3 10 55.72 90% 20 49.56 80% 30 43.78 40 39.70 70% 50 35.10 60% 60 30.35 Precision 70 25.77 50% 80 21.59 40% 90 17.49 30% 100 11.73 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.63 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0745 Second Quartile 0.2740 Third Quartile 0.5417 Interquartile range 0.4672 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3463 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3118 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3463 20 15 Std With No Outliers 0.3118 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 664 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 12.93 251-AH 21.18 281-AH 27.96 311-AH 19.80 341-AH 18.86 142-AH 97.05 172-AH 7.89 252-AH 49.57 282-AH 0.10 312-AH 62.08 342-AH 67.00 143-AH 92.90 173-AH 100.00 253-AH 6.99 283-AH 43.65 313-AH 0.97 343-AH 4.17 144-AH 1.30 174-AH 100.00 254-AH 26.84 284-AH 43.69 314-AH 1.56 344-AH 45.54 145-AH 54.91 175-AH 53.43 255-AH 15.39 285-AH 69.67 315-AH 30.89 345-AH 5.10 146-AH 50.00 176-AH 91.91 256-AH 80.40 286-AH 1.02 316-AH 6.22 346-AH 0.00 147-AH 74.60 177-AH 44.87 257-AH 20.91 287-AH 29.17 317-AH 17.53 347-AH 10.04 148-AH 17.47 178-AH 0.77 258-AH 0.08 288-AH 11.65 318-AH 8.57 348-AH 100.00 149-AH 0.00 179-AH 60.51 259-AH 0.18 289-AH 80.45 319-AH 17.67 349-AH 43.82 150-AH 0.00 180-AH 45.82 260-AH 59.66 290-AH 10.04 320-AH 2.77 350-AH 67.04 151-AH 42.47 181-AH 87.16 261-AH 0.99 291-AH 50.51 321-AH 0.00 152-AH 9.10 182-AH 4.57 262-AH 32.60 292-AH 9.75 322-AH 2.15 153-AH 0.15 183-AH 18.81 263-AH 18.38 293-AH 50.92 323-AH 17.48 154-AH 15.29 184-AH 45.54 264-AH 52.00 294-AH 68.75 324-AH 11.47 155-AH 11.54 185-AH 10.00 265-AH 68.69 295-AH 36.16 325-AH 49.77 156-AH 6.45 186-AH 0.00 266-AH 0.49 296-AH 65.61 326-AH 24.03 157-AH 39.66 187-AH 11.11 267-AH 40.30 297-AH 38.14 327-AH 2.93 158-AH 44.74 188-AH 5.00 268-AH 67.30 298-AH 3.91 328-AH 35.25 159-AH 46.41 189-AH 58.28 269-AH 26.24 299-AH 16.26 329-AH 50.63 160-AH 3.37 190-AH 40.76 270-AH 77.70 300-AH 24.01 330-AH 77.31 161-AH 0.00 191-AH 0.00 271-AH 52.70 301-AH 46.25 331-AH 29.11 162-AH 100.00 192-AH 22.21 272-AH 2.90 302-AH 45.69 332-AH 33.94 163-AH 75.84 193-AH 25.82 273-AH 64.01 303-AH 47.14 333-AH 100.00 164-AH 7.59 194-AH 0.00 274-AH 7.80 304-AH 28.36 334-AH 11.84 165-AH 100.00 195-AH 0.00 275-AH 23.31 305-AH 29.12 335-AH 4.90 166-AH 0.00 196-AH 100.00 276-AH 57.25 306-AH 100.00 336-AH 2.96 167-AH 38.33 197-AH 81.92 277-AH 6.94 307-AH 33.89 337-AH 80.94 168-AH 31.20 198-AH 100.00 278-AH 9.52 308-AH 59.34 338-AH 1.68 169-AH 7.84 199-AH 68.18 279-AH 7.59 309-AH 2.01 339-AH 76.25 170-AH 100.00 200-AH 10.05 280-AH 7.72 310-AH 7.32 340-AH 37.08 665 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 39.75 ROBWSD3 10 docs 35.56 90% 15 docs 31.92 80% 20 docs 29.78 30 docs 25.65 70% 100 docs 13.93 60% 200 docs 8.67 Precision 500 docs 4.17 50% 1000 docs 2.26 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.76 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0607 Second Quartile 0.3333 Third Quartile 0.5420 Interquartile range 0.4814 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3476 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2988 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3476 20 15 Std With No Outliers 0.2988 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 666 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD3 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 26.15 281-AH 33.33 311-AH 27.78 341-AH 33.33 142-AH 87.50 172-AH 14.29 252-AH 51.72 282-AH 0.00 312-AH 61.29 342-AH 52.08 143-AH 82.05 173-AH 100.00 253-AH 18.42 283-AH 50.00 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 37.12 284-AH 42.11 314-AH 0.00 344-AH 54.55 145-AH 52.63 175-AH 42.86 255-AH 25.00 285-AH 62.32 315-AH 38.98 345-AH 0.00 146-AH 50.00 176-AH 87.18 256-AH 79.41 286-AH 0.00 316-AH 1.69 346-AH 0.00 147-AH 60.78 177-AH 46.15 257-AH 28.57 287-AH 36.73 317-AH 33.33 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 23.68 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 54.55 259-AH 0.00 289-AH 72.22 319-AH 21.05 349-AH 44.44 150-AH 0.00 180-AH 45.00 260-AH 55.56 290-AH 10.20 320-AH 6.25 350-AH 60.00 151-AH 41.67 181-AH 79.35 261-AH 2.94 291-AH 46.67 321-AH 0.00 152-AH 18.18 182-AH 0.00 262-AH 37.65 292-AH 25.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 22.92 293-AH 44.12 323-AH 23.08 154-AH 14.29 184-AH 44.44 264-AH 45.45 294-AH 66.67 324-AH 17.57 155-AH 0.00 185-AH 0.00 265-AH 66.67 295-AH 43.14 325-AH 55.74 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 25.00 157-AH 46.76 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 0.00 328-AH 43.48 159-AH 48.15 189-AH 57.14 269-AH 33.33 299-AH 21.05 329-AH 47.06 160-AH 0.00 190-AH 44.44 270-AH 64.91 300-AH 35.71 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 43.75 331-AH 35.29 162-AH 100.00 192-AH 16.67 272-AH 7.14 302-AH 47.06 332-AH 25.00 163-AH 72.95 193-AH 28.57 273-AH 59.04 303-AH 42.86 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 33.33 305-AH 36.07 335-AH 0.00 166-AH 0.00 196-AH 100.00 276-AH 54.24 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 74.00 277-AH 19.23 307-AH 42.86 337-AH 75.00 168-AH 44.44 198-AH 100.00 278-AH 14.29 308-AH 54.55 338-AH 0.00 169-AH 16.67 199-AH 70.00 279-AH 25.00 309-AH 0.00 339-AH 68.42 170-AH 100.00 200-AH 11.11 280-AH 12.00 310-AH 11.11 340-AH 40.00 667 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,818 Pooled false Geometric Mean Average Precision 0.1835 Vector space model, no query expansion Binary Preference (BPREF) 0.3800 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.96 ROBWSD4 10 67.80 90% 20 59.58 80% 30 50.94 40 46.12 70% 50 40.97 60% 60 34.67 Precision 70 28.99 50% 80 24.18 40% 90 18.90 30% 100 13.17 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.42 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1647 Second Quartile 0.3806 Third Quartile 0.6176 Interquartile range 0.4529 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4042 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2875 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4042 10 Std With No Outliers 0.2875 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 668 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 14.15 251-AH 41.41 281-AH 39.34 311-AH 38.20 341-AH 88.89 142-AH 95.19 172-AH 13.80 252-AH 54.19 282-AH 14.31 312-AH 61.63 342-AH 63.02 143-AH 75.81 173-AH 100.00 253-AH 20.22 283-AH 21.41 313-AH 26.93 343-AH 33.33 144-AH 1.15 174-AH 100.00 254-AH 32.48 284-AH 57.38 314-AH 6.34 344-AH 36.43 145-AH 68.14 175-AH 66.34 255-AH 36.64 285-AH 73.25 315-AH 17.67 345-AH 4.86 146-AH 50.13 176-AH 93.83 256-AH 88.06 286-AH 6.92 316-AH 20.12 346-AH 0.30 147-AH 77.08 177-AH 30.41 257-AH 20.79 287-AH 44.09 317-AH 23.97 347-AH 16.42 148-AH 17.33 178-AH 4.39 258-AH 3.32 288-AH 16.52 318-AH 9.11 348-AH 100.00 149-AH 0.00 179-AH 40.91 259-AH 39.42 289-AH 77.26 319-AH 34.37 349-AH 45.73 150-AH 0.67 180-AH 68.77 260-AH 65.29 290-AH 26.34 320-AH 4.57 350-AH 56.66 151-AH 19.61 181-AH 80.99 261-AH 31.13 291-AH 53.92 321-AH 0.00 152-AH 37.91 182-AH 47.29 262-AH 36.18 292-AH 47.15 322-AH 4.09 153-AH 0.11 183-AH 48.48 263-AH 26.92 293-AH 63.91 323-AH 27.40 154-AH 41.44 184-AH 58.33 264-AH 44.41 294-AH 65.98 324-AH 18.80 155-AH 15.87 185-AH 10.00 265-AH 41.04 295-AH 22.93 325-AH 65.40 156-AH 5.81 186-AH 0.00 266-AH 3.16 296-AH 60.97 326-AH 32.62 157-AH 49.05 187-AH 100.00 267-AH 41.37 297-AH 43.36 327-AH 3.11 158-AH 38.30 188-AH 4.35 268-AH 68.31 298-AH 10.55 328-AH 42.99 159-AH 13.87 189-AH 68.93 269-AH 31.83 299-AH 27.80 329-AH 70.81 160-AH 3.26 190-AH 50.14 270-AH 73.28 300-AH 22.73 330-AH 69.83 161-AH 0.00 191-AH 0.00 271-AH 52.69 301-AH 52.82 331-AH 57.99 162-AH 100.00 192-AH 32.91 272-AH 17.31 302-AH 46.42 332-AH 45.27 163-AH 86.66 193-AH 35.50 273-AH 64.32 303-AH 29.50 333-AH 100.00 164-AH 9.46 194-AH 50.00 274-AH 23.24 304-AH 38.34 334-AH 30.61 165-AH 100.00 195-AH 0.00 275-AH 43.96 305-AH 31.95 335-AH 31.41 166-AH 0.00 196-AH 50.00 276-AH 51.66 306-AH 100.00 336-AH 21.09 167-AH 28.51 197-AH 71.45 277-AH 15.57 307-AH 31.11 337-AH 76.35 168-AH 40.31 198-AH 33.33 278-AH 13.68 308-AH 61.89 338-AH 60.09 169-AH 7.46 199-AH 65.85 279-AH 10.31 309-AH 4.45 339-AH 80.54 170-AH 100.00 200-AH 53.78 280-AH 2.89 310-AH 6.44 340-AH 68.33 669 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.38 ROBWSD4 10 docs 40.88 90% 15 docs 36.42 80% 20 docs 33.28 30 docs 28.94 70% 100 docs 15.50 60% 200 docs 9.46 Precision 500 docs 4.42 50% 1000 docs 2.39 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.49 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.3768 Third Quartile 0.5941 Interquartile range 0.3941 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3949 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2831 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3949 15 Std With No Outliers 0.2831 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 670 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD4 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 46.15 281-AH 35.71 311-AH 50.00 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 29.03 312-AH 61.29 342-AH 61.46 143-AH 71.79 173-AH 100.00 253-AH 28.95 283-AH 31.58 313-AH 25.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 41.48 284-AH 55.26 314-AH 5.56 344-AH 36.36 145-AH 65.79 175-AH 71.43 255-AH 25.00 285-AH 69.57 315-AH 23.73 345-AH 0.00 146-AH 50.00 176-AH 84.62 256-AH 82.35 286-AH 8.33 316-AH 30.51 346-AH 0.00 147-AH 68.63 177-AH 38.46 257-AH 31.75 287-AH 48.98 317-AH 23.33 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 40.91 259-AH 66.67 289-AH 72.22 319-AH 36.84 349-AH 40.74 150-AH 0.00 180-AH 67.50 260-AH 60.32 290-AH 32.65 320-AH 6.25 350-AH 50.00 151-AH 33.33 181-AH 73.91 261-AH 38.24 291-AH 50.00 321-AH 0.00 152-AH 27.27 182-AH 50.00 262-AH 37.65 292-AH 25.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 58.82 323-AH 23.08 154-AH 42.86 184-AH 55.56 264-AH 40.91 294-AH 66.67 324-AH 25.68 155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 29.41 325-AH 63.93 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 25.00 157-AH 55.40 187-AH 100.00 267-AH 38.10 297-AH 50.00 327-AH 0.00 158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 52.17 159-AH 20.37 189-AH 57.14 269-AH 44.44 299-AH 32.89 329-AH 70.59 160-AH 0.00 190-AH 44.44 270-AH 63.16 300-AH 28.57 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 50.00 331-AH 58.82 162-AH 100.00 192-AH 33.33 272-AH 21.43 302-AH 47.06 332-AH 37.50 163-AH 76.23 193-AH 28.57 273-AH 57.83 303-AH 35.71 333-AH 100.00 164-AH 7.41 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 51.52 305-AH 37.70 335-AH 46.67 166-AH 0.00 196-AH 0.00 276-AH 47.46 306-AH 100.00 336-AH 29.41 167-AH 20.00 197-AH 60.00 277-AH 26.92 307-AH 44.16 337-AH 75.00 168-AH 50.00 198-AH 0.00 278-AH 19.05 308-AH 63.64 338-AH 60.00 169-AH 0.00 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 73.68 170-AH 100.00 200-AH 55.56 280-AH 0.00 310-AH 11.11 340-AH 60.00 671 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,766 Pooled false Geometric Mean Average Precision 0.1634 Vector space model, no query expansion Binary Preference (BPREF) 0.3584 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.17 ROBWSD5 10 62.47 90% 20 55.63 80% 30 48.16 40 43.69 70% 50 39.05 60% 60 32.29 Precision 70 26.96 50% 80 23.37 40% 90 18.40 30% 100 13.13 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.10 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1324 Second Quartile 0.3334 Third Quartile 0.5884 Interquartile range 0.4560 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3810 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2945 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3810 10 Std With No Outliers 0.2945 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 672 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 13.21 251-AH 48.02 281-AH 26.99 311-AH 33.86 341-AH 92.42 142-AH 94.64 172-AH 8.27 252-AH 44.00 282-AH 21.74 312-AH 56.56 342-AH 68.38 143-AH 87.06 173-AH 100.00 253-AH 8.69 283-AH 37.39 313-AH 5.12 343-AH 20.00 144-AH 1.08 174-AH 100.00 254-AH 25.63 284-AH 56.39 314-AH 5.63 344-AH 44.55 145-AH 58.57 175-AH 76.64 255-AH 59.11 285-AH 66.95 315-AH 19.56 345-AH 4.54 146-AH 50.00 176-AH 92.45 256-AH 88.05 286-AH 5.35 316-AH 17.02 346-AH 0.27 147-AH 80.26 177-AH 27.30 257-AH 16.43 287-AH 37.62 317-AH 24.28 347-AH 15.81 148-AH 9.08 178-AH 1.82 258-AH 0.21 288-AH 12.93 318-AH 18.67 348-AH 100.00 149-AH 0.00 179-AH 43.01 259-AH 67.07 289-AH 63.95 319-AH 23.11 349-AH 38.00 150-AH 0.53 180-AH 69.33 260-AH 68.50 290-AH 26.86 320-AH 6.66 350-AH 64.92 151-AH 29.08 181-AH 80.98 261-AH 8.98 291-AH 40.43 321-AH 0.00 152-AH 62.28 182-AH 42.91 262-AH 36.31 292-AH 50.15 322-AH 4.16 153-AH 0.18 183-AH 14.68 263-AH 22.29 293-AH 67.20 323-AH 23.12 154-AH 29.72 184-AH 53.93 264-AH 32.13 294-AH 64.54 324-AH 14.66 155-AH 9.66 185-AH 33.33 265-AH 46.83 295-AH 20.82 325-AH 61.89 156-AH 5.07 186-AH 0.00 266-AH 1.17 296-AH 51.85 326-AH 38.50 157-AH 47.11 187-AH 33.33 267-AH 42.25 297-AH 40.24 327-AH 1.82 158-AH 34.56 188-AH 10.00 268-AH 66.96 298-AH 10.67 328-AH 41.63 159-AH 20.71 189-AH 68.46 269-AH 25.22 299-AH 30.35 329-AH 64.99 160-AH 3.24 190-AH 46.01 270-AH 73.42 300-AH 23.90 330-AH 82.19 161-AH 0.00 191-AH 0.00 271-AH 52.53 301-AH 48.22 331-AH 33.97 162-AH 50.00 192-AH 16.16 272-AH 16.65 302-AH 42.53 332-AH 44.14 163-AH 85.31 193-AH 37.99 273-AH 55.01 303-AH 27.48 333-AH 100.00 164-AH 14.03 194-AH 7.14 274-AH 11.52 304-AH 33.34 334-AH 14.77 165-AH 100.00 195-AH 0.00 275-AH 28.33 305-AH 28.14 335-AH 19.58 166-AH 0.00 196-AH 100.00 276-AH 54.03 306-AH 100.00 336-AH 4.95 167-AH 29.52 197-AH 88.65 277-AH 13.28 307-AH 26.43 337-AH 38.46 168-AH 36.97 198-AH 100.00 278-AH 17.28 308-AH 62.53 338-AH 48.68 169-AH 7.25 199-AH 63.32 279-AH 10.72 309-AH 4.34 339-AH 72.98 170-AH 100.00 200-AH 28.85 280-AH 7.13 310-AH 9.09 340-AH 36.21 673 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 47.13 ROBWSD5 10 docs 38.44 90% 15 docs 34.67 80% 20 docs 31.81 30 docs 27.83 70% 100 docs 14.91 60% 200 docs 9.21 Precision 500 docs 4.33 50% 1000 docs 2.35 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.12 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1623 Second Quartile 0.3370 Third Quartile 0.5541 Interquartile range 0.3918 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3712 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2814 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3712 15 Std With No Outliers 0.2814 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ROBWSD5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ROBWSD5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ROBWSD5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ROBWSD5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ROBWSD5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ROBWSD5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ROBWSD5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 674 reina 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.REINA.ROBWSD5 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 49.23 281-AH 23.81 311-AH 42.59 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 41.38 282-AH 29.03 312-AH 61.29 342-AH 58.33 143-AH 76.92 173-AH 100.00 253-AH 16.84 283-AH 36.84 313-AH 5.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 34.06 284-AH 47.37 314-AH 5.56 344-AH 48.48 145-AH 55.26 175-AH 57.14 255-AH 50.00 285-AH 62.32 315-AH 25.42 345-AH 0.00 146-AH 50.00 176-AH 82.05 256-AH 79.41 286-AH 8.33 316-AH 21.19 346-AH 0.00 147-AH 64.71 177-AH 30.77 257-AH 23.81 287-AH 44.90 317-AH 36.67 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 27.63 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 40.91 259-AH 66.67 289-AH 61.11 319-AH 26.32 349-AH 33.33 150-AH 0.00 180-AH 65.00 260-AH 61.90 290-AH 36.73 320-AH 12.50 350-AH 70.00 151-AH 33.33 181-AH 75.00 261-AH 11.76 291-AH 36.67 321-AH 0.00 152-AH 54.55 182-AH 50.00 262-AH 38.82 292-AH 25.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 22.92 293-AH 58.82 323-AH 26.92 154-AH 28.57 184-AH 55.56 264-AH 31.82 294-AH 62.96 324-AH 20.27 155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 27.45 325-AH 60.66 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00 157-AH 53.96 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 0.00 158-AH 32.35 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 52.17 159-AH 25.93 189-AH 57.14 269-AH 22.22 299-AH 27.63 329-AH 58.82 160-AH 0.00 190-AH 44.44 270-AH 63.16 300-AH 35.71 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 50.00 331-AH 35.29 162-AH 0.00 192-AH 16.67 272-AH 21.43 302-AH 47.06 332-AH 37.50 163-AH 76.23 193-AH 42.86 273-AH 53.01 303-AH 35.71 333-AH 100.00 164-AH 14.81 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 33.33 305-AH 31.15 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 52.54 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 76.00 277-AH 26.92 307-AH 37.66 337-AH 45.00 168-AH 44.44 198-AH 100.00 278-AH 19.05 308-AH 63.64 338-AH 50.00 169-AH 0.00 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 33.33 280-AH 12.00 310-AH 17.46 340-AH 20.00 675 ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UFRGS.WSD_MONOLINGUAL AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,004 Pooled false Geometric Mean Average Precision 0.0664 WSD Monolingual UFRGS Binary Preference (BPREF) 0.2565 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 54.74 WSD_MONOLINGUAL 10 44.36 90% 20 37.09 80% 30 29.17 40 24.97 70% 50 21.12 60% 60 16.81 Precision 70 13.46 50% 80 11.35 40% 90 8.61 30% 100 6.60 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.79 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0433 Second Quartile 0.1435 Third Quartile 0.3403 Interquartile range 0.2970 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2279 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2493 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 0.7654 30 Mean With No Outliers 0.1866 20 Std With No Outliers 0.1866 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 WSD_MONOLINGUAL Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 WSD_MONOLINGUAL Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 WSD_MONOLINGUAL Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 WSD_MONOLINGUAL Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 WSD_MONOLINGUAL Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 WSD_MONOLINGUAL Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 WSD_MONOLINGUAL Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 676 ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UFRGS.WSD_MONOLINGUAL AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.55 171-AH 0.18 251-AH 43.19 281-AH 25.31 311-AH 14.30 341-AH 85.42 142-AH 41.94 172-AH 14.15 252-AH 2.65 282-AH 14.63 312-AH 37.42 342-AH 42.90 143-AH 39.54 173-AH 100.00 253-AH 3.29 283-AH 2.19 313-AH 20.13 343-AH 2.27 144-AH 5.11 174-AH 83.33 254-AH 4.35 284-AH 38.60 314-AH 5.64 344-AH 36.02 145-AH 54.51 175-AH 76.54 255-AH 4.28 285-AH 8.84 315-AH 34.79 345-AH 6.90 146-AH 16.90 176-AH 80.71 256-AH 6.65 286-AH 1.44 316-AH 13.58 346-AH 5.27 147-AH 33.27 177-AH 20.74 257-AH 12.33 287-AH 9.83 317-AH 15.72 347-AH 6.86 148-AH 4.62 178-AH 0.33 258-AH 2.70 288-AH 6.31 318-AH 15.81 348-AH 0.00 149-AH 0.00 179-AH 26.56 259-AH 57.37 289-AH 0.15 319-AH 10.42 349-AH 7.60 150-AH 11.78 180-AH 14.41 260-AH 57.35 290-AH 13.22 320-AH 11.55 350-AH 15.78 151-AH 24.48 181-AH 64.70 261-AH 10.29 291-AH 29.50 321-AH 0.00 152-AH 44.98 182-AH 21.73 262-AH 10.23 292-AH 100.00 322-AH 16.83 153-AH 0.00 183-AH 5.96 263-AH 10.65 293-AH 37.17 323-AH 26.10 154-AH 23.00 184-AH 63.23 264-AH 28.35 294-AH 60.35 324-AH 0.27 155-AH 20.05 185-AH 3.70 265-AH 7.19 295-AH 18.20 325-AH 37.82 156-AH 4.69 186-AH 0.00 266-AH 0.36 296-AH 1.58 326-AH 25.57 157-AH 7.23 187-AH 3.85 267-AH 24.55 297-AH 23.80 327-AH 6.03 158-AH 14.44 188-AH 0.20 268-AH 7.55 298-AH 14.53 328-AH 52.46 159-AH 7.81 189-AH 68.38 269-AH 22.09 299-AH 15.18 329-AH 79.84 160-AH 4.31 190-AH 30.21 270-AH 0.29 300-AH 21.53 330-AH 21.21 161-AH 0.00 191-AH 0.00 271-AH 43.90 301-AH 2.34 331-AH 3.48 162-AH 100.00 192-AH 21.51 272-AH 0.96 302-AH 19.82 332-AH 12.99 163-AH 68.86 193-AH 43.64 273-AH 52.37 303-AH 10.59 333-AH 1.11 164-AH 5.13 194-AH 50.00 274-AH 26.57 304-AH 29.97 334-AH 22.39 165-AH 12.50 195-AH 0.00 275-AH 17.05 305-AH 16.99 335-AH 28.45 166-AH 0.00 196-AH 50.00 276-AH 23.55 306-AH 100.00 336-AH 0.00 167-AH 6.51 197-AH 9.91 277-AH 4.81 307-AH 1.83 337-AH 54.20 168-AH 1.73 198-AH 4.55 278-AH 5.96 308-AH 63.20 338-AH 43.36 169-AH 1.04 199-AH 44.39 279-AH 2.15 309-AH 2.31 339-AH 3.91 170-AH 100.00 200-AH 26.62 280-AH 0.32 310-AH 7.07 340-AH 47.68 677 ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UFRGS.WSD_MONOLINGUAL AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 33.38 WSD_MONOLINGUAL 10 docs 26.75 90% 15 docs 23.54 80% 20 docs 21.19 30 docs 18.23 70% 100 docs 9.63 60% 200 docs 6.32 Precision 500 docs 3.25 50% 1000 docs 1.88 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.04 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1968 Third Quartile 0.3696 Interquartile range 0.3696 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2404 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2413 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 0.7647 30 Mean With No Outliers 0.2159 20 Std With No Outliers 0.2020 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 WSD_MONOLINGUAL Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 WSD_MONOLINGUAL Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 WSD_MONOLINGUAL Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 WSD_MONOLINGUAL Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 WSD_MONOLINGUAL Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 WSD_MONOLINGUAL Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 WSD_MONOLINGUAL Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 678 ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UFRGS.WSD_MONOLINGUAL AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 40.00 281-AH 35.71 311-AH 24.07 341-AH 66.67 142-AH 50.00 172-AH 14.29 252-AH 6.90 282-AH 19.35 312-AH 41.94 342-AH 44.79 143-AH 43.59 173-AH 100.00 253-AH 8.42 283-AH 5.26 313-AH 25.00 343-AH 0.00 144-AH 0.00 174-AH 50.00 254-AH 14.41 284-AH 47.37 314-AH 5.56 344-AH 39.39 145-AH 50.00 175-AH 71.43 255-AH 0.00 285-AH 18.84 315-AH 49.15 345-AH 22.22 146-AH 0.00 176-AH 71.79 256-AH 14.71 286-AH 0.00 316-AH 15.25 346-AH 0.00 147-AH 37.25 177-AH 23.08 257-AH 23.81 287-AH 20.41 317-AH 30.00 347-AH 11.11 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 9.21 318-AH 22.22 348-AH 0.00 149-AH 0.00 179-AH 31.82 259-AH 66.67 289-AH 0.00 319-AH 10.53 349-AH 7.41 150-AH 0.00 180-AH 25.00 260-AH 52.38 290-AH 26.53 320-AH 18.75 350-AH 20.00 151-AH 33.33 181-AH 60.87 261-AH 14.71 291-AH 36.67 321-AH 0.00 152-AH 36.36 182-AH 25.00 262-AH 17.65 292-AH 100.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 20.83 293-AH 44.12 323-AH 23.08 154-AH 33.33 184-AH 66.67 264-AH 31.82 294-AH 59.26 324-AH 0.00 155-AH 33.33 185-AH 0.00 265-AH 16.67 295-AH 29.41 325-AH 39.34 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 8.33 326-AH 25.00 157-AH 14.39 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00 158-AH 17.65 188-AH 0.00 268-AH 0.00 298-AH 23.33 328-AH 60.87 159-AH 9.26 189-AH 71.43 269-AH 22.22 299-AH 26.32 329-AH 76.47 160-AH 0.00 190-AH 44.44 270-AH 1.75 300-AH 35.71 330-AH 29.41 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 6.25 331-AH 5.88 162-AH 100.00 192-AH 16.67 272-AH 0.00 302-AH 23.53 332-AH 12.50 163-AH 62.30 193-AH 42.86 273-AH 50.60 303-AH 7.14 333-AH 0.00 164-AH 7.41 194-AH 0.00 274-AH 37.50 304-AH 26.67 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 22.73 305-AH 29.51 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 27.12 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 14.00 277-AH 7.69 307-AH 9.09 337-AH 50.00 168-AH 5.56 198-AH 0.00 278-AH 14.29 308-AH 54.55 338-AH 40.00 169-AH 0.00 199-AH 50.00 279-AH 0.00 309-AH 0.00 339-AH 0.00 170-AH 100.00 200-AH 33.33 280-AH 4.00 310-AH 14.29 340-AH 40.00 679 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKEYSYNRF AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,941 Pooled false Geometric Mean Average Precision 0.1960 NLevels keyword BM25 lucene +synset BM25 lucene + Binary Preference (BPREF) 0.4188 keyword RF synset RF Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.60 UNIBAKEYSYNRF 10 68.27 90% 20 62.57 80% 30 54.46 40 49.44 70% 50 45.13 60% 60 38.82 Precision 70 31.68 50% 80 27.03 40% 90 21.91 30% 100 15.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 43.46 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1965 Second Quartile 0.4100 Third Quartile 0.6462 Interquartile range 0.4497 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4346 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2977 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.4346 10 Std With No Outliers 0.2977 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKEYSYNRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKEYSYNRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKEYSYNRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKEYSYNRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKEYSYNRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKEYSYNRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKEYSYNRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 680 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKEYSYNRF AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 3.95 251-AH 54.17 281-AH 52.65 311-AH 23.36 341-AH 69.55 142-AH 93.38 172-AH 13.38 252-AH 56.83 282-AH 11.85 312-AH 58.89 342-AH 74.42 143-AH 78.66 173-AH 100.00 253-AH 46.98 283-AH 36.63 313-AH 6.44 343-AH 0.87 144-AH 83.33 174-AH 100.00 254-AH 22.98 284-AH 56.98 314-AH 6.39 344-AH 47.41 145-AH 63.53 175-AH 72.67 255-AH 44.91 285-AH 84.43 315-AH 41.15 345-AH 22.80 146-AH 50.65 176-AH 81.34 256-AH 74.71 286-AH 2.84 316-AH 10.93 346-AH 11.24 147-AH 65.21 177-AH 24.10 257-AH 28.81 287-AH 34.04 317-AH 30.27 347-AH 11.00 148-AH 5.01 178-AH 36.09 258-AH 18.28 288-AH 19.64 318-AH 7.13 348-AH 100.00 149-AH 0.00 179-AH 72.88 259-AH 67.20 289-AH 75.86 319-AH 31.97 349-AH 45.08 150-AH 7.39 180-AH 56.35 260-AH 55.78 290-AH 11.40 320-AH 1.72 350-AH 46.20 151-AH 40.85 181-AH 84.82 261-AH 36.98 291-AH 55.39 321-AH 0.00 152-AH 22.08 182-AH 8.97 262-AH 31.38 292-AH 64.88 322-AH 5.09 153-AH 0.27 183-AH 60.00 263-AH 29.97 293-AH 55.65 323-AH 30.20 154-AH 33.47 184-AH 61.68 264-AH 58.47 294-AH 62.97 324-AH 48.90 155-AH 30.63 185-AH 25.00 265-AH 61.96 295-AH 29.51 325-AH 57.73 156-AH 19.66 186-AH 0.00 266-AH 1.50 296-AH 42.06 326-AH 35.47 157-AH 52.70 187-AH 50.00 267-AH 26.02 297-AH 36.80 327-AH 55.19 158-AH 57.15 188-AH 0.14 268-AH 55.97 298-AH 15.45 328-AH 70.29 159-AH 30.26 189-AH 98.21 269-AH 38.86 299-AH 36.67 329-AH 69.80 160-AH 3.79 190-AH 64.35 270-AH 62.73 300-AH 25.78 330-AH 77.89 161-AH 0.00 191-AH 0.00 271-AH 51.36 301-AH 0.89 331-AH 73.67 162-AH 100.00 192-AH 67.42 272-AH 10.10 302-AH 40.49 332-AH 41.80 163-AH 84.11 193-AH 52.56 273-AH 70.20 303-AH 25.56 333-AH 100.00 164-AH 9.15 194-AH 100.00 274-AH 35.89 304-AH 27.13 334-AH 39.88 165-AH 100.00 195-AH 0.00 275-AH 31.80 305-AH 20.63 335-AH 20.59 166-AH 0.00 196-AH 100.00 276-AH 48.23 306-AH 100.00 336-AH 22.02 167-AH 3.33 197-AH 59.91 277-AH 27.64 307-AH 25.09 337-AH 85.09 168-AH 70.40 198-AH 100.00 278-AH 36.86 308-AH 74.15 338-AH 75.31 169-AH 16.83 199-AH 58.06 279-AH 19.48 309-AH 4.12 339-AH 59.64 170-AH 100.00 200-AH 70.15 280-AH 3.64 310-AH 4.45 340-AH 50.56 681 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKEYSYNRF AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 49.75 UNIBAKEYSYNRF 10 docs 41.88 90% 15 docs 36.83 80% 20 docs 33.78 30 docs 29.23 70% 100 docs 16.05 60% 200 docs 9.88 Precision 500 docs 4.62 50% 1000 docs 2.46 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2306 Second Quartile 0.4000 Third Quartile 0.6000 Interquartile range 0.3694 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4153 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2852 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4153 15 Std With No Outliers 0.2852 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAKEYSYNRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAKEYSYNRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAKEYSYNRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAKEYSYNRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAKEYSYNRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAKEYSYNRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAKEYSYNRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 682 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAKEYSYNRF AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 50.77 281-AH 52.38 311-AH 27.78 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 22.58 312-AH 51.61 342-AH 70.83 143-AH 76.92 173-AH 100.00 253-AH 52.11 283-AH 36.84 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.00 284-AH 47.37 314-AH 0.00 344-AH 51.52 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 76.81 315-AH 50.85 345-AH 22.22 146-AH 50.00 176-AH 66.67 256-AH 70.59 286-AH 0.00 316-AH 17.80 346-AH 9.09 147-AH 62.75 177-AH 38.46 257-AH 38.10 287-AH 40.82 317-AH 40.00 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 32.89 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 77.78 319-AH 31.58 349-AH 40.74 150-AH 0.00 180-AH 50.00 260-AH 55.56 290-AH 12.24 320-AH 0.00 350-AH 40.00 151-AH 41.67 181-AH 76.09 261-AH 50.00 291-AH 60.00 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 32.94 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 33.33 293-AH 55.88 323-AH 30.77 154-AH 28.57 184-AH 55.56 264-AH 50.00 294-AH 70.37 324-AH 58.11 155-AH 33.33 185-AH 0.00 265-AH 66.67 295-AH 43.14 325-AH 52.46 156-AH 27.27 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 25.00 157-AH 56.83 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 25.00 158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 60.87 159-AH 31.48 189-AH 85.71 269-AH 33.33 299-AH 36.84 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 57.89 300-AH 26.19 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 64.71 162-AH 100.00 192-AH 66.67 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 77.05 193-AH 42.86 273-AH 59.04 303-AH 35.71 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 37.50 304-AH 26.67 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 43.94 305-AH 31.15 335-AH 26.67 166-AH 0.00 196-AH 100.00 276-AH 50.85 306-AH 100.00 336-AH 23.53 167-AH 0.00 197-AH 52.00 277-AH 38.46 307-AH 28.57 337-AH 80.00 168-AH 55.56 198-AH 100.00 278-AH 38.10 308-AH 63.64 338-AH 60.00 169-AH 16.67 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 47.37 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 60.00 683 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0802 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,920 Pooled false Geometric Mean Average Precision 0.1893 Mono NLevels 1 Binary Preference (BPREF) 0.4043 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.84 UNIBAWSDNL0802 10 67.05 90% 20 61.12 80% 30 52.82 40 48.00 70% 50 43.83 60% 60 37.60 Precision 70 30.90 50% 80 25.91 40% 90 20.90 30% 100 14.66 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 42.18 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1968 Second Quartile 0.4112 Third Quartile 0.6178 Interquartile range 0.4210 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4218 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2919 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4218 10 Std With No Outliers 0.2919 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDNL0802 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDNL0802 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDNL0802 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDNL0802 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDNL0802 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDNL0802 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDNL0802 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 684 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0802 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 3.96 251-AH 48.71 281-AH 52.65 311-AH 23.26 341-AH 68.66 142-AH 93.38 172-AH 13.12 252-AH 56.95 282-AH 11.48 312-AH 61.52 342-AH 73.65 143-AH 78.66 173-AH 100.00 253-AH 46.92 283-AH 28.50 313-AH 6.39 343-AH 0.65 144-AH 75.56 174-AH 100.00 254-AH 22.91 284-AH 57.05 314-AH 6.49 344-AH 47.41 145-AH 63.18 175-AH 72.67 255-AH 44.35 285-AH 82.76 315-AH 40.40 345-AH 21.71 146-AH 50.65 176-AH 93.37 256-AH 74.71 286-AH 2.84 316-AH 10.40 346-AH 5.36 147-AH 65.20 177-AH 23.69 257-AH 27.65 287-AH 33.25 317-AH 28.95 347-AH 17.85 148-AH 17.58 178-AH 35.89 258-AH 18.28 288-AH 14.02 318-AH 7.15 348-AH 100.00 149-AH 0.00 179-AH 59.50 259-AH 67.28 289-AH 75.87 319-AH 31.09 349-AH 42.56 150-AH 7.17 180-AH 63.93 260-AH 56.01 290-AH 11.39 320-AH 1.98 350-AH 49.59 151-AH 44.21 181-AH 84.78 261-AH 35.44 291-AH 55.39 321-AH 0.00 152-AH 20.96 182-AH 8.94 262-AH 30.95 292-AH 64.88 322-AH 5.13 153-AH 0.25 183-AH 54.05 263-AH 28.67 293-AH 54.71 323-AH 29.62 154-AH 33.77 184-AH 61.68 264-AH 56.11 294-AH 62.58 324-AH 48.89 155-AH 30.63 185-AH 25.00 265-AH 61.89 295-AH 29.51 325-AH 55.09 156-AH 19.65 186-AH 0.00 266-AH 1.50 296-AH 41.94 326-AH 37.97 157-AH 43.98 187-AH 50.00 267-AH 20.37 297-AH 28.42 327-AH 55.19 158-AH 57.11 188-AH 0.14 268-AH 50.41 298-AH 13.84 328-AH 67.37 159-AH 30.22 189-AH 98.21 269-AH 26.34 299-AH 35.25 329-AH 60.92 160-AH 3.77 190-AH 64.81 270-AH 54.88 300-AH 25.45 330-AH 77.91 161-AH 0.00 191-AH 0.00 271-AH 51.85 301-AH 0.92 331-AH 60.45 162-AH 100.00 192-AH 67.07 272-AH 10.80 302-AH 40.44 332-AH 41.80 163-AH 82.54 193-AH 52.36 273-AH 70.13 303-AH 25.42 333-AH 100.00 164-AH 9.16 194-AH 100.00 274-AH 35.89 304-AH 27.13 334-AH 33.04 165-AH 100.00 195-AH 0.00 275-AH 31.20 305-AH 19.72 335-AH 19.94 166-AH 0.00 196-AH 50.00 276-AH 43.93 306-AH 100.00 336-AH 22.01 167-AH 3.87 197-AH 59.13 277-AH 27.64 307-AH 25.08 337-AH 81.53 168-AH 46.87 198-AH 100.00 278-AH 36.73 308-AH 70.66 338-AH 74.03 169-AH 2.00 199-AH 57.16 279-AH 43.68 309-AH 3.84 339-AH 59.06 170-AH 100.00 200-AH 70.15 280-AH 3.64 310-AH 4.32 340-AH 38.67 685 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0802 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 48.38 UNIBAWSDNL0802 10 docs 40.81 90% 15 docs 36.38 80% 20 docs 33.34 30 docs 28.88 70% 100 docs 15.76 60% 200 docs 9.73 Precision 500 docs 4.56 50% 1000 docs 2.45 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.32 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1952 Second Quartile 0.3846 Third Quartile 0.5763 Interquartile range 0.3810 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4032 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2854 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4032 15 Std With No Outliers 0.2854 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDNL0802 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDNL0802 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDNL0802 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDNL0802 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDNL0802 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDNL0802 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDNL0802 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 686 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0802 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 43.08 281-AH 50.00 311-AH 25.93 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 22.58 312-AH 51.61 342-AH 71.88 143-AH 76.92 173-AH 100.00 253-AH 52.11 283-AH 34.21 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 31.00 284-AH 52.63 314-AH 0.00 344-AH 51.52 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 76.81 315-AH 50.85 345-AH 22.22 146-AH 50.00 176-AH 84.62 256-AH 70.59 286-AH 0.00 316-AH 17.80 346-AH 0.00 147-AH 62.75 177-AH 38.46 257-AH 38.10 287-AH 40.82 317-AH 36.67 347-AH 11.11 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 26.32 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 50.00 259-AH 66.67 289-AH 77.78 319-AH 31.58 349-AH 37.04 150-AH 0.00 180-AH 62.50 260-AH 55.56 290-AH 12.24 320-AH 6.25 350-AH 40.00 151-AH 41.67 181-AH 76.09 261-AH 47.06 291-AH 60.00 321-AH 0.00 152-AH 18.18 182-AH 0.00 262-AH 32.94 292-AH 50.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 33.33 293-AH 52.94 323-AH 30.77 154-AH 33.33 184-AH 55.56 264-AH 54.55 294-AH 70.37 324-AH 58.11 155-AH 33.33 185-AH 0.00 265-AH 66.67 295-AH 43.14 325-AH 52.46 156-AH 27.27 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 50.00 157-AH 49.64 187-AH 0.00 267-AH 19.05 297-AH 33.33 327-AH 25.00 158-AH 47.06 188-AH 0.00 268-AH 33.33 298-AH 16.67 328-AH 56.52 159-AH 31.48 189-AH 85.71 269-AH 33.33 299-AH 35.53 329-AH 52.94 160-AH 0.00 190-AH 55.56 270-AH 49.12 300-AH 26.19 330-AH 70.59 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 64.71 162-AH 100.00 192-AH 66.67 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 75.41 193-AH 42.86 273-AH 59.04 303-AH 35.71 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 37.50 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 42.42 305-AH 31.15 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 45.76 306-AH 100.00 336-AH 23.53 167-AH 0.00 197-AH 52.00 277-AH 38.46 307-AH 28.57 337-AH 80.00 168-AH 44.44 198-AH 100.00 278-AH 38.10 308-AH 63.64 338-AH 60.00 169-AH 0.00 199-AH 60.00 279-AH 50.00 309-AH 0.00 339-AH 63.16 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 40.00 687 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0901 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,907 Pooled false Geometric Mean Average Precision 0.1864 Mono NLevels 2 Binary Preference (BPREF) 0.4062 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 74.17 UNIBAWSDNL0901 10 66.75 90% 20 61.37 80% 30 53.11 40 48.07 70% 50 43.98 60% 60 37.64 Precision 70 31.01 50% 80 26.23 40% 90 21.07 30% 100 14.90 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 42.22 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1838 Second Quartile 0.4189 Third Quartile 0.6106 Interquartile range 0.4268 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4222 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2933 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 1.0000 15 Mean With No Outliers 0.4222 10 Std With No Outliers 0.2933 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDNL0901 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDNL0901 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDNL0901 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDNL0901 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDNL0901 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDNL0901 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDNL0901 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 688 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0901 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 4.16 251-AH 47.48 281-AH 50.96 311-AH 23.44 341-AH 67.90 142-AH 95.83 172-AH 14.78 252-AH 56.09 282-AH 9.74 312-AH 60.84 342-AH 75.16 143-AH 78.44 173-AH 100.00 253-AH 46.27 283-AH 28.36 313-AH 5.57 343-AH 0.59 144-AH 75.56 174-AH 100.00 254-AH 21.75 284-AH 57.23 314-AH 6.18 344-AH 46.43 145-AH 62.74 175-AH 72.67 255-AH 44.10 285-AH 82.35 315-AH 39.97 345-AH 19.56 146-AH 50.64 176-AH 93.18 256-AH 78.53 286-AH 2.48 316-AH 9.17 346-AH 5.44 147-AH 64.87 177-AH 22.30 257-AH 27.82 287-AH 33.52 317-AH 28.51 347-AH 18.41 148-AH 17.54 178-AH 35.71 258-AH 18.18 288-AH 11.54 318-AH 7.01 348-AH 100.00 149-AH 0.00 179-AH 64.93 259-AH 67.23 289-AH 76.74 319-AH 30.50 349-AH 42.03 150-AH 5.50 180-AH 60.84 260-AH 54.34 290-AH 10.98 320-AH 1.71 350-AH 52.38 151-AH 44.75 181-AH 84.63 261-AH 34.21 291-AH 49.11 321-AH 0.00 152-AH 22.00 182-AH 8.91 262-AH 30.43 292-AH 56.55 322-AH 4.17 153-AH 0.22 183-AH 57.50 263-AH 28.77 293-AH 52.52 323-AH 28.54 154-AH 33.78 184-AH 60.86 264-AH 55.16 294-AH 61.26 324-AH 55.22 155-AH 50.62 185-AH 25.00 265-AH 58.17 295-AH 28.78 325-AH 55.62 156-AH 18.35 186-AH 0.00 266-AH 1.29 296-AH 49.42 326-AH 35.55 157-AH 46.68 187-AH 50.00 267-AH 21.16 297-AH 28.25 327-AH 53.41 158-AH 57.93 188-AH 0.11 268-AH 50.48 298-AH 13.47 328-AH 65.88 159-AH 31.29 189-AH 96.83 269-AH 28.12 299-AH 33.56 329-AH 60.68 160-AH 2.89 190-AH 68.75 270-AH 62.91 300-AH 23.14 330-AH 78.08 161-AH 0.00 191-AH 0.00 271-AH 52.38 301-AH 0.86 331-AH 60.32 162-AH 100.00 192-AH 63.24 272-AH 12.09 302-AH 40.67 332-AH 41.76 163-AH 80.62 193-AH 52.44 273-AH 68.00 303-AH 24.64 333-AH 100.00 164-AH 8.96 194-AH 100.00 274-AH 33.60 304-AH 26.72 334-AH 33.33 165-AH 100.00 195-AH 0.00 275-AH 29.98 305-AH 18.00 335-AH 18.97 166-AH 0.00 196-AH 50.00 276-AH 44.00 306-AH 100.00 336-AH 26.26 167-AH 2.81 197-AH 64.78 277-AH 27.80 307-AH 20.05 337-AH 80.40 168-AH 53.53 198-AH 100.00 278-AH 36.14 308-AH 69.41 338-AH 75.02 169-AH 1.91 199-AH 60.19 279-AH 54.53 309-AH 3.65 339-AH 54.16 170-AH 100.00 200-AH 66.79 280-AH 3.88 310-AH 4.11 340-AH 38.67 689 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0901 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 47.50 UNIBAWSDNL0901 10 docs 40.88 90% 15 docs 36.00 80% 20 docs 33.31 30 docs 28.77 70% 100 docs 15.71 60% 200 docs 9.66 Precision 500 docs 4.55 50% 1000 docs 2.44 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.19 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1952 Second Quartile 0.3828 Third Quartile 0.5786 Interquartile range 0.3834 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4019 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2865 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.4019 15 Std With No Outliers 0.2865 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDNL0901 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDNL0901 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDNL0901 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDNL0901 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDNL0901 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDNL0901 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDNL0901 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 690 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDNL0901 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 44.62 281-AH 50.00 311-AH 25.93 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 16.13 312-AH 51.61 342-AH 72.92 143-AH 76.92 173-AH 100.00 253-AH 52.11 283-AH 34.21 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 30.57 284-AH 52.63 314-AH 0.00 344-AH 51.52 145-AH 65.79 175-AH 57.14 255-AH 25.00 285-AH 76.81 315-AH 47.46 345-AH 11.11 146-AH 50.00 176-AH 84.62 256-AH 70.59 286-AH 0.00 316-AH 16.95 346-AH 9.09 147-AH 62.75 177-AH 38.46 257-AH 38.10 287-AH 38.78 317-AH 33.33 347-AH 22.22 148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 21.05 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 63.64 259-AH 66.67 289-AH 77.78 319-AH 31.58 349-AH 33.33 150-AH 0.00 180-AH 60.00 260-AH 57.14 290-AH 12.24 320-AH 0.00 350-AH 40.00 151-AH 41.67 181-AH 75.00 261-AH 44.12 291-AH 60.00 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 34.12 292-AH 25.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 33.33 293-AH 52.94 323-AH 26.92 154-AH 33.33 184-AH 55.56 264-AH 54.55 294-AH 70.37 324-AH 63.51 155-AH 33.33 185-AH 0.00 265-AH 66.67 295-AH 43.14 325-AH 54.10 156-AH 27.27 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 25.00 157-AH 51.08 187-AH 0.00 267-AH 19.05 297-AH 33.33 327-AH 25.00 158-AH 47.06 188-AH 0.00 268-AH 33.33 298-AH 16.67 328-AH 56.52 159-AH 33.33 189-AH 85.71 269-AH 44.44 299-AH 36.84 329-AH 52.94 160-AH 0.00 190-AH 66.67 270-AH 54.39 300-AH 28.57 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 64.71 162-AH 100.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 72.95 193-AH 42.86 273-AH 57.83 303-AH 35.71 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 37.50 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 29.51 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 44.07 306-AH 100.00 336-AH 29.41 167-AH 0.00 197-AH 56.00 277-AH 38.46 307-AH 23.38 337-AH 75.00 168-AH 50.00 198-AH 100.00 278-AH 38.10 308-AH 63.64 338-AH 70.00 169-AH 0.00 199-AH 60.00 279-AH 50.00 309-AH 0.00 339-AH 57.89 170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 40.00 691 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,596 Pooled false Geometric Mean Average Precision 0.1010 keyword title+description lucene+bm25 Binary Preference (BPREF) 0.2944 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.75 UNIBAWSDTD 10 52.44 90% 20 45.35 80% 30 37.49 40 32.99 70% 50 28.60 60% 60 23.42 Precision 70 20.04 50% 80 16.37 40% 90 12.15 30% 100 8.29 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.30 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0817 Second Quartile 0.2137 Third Quartile 0.4401 Interquartile range 0.3583 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2930 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2600 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.9291 25 Mean With No Outliers 0.2702 20 15 Std With No Outliers 0.2303 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 692 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 5.88 171-AH 0.22 251-AH 51.08 281-AH 41.41 311-AH 14.90 341-AH 83.95 142-AH 45.40 172-AH 8.16 252-AH 24.77 282-AH 18.87 312-AH 52.51 342-AH 37.46 143-AH 92.13 173-AH 100.00 253-AH 29.29 283-AH 20.07 313-AH 10.45 343-AH 0.75 144-AH 63.33 174-AH 100.00 254-AH 19.73 284-AH 50.20 314-AH 5.36 344-AH 50.51 145-AH 48.84 175-AH 73.17 255-AH 17.29 285-AH 61.88 315-AH 27.35 345-AH 12.83 146-AH 16.84 176-AH 92.91 256-AH 19.35 286-AH 6.29 316-AH 12.09 346-AH 5.24 147-AH 65.90 177-AH 37.26 257-AH 21.24 287-AH 23.72 317-AH 20.63 347-AH 4.00 148-AH 9.21 178-AH 35.27 258-AH 14.01 288-AH 8.19 318-AH 22.96 348-AH 0.00 149-AH 0.00 179-AH 36.18 259-AH 55.90 289-AH 1.04 319-AH 23.41 349-AH 28.70 150-AH 19.41 180-AH 66.07 260-AH 61.20 290-AH 9.30 320-AH 3.01 350-AH 31.84 151-AH 19.15 181-AH 65.14 261-AH 4.58 291-AH 66.59 321-AH 0.00 152-AH 20.79 182-AH 4.98 262-AH 19.74 292-AH 14.81 322-AH 10.19 153-AH 0.00 183-AH 2.94 263-AH 13.24 293-AH 66.97 323-AH 28.62 154-AH 20.68 184-AH 59.44 264-AH 45.89 294-AH 67.68 324-AH 0.12 155-AH 4.59 185-AH 2.86 265-AH 3.51 295-AH 32.59 325-AH 43.01 156-AH 7.36 186-AH 0.00 266-AH 3.43 296-AH 0.53 326-AH 41.67 157-AH 13.24 187-AH 20.00 267-AH 14.76 297-AH 38.19 327-AH 45.00 158-AH 36.77 188-AH 0.94 268-AH 36.51 298-AH 13.56 328-AH 56.48 159-AH 21.50 189-AH 90.94 269-AH 13.33 299-AH 37.16 329-AH 59.17 160-AH 17.35 190-AH 33.90 270-AH 1.04 300-AH 28.05 330-AH 39.98 161-AH 0.00 191-AH 0.00 271-AH 37.11 301-AH 1.01 331-AH 7.00 162-AH 11.11 192-AH 47.50 272-AH 1.95 302-AH 37.85 332-AH 12.75 163-AH 77.37 193-AH 51.40 273-AH 71.24 303-AH 34.54 333-AH 40.42 164-AH 8.22 194-AH 1.35 274-AH 41.36 304-AH 26.89 334-AH 17.53 165-AH 100.00 195-AH 0.00 275-AH 20.32 305-AH 24.78 335-AH 24.44 166-AH 0.00 196-AH 50.00 276-AH 35.27 306-AH 33.33 336-AH 0.00 167-AH 25.40 197-AH 14.36 277-AH 9.34 307-AH 31.80 337-AH 68.39 168-AH 2.37 198-AH 100.00 278-AH 19.53 308-AH 52.28 338-AH 18.87 169-AH 2.95 199-AH 31.23 279-AH 26.15 309-AH 2.74 339-AH 46.57 170-AH 100.00 200-AH 65.14 280-AH 13.52 310-AH 4.97 340-AH 29.18 693 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 38.38 UNIBAWSDTD 10 docs 32.56 90% 15 docs 28.50 80% 20 docs 26.09 30 docs 22.60 70% 100 docs 12.82 60% 200 docs 8.14 Precision 500 docs 4.02 50% 1000 docs 2.25 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.54 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0380 Second Quartile 0.2520 Third Quartile 0.4370 Interquartile range 0.3990 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2854 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2566 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2854 20 Std With No Outliers 0.2566 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 694 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTD AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 49.23 281-AH 45.24 311-AH 22.22 341-AH 83.33 142-AH 50.00 172-AH 0.00 252-AH 20.69 282-AH 22.58 312-AH 45.16 342-AH 35.42 143-AH 82.05 173-AH 100.00 253-AH 36.32 283-AH 26.32 313-AH 20.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 26.20 284-AH 44.74 314-AH 0.00 344-AH 51.52 145-AH 42.11 175-AH 57.14 255-AH 0.00 285-AH 57.97 315-AH 37.29 345-AH 11.11 146-AH 0.00 176-AH 79.49 256-AH 29.41 286-AH 8.33 316-AH 12.71 346-AH 0.00 147-AH 64.71 177-AH 46.15 257-AH 25.40 287-AH 24.49 317-AH 26.67 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 13.16 318-AH 22.22 348-AH 0.00 149-AH 0.00 179-AH 36.36 259-AH 66.67 289-AH 0.00 319-AH 26.32 349-AH 25.93 150-AH 40.00 180-AH 52.50 260-AH 58.73 290-AH 4.08 320-AH 6.25 350-AH 30.00 151-AH 25.00 181-AH 64.13 261-AH 8.82 291-AH 60.00 321-AH 0.00 152-AH 27.27 182-AH 0.00 262-AH 32.94 292-AH 25.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 16.67 293-AH 58.82 323-AH 23.08 154-AH 23.81 184-AH 44.44 264-AH 45.45 294-AH 70.37 324-AH 0.00 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 37.25 325-AH 44.26 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 4.17 326-AH 50.00 157-AH 25.90 187-AH 0.00 267-AH 23.81 297-AH 41.67 327-AH 25.00 158-AH 38.24 188-AH 0.00 268-AH 33.33 298-AH 13.33 328-AH 56.52 159-AH 29.63 189-AH 85.71 269-AH 11.11 299-AH 36.84 329-AH 58.82 160-AH 0.00 190-AH 33.33 270-AH 3.51 300-AH 35.71 330-AH 43.14 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 0.00 331-AH 5.88 162-AH 0.00 192-AH 50.00 272-AH 0.00 302-AH 47.06 332-AH 12.50 163-AH 72.95 193-AH 42.86 273-AH 65.06 303-AH 42.86 333-AH 40.00 164-AH 11.11 194-AH 0.00 274-AH 37.50 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 36.36 305-AH 32.79 335-AH 26.67 166-AH 0.00 196-AH 0.00 276-AH 37.29 306-AH 0.00 336-AH 0.00 167-AH 20.00 197-AH 14.00 277-AH 15.38 307-AH 41.56 337-AH 65.00 168-AH 5.56 198-AH 100.00 278-AH 23.81 308-AH 54.55 338-AH 30.00 169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 0.00 339-AH 42.11 170-AH 100.00 200-AH 66.67 280-AH 20.00 310-AH 9.52 340-AH 20.00 695 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,680 Pooled false Geometric Mean Average Precision 0.1234 synset title+description+narrative (engine: Binary Preference (BPREF) 0.3147 Lucene+BM25) Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 65.88 UNIBAWSDTDN 10 58.34 90% 20 50.61 80% 30 41.83 40 36.69 70% 50 33.03 60% 60 26.45 Precision 70 21.71 50% 80 17.57 40% 90 13.28 30% 100 8.76 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 32.38 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1079 Second Quartile 0.2893 Third Quartile 0.4919 Interquartile range 0.3841 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3238 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2603 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3238 15 Std With No Outliers 0.2603 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 696 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 50.00 171-AH 0.26 251-AH 52.85 281-AH 39.66 311-AH 16.08 341-AH 79.35 142-AH 47.14 172-AH 8.94 252-AH 55.76 282-AH 21.45 312-AH 41.00 342-AH 38.18 143-AH 76.80 173-AH 100.00 253-AH 36.93 283-AH 19.99 313-AH 10.80 343-AH 1.05 144-AH 63.33 174-AH 100.00 254-AH 23.94 284-AH 52.03 314-AH 5.29 344-AH 47.73 145-AH 46.07 175-AH 74.09 255-AH 38.82 285-AH 80.65 315-AH 25.53 345-AH 16.90 146-AH 50.52 176-AH 92.44 256-AH 21.46 286-AH 4.02 316-AH 13.38 346-AH 5.18 147-AH 64.77 177-AH 32.07 257-AH 23.03 287-AH 22.22 317-AH 27.53 347-AH 7.24 148-AH 9.01 178-AH 52.14 258-AH 21.43 288-AH 8.31 318-AH 6.74 348-AH 0.00 149-AH 0.00 179-AH 36.13 259-AH 55.84 289-AH 1.38 319-AH 24.44 349-AH 31.07 150-AH 18.47 180-AH 64.20 260-AH 57.43 290-AH 9.61 320-AH 2.75 350-AH 41.12 151-AH 20.93 181-AH 75.32 261-AH 21.41 291-AH 68.03 321-AH 0.00 152-AH 13.00 182-AH 8.09 262-AH 32.98 292-AH 73.21 322-AH 10.79 153-AH 0.00 183-AH 13.71 263-AH 15.83 293-AH 66.71 323-AH 30.50 154-AH 30.17 184-AH 61.08 264-AH 50.42 294-AH 67.32 324-AH 0.15 155-AH 7.12 185-AH 1.23 265-AH 3.19 295-AH 29.61 325-AH 47.33 156-AH 15.16 186-AH 0.00 266-AH 3.86 296-AH 1.69 326-AH 50.00 157-AH 14.24 187-AH 33.33 267-AH 14.71 297-AH 32.25 327-AH 30.76 158-AH 46.10 188-AH 0.36 268-AH 39.39 298-AH 13.94 328-AH 56.57 159-AH 18.79 189-AH 89.55 269-AH 16.06 299-AH 36.48 329-AH 58.93 160-AH 10.79 190-AH 29.71 270-AH 2.29 300-AH 28.98 330-AH 36.05 161-AH 0.00 191-AH 0.00 271-AH 37.77 301-AH 0.65 331-AH 36.05 162-AH 25.00 192-AH 48.39 272-AH 2.28 302-AH 43.40 332-AH 12.76 163-AH 78.59 193-AH 51.17 273-AH 78.82 303-AH 39.53 333-AH 87.11 164-AH 5.63 194-AH 14.29 274-AH 44.30 304-AH 27.18 334-AH 43.33 165-AH 100.00 195-AH 0.00 275-AH 32.88 305-AH 26.47 335-AH 28.89 166-AH 0.00 196-AH 50.00 276-AH 36.98 306-AH 33.33 336-AH 10.22 167-AH 25.15 197-AH 13.82 277-AH 15.21 307-AH 21.89 337-AH 78.79 168-AH 27.26 198-AH 33.33 278-AH 17.39 308-AH 73.99 338-AH 59.71 169-AH 3.08 199-AH 35.78 279-AH 26.05 309-AH 3.64 339-AH 33.47 170-AH 100.00 200-AH 68.95 280-AH 3.16 310-AH 3.09 340-AH 38.69 697 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 40.38 UNIBAWSDTDN 10 docs 35.44 90% 15 docs 31.29 80% 20 docs 28.47 30 docs 24.27 70% 100 docs 13.22 60% 200 docs 8.42 Precision 500 docs 4.12 50% 1000 docs 2.30 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.77 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0668 Second Quartile 0.2775 Third Quartile 0.4721 Interquartile range 0.4053 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3077 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2573 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3077 20 15 Std With No Outliers 0.2573 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBAWSDTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBAWSDTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBAWSDTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBAWSDTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBAWSDTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBAWSDTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBAWSDTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 698 uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.UNIBA.UNIBAWSDTDN AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 50.77 281-AH 40.48 311-AH 22.22 341-AH 66.67 142-AH 50.00 172-AH 0.00 252-AH 51.72 282-AH 22.58 312-AH 38.71 342-AH 36.46 143-AH 69.23 173-AH 100.00 253-AH 43.68 283-AH 26.32 313-AH 20.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 33.19 284-AH 47.37 314-AH 0.00 344-AH 54.55 145-AH 42.11 175-AH 71.43 255-AH 25.00 285-AH 73.91 315-AH 37.29 345-AH 22.22 146-AH 50.00 176-AH 79.49 256-AH 29.41 286-AH 8.33 316-AH 22.03 346-AH 0.00 147-AH 62.75 177-AH 38.46 257-AH 28.57 287-AH 24.49 317-AH 33.33 347-AH 11.11 148-AH 16.67 178-AH 50.00 258-AH 25.00 288-AH 11.84 318-AH 0.00 348-AH 0.00 149-AH 0.00 179-AH 31.82 259-AH 66.67 289-AH 5.56 319-AH 26.32 349-AH 25.93 150-AH 40.00 180-AH 65.00 260-AH 55.56 290-AH 8.16 320-AH 0.00 350-AH 20.00 151-AH 33.33 181-AH 72.83 261-AH 32.35 291-AH 60.00 321-AH 0.00 152-AH 9.09 182-AH 0.00 262-AH 35.29 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 16.67 293-AH 55.88 323-AH 26.92 154-AH 28.57 184-AH 55.56 264-AH 50.00 294-AH 70.37 324-AH 0.00 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 39.22 325-AH 42.62 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 4.17 326-AH 50.00 157-AH 25.18 187-AH 0.00 267-AH 23.81 297-AH 33.33 327-AH 0.00 158-AH 47.06 188-AH 0.00 268-AH 33.33 298-AH 16.67 328-AH 52.17 159-AH 25.93 189-AH 85.71 269-AH 22.22 299-AH 39.47 329-AH 58.82 160-AH 0.00 190-AH 33.33 270-AH 7.02 300-AH 35.71 330-AH 41.18 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 0.00 331-AH 35.29 162-AH 0.00 192-AH 50.00 272-AH 7.14 302-AH 41.18 332-AH 12.50 163-AH 73.77 193-AH 42.86 273-AH 69.88 303-AH 35.71 333-AH 80.00 164-AH 11.11 194-AH 0.00 274-AH 37.50 304-AH 26.67 334-AH 60.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 36.07 335-AH 46.67 166-AH 0.00 196-AH 0.00 276-AH 40.68 306-AH 0.00 336-AH 11.76 167-AH 20.00 197-AH 26.00 277-AH 26.92 307-AH 25.97 337-AH 75.00 168-AH 38.89 198-AH 0.00 278-AH 14.29 308-AH 72.73 338-AH 60.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 42.11 170-AH 100.00 200-AH 66.67 280-AH 0.00 310-AH 6.35 340-AH 20.00 699 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0902 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,596 Pooled false Geometric Mean Average Precision 0.0686 BRF and WSD NUS, Title and Description Binary Preference (BPREF) 0.2988 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 52.55 NLEL0902 10 44.94 90% 20 40.02 80% 30 34.99 40 31.99 70% 50 28.80 60% 60 24.25 Precision 70 20.19 50% 80 16.49 40% 90 11.71 30% 100 7.72 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 27.14 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0354 Second Quartile 0.1798 Third Quartile 0.4459 Interquartile range 0.4105 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2714 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2740 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2714 20 Std With No Outliers 0.2740 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0902 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0902 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0902 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0902 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0902 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0902 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0902 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 700 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0902 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.39 171-AH 0.54 251-AH 42.15 281-AH 25.57 311-AH 43.89 341-AH 87.70 142-AH 42.42 172-AH 14.39 252-AH 1.80 282-AH 21.33 312-AH 29.91 342-AH 31.25 143-AH 80.94 173-AH 100.00 253-AH 27.80 283-AH 1.51 313-AH 1.23 343-AH 10.00 144-AH 69.61 174-AH 83.33 254-AH 13.93 284-AH 44.96 314-AH 6.24 344-AH 45.59 145-AH 64.63 175-AH 83.98 255-AH 27.48 285-AH 40.23 315-AH 54.54 345-AH 1.01 146-AH 50.00 176-AH 79.17 256-AH 16.57 286-AH 0.83 316-AH 11.77 346-AH 8.57 147-AH 60.19 177-AH 10.74 257-AH 8.84 287-AH 34.48 317-AH 20.73 347-AH 4.94 148-AH 7.94 178-AH 1.71 258-AH 8.99 288-AH 35.38 318-AH 28.42 348-AH 0.00 149-AH 0.00 179-AH 70.86 259-AH 7.20 289-AH 0.01 319-AH 51.91 349-AH 21.36 150-AH 7.30 180-AH 54.60 260-AH 54.87 290-AH 38.30 320-AH 0.42 350-AH 44.54 151-AH 0.49 181-AH 44.65 261-AH 49.69 291-AH 1.54 321-AH 0.00 152-AH 10.52 182-AH 40.21 262-AH 6.71 292-AH 88.75 322-AH 5.01 153-AH 0.10 183-AH 9.55 263-AH 17.56 293-AH 34.31 323-AH 37.89 154-AH 12.61 184-AH 42.32 264-AH 48.23 294-AH 53.07 324-AH 0.69 155-AH 11.29 185-AH 0.24 265-AH 0.61 295-AH 28.66 325-AH 44.53 156-AH 3.23 186-AH 0.00 266-AH 26.78 296-AH 1.66 326-AH 0.91 157-AH 6.44 187-AH 50.00 267-AH 20.69 297-AH 10.62 327-AH 7.08 158-AH 78.49 188-AH 0.68 268-AH 0.60 298-AH 35.64 328-AH 56.69 159-AH 7.08 189-AH 66.68 269-AH 15.14 299-AH 38.18 329-AH 58.06 160-AH 7.29 190-AH 79.05 270-AH 30.60 300-AH 16.14 330-AH 4.80 161-AH 0.00 191-AH 0.00 271-AH 49.57 301-AH 0.78 331-AH 33.70 162-AH 4.55 192-AH 51.60 272-AH 3.85 302-AH 18.41 332-AH 2.59 163-AH 80.21 193-AH 35.70 273-AH 87.18 303-AH 4.62 333-AH 0.73 164-AH 23.66 194-AH 0.15 274-AH 4.55 304-AH 32.27 334-AH 31.65 165-AH 11.11 195-AH 0.00 275-AH 52.55 305-AH 26.90 335-AH 39.92 166-AH 0.00 196-AH 100.00 276-AH 59.97 306-AH 11.11 336-AH 0.03 167-AH 19.30 197-AH 6.22 277-AH 23.33 307-AH 28.90 337-AH 86.29 168-AH 0.10 198-AH 8.33 278-AH 4.50 308-AH 71.21 338-AH 95.58 169-AH 0.06 199-AH 64.22 279-AH 5.92 309-AH 4.10 339-AH 0.00 170-AH 0.91 200-AH 72.95 280-AH 2.66 310-AH 2.78 340-AH 27.11 701 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0902 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 34.00 NLEL0902 10 docs 30.38 90% 15 docs 27.38 80% 20 docs 25.16 30 docs 21.42 70% 100 docs 12.21 60% 200 docs 7.83 Precision 500 docs 3.93 50% 1000 docs 2.25 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.57 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.2259 Third Quartile 0.4771 Interquartile range 0.4771 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2657 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2732 60 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 50 Upper Outlier Threshold 1.0000 40 Mean With No Outliers 0.2657 30 Std With No Outliers 0.2732 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0902 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0902 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0902 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0902 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0902 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0902 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0902 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 702 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0902 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 46.15 281-AH 26.19 311-AH 46.30 341-AH 83.33 142-AH 37.50 172-AH 14.29 252-AH 0.00 282-AH 25.81 312-AH 29.03 342-AH 36.46 143-AH 71.79 173-AH 100.00 253-AH 34.74 283-AH 0.00 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 50.00 254-AH 24.89 284-AH 34.21 314-AH 5.56 344-AH 48.48 145-AH 57.89 175-AH 85.71 255-AH 50.00 285-AH 43.48 315-AH 57.63 345-AH 0.00 146-AH 50.00 176-AH 69.23 256-AH 26.47 286-AH 0.00 316-AH 12.71 346-AH 0.00 147-AH 50.98 177-AH 7.69 257-AH 9.52 287-AH 46.94 317-AH 23.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 39.47 318-AH 33.33 348-AH 0.00 149-AH 0.00 179-AH 68.18 259-AH 0.00 289-AH 0.00 319-AH 42.11 349-AH 22.22 150-AH 10.00 180-AH 55.00 260-AH 57.14 290-AH 36.73 320-AH 0.00 350-AH 40.00 151-AH 0.00 181-AH 50.00 261-AH 55.88 291-AH 0.00 321-AH 0.00 152-AH 18.18 182-AH 50.00 262-AH 10.59 292-AH 75.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 41.18 323-AH 42.31 154-AH 14.29 184-AH 55.56 264-AH 50.00 294-AH 51.85 324-AH 1.35 155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 31.37 325-AH 49.18 156-AH 4.55 186-AH 0.00 266-AH 25.00 296-AH 0.00 326-AH 0.00 157-AH 13.67 187-AH 0.00 267-AH 33.33 297-AH 0.00 327-AH 0.00 158-AH 70.59 188-AH 0.00 268-AH 0.00 298-AH 43.33 328-AH 56.52 159-AH 7.41 189-AH 71.43 269-AH 11.11 299-AH 36.84 329-AH 58.82 160-AH 0.00 190-AH 77.78 270-AH 36.84 300-AH 2.38 330-AH 5.88 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 6.25 331-AH 35.29 162-AH 0.00 192-AH 66.67 272-AH 7.14 302-AH 23.53 332-AH 0.00 163-AH 78.69 193-AH 42.86 273-AH 77.11 303-AH 7.14 333-AH 0.00 164-AH 29.63 194-AH 0.00 274-AH 0.00 304-AH 26.67 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 51.52 305-AH 22.95 335-AH 46.67 166-AH 0.00 196-AH 100.00 276-AH 57.63 306-AH 0.00 336-AH 0.00 167-AH 40.00 197-AH 4.00 277-AH 38.46 307-AH 40.26 337-AH 80.00 168-AH 0.00 198-AH 0.00 278-AH 9.52 308-AH 63.64 338-AH 90.00 169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 0.00 170-AH 0.00 200-AH 66.67 280-AH 4.00 310-AH 4.76 340-AH 0.00 703 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0903 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 158,000 Source Language English Relevant 4,327 Topic Fields title Relevant retrieved 2,663 Pooled false Geometric Mean Average Precision 0.0104 BRF and WSD NUS, Title only Binary Preference (BPREF) 0.2321 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 40.45 NLEL0903 10 31.13 90% 20 27.84 80% 30 22.73 40 19.93 70% 50 17.41 60% 60 14.09 Precision 70 11.30 50% 80 9.48 40% 90 6.78 30% 100 4.12 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.48 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0007 Second Quartile 0.0538 Third Quartile 0.2648 Interquartile range 0.2641 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1748 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2506 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.6175 50 Mean With No Outliers 0.1219 40 30 Std With No Outliers 0.1718 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0903 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0903 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0903 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0903 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0903 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0903 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0903 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 704 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0903 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.11 171-AH 0.02 251-AH 13.30 281-AH 0.00 311-AH 8.41 341-AH 3.26 142-AH 61.58 172-AH 2.46 252-AH 41.37 282-AH 0.01 312-AH 3.72 342-AH 0.02 143-AH 60.43 173-AH 100.00 253-AH 18.87 283-AH 30.45 313-AH 0.64 343-AH 0.62 144-AH 52.38 174-AH 83.33 254-AH 14.60 284-AH 32.43 314-AH 0.01 344-AH 37.44 145-AH 53.65 175-AH 83.67 255-AH 28.96 285-AH 0.00 315-AH 60.23 345-AH 0.53 146-AH 50.00 176-AH 24.26 256-AH 0.00 286-AH 0.03 316-AH 3.35 346-AH 11.26 147-AH 58.17 177-AH 4.55 257-AH 3.53 287-AH 2.08 317-AH 0.00 347-AH 1.16 148-AH 5.35 178-AH 0.27 258-AH 0.10 288-AH 30.29 318-AH 16.01 348-AH 0.00 149-AH 0.00 179-AH 10.53 259-AH 0.00 289-AH 0.00 319-AH 6.83 349-AH 21.19 150-AH 0.50 180-AH 42.95 260-AH 0.00 290-AH 11.50 320-AH 0.25 350-AH 69.30 151-AH 0.24 181-AH 45.96 261-AH 27.56 291-AH 0.93 321-AH 0.00 152-AH 0.19 182-AH 6.02 262-AH 5.92 292-AH 88.75 322-AH 8.34 153-AH 0.00 183-AH 10.54 263-AH 9.28 293-AH 7.19 323-AH 5.54 154-AH 6.43 184-AH 3.52 264-AH 10.74 294-AH 11.46 324-AH 0.00 155-AH 3.78 185-AH 0.00 265-AH 0.19 295-AH 26.94 325-AH 28.74 156-AH 2.18 186-AH 0.00 266-AH 14.21 296-AH 0.12 326-AH 0.00 157-AH 0.00 187-AH 1.16 267-AH 0.00 297-AH 1.00 327-AH 43.33 158-AH 38.82 188-AH 0.00 268-AH 0.00 298-AH 13.03 328-AH 79.48 159-AH 70.15 189-AH 0.21 269-AH 6.65 299-AH 26.01 329-AH 51.16 160-AH 3.46 190-AH 24.87 270-AH 22.27 300-AH 10.27 330-AH 5.40 161-AH 0.00 191-AH 0.00 271-AH 11.33 301-AH 0.13 331-AH 0.00 162-AH 1.85 192-AH 56.87 272-AH 1.84 302-AH 16.63 332-AH 0.04 163-AH 61.75 193-AH 11.72 273-AH 85.69 303-AH 7.81 333-AH 0.00 164-AH 18.78 194-AH 0.00 274-AH 1.39 304-AH 4.29 334-AH 18.15 165-AH 0.00 195-AH 0.00 275-AH 0.00 305-AH 25.75 335-AH 31.31 166-AH 0.00 196-AH 100.00 276-AH 38.10 306-AH 5.56 336-AH 0.02 167-AH 0.00 197-AH 1.80 277-AH 31.54 307-AH 28.47 337-AH 87.47 168-AH 0.10 198-AH 0.12 278-AH 21.26 308-AH 75.37 338-AH 0.01 169-AH 0.02 199-AH 59.98 279-AH 6.43 309-AH 0.03 339-AH 0.00 170-AH 0.81 200-AH 69.58 280-AH 0.09 310-AH 3.97 340-AH 22.95 705 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0903 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 22.88 NLEL0903 10 docs 20.19 90% 15 docs 18.17 80% 20 docs 16.78 30 docs 14.19 70% 100 docs 8.08 60% 200 docs 5.30 Precision 500 docs 2.79 50% 1000 docs 1.66 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.63 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0370 Third Quartile 0.3298 Interquartile range 0.3298 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1763 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2407 100 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 80 Upper Outlier Threshold 0.7711 60 Mean With No Outliers 0.1615 40 Std With No Outliers 0.2172 20 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0903 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0903 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0903 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0903 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0903 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0903 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0903 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 706 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0903 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 21.54 281-AH 0.00 311-AH 14.81 341-AH 16.67 142-AH 62.50 172-AH 0.00 252-AH 44.83 282-AH 0.00 312-AH 3.23 342-AH 0.00 143-AH 48.72 173-AH 100.00 253-AH 32.63 283-AH 44.74 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 50.00 254-AH 23.14 284-AH 34.21 314-AH 0.00 344-AH 42.42 145-AH 50.00 175-AH 85.71 255-AH 25.00 285-AH 0.00 315-AH 66.10 345-AH 0.00 146-AH 50.00 176-AH 33.33 256-AH 0.00 286-AH 0.00 316-AH 1.69 346-AH 18.18 147-AH 50.98 177-AH 0.00 257-AH 3.17 287-AH 0.00 317-AH 0.00 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 35.53 318-AH 22.22 348-AH 0.00 149-AH 0.00 179-AH 9.09 259-AH 0.00 289-AH 0.00 319-AH 5.26 349-AH 37.04 150-AH 0.00 180-AH 47.50 260-AH 0.00 290-AH 20.41 320-AH 0.00 350-AH 60.00 151-AH 0.00 181-AH 54.35 261-AH 35.29 291-AH 0.00 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 10.59 292-AH 75.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 12.50 293-AH 14.71 323-AH 7.69 154-AH 4.76 184-AH 11.11 264-AH 18.18 294-AH 25.93 324-AH 0.00 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 31.37 325-AH 39.34 156-AH 4.55 186-AH 0.00 266-AH 25.00 296-AH 0.00 326-AH 0.00 157-AH 0.00 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 50.00 158-AH 41.18 188-AH 0.00 268-AH 0.00 298-AH 20.00 328-AH 69.57 159-AH 66.67 189-AH 0.00 269-AH 11.11 299-AH 23.68 329-AH 47.06 160-AH 0.00 190-AH 22.22 270-AH 26.32 300-AH 7.14 330-AH 5.88 161-AH 0.00 191-AH 0.00 271-AH 4.17 301-AH 0.00 331-AH 0.00 162-AH 0.00 192-AH 50.00 272-AH 7.14 302-AH 23.53 332-AH 0.00 163-AH 58.20 193-AH 0.00 273-AH 77.11 303-AH 7.14 333-AH 0.00 164-AH 33.33 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 0.00 305-AH 24.59 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 40.68 306-AH 0.00 336-AH 0.00 167-AH 0.00 197-AH 6.00 277-AH 42.31 307-AH 40.26 337-AH 75.00 168-AH 0.00 198-AH 0.00 278-AH 28.57 308-AH 72.73 338-AH 0.00 169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 0.00 170-AH 0.00 200-AH 55.56 280-AH 0.00 310-AH 4.76 340-AH 0.00 707 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0904 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language English Relevant 4,327 Topic Fields title, description Relevant retrieved 3,599 Pooled false Geometric Mean Average Precision 0.0641 BRF and WSD UBC, Title and Description Binary Preference (BPREF) 0.2896 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 51.59 NLEL0904 10 42.32 90% 20 38.81 80% 30 33.65 40 30.26 70% 50 27.18 60% 60 22.97 Precision 70 19.26 50% 80 16.17 40% 90 11.55 30% 100 7.77 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 26.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0336 Second Quartile 0.1881 Third Quartile 0.4169 Interquartile range 0.3832 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2605 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2618 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 0.8875 30 Mean With No Outliers 0.2511 20 Std With No Outliers 0.2497 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0904 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0904 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0904 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0904 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0904 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0904 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0904 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 708 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0904 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.88 171-AH 1.03 251-AH 46.42 281-AH 34.41 311-AH 41.53 341-AH 88.25 142-AH 15.21 172-AH 3.56 252-AH 29.32 282-AH 16.71 312-AH 29.18 342-AH 61.92 143-AH 82.20 173-AH 100.00 253-AH 25.24 283-AH 29.32 313-AH 1.56 343-AH 1.59 144-AH 58.26 174-AH 83.33 254-AH 13.20 284-AH 39.81 314-AH 8.80 344-AH 56.03 145-AH 65.89 175-AH 86.36 255-AH 31.60 285-AH 3.17 315-AH 57.39 345-AH 7.59 146-AH 5.83 176-AH 78.17 256-AH 2.02 286-AH 14.73 316-AH 16.57 346-AH 16.27 147-AH 53.66 177-AH 1.57 257-AH 8.60 287-AH 29.79 317-AH 21.22 347-AH 1.73 148-AH 11.41 178-AH 2.74 258-AH 10.86 288-AH 36.75 318-AH 19.86 348-AH 0.00 149-AH 0.00 179-AH 22.58 259-AH 7.20 289-AH 0.02 319-AH 54.21 349-AH 22.12 150-AH 7.59 180-AH 56.68 260-AH 40.78 290-AH 38.43 320-AH 0.56 350-AH 56.64 151-AH 0.04 181-AH 49.43 261-AH 47.61 291-AH 1.46 321-AH 0.00 152-AH 10.06 182-AH 41.85 262-AH 5.87 292-AH 88.75 322-AH 6.89 153-AH 0.00 183-AH 27.35 263-AH 18.89 293-AH 41.87 323-AH 26.87 154-AH 18.58 184-AH 46.90 264-AH 1.72 294-AH 40.81 324-AH 0.13 155-AH 18.89 185-AH 0.00 265-AH 0.59 295-AH 20.22 325-AH 44.62 156-AH 1.30 186-AH 0.00 266-AH 16.63 296-AH 1.13 326-AH 26.72 157-AH 27.72 187-AH 20.00 267-AH 20.55 297-AH 10.31 327-AH 8.28 158-AH 41.28 188-AH 1.28 268-AH 0.62 298-AH 33.67 328-AH 48.29 159-AH 56.05 189-AH 62.63 269-AH 6.78 299-AH 36.63 329-AH 47.49 160-AH 9.73 190-AH 54.26 270-AH 33.64 300-AH 18.74 330-AH 9.64 161-AH 0.00 191-AH 0.00 271-AH 46.41 301-AH 0.78 331-AH 13.24 162-AH 5.56 192-AH 56.74 272-AH 4.11 302-AH 20.58 332-AH 0.37 163-AH 85.09 193-AH 40.55 273-AH 86.58 303-AH 4.75 333-AH 0.57 164-AH 18.22 194-AH 0.38 274-AH 5.03 304-AH 34.01 334-AH 27.89 165-AH 25.00 195-AH 0.00 275-AH 7.18 305-AH 38.12 335-AH 46.12 166-AH 0.00 196-AH 100.00 276-AH 63.98 306-AH 12.50 336-AH 0.09 167-AH 1.79 197-AH 5.68 277-AH 21.59 307-AH 7.96 337-AH 86.99 168-AH 0.22 198-AH 6.25 278-AH 4.58 308-AH 74.24 338-AH 77.09 169-AH 0.05 199-AH 53.04 279-AH 5.24 309-AH 4.39 339-AH 0.00 170-AH 25.00 200-AH 71.77 280-AH 2.06 310-AH 25.19 340-AH 39.80 709 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0904 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 33.63 NLEL0904 10 docs 28.88 90% 15 docs 26.63 80% 20 docs 24.75 30 docs 21.08 70% 100 docs 12.33 60% 200 docs 7.98 Precision 500 docs 3.98 50% 1000 docs 2.25 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 25.59 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.2000 Third Quartile 0.4593 Interquartile range 0.4593 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2559 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2585 60 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 50 Upper Outlier Threshold 1.0000 40 Mean With No Outliers 0.2559 30 Std With No Outliers 0.2585 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0904 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0904 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0904 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0904 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0904 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0904 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0904 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 710 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0904 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 49.23 281-AH 33.33 311-AH 42.59 341-AH 83.33 142-AH 12.50 172-AH 0.00 252-AH 37.93 282-AH 16.13 312-AH 29.03 342-AH 62.50 143-AH 71.79 173-AH 100.00 253-AH 33.68 283-AH 42.11 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 50.00 254-AH 20.09 284-AH 36.84 314-AH 16.67 344-AH 57.58 145-AH 52.63 175-AH 85.71 255-AH 50.00 285-AH 4.35 315-AH 62.71 345-AH 0.00 146-AH 0.00 176-AH 69.23 256-AH 0.00 286-AH 16.67 316-AH 20.34 346-AH 18.18 147-AH 58.82 177-AH 0.00 257-AH 7.94 287-AH 36.73 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 35.53 318-AH 22.22 348-AH 0.00 149-AH 0.00 179-AH 22.73 259-AH 0.00 289-AH 0.00 319-AH 47.37 349-AH 22.22 150-AH 10.00 180-AH 55.00 260-AH 46.03 290-AH 38.78 320-AH 0.00 350-AH 50.00 151-AH 0.00 181-AH 52.17 261-AH 55.88 291-AH 0.00 321-AH 0.00 152-AH 18.18 182-AH 50.00 262-AH 10.59 292-AH 75.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 47.06 323-AH 30.77 154-AH 14.29 184-AH 55.56 264-AH 0.00 294-AH 44.44 324-AH 1.35 155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 25.49 325-AH 47.54 156-AH 4.55 186-AH 0.00 266-AH 25.00 296-AH 0.00 326-AH 50.00 157-AH 38.13 187-AH 0.00 267-AH 33.33 297-AH 0.00 327-AH 0.00 158-AH 38.24 188-AH 0.00 268-AH 0.00 298-AH 40.00 328-AH 56.52 159-AH 57.41 189-AH 71.43 269-AH 11.11 299-AH 36.84 329-AH 52.94 160-AH 0.00 190-AH 44.44 270-AH 36.84 300-AH 16.67 330-AH 11.76 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 6.25 331-AH 11.76 162-AH 0.00 192-AH 50.00 272-AH 14.29 302-AH 23.53 332-AH 0.00 163-AH 77.05 193-AH 28.57 273-AH 77.11 303-AH 7.14 333-AH 0.00 164-AH 25.93 194-AH 0.00 274-AH 0.00 304-AH 33.33 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 4.55 305-AH 29.51 335-AH 33.33 166-AH 0.00 196-AH 100.00 276-AH 57.63 306-AH 0.00 336-AH 0.00 167-AH 0.00 197-AH 4.00 277-AH 42.31 307-AH 12.99 337-AH 75.00 168-AH 0.00 198-AH 0.00 278-AH 9.52 308-AH 72.73 338-AH 70.00 169-AH 0.00 199-AH 50.00 279-AH 0.00 309-AH 0.00 339-AH 0.00 170-AH 0.00 200-AH 66.67 280-AH 0.00 310-AH 38.10 340-AH 20.00 711 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0905 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 158,000 Source Language English Relevant 4,327 Topic Fields title Relevant retrieved 2,654 Pooled false Geometric Mean Average Precision 0.0113 BRF and WSD UBC, Title Only Binary Preference (BPREF) 0.2401 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 35.11 NLEL0905 10 29.54 90% 20 26.52 80% 30 23.42 40 20.46 70% 50 18.40 60% 60 15.72 Precision 70 13.29 50% 80 10.24 40% 90 7.37 30% 100 4.60 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.53 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0010 Second Quartile 0.0443 Third Quartile 0.2584 Interquartile range 0.2574 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1753 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2572 100 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 80 Upper Outlier Threshold 0.6271 60 Mean With No Outliers 0.1105 40 Std With No Outliers 0.1633 20 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0905 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0905 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0905 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0905 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0905 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0905 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0905 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 712 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0905 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.13 171-AH 0.01 251-AH 14.05 281-AH 0.00 311-AH 9.13 341-AH 3.25 142-AH 61.35 172-AH 3.64 252-AH 47.94 282-AH 0.01 312-AH 18.30 342-AH 1.02 143-AH 74.95 173-AH 100.00 253-AH 21.90 283-AH 0.44 313-AH 1.35 343-AH 0.56 144-AH 52.27 174-AH 83.33 254-AH 9.90 284-AH 32.95 314-AH 0.01 344-AH 39.15 145-AH 54.62 175-AH 49.60 255-AH 16.32 285-AH 0.00 315-AH 59.89 345-AH 9.02 146-AH 0.57 176-AH 76.96 256-AH 0.08 286-AH 0.01 316-AH 2.57 346-AH 10.10 147-AH 62.71 177-AH 0.61 257-AH 3.59 287-AH 2.31 317-AH 0.00 347-AH 6.37 148-AH 7.71 178-AH 9.21 258-AH 0.10 288-AH 26.04 318-AH 2.69 348-AH 0.00 149-AH 0.00 179-AH 74.64 259-AH 0.00 289-AH 0.00 319-AH 7.05 349-AH 38.84 150-AH 0.52 180-AH 39.42 260-AH 0.00 290-AH 12.15 320-AH 0.25 350-AH 69.18 151-AH 0.77 181-AH 40.26 261-AH 19.68 291-AH 0.57 321-AH 0.00 152-AH 0.19 182-AH 2.69 262-AH 4.00 292-AH 0.58 322-AH 7.69 153-AH 0.00 183-AH 26.08 263-AH 8.16 293-AH 7.39 323-AH 4.50 154-AH 4.35 184-AH 5.17 264-AH 1.11 294-AH 25.47 324-AH 0.00 155-AH 17.18 185-AH 0.00 265-AH 0.18 295-AH 26.81 325-AH 5.06 156-AH 0.70 186-AH 0.00 266-AH 6.04 296-AH 0.09 326-AH 0.00 157-AH 0.00 187-AH 0.00 267-AH 0.51 297-AH 1.02 327-AH 39.90 158-AH 66.31 188-AH 0.74 268-AH 0.00 298-AH 5.12 328-AH 52.68 159-AH 9.02 189-AH 7.61 269-AH 6.65 299-AH 24.51 329-AH 35.37 160-AH 3.51 190-AH 81.15 270-AH 29.97 300-AH 20.37 330-AH 5.82 161-AH 0.00 191-AH 0.00 271-AH 11.20 301-AH 0.01 331-AH 0.04 162-AH 1.92 192-AH 90.56 272-AH 1.35 302-AH 16.72 332-AH 0.07 163-AH 65.15 193-AH 53.32 273-AH 85.69 303-AH 7.61 333-AH 0.09 164-AH 3.23 194-AH 0.13 274-AH 1.81 304-AH 10.27 334-AH 19.41 165-AH 0.00 195-AH 0.00 275-AH 0.03 305-AH 37.26 335-AH 18.85 166-AH 0.00 196-AH 100.00 276-AH 45.26 306-AH 5.26 336-AH 0.00 167-AH 0.00 197-AH 0.83 277-AH 25.64 307-AH 28.07 337-AH 89.42 168-AH 0.13 198-AH 0.68 278-AH 17.95 308-AH 77.34 338-AH 0.00 169-AH 0.02 199-AH 51.70 279-AH 6.29 309-AH 0.02 339-AH 0.00 170-AH 0.77 200-AH 68.10 280-AH 0.01 310-AH 2.65 340-AH 36.30 713 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0905 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Monolingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 21.88 NLEL0905 10 docs 20.06 90% 15 docs 18.04 80% 20 docs 17.00 30 docs 14.40 70% 100 docs 8.18 60% 200 docs 5.22 Precision 500 docs 2.74 50% 1000 docs 1.66 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.67 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Monolingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0317 Third Quartile 0.3333 Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1867 Ad−Hoc Robust WSD Monolingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2501 100 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 80 Upper Outlier Threshold 0.8333 60 Mean With No Outliers 0.1764 40 Std With No Outliers 0.2341 20 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 NLEL0905 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 NLEL0905 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 NLEL0905 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 NLEL0905 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 NLEL0905 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 NLEL0905 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 NLEL0905 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 714 valencia 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2009.VALENCIA.NLEL0905 AH-ROBUST-WSD-MONO-EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.00 251-AH 20.00 281-AH 0.00 311-AH 14.81 341-AH 16.67 142-AH 62.50 172-AH 0.00 252-AH 44.83 282-AH 0.00 312-AH 25.81 342-AH 0.00 143-AH 74.36 173-AH 100.00 253-AH 34.21 283-AH 0.00 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 50.00 254-AH 17.47 284-AH 36.84 314-AH 0.00 344-AH 42.42 145-AH 50.00 175-AH 42.86 255-AH 25.00 285-AH 0.00 315-AH 66.10 345-AH 11.11 146-AH 0.00 176-AH 64.10 256-AH 0.00 286-AH 0.00 316-AH 1.69 346-AH 9.09 147-AH 56.86 177-AH 0.00 257-AH 3.17 287-AH 0.00 317-AH 0.00 347-AH 0.00 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 36.84 318-AH 0.00 348-AH 0.00 149-AH 0.00 179-AH 63.64 259-AH 0.00 289-AH 0.00 319-AH 15.79 349-AH 44.44 150-AH 0.00 180-AH 47.50 260-AH 0.00 290-AH 24.49 320-AH 0.00 350-AH 60.00 151-AH 0.00 181-AH 46.74 261-AH 32.35 291-AH 0.00 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 10.59 292-AH 0.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 12.50 293-AH 17.65 323-AH 7.69 154-AH 0.00 184-AH 11.11 264-AH 0.00 294-AH 33.33 324-AH 0.00 155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 31.37 325-AH 16.39 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00 157-AH 0.00 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 25.00 158-AH 64.71 188-AH 0.00 268-AH 0.00 298-AH 10.00 328-AH 56.52 159-AH 12.96 189-AH 0.00 269-AH 11.11 299-AH 34.21 329-AH 41.18 160-AH 0.00 190-AH 77.78 270-AH 38.60 300-AH 30.95 330-AH 5.88 161-AH 0.00 191-AH 0.00 271-AH 25.00 301-AH 0.00 331-AH 0.00 162-AH 0.00 192-AH 83.33 272-AH 0.00 302-AH 23.53 332-AH 0.00 163-AH 65.57 193-AH 57.14 273-AH 78.31 303-AH 7.14 333-AH 0.00 164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 20.00 334-AH 40.00 165-AH 0.00 195-AH 0.00 275-AH 0.00 305-AH 29.51 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 47.46 306-AH 0.00 336-AH 0.00 167-AH 0.00 197-AH 2.00 277-AH 46.15 307-AH 41.56 337-AH 80.00 168-AH 0.00 198-AH 0.00 278-AH 28.57 308-AH 72.73 338-AH 0.00 169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 0.00 170-AH 0.00 200-AH 55.56 280-AH 0.00 310-AH 3.17 340-AH 60.00 715 geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,776 Pooled false Geometric Mean Average Precision 0.1602 synset Binary Preference (BPREF) 0.3440 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.81 ISINUSWSDTD 10 61.57 90% 20 54.65 80% 30 47.33 40 41.82 70% 50 37.67 60% 60 30.86 Precision 70 25.86 50% 80 21.54 40% 90 15.89 30% 100 10.64 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.63 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1567 Second Quartile 0.3155 Third Quartile 0.5213 Interquartile range 0.3646 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3663 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2747 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.3663 10 Std With No Outliers 0.2747 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ISINUSWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ISINUSWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ISINUSWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ISINUSWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ISINUSWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 716 geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 4.57 251-AH 55.34 281-AH 48.11 311-AH 31.31 341-AH 84.95 142-AH 87.97 172-AH 9.03 252-AH 40.16 282-AH 14.16 312-AH 62.65 342-AH 59.16 143-AH 89.68 173-AH 100.00 253-AH 41.35 283-AH 35.26 313-AH 0.36 343-AH 3.23 144-AH 34.03 174-AH 100.00 254-AH 26.17 284-AH 51.47 314-AH 7.26 344-AH 13.90 145-AH 54.97 175-AH 73.12 255-AH 37.89 285-AH 72.97 315-AH 20.99 345-AH 14.05 146-AH 50.60 176-AH 89.70 256-AH 43.93 286-AH 9.80 316-AH 22.51 346-AH 9.99 147-AH 79.10 177-AH 39.00 257-AH 15.06 287-AH 36.42 317-AH 24.39 347-AH 4.45 148-AH 19.34 178-AH 43.48 258-AH 7.94 288-AH 15.98 318-AH 17.43 348-AH 100.00 149-AH 0.00 179-AH 22.48 259-AH 50.19 289-AH 48.69 319-AH 25.90 349-AH 32.46 150-AH 11.08 180-AH 68.24 260-AH 62.95 290-AH 29.75 320-AH 1.80 350-AH 68.58 151-AH 39.84 181-AH 80.39 261-AH 8.91 291-AH 29.68 321-AH 0.00 152-AH 54.50 182-AH 38.09 262-AH 34.58 292-AH 32.26 322-AH 8.67 153-AH 0.00 183-AH 19.38 263-AH 17.59 293-AH 37.05 323-AH 17.33 154-AH 34.39 184-AH 57.00 264-AH 25.64 294-AH 68.77 324-AH 7.54 155-AH 22.09 185-AH 16.67 265-AH 41.60 295-AH 23.87 325-AH 55.38 156-AH 15.78 186-AH 0.00 266-AH 6.40 296-AH 23.85 326-AH 50.56 157-AH 31.15 187-AH 25.00 267-AH 27.66 297-AH 36.95 327-AH 45.00 158-AH 36.07 188-AH 4.55 268-AH 66.67 298-AH 21.32 328-AH 52.79 159-AH 17.97 189-AH 92.40 269-AH 15.57 299-AH 43.31 329-AH 61.40 160-AH 7.94 190-AH 62.72 270-AH 48.28 300-AH 28.54 330-AH 71.76 161-AH 0.00 191-AH 0.00 271-AH 5.43 301-AH 1.57 331-AH 24.96 162-AH 20.00 192-AH 40.14 272-AH 8.34 302-AH 31.79 332-AH 47.03 163-AH 83.64 193-AH 57.91 273-AH 46.00 303-AH 40.22 333-AH 100.00 164-AH 27.03 194-AH 20.00 274-AH 37.77 304-AH 26.37 334-AH 10.07 165-AH 100.00 195-AH 0.00 275-AH 11.22 305-AH 27.29 335-AH 20.84 166-AH 0.00 196-AH 50.00 276-AH 43.45 306-AH 100.00 336-AH 0.01 167-AH 21.79 197-AH 78.99 277-AH 18.13 307-AH 34.02 337-AH 77.56 168-AH 33.21 198-AH 50.00 278-AH 19.82 308-AH 72.55 338-AH 22.39 169-AH 3.33 199-AH 48.52 279-AH 28.43 309-AH 5.16 339-AH 70.01 170-AH 100.00 200-AH 58.57 280-AH 9.76 310-AH 7.69 340-AH 28.92 717 geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 43.63 ISINUSWSDTD 10 docs 37.44 90% 15 docs 32.83 80% 20 docs 30.38 30 docs 26.63 70% 100 docs 14.76 60% 200 docs 9.08 Precision 500 docs 4.37 50% 1000 docs 2.36 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 35.34 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1429 Second Quartile 0.3333 Third Quartile 0.5000 Interquartile range 0.3571 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3534 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2719 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3534 15 Std With No Outliers 0.2719 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ISINUSWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ISINUSWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ISINUSWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ISINUSWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ISINUSWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ISINUSWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 718 geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.GENEVA.ISINUSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 53.85 281-AH 45.24 311-AH 44.44 341-AH 83.33 142-AH 87.50 172-AH 14.29 252-AH 41.38 282-AH 16.13 312-AH 58.06 342-AH 56.25 143-AH 76.92 173-AH 100.00 253-AH 47.37 283-AH 39.47 313-AH 0.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 34.50 284-AH 44.74 314-AH 0.00 344-AH 3.03 145-AH 55.26 175-AH 57.14 255-AH 25.00 285-AH 71.01 315-AH 32.20 345-AH 11.11 146-AH 50.00 176-AH 74.36 256-AH 50.00 286-AH 8.33 316-AH 24.58 346-AH 9.09 147-AH 68.63 177-AH 46.15 257-AH 20.63 287-AH 44.90 317-AH 30.00 347-AH 0.00 148-AH 16.67 178-AH 50.00 258-AH 0.00 288-AH 26.32 318-AH 11.11 348-AH 100.00 149-AH 0.00 179-AH 22.73 259-AH 33.33 289-AH 44.44 319-AH 26.32 349-AH 33.33 150-AH 20.00 180-AH 57.50 260-AH 58.73 290-AH 38.78 320-AH 0.00 350-AH 70.00 151-AH 41.67 181-AH 81.52 261-AH 14.71 291-AH 30.00 321-AH 0.00 152-AH 54.55 182-AH 25.00 262-AH 40.00 292-AH 50.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 41.18 323-AH 19.23 154-AH 28.57 184-AH 66.67 264-AH 22.73 294-AH 62.96 324-AH 16.22 155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 31.37 325-AH 57.38 156-AH 31.82 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 50.00 157-AH 40.29 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00 158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 47.83 159-AH 25.93 189-AH 85.71 269-AH 22.22 299-AH 44.74 329-AH 58.82 160-AH 0.00 190-AH 55.56 270-AH 43.86 300-AH 33.33 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 8.33 301-AH 0.00 331-AH 23.53 162-AH 0.00 192-AH 33.33 272-AH 21.43 302-AH 41.18 332-AH 37.50 163-AH 75.41 193-AH 42.86 273-AH 45.78 303-AH 42.86 333-AH 100.00 164-AH 22.22 194-AH 0.00 274-AH 37.50 304-AH 26.67 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 16.67 305-AH 32.79 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 49.15 306-AH 100.00 336-AH 0.00 167-AH 20.00 197-AH 72.00 277-AH 26.92 307-AH 48.05 337-AH 75.00 168-AH 33.33 198-AH 0.00 278-AH 23.81 308-AH 63.64 338-AH 10.00 169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 10.00 339-AH 68.42 170-AH 100.00 200-AH 55.56 280-AH 12.00 310-AH 11.11 340-AH 40.00 719 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSALLSENSES100DOCS CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,294 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 2,547 Pooled false Geometric Mean Average Precision 0.0193 Topic translation based on 1st sense; document Binary Preference (BPREF) 0.2293 expansion: 100 concepts based on all senses Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 38.74 ESEN1STTOPSALLSENSES100DOCS 10 30.93 90% 20 27.32 80% 30 22.70 40 20.49 70% 50 18.90 60% 60 15.10 Precision 70 13.12 50% 80 10.86 40% 90 8.05 30% 100 6.66 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 18.27 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0046 Second Quartile 0.0567 Third Quartile 0.2924 Interquartile range 0.2878 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1827 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2647 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.7228 50 Mean With No Outliers 0.1274 40 30 Std With No Outliers 0.1729 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0.5 0 −0.5 −1 141−AH142−AH143−AH144−AH145−AH146−AH147−AH148−AH149−AH150−AH151−AH152−AH153−AH154−AH155−AH156−AH157−AH158−AH159−AH160−AH161−AH162−AH163−AH164−AH165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 166−AH167−AH168−AH169−AH170−AH171−AH172−AH173−AH174−AH175−AH176−AH177−AH178−AH179−AH180−AH181−AH182−AH183−AH184−AH185−AH186−AH187−AH188−AH189−AH190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 191−AH192−AH193−AH194−AH195−AH196−AH197−AH198−AH199−AH200−AH251−AH252−AH253−AH254−AH255−AH256−AH257−AH258−AH259−AH260−AH261−AH262−AH263−AH264−AH265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 266−AH267−AH268−AH269−AH270−AH271−AH272−AH273−AH274−AH275−AH276−AH277−AH278−AH279−AH280−AH281−AH282−AH283−AH284−AH285−AH286−AH287−AH288−AH289−AH290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 291−AH292−AH293−AH294−AH295−AH296−AH297−AH298−AH299−AH300−AH301−AH302−AH303−AH304−AH305−AH306−AH307−AH308−AH309−AH310−AH311−AH312−AH313−AH314−AH315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 316−AH317−AH318−AH319−AH320−AH321−AH322−AH323−AH324−AH325−AH326−AH327−AH328−AH329−AH330−AH331−AH332−AH333−AH334−AH335−AH336−AH337−AH338−AH339−AH340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 720 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSALLSENSES100DOCS CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.83 251-AH 47.38 281-AH 33.81 311-AH 2.65 341-AH 50.67 142-AH 95.83 172-AH 0.16 252-AH 12.11 282-AH 13.55 312-AH 0.00 342-AH 31.99 143-AH 0.02 173-AH 100.00 253-AH 14.57 283-AH 4.06 313-AH 2.06 343-AH 0.15 144-AH 0.63 174-AH 100.00 254-AH 8.88 284-AH 1.40 314-AH 2.47 344-AH 2.65 145-AH 2.35 175-AH 72.28 255-AH 35.87 285-AH 0.63 315-AH 1.15 345-AH 0.00 146-AH 25.39 176-AH 68.33 256-AH 84.73 286-AH 0.09 316-AH 14.12 346-AH 6.29 147-AH 11.43 177-AH 26.46 257-AH 0.68 287-AH 27.63 317-AH 4.47 347-AH 3.73 148-AH 0.00 178-AH 0.24 258-AH 0.87 288-AH 5.59 318-AH 1.82 348-AH 100.00 149-AH 0.00 179-AH 0.02 259-AH 0.44 289-AH 31.96 319-AH 15.98 349-AH 31.19 150-AH 0.53 180-AH 2.99 260-AH 45.02 290-AH 0.53 320-AH 0.26 350-AH 48.04 151-AH 0.49 181-AH 41.97 261-AH 1.40 291-AH 8.35 321-AH 0.00 152-AH 0.00 182-AH 8.01 262-AH 0.54 292-AH 47.79 322-AH 4.62 153-AH 0.00 183-AH 7.25 263-AH 0.01 293-AH 3.06 323-AH 2.72 154-AH 26.54 184-AH 0.07 264-AH 21.98 294-AH 39.80 324-AH 0.49 155-AH 0.12 185-AH 100.00 265-AH 6.16 295-AH 0.24 325-AH 0.22 156-AH 2.36 186-AH 0.00 266-AH 1.36 296-AH 14.78 326-AH 28.75 157-AH 34.18 187-AH 0.61 267-AH 9.56 297-AH 8.07 327-AH 0.00 158-AH 0.16 188-AH 0.00 268-AH 5.76 298-AH 9.70 328-AH 21.98 159-AH 0.01 189-AH 89.29 269-AH 5.03 299-AH 0.40 329-AH 36.84 160-AH 51.59 190-AH 24.53 270-AH 46.10 300-AH 9.46 330-AH 68.04 161-AH 0.00 191-AH 0.00 271-AH 38.39 301-AH 0.33 331-AH 13.29 162-AH 0.00 192-AH 1.82 272-AH 10.47 302-AH 29.73 332-AH 39.09 163-AH 39.38 193-AH 31.00 273-AH 4.95 303-AH 7.67 333-AH 100.00 164-AH 0.25 194-AH 0.00 274-AH 0.20 304-AH 4.32 334-AH 10.61 165-AH 33.33 195-AH 0.00 275-AH 18.12 305-AH 0.03 335-AH 0.14 166-AH 0.00 196-AH 50.00 276-AH 8.82 306-AH 12.50 336-AH 0.73 167-AH 19.66 197-AH 52.01 277-AH 7.53 307-AH 0.01 337-AH 81.03 168-AH 6.18 198-AH 1.16 278-AH 1.48 308-AH 74.47 338-AH 36.35 169-AH 9.56 199-AH 51.92 279-AH 1.46 309-AH 1.01 339-AH 17.42 170-AH 0.00 200-AH 0.90 280-AH 0.58 310-AH 0.15 340-AH 11.68 721 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSALLSENSES100DOCS CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 20.88 ESEN1STTOPSALLSENSES100DOCS 10 docs 18.19 90% 15 docs 16.21 80% 20 docs 15.38 30 docs 13.04 70% 100 docs 7.33 60% 200 docs 4.93 Precision 500 docs 2.63 50% 1000 docs 1.59 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.14 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0588 Third Quartile 0.2857 Interquartile range 0.2857 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1914 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2586 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.7143 50 Mean With No Outliers 0.1432 40 30 Std With No Outliers 0.1819 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0.5 0 −0.5 −1 141−AH142−AH143−AH144−AH145−AH146−AH147−AH148−AH149−AH150−AH151−AH152−AH153−AH154−AH155−AH156−AH157−AH158−AH159−AH160−AH161−AH162−AH163−AH164−AH165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 166−AH167−AH168−AH169−AH170−AH171−AH172−AH173−AH174−AH175−AH176−AH177−AH178−AH179−AH180−AH181−AH182−AH183−AH184−AH185−AH186−AH187−AH188−AH189−AH190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 191−AH192−AH193−AH194−AH195−AH196−AH197−AH198−AH199−AH200−AH251−AH252−AH253−AH254−AH255−AH256−AH257−AH258−AH259−AH260−AH261−AH262−AH263−AH264−AH265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 266−AH267−AH268−AH269−AH270−AH271−AH272−AH273−AH274−AH275−AH276−AH277−AH278−AH279−AH280−AH281−AH282−AH283−AH284−AH285−AH286−AH287−AH288−AH289−AH290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 291−AH292−AH293−AH294−AH295−AH296−AH297−AH298−AH299−AH300−AH301−AH302−AH303−AH304−AH305−AH306−AH307−AH308−AH309−AH310−AH311−AH312−AH313−AH314−AH315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0 −1 316−AH317−AH318−AH319−AH320−AH321−AH322−AH323−AH324−AH325−AH326−AH327−AH328−AH329−AH330−AH331−AH332−AH333−AH334−AH335−AH336−AH337−AH338−AH339−AH340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ESEN1STTOPSALLSENSES100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 722 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSALLSENSES100DOCS CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 44.62 281-AH 28.57 311-AH 0.00 341-AH 50.00 142-AH 87.50 172-AH 0.00 252-AH 17.24 282-AH 25.81 312-AH 0.00 342-AH 28.12 143-AH 0.00 173-AH 100.00 253-AH 24.74 283-AH 7.89 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 16.59 284-AH 2.63 314-AH 5.56 344-AH 9.09 145-AH 2.63 175-AH 71.43 255-AH 50.00 285-AH 2.90 315-AH 3.39 345-AH 0.00 146-AH 50.00 176-AH 64.10 256-AH 79.41 286-AH 0.00 316-AH 16.95 346-AH 9.09 147-AH 21.57 177-AH 30.77 257-AH 3.17 287-AH 32.65 317-AH 13.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 11.84 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 27.78 319-AH 26.32 349-AH 33.33 150-AH 0.00 180-AH 5.00 260-AH 46.03 290-AH 2.04 320-AH 0.00 350-AH 40.00 151-AH 0.00 181-AH 43.48 261-AH 5.88 291-AH 13.33 321-AH 0.00 152-AH 0.00 182-AH 25.00 262-AH 3.53 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 5.88 323-AH 3.85 154-AH 28.57 184-AH 0.00 264-AH 27.27 294-AH 37.04 324-AH 1.35 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 0.00 325-AH 0.00 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 25.00 157-AH 38.13 187-AH 0.00 267-AH 19.05 297-AH 25.00 327-AH 0.00 158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 23.33 328-AH 17.39 159-AH 0.00 189-AH 71.43 269-AH 0.00 299-AH 1.32 329-AH 47.06 160-AH 50.00 190-AH 22.22 270-AH 42.11 300-AH 16.67 330-AH 62.75 161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 0.00 331-AH 5.88 162-AH 0.00 192-AH 0.00 272-AH 7.14 302-AH 29.41 332-AH 37.50 163-AH 49.18 193-AH 28.57 273-AH 13.25 303-AH 21.43 333-AH 100.00 164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 13.33 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 24.24 305-AH 0.00 335-AH 0.00 166-AH 0.00 196-AH 0.00 276-AH 20.34 306-AH 0.00 336-AH 0.00 167-AH 20.00 197-AH 48.00 277-AH 15.38 307-AH 0.00 337-AH 75.00 168-AH 5.56 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 50.00 169-AH 16.67 199-AH 50.00 279-AH 0.00 309-AH 0.00 339-AH 15.79 170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 1.59 340-AH 0.00 723 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSBESTSENSE500DOCS CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,294 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 2,565 Pooled false Geometric Mean Average Precision 0.0198 Topic translation based on 1st sense; document Binary Preference (BPREF) 0.2267 expansion: 500 concepts based on the best sense Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 39.29 ESEN1STTOPSBESTSENSE500DOCS 10 31.36 90% 20 27.28 80% 30 22.84 40 20.12 70% 50 18.54 60% 60 15.18 Precision 70 13.21 50% 80 10.93 40% 90 8.43 30% 100 6.86 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 18.38 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0052 Second Quartile 0.0629 Third Quartile 0.2857 Interquartile range 0.2804 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1838 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2637 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.7025 50 Mean With No Outliers 0.1246 40 30 Std With No Outliers 0.1654 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 141−AH142−AH143−AH144−AH145−AH146−AH147−AH148−AH149−AH150−AH151−AH152−AH153−AH154−AH155−AH156−AH157−AH158−AH159−AH160−AH161−AH162−AH163−AH164−AH165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 166−AH167−AH168−AH169−AH170−AH171−AH172−AH173−AH174−AH175−AH176−AH177−AH178−AH179−AH180−AH181−AH182−AH183−AH184−AH185−AH186−AH187−AH188−AH189−AH190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 191−AH192−AH193−AH194−AH195−AH196−AH197−AH198−AH199−AH200−AH251−AH252−AH253−AH254−AH255−AH256−AH257−AH258−AH259−AH260−AH261−AH262−AH263−AH264−AH265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 266−AH267−AH268−AH269−AH270−AH271−AH272−AH273−AH274−AH275−AH276−AH277−AH278−AH279−AH280−AH281−AH282−AH283−AH284−AH285−AH286−AH287−AH288−AH289−AH290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 291−AH292−AH293−AH294−AH295−AH296−AH297−AH298−AH299−AH300−AH301−AH302−AH303−AH304−AH305−AH306−AH307−AH308−AH309−AH310−AH311−AH312−AH313−AH314−AH315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 316−AH317−AH318−AH319−AH320−AH321−AH322−AH323−AH324−AH325−AH326−AH327−AH328−AH329−AH330−AH331−AH332−AH333−AH334−AH335−AH336−AH337−AH338−AH339−AH340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 724 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSBESTSENSE500DOCS CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.51 251-AH 48.51 281-AH 31.75 311-AH 3.75 341-AH 47.44 142-AH 96.59 172-AH 0.20 252-AH 13.69 282-AH 16.42 312-AH 0.00 342-AH 28.07 143-AH 0.04 173-AH 100.00 253-AH 16.35 283-AH 4.51 313-AH 3.41 343-AH 0.12 144-AH 0.51 174-AH 100.00 254-AH 9.86 284-AH 1.41 314-AH 2.45 344-AH 3.03 145-AH 3.26 175-AH 71.87 255-AH 37.09 285-AH 0.59 315-AH 1.15 345-AH 0.00 146-AH 25.30 176-AH 67.31 256-AH 84.81 286-AH 0.16 316-AH 14.39 346-AH 5.72 147-AH 11.37 177-AH 27.65 257-AH 0.74 287-AH 29.07 317-AH 5.16 347-AH 4.03 148-AH 0.00 178-AH 0.29 258-AH 0.87 288-AH 4.77 318-AH 1.50 348-AH 100.00 149-AH 0.00 179-AH 0.01 259-AH 0.79 289-AH 31.96 319-AH 19.77 349-AH 32.78 150-AH 0.51 180-AH 1.89 260-AH 39.95 290-AH 0.69 320-AH 0.37 350-AH 44.59 151-AH 1.39 181-AH 42.92 261-AH 1.48 291-AH 7.94 321-AH 0.00 152-AH 0.00 182-AH 7.23 262-AH 0.50 292-AH 61.25 322-AH 4.25 153-AH 0.00 183-AH 8.41 263-AH 0.00 293-AH 2.85 323-AH 2.99 154-AH 30.66 184-AH 0.19 264-AH 21.25 294-AH 36.55 324-AH 0.57 155-AH 0.00 185-AH 100.00 265-AH 6.97 295-AH 0.33 325-AH 0.21 156-AH 1.82 186-AH 0.00 266-AH 1.24 296-AH 13.38 326-AH 16.33 157-AH 35.35 187-AH 0.68 267-AH 10.14 297-AH 7.36 327-AH 0.00 158-AH 0.23 188-AH 0.00 268-AH 12.66 298-AH 9.01 328-AH 20.17 159-AH 0.02 189-AH 86.91 269-AH 7.05 299-AH 0.92 329-AH 40.34 160-AH 26.23 190-AH 21.10 270-AH 43.71 300-AH 9.00 330-AH 70.25 161-AH 0.00 191-AH 0.00 271-AH 39.68 301-AH 0.59 331-AH 13.48 162-AH 0.00 192-AH 4.29 272-AH 8.85 302-AH 35.31 332-AH 32.76 163-AH 40.35 193-AH 30.46 273-AH 4.84 303-AH 6.68 333-AH 100.00 164-AH 0.12 194-AH 0.00 274-AH 0.10 304-AH 6.13 334-AH 8.92 165-AH 50.00 195-AH 0.00 275-AH 20.44 305-AH 0.04 335-AH 0.21 166-AH 0.00 196-AH 50.00 276-AH 9.83 306-AH 16.67 336-AH 0.66 167-AH 19.92 197-AH 49.76 277-AH 7.58 307-AH 0.03 337-AH 80.58 168-AH 6.45 198-AH 1.01 278-AH 1.69 308-AH 74.90 338-AH 37.83 169-AH 19.51 199-AH 48.99 279-AH 1.47 309-AH 1.07 339-AH 17.39 170-AH 0.00 200-AH 1.42 280-AH 0.53 310-AH 0.17 340-AH 12.68 725 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSBESTSENSE500DOCS CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 21.00 ESEN1STTOPSBESTSENSE500DOCS 10 docs 18.31 90% 15 docs 16.33 80% 20 docs 14.94 30 docs 13.35 70% 100 docs 7.44 60% 200 docs 4.92 Precision 500 docs 2.70 50% 1000 docs 1.60 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.50 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0811 Third Quartile 0.3048 Interquartile range 0.3048 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1950 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2576 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.7500 50 Mean With No Outliers 0.1548 40 30 Std With No Outliers 0.1925 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 141−AH142−AH143−AH144−AH145−AH146−AH147−AH148−AH149−AH150−AH151−AH152−AH153−AH154−AH155−AH156−AH157−AH158−AH159−AH160−AH161−AH162−AH163−AH164−AH165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 166−AH167−AH168−AH169−AH170−AH171−AH172−AH173−AH174−AH175−AH176−AH177−AH178−AH179−AH180−AH181−AH182−AH183−AH184−AH185−AH186−AH187−AH188−AH189−AH190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 191−AH192−AH193−AH194−AH195−AH196−AH197−AH198−AH199−AH200−AH251−AH252−AH253−AH254−AH255−AH256−AH257−AH258−AH259−AH260−AH261−AH262−AH263−AH264−AH265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 266−AH267−AH268−AH269−AH270−AH271−AH272−AH273−AH274−AH275−AH276−AH277−AH278−AH279−AH280−AH281−AH282−AH283−AH284−AH285−AH286−AH287−AH288−AH289−AH290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 291−AH292−AH293−AH294−AH295−AH296−AH297−AH298−AH299−AH300−AH301−AH302−AH303−AH304−AH305−AH306−AH307−AH308−AH309−AH310−AH311−AH312−AH313−AH314−AH315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0 −1 316−AH317−AH318−AH319−AH320−AH321−AH322−AH323−AH324−AH325−AH326−AH327−AH328−AH329−AH330−AH331−AH332−AH333−AH334−AH335−AH336−AH337−AH338−AH339−AH340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ESEN1STTOPSBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 726 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009.IXA.ESEN1STTOPSBESTSENSE500DOCS CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 46.15 281-AH 30.95 311-AH 0.00 341-AH 50.00 142-AH 87.50 172-AH 0.00 252-AH 17.24 282-AH 29.03 312-AH 0.00 342-AH 28.12 143-AH 0.00 173-AH 100.00 253-AH 26.84 283-AH 10.53 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 17.47 284-AH 7.89 314-AH 5.56 344-AH 9.09 145-AH 5.26 175-AH 71.43 255-AH 50.00 285-AH 2.90 315-AH 3.39 345-AH 0.00 146-AH 50.00 176-AH 64.10 256-AH 79.41 286-AH 0.00 316-AH 16.10 346-AH 9.09 147-AH 21.57 177-AH 38.46 257-AH 3.17 287-AH 34.69 317-AH 13.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 9.21 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 27.78 319-AH 26.32 349-AH 33.33 150-AH 0.00 180-AH 5.00 260-AH 46.03 290-AH 4.08 320-AH 0.00 350-AH 30.00 151-AH 8.33 181-AH 48.91 261-AH 2.94 291-AH 13.33 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 4.71 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 5.88 323-AH 3.85 154-AH 33.33 184-AH 0.00 264-AH 36.36 294-AH 37.04 324-AH 0.00 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 1.96 325-AH 0.00 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 25.00 157-AH 42.45 187-AH 0.00 267-AH 19.05 297-AH 16.67 327-AH 0.00 158-AH 2.94 188-AH 0.00 268-AH 33.33 298-AH 20.00 328-AH 21.74 159-AH 0.00 189-AH 71.43 269-AH 11.11 299-AH 2.63 329-AH 41.18 160-AH 50.00 190-AH 11.11 270-AH 43.86 300-AH 16.67 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 6.25 331-AH 5.88 162-AH 0.00 192-AH 16.67 272-AH 7.14 302-AH 35.29 332-AH 37.50 163-AH 45.90 193-AH 28.57 273-AH 13.25 303-AH 14.29 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 13.33 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 28.79 305-AH 0.00 335-AH 0.00 166-AH 0.00 196-AH 0.00 276-AH 18.64 306-AH 0.00 336-AH 0.00 167-AH 20.00 197-AH 46.00 277-AH 19.23 307-AH 0.00 337-AH 75.00 168-AH 5.56 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 40.00 169-AH 16.67 199-AH 50.00 279-AH 0.00 309-AH 0.00 339-AH 15.79 170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 1.59 340-AH 0.00 727 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENALLSENSES100DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 158,267 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 1,784 Pooled false Geometric Mean Average Precision 0.0086 original topic words; document expansion and Binary Preference (BPREF) 0.1845 translation: 100 concepts based on all senses Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 30.03 ESENALLSENSES100DOCS 10 23.61 90% 20 20.59 80% 30 16.92 40 15.55 70% 50 14.14 60% 60 12.22 Precision 70 10.55 50% 80 9.24 40% 90 6.64 30% 100 5.15 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.02 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0013 Second Quartile 0.0163 Third Quartile 0.1491 Interquartile range 0.1478 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1402 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2517 150 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.3664 100 Mean With No Outliers 0.0563 Std With No Outliers 0.0955 50 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ESENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ESENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 728 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENALLSENSES100DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 11.59 251-AH 6.37 281-AH 16.42 311-AH 1.31 341-AH 46.20 142-AH 93.38 172-AH 0.00 252-AH 2.93 282-AH 2.00 312-AH 0.12 342-AH 51.15 143-AH 1.63 173-AH 100.00 253-AH 0.05 283-AH 5.25 313-AH 0.20 343-AH 0.00 144-AH 0.35 174-AH 83.33 254-AH 0.11 284-AH 0.08 314-AH 6.33 344-AH 31.86 145-AH 0.26 175-AH 69.17 255-AH 29.62 285-AH 5.80 315-AH 0.03 345-AH 0.14 146-AH 0.16 176-AH 80.47 256-AH 90.65 286-AH 0.00 316-AH 1.51 346-AH 7.83 147-AH 0.99 177-AH 7.41 257-AH 3.76 287-AH 0.21 317-AH 0.30 347-AH 3.23 148-AH 0.47 178-AH 0.00 258-AH 0.00 288-AH 0.03 318-AH 1.19 348-AH 100.00 149-AH 0.00 179-AH 2.60 259-AH 1.96 289-AH 49.67 319-AH 4.46 349-AH 21.32 150-AH 0.13 180-AH 0.01 260-AH 13.97 290-AH 0.01 320-AH 0.17 350-AH 53.08 151-AH 2.82 181-AH 34.00 261-AH 5.31 291-AH 0.40 321-AH 0.00 152-AH 0.00 182-AH 0.52 262-AH 0.23 292-AH 0.00 322-AH 0.82 153-AH 0.00 183-AH 0.12 263-AH 0.01 293-AH 0.49 323-AH 2.19 154-AH 22.11 184-AH 0.14 264-AH 17.88 294-AH 0.43 324-AH 0.04 155-AH 2.96 185-AH 5.56 265-AH 13.29 295-AH 0.00 325-AH 0.27 156-AH 1.76 186-AH 0.00 266-AH 0.63 296-AH 34.52 326-AH 26.74 157-AH 34.17 187-AH 1.75 267-AH 0.69 297-AH 0.00 327-AH 0.45 158-AH 1.56 188-AH 0.00 268-AH 0.00 298-AH 2.15 328-AH 58.37 159-AH 0.56 189-AH 36.64 269-AH 0.17 299-AH 0.12 329-AH 14.47 160-AH 4.95 190-AH 0.10 270-AH 14.06 300-AH 0.06 330-AH 68.17 161-AH 0.00 191-AH 0.00 271-AH 1.20 301-AH 0.08 331-AH 14.40 162-AH 0.26 192-AH 0.26 272-AH 25.18 302-AH 2.74 332-AH 37.27 163-AH 31.15 193-AH 15.35 273-AH 2.47 303-AH 0.31 333-AH 92.67 164-AH 0.11 194-AH 0.00 274-AH 0.56 304-AH 8.07 334-AH 27.53 165-AH 100.00 195-AH 0.00 275-AH 18.63 305-AH 0.45 335-AH 0.16 166-AH 0.00 196-AH 11.11 276-AH 0.01 306-AH 4.00 336-AH 3.43 167-AH 8.15 197-AH 44.88 277-AH 1.06 307-AH 0.49 337-AH 83.93 168-AH 32.41 198-AH 5.26 278-AH 0.11 308-AH 53.35 338-AH 22.66 169-AH 3.93 199-AH 36.55 279-AH 4.81 309-AH 1.19 339-AH 17.42 170-AH 0.00 200-AH 1.63 280-AH 1.07 310-AH 0.10 340-AH 4.56 729 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENALLSENSES100DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 17.00 ESENALLSENSES100DOCS 10 docs 14.19 90% 15 docs 12.38 80% 20 docs 11.69 30 docs 10.15 70% 100 docs 5.55 60% 200 docs 3.51 Precision 500 docs 1.84 50% 1000 docs 1.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 14.91 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0131 Third Quartile 0.2136 Interquartile range 0.2136 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1491 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2469 100 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 80 Upper Outlier Threshold 0.5000 60 Mean With No Outliers 0.0833 40 Std With No Outliers 0.1354 20 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ESENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ESENALLSENSES100DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ESENALLSENSES100DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 730 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENALLSENSES100DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 15.79 251-AH 7.69 281-AH 26.19 311-AH 3.70 341-AH 50.00 142-AH 87.50 172-AH 0.00 252-AH 10.34 282-AH 3.23 312-AH 0.00 342-AH 58.33 143-AH 2.56 173-AH 100.00 253-AH 1.05 283-AH 13.16 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 50.00 254-AH 2.62 284-AH 0.00 314-AH 16.67 344-AH 42.42 145-AH 2.63 175-AH 57.14 255-AH 25.00 285-AH 7.25 315-AH 0.00 345-AH 0.00 146-AH 0.00 176-AH 76.92 256-AH 79.41 286-AH 0.00 316-AH 3.39 346-AH 9.09 147-AH 1.96 177-AH 0.00 257-AH 12.70 287-AH 0.00 317-AH 0.00 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 0.00 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 4.55 259-AH 0.00 289-AH 61.11 319-AH 10.53 349-AH 29.63 150-AH 0.00 180-AH 0.00 260-AH 25.40 290-AH 0.00 320-AH 0.00 350-AH 50.00 151-AH 8.33 181-AH 32.61 261-AH 8.82 291-AH 0.00 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 0.00 292-AH 0.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 0.00 323-AH 7.69 154-AH 19.05 184-AH 0.00 264-AH 22.73 294-AH 0.00 324-AH 0.00 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 0.00 325-AH 1.64 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 25.00 157-AH 37.41 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 0.00 158-AH 5.88 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 60.87 159-AH 3.70 189-AH 28.57 269-AH 0.00 299-AH 1.32 329-AH 17.65 160-AH 0.00 190-AH 0.00 270-AH 22.81 300-AH 0.00 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 8.33 301-AH 0.00 331-AH 11.76 162-AH 0.00 192-AH 0.00 272-AH 28.57 302-AH 11.76 332-AH 37.50 163-AH 41.80 193-AH 28.57 273-AH 4.82 303-AH 0.00 333-AH 80.00 164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 13.33 334-AH 40.00 165-AH 100.00 195-AH 0.00 275-AH 24.24 305-AH 0.00 335-AH 0.00 166-AH 0.00 196-AH 0.00 276-AH 0.00 306-AH 0.00 336-AH 5.88 167-AH 20.00 197-AH 44.00 277-AH 7.69 307-AH 1.30 337-AH 75.00 168-AH 44.44 198-AH 0.00 278-AH 0.00 308-AH 72.73 338-AH 40.00 169-AH 0.00 199-AH 40.00 279-AH 0.00 309-AH 0.00 339-AH 15.79 170-AH 0.00 200-AH 0.00 280-AH 4.00 310-AH 1.59 340-AH 0.00 731 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENBESTSENSE500DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 158,687 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 2,149 Pooled false Geometric Mean Average Precision 0.0132 original topic words; document expansion and Binary Preference (BPREF) 0.2059 translation: 500 concepts based on the best sense Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 34.77 ESENBESTSENSE500DOCS 10 29.00 90% 20 24.95 80% 30 21.98 40 19.98 70% 50 18.56 60% 60 15.89 Precision 70 14.29 50% 80 11.63 40% 90 8.89 30% 100 6.27 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.72 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0024 Second Quartile 0.0301 Third Quartile 0.2185 Interquartile range 0.2161 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1772 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2738 100 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 80 Upper Outlier Threshold 0.5013 60 Mean With No Outliers 0.0847 40 Std With No Outliers 0.1277 20 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 ESENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 ESENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 732 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENBESTSENSE500DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 8.95 251-AH 36.36 281-AH 13.94 311-AH 6.12 341-AH 61.50 142-AH 97.05 172-AH 0.00 252-AH 1.57 282-AH 4.40 312-AH 0.00 342-AH 45.20 143-AH 2.77 173-AH 100.00 253-AH 0.45 283-AH 9.38 313-AH 2.55 343-AH 0.00 144-AH 0.43 174-AH 100.00 254-AH 0.14 284-AH 0.14 314-AH 9.22 344-AH 36.00 145-AH 0.27 175-AH 78.44 255-AH 26.20 285-AH 14.13 315-AH 0.02 345-AH 1.73 146-AH 50.13 176-AH 86.04 256-AH 89.25 286-AH 0.02 316-AH 0.55 346-AH 4.98 147-AH 0.61 177-AH 5.08 257-AH 7.46 287-AH 0.49 317-AH 2.65 347-AH 0.60 148-AH 1.78 178-AH 0.03 258-AH 0.00 288-AH 0.00 318-AH 2.01 348-AH 100.00 149-AH 0.00 179-AH 9.98 259-AH 0.40 289-AH 62.27 319-AH 21.91 349-AH 31.28 150-AH 0.66 180-AH 0.00 260-AH 21.78 290-AH 0.04 320-AH 1.72 350-AH 57.11 151-AH 0.37 181-AH 60.89 261-AH 9.03 291-AH 1.23 321-AH 0.00 152-AH 0.00 182-AH 33.10 262-AH 0.01 292-AH 0.27 322-AH 6.87 153-AH 0.00 183-AH 2.00 263-AH 0.08 293-AH 0.47 323-AH 8.18 154-AH 32.42 184-AH 1.91 264-AH 59.77 294-AH 0.03 324-AH 0.38 155-AH 0.00 185-AH 11.11 265-AH 14.57 295-AH 0.02 325-AH 0.17 156-AH 1.36 186-AH 0.00 266-AH 15.69 296-AH 46.65 326-AH 5.07 157-AH 41.32 187-AH 6.25 267-AH 0.00 297-AH 0.00 327-AH 0.08 158-AH 1.62 188-AH 0.00 268-AH 0.00 298-AH 3.25 328-AH 55.42 159-AH 1.99 189-AH 72.45 269-AH 0.52 299-AH 1.10 329-AH 29.77 160-AH 4.05 190-AH 0.07 270-AH 19.14 300-AH 0.13 330-AH 64.72 161-AH 0.00 191-AH 0.00 271-AH 19.63 301-AH 0.01 331-AH 15.33 162-AH 0.10 192-AH 1.32 272-AH 21.53 302-AH 12.36 332-AH 36.88 163-AH 59.25 193-AH 24.51 273-AH 31.30 303-AH 4.30 333-AH 100.00 164-AH 0.03 194-AH 0.00 274-AH 0.61 304-AH 17.65 334-AH 14.09 165-AH 12.50 195-AH 0.00 275-AH 27.23 305-AH 0.51 335-AH 0.38 166-AH 0.00 196-AH 11.11 276-AH 0.03 306-AH 100.00 336-AH 7.45 167-AH 21.71 197-AH 47.81 277-AH 4.86 307-AH 0.21 337-AH 82.15 168-AH 40.55 198-AH 1.03 278-AH 0.45 308-AH 71.00 338-AH 19.51 169-AH 21.71 199-AH 47.76 279-AH 0.73 309-AH 2.49 339-AH 13.28 170-AH 3.70 200-AH 0.90 280-AH 1.65 310-AH 0.62 340-AH 5.76 733 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENBESTSENSE500DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 19.75 ESENBESTSENSE500DOCS 10 docs 17.31 90% 15 docs 15.83 80% 20 docs 14.22 30 docs 12.52 70% 100 docs 7.12 60% 200 docs 4.57 Precision 500 docs 2.25 50% 1000 docs 1.34 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.91 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0206 Third Quartile 0.3023 Interquartile range 0.3023 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1791 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2738 100 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 80 Upper Outlier Threshold 0.7500 60 Mean With No Outliers 0.1331 40 Std With No Outliers 0.2033 20 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 ESENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 ESENBESTSENSE500DOCS Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 ESENBESTSENSE500DOCS Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 734 ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.IXA.ESENBESTSENSE500DOCS AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 40.00 281-AH 11.90 311-AH 9.26 341-AH 66.67 142-AH 87.50 172-AH 0.00 252-AH 6.90 282-AH 3.23 312-AH 0.00 342-AH 52.08 143-AH 2.56 173-AH 100.00 253-AH 2.11 283-AH 21.05 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 3.06 284-AH 0.00 314-AH 16.67 344-AH 30.30 145-AH 2.63 175-AH 85.71 255-AH 50.00 285-AH 20.29 315-AH 0.00 345-AH 0.00 146-AH 50.00 176-AH 74.36 256-AH 82.35 286-AH 0.00 316-AH 0.85 346-AH 0.00 147-AH 3.92 177-AH 0.00 257-AH 15.87 287-AH 2.04 317-AH 6.67 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 0.00 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 22.73 259-AH 0.00 289-AH 55.56 319-AH 21.05 349-AH 37.04 150-AH 0.00 180-AH 0.00 260-AH 30.16 290-AH 0.00 320-AH 0.00 350-AH 50.00 151-AH 0.00 181-AH 58.70 261-AH 14.71 291-AH 0.00 321-AH 0.00 152-AH 0.00 182-AH 50.00 262-AH 0.00 292-AH 0.00 322-AH 14.29 153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 0.00 323-AH 7.69 154-AH 38.10 184-AH 0.00 264-AH 59.09 294-AH 0.00 324-AH 1.35 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 0.00 325-AH 0.00 156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 0.00 157-AH 45.32 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 0.00 158-AH 2.94 188-AH 0.00 268-AH 0.00 298-AH 6.67 328-AH 47.83 159-AH 1.85 189-AH 71.43 269-AH 0.00 299-AH 5.26 329-AH 41.18 160-AH 0.00 190-AH 0.00 270-AH 26.32 300-AH 0.00 330-AH 56.86 161-AH 0.00 191-AH 0.00 271-AH 29.17 301-AH 0.00 331-AH 5.88 162-AH 0.00 192-AH 0.00 272-AH 35.71 302-AH 11.76 332-AH 37.50 163-AH 56.56 193-AH 14.29 273-AH 40.96 303-AH 7.14 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 33.33 334-AH 0.00 165-AH 0.00 195-AH 0.00 275-AH 31.82 305-AH 0.00 335-AH 0.00 166-AH 0.00 196-AH 0.00 276-AH 0.00 306-AH 100.00 336-AH 5.88 167-AH 20.00 197-AH 40.00 277-AH 19.23 307-AH 3.90 337-AH 75.00 168-AH 44.44 198-AH 0.00 278-AH 0.00 308-AH 72.73 338-AH 20.00 169-AH 16.67 199-AH 40.00 279-AH 0.00 309-AH 0.00 339-AH 15.79 170-AH 0.00 200-AH 0.00 280-AH 8.00 310-AH 1.59 340-AH 0.00 735 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSOWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 157,548 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,401 Pooled false Geometric Mean Average Precision 0.0705 biliassowsd Binary Preference (BPREF) 0.3112 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 57.44 BILIASSOWSD 10 49.13 90% 20 43.11 80% 30 37.11 40 33.36 70% 50 31.07 60% 60 25.84 Precision 70 22.19 50% 80 18.11 40% 90 13.89 30% 100 9.97 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.64 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0469 Second Quartile 0.1774 Third Quartile 0.4880 Interquartile range 0.4412 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2964 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2956 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2964 20 Std With No Outliers 0.2956 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILIASSOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILIASSOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILIASSOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILIASSOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILIASSOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILIASSOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILIASSOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 736 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSOWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 4.08 251-AH 36.45 281-AH 36.28 311-AH 23.81 341-AH 2.32 142-AH 86.15 172-AH 6.79 252-AH 16.63 282-AH 15.86 312-AH 42.33 342-AH 61.46 143-AH 81.91 173-AH 100.00 253-AH 36.37 283-AH 13.35 313-AH 1.80 343-AH 2.94 144-AH 63.89 174-AH 100.00 254-AH 16.12 284-AH 43.17 314-AH 1.12 344-AH 47.21 145-AH 12.16 175-AH 53.45 255-AH 55.00 285-AH 12.62 315-AH 22.10 345-AH 3.79 146-AH 0.56 176-AH 74.95 256-AH 38.72 286-AH 3.05 316-AH 18.13 346-AH 4.78 147-AH 59.83 177-AH 27.72 257-AH 13.91 287-AH 5.50 317-AH 6.91 347-AH 0.70 148-AH 19.73 178-AH 0.00 258-AH 0.38 288-AH 19.62 318-AH 18.14 348-AH 25.00 149-AH 0.00 179-AH 26.30 259-AH 8.92 289-AH 76.47 319-AH 48.31 349-AH 28.35 150-AH 1.10 180-AH 0.00 260-AH 40.91 290-AH 8.41 320-AH 2.98 350-AH 64.06 151-AH 0.04 181-AH 68.56 261-AH 2.02 291-AH 65.47 321-AH 0.00 152-AH 34.58 182-AH 16.13 262-AH 4.60 292-AH 100.00 322-AH 13.18 153-AH 0.91 183-AH 24.09 263-AH 0.85 293-AH 48.69 323-AH 5.09 154-AH 32.95 184-AH 11.37 264-AH 17.35 294-AH 8.58 324-AH 15.16 155-AH 0.07 185-AH 100.00 265-AH 11.78 295-AH 27.99 325-AH 5.12 156-AH 14.44 186-AH 0.00 266-AH 0.00 296-AH 30.42 326-AH 52.03 157-AH 53.46 187-AH 5.56 267-AH 16.93 297-AH 3.68 327-AH 0.77 158-AH 29.52 188-AH 0.00 268-AH 34.30 298-AH 15.77 328-AH 55.93 159-AH 48.92 189-AH 92.40 269-AH 14.17 299-AH 13.60 329-AH 74.26 160-AH 13.33 190-AH 55.89 270-AH 73.67 300-AH 0.60 330-AH 78.64 161-AH 0.00 191-AH 0.00 271-AH 45.84 301-AH 7.54 331-AH 11.56 162-AH 50.00 192-AH 59.41 272-AH 33.47 302-AH 31.51 332-AH 30.58 163-AH 79.94 193-AH 34.23 273-AH 63.58 303-AH 4.14 333-AH 81.00 164-AH 11.54 194-AH 7.69 274-AH 2.47 304-AH 30.35 334-AH 10.45 165-AH 100.00 195-AH 0.00 275-AH 50.85 305-AH 27.43 335-AH 8.93 166-AH 0.00 196-AH 100.00 276-AH 23.03 306-AH 100.00 336-AH 0.09 167-AH 22.98 197-AH 98.04 277-AH 7.69 307-AH 10.93 337-AH 65.33 168-AH 46.60 198-AH 0.00 278-AH 2.68 308-AH 74.74 338-AH 47.92 169-AH 0.93 199-AH 63.10 279-AH 29.46 309-AH 16.31 339-AH 42.60 170-AH 100.00 200-AH 53.37 280-AH 6.74 310-AH 11.35 340-AH 0.03 737 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSOWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 37.00 BILIASSOWSD 10 docs 31.31 90% 15 docs 28.54 80% 20 docs 25.72 30 docs 22.04 70% 100 docs 12.46 60% 200 docs 7.81 Precision 500 docs 3.87 50% 1000 docs 2.13 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.81 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0488 Second Quartile 0.2500 Third Quartile 0.5000 Interquartile range 0.4512 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3081 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2835 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3081 20 15 Std With No Outliers 0.2835 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILIASSOWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILIASSOWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILIASSOWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILIASSOWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILIASSOWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILIASSOWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILIASSOWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 738 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILIASSOWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 5.26 251-AH 35.38 281-AH 35.71 311-AH 31.48 341-AH 0.00 142-AH 75.00 172-AH 0.00 252-AH 24.14 282-AH 25.81 312-AH 41.94 342-AH 57.29 143-AH 71.79 173-AH 100.00 253-AH 42.11 283-AH 21.05 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 23.58 284-AH 47.37 314-AH 0.00 344-AH 51.52 145-AH 21.05 175-AH 57.14 255-AH 50.00 285-AH 21.74 315-AH 30.51 345-AH 0.00 146-AH 0.00 176-AH 64.10 256-AH 17.65 286-AH 8.33 316-AH 23.73 346-AH 9.09 147-AH 56.86 177-AH 30.77 257-AH 23.81 287-AH 16.33 317-AH 10.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 22.22 348-AH 50.00 149-AH 0.00 179-AH 31.82 259-AH 0.00 289-AH 77.78 319-AH 52.63 349-AH 29.63 150-AH 0.00 180-AH 0.00 260-AH 44.44 290-AH 14.29 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 70.65 261-AH 5.88 291-AH 63.33 321-AH 0.00 152-AH 27.27 182-AH 25.00 262-AH 4.71 292-AH 100.00 322-AH 28.57 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 52.94 323-AH 11.54 154-AH 38.10 184-AH 11.11 264-AH 27.27 294-AH 22.22 324-AH 27.03 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 35.29 325-AH 11.48 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 50.00 157-AH 53.96 187-AH 0.00 267-AH 14.29 297-AH 8.33 327-AH 0.00 158-AH 32.35 188-AH 0.00 268-AH 33.33 298-AH 20.00 328-AH 60.87 159-AH 50.00 189-AH 85.71 269-AH 22.22 299-AH 18.42 329-AH 64.71 160-AH 0.00 190-AH 66.67 270-AH 63.16 300-AH 0.00 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 18.75 331-AH 5.88 162-AH 0.00 192-AH 50.00 272-AH 35.71 302-AH 35.29 332-AH 37.50 163-AH 72.13 193-AH 28.57 273-AH 60.24 303-AH 7.14 333-AH 80.00 164-AH 14.81 194-AH 0.00 274-AH 0.00 304-AH 33.33 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 51.52 305-AH 32.79 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 35.59 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 94.00 277-AH 19.23 307-AH 25.97 337-AH 65.00 168-AH 50.00 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 50.00 169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 20.00 339-AH 42.11 170-AH 100.00 200-AH 55.56 280-AH 12.00 310-AH 22.22 340-AH 0.00 739 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYMWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 155,160 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,360 Pooled false Geometric Mean Average Precision 0.0682 bilisynonymwsd Binary Preference (BPREF) 0.2961 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 56.96 BILISYNONYMWSD 10 48.51 90% 20 41.93 80% 30 36.65 40 32.98 70% 50 29.66 60% 60 24.86 Precision 70 21.51 50% 80 17.42 40% 90 13.23 30% 100 9.26 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.87 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0433 Second Quartile 0.1694 Third Quartile 0.4948 Interquartile range 0.4514 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2887 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2912 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2887 20 Std With No Outliers 0.2912 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNONYMWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNONYMWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNONYMWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNONYMWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNONYMWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNONYMWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNONYMWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 740 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYMWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 4.79 251-AH 35.06 281-AH 36.04 311-AH 22.43 341-AH 2.32 142-AH 91.20 172-AH 6.87 252-AH 17.13 282-AH 15.86 312-AH 42.33 342-AH 61.37 143-AH 81.91 173-AH 100.00 253-AH 33.51 283-AH 12.15 313-AH 1.64 343-AH 2.94 144-AH 63.89 174-AH 100.00 254-AH 16.09 284-AH 43.17 314-AH 1.57 344-AH 49.77 145-AH 9.64 175-AH 52.90 255-AH 67.76 285-AH 12.63 315-AH 23.36 345-AH 3.77 146-AH 0.60 176-AH 74.67 256-AH 11.76 286-AH 2.63 316-AH 15.70 346-AH 4.66 147-AH 65.09 177-AH 22.17 257-AH 13.92 287-AH 2.22 317-AH 7.89 347-AH 0.70 148-AH 19.73 178-AH 0.00 258-AH 0.38 288-AH 19.63 318-AH 14.70 348-AH 25.00 149-AH 0.00 179-AH 26.30 259-AH 5.84 289-AH 73.34 319-AH 46.98 349-AH 33.80 150-AH 1.14 180-AH 0.00 260-AH 38.65 290-AH 8.44 320-AH 2.87 350-AH 62.93 151-AH 0.04 181-AH 66.20 261-AH 2.02 291-AH 65.47 321-AH 0.00 152-AH 29.84 182-AH 17.68 262-AH 4.66 292-AH 100.00 322-AH 13.20 153-AH 0.55 183-AH 22.96 263-AH 0.84 293-AH 49.18 323-AH 5.39 154-AH 30.18 184-AH 11.09 264-AH 17.00 294-AH 8.58 324-AH 15.16 155-AH 0.05 185-AH 100.00 265-AH 11.75 295-AH 28.00 325-AH 4.01 156-AH 13.49 186-AH 0.00 266-AH 0.00 296-AH 34.14 326-AH 51.56 157-AH 52.21 187-AH 6.25 267-AH 16.95 297-AH 3.68 327-AH 1.06 158-AH 28.07 188-AH 0.00 268-AH 34.42 298-AH 15.58 328-AH 55.93 159-AH 50.48 189-AH 93.25 269-AH 14.17 299-AH 13.61 329-AH 73.74 160-AH 12.70 190-AH 45.75 270-AH 72.43 300-AH 0.60 330-AH 75.66 161-AH 0.00 191-AH 0.00 271-AH 45.84 301-AH 7.52 331-AH 11.82 162-AH 50.00 192-AH 61.39 272-AH 33.47 302-AH 29.75 332-AH 29.34 163-AH 83.08 193-AH 35.59 273-AH 63.58 303-AH 2.43 333-AH 64.13 164-AH 11.16 194-AH 7.69 274-AH 2.51 304-AH 30.97 334-AH 9.09 165-AH 100.00 195-AH 0.00 275-AH 54.99 305-AH 28.22 335-AH 8.93 166-AH 0.00 196-AH 50.00 276-AH 23.04 306-AH 100.00 336-AH 0.09 167-AH 22.97 197-AH 95.97 277-AH 7.69 307-AH 10.93 337-AH 65.98 168-AH 46.68 198-AH 0.00 278-AH 2.68 308-AH 74.86 338-AH 52.30 169-AH 0.96 199-AH 65.51 279-AH 16.93 309-AH 16.64 339-AH 44.15 170-AH 100.00 200-AH 45.57 280-AH 7.16 310-AH 13.62 340-AH 0.03 741 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYMWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 37.13 BILISYNONYMWSD 10 docs 30.69 90% 15 docs 27.92 80% 20 docs 25.59 30 docs 21.92 70% 100 docs 12.15 60% 200 docs 7.73 Precision 500 docs 3.81 50% 1000 docs 2.10 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.49 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0473 Second Quartile 0.2370 Third Quartile 0.5000 Interquartile range 0.4527 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2949 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2764 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2949 20 Std With No Outliers 0.2764 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNONYMWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNONYMWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNONYMWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNONYMWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNONYMWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNONYMWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNONYMWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 742 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNONYMWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 10.53 251-AH 35.38 281-AH 38.10 311-AH 27.78 341-AH 0.00 142-AH 87.50 172-AH 0.00 252-AH 24.14 282-AH 25.81 312-AH 41.94 342-AH 55.21 143-AH 71.79 173-AH 100.00 253-AH 40.53 283-AH 18.42 313-AH 5.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 23.58 284-AH 47.37 314-AH 0.00 344-AH 51.52 145-AH 15.79 175-AH 57.14 255-AH 50.00 285-AH 21.74 315-AH 32.20 345-AH 0.00 146-AH 0.00 176-AH 64.10 256-AH 11.76 286-AH 8.33 316-AH 20.34 346-AH 9.09 147-AH 60.78 177-AH 15.38 257-AH 23.81 287-AH 6.12 317-AH 10.00 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 11.11 348-AH 50.00 149-AH 0.00 179-AH 31.82 259-AH 0.00 289-AH 72.22 319-AH 47.37 349-AH 33.33 150-AH 0.00 180-AH 0.00 260-AH 42.86 290-AH 14.29 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 68.48 261-AH 5.88 291-AH 63.33 321-AH 0.00 152-AH 18.18 182-AH 25.00 262-AH 4.71 292-AH 100.00 322-AH 28.57 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 55.88 323-AH 15.38 154-AH 38.10 184-AH 11.11 264-AH 27.27 294-AH 22.22 324-AH 27.03 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 35.29 325-AH 9.84 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 50.00 157-AH 52.52 187-AH 0.00 267-AH 14.29 297-AH 8.33 327-AH 0.00 158-AH 32.35 188-AH 0.00 268-AH 33.33 298-AH 20.00 328-AH 60.87 159-AH 51.85 189-AH 71.43 269-AH 22.22 299-AH 18.42 329-AH 64.71 160-AH 0.00 190-AH 55.56 270-AH 63.16 300-AH 0.00 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 18.75 331-AH 5.88 162-AH 0.00 192-AH 66.67 272-AH 35.71 302-AH 35.29 332-AH 37.50 163-AH 76.23 193-AH 28.57 273-AH 60.24 303-AH 7.14 333-AH 40.00 164-AH 11.11 194-AH 0.00 274-AH 0.00 304-AH 33.33 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 53.03 305-AH 32.79 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 86.00 277-AH 19.23 307-AH 25.97 337-AH 65.00 168-AH 50.00 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 50.00 169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 20.00 339-AH 47.37 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 22.22 340-AH 0.00 743 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSETWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 155,160 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,362 Pooled false Geometric Mean Average Precision 0.0691 bilisynsetwsd Binary Preference (BPREF) 0.2991 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 57.44 BILISYNSETWSD 10 49.14 90% 20 43.09 80% 30 36.49 40 32.52 70% 50 29.77 60% 60 24.54 Precision 70 21.22 50% 80 17.35 40% 90 13.15 30% 100 9.26 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.97 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0418 Second Quartile 0.1697 Third Quartile 0.4834 Interquartile range 0.4416 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2897 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2907 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2897 20 Std With No Outliers 0.2907 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNSETWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNSETWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNSETWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNSETWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNSETWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNSETWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNSETWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 744 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSETWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 4.25 251-AH 34.81 281-AH 36.04 311-AH 23.49 341-AH 2.32 142-AH 86.81 172-AH 6.31 252-AH 17.13 282-AH 15.86 312-AH 45.81 342-AH 60.20 143-AH 81.91 173-AH 100.00 253-AH 34.76 283-AH 12.15 313-AH 1.08 343-AH 2.94 144-AH 63.89 174-AH 100.00 254-AH 16.09 284-AH 43.17 314-AH 1.76 344-AH 49.19 145-AH 10.42 175-AH 52.90 255-AH 60.77 285-AH 12.63 315-AH 24.31 345-AH 3.69 146-AH 0.71 176-AH 74.67 256-AH 11.76 286-AH 2.62 316-AH 15.76 346-AH 4.66 147-AH 57.05 177-AH 25.37 257-AH 13.92 287-AH 2.32 317-AH 7.71 347-AH 0.70 148-AH 19.64 178-AH 0.00 258-AH 0.38 288-AH 19.63 318-AH 13.42 348-AH 25.00 149-AH 0.00 179-AH 26.30 259-AH 11.61 289-AH 73.34 319-AH 47.49 349-AH 32.73 150-AH 1.17 180-AH 0.00 260-AH 37.23 290-AH 8.44 320-AH 3.26 350-AH 66.03 151-AH 0.05 181-AH 66.64 261-AH 2.02 291-AH 65.47 321-AH 0.00 152-AH 35.39 182-AH 17.22 262-AH 4.66 292-AH 88.75 322-AH 13.20 153-AH 0.94 183-AH 25.28 263-AH 0.84 293-AH 49.18 323-AH 5.34 154-AH 32.16 184-AH 11.66 264-AH 17.00 294-AH 8.58 324-AH 15.16 155-AH 0.05 185-AH 100.00 265-AH 11.56 295-AH 28.00 325-AH 4.11 156-AH 14.26 186-AH 0.00 266-AH 0.00 296-AH 33.40 326-AH 39.33 157-AH 52.21 187-AH 5.88 267-AH 16.95 297-AH 3.68 327-AH 1.10 158-AH 25.70 188-AH 0.00 268-AH 33.90 298-AH 15.58 328-AH 55.93 159-AH 53.11 189-AH 93.25 269-AH 14.17 299-AH 13.61 329-AH 76.39 160-AH 15.00 190-AH 51.14 270-AH 72.43 300-AH 0.60 330-AH 75.66 161-AH 0.00 191-AH 0.00 271-AH 45.84 301-AH 7.52 331-AH 11.82 162-AH 50.00 192-AH 56.14 272-AH 33.47 302-AH 29.13 332-AH 29.34 163-AH 81.00 193-AH 35.64 273-AH 63.58 303-AH 3.06 333-AH 44.99 164-AH 13.12 194-AH 9.09 274-AH 2.21 304-AH 31.78 334-AH 9.09 165-AH 100.00 195-AH 0.00 275-AH 52.53 305-AH 28.64 335-AH 8.93 166-AH 0.00 196-AH 100.00 276-AH 23.04 306-AH 100.00 336-AH 0.10 167-AH 22.97 197-AH 96.61 277-AH 7.69 307-AH 10.93 337-AH 66.53 168-AH 46.68 198-AH 0.00 278-AH 2.68 308-AH 72.25 338-AH 50.06 169-AH 1.04 199-AH 64.44 279-AH 16.93 309-AH 24.50 339-AH 44.15 170-AH 100.00 200-AH 44.16 280-AH 7.26 310-AH 11.56 340-AH 0.03 745 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSETWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 36.63 BILISYNSETWSD 10 docs 31.00 90% 15 docs 28.25 80% 20 docs 25.56 30 docs 21.83 70% 100 docs 12.19 60% 200 docs 7.68 Precision 500 docs 3.82 50% 1000 docs 2.10 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.08 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0501 Second Quartile 0.2500 Third Quartile 0.5000 Interquartile range 0.4499 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3008 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2734 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3008 20 15 Std With No Outliers 0.2734 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILISYNSETWSD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILISYNSETWSD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILISYNSETWSD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILISYNSETWSD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILISYNSETWSD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILISYNSETWSD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILISYNSETWSD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 746 know-center 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.KNOW-CENTER.BILISYNSETWSD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 5.26 251-AH 35.38 281-AH 38.10 311-AH 27.78 341-AH 0.00 142-AH 75.00 172-AH 0.00 252-AH 24.14 282-AH 25.81 312-AH 45.16 342-AH 56.25 143-AH 71.79 173-AH 100.00 253-AH 41.58 283-AH 18.42 313-AH 0.00 343-AH 0.00 144-AH 66.67 174-AH 100.00 254-AH 23.58 284-AH 47.37 314-AH 0.00 344-AH 51.52 145-AH 21.05 175-AH 57.14 255-AH 50.00 285-AH 21.74 315-AH 35.59 345-AH 0.00 146-AH 0.00 176-AH 64.10 256-AH 11.76 286-AH 8.33 316-AH 21.19 346-AH 9.09 147-AH 54.90 177-AH 30.77 257-AH 23.81 287-AH 6.12 317-AH 13.33 347-AH 0.00 148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 28.95 318-AH 22.22 348-AH 50.00 149-AH 0.00 179-AH 31.82 259-AH 0.00 289-AH 72.22 319-AH 52.63 349-AH 33.33 150-AH 0.00 180-AH 0.00 260-AH 46.03 290-AH 14.29 320-AH 12.50 350-AH 60.00 151-AH 0.00 181-AH 68.48 261-AH 5.88 291-AH 63.33 321-AH 0.00 152-AH 27.27 182-AH 25.00 262-AH 4.71 292-AH 75.00 322-AH 28.57 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 55.88 323-AH 15.38 154-AH 38.10 184-AH 11.11 264-AH 27.27 294-AH 22.22 324-AH 27.03 155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 35.29 325-AH 9.84 156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 50.00 157-AH 52.52 187-AH 0.00 267-AH 14.29 297-AH 8.33 327-AH 0.00 158-AH 29.41 188-AH 0.00 268-AH 33.33 298-AH 20.00 328-AH 60.87 159-AH 53.70 189-AH 71.43 269-AH 22.22 299-AH 18.42 329-AH 64.71 160-AH 0.00 190-AH 55.56 270-AH 63.16 300-AH 0.00 330-AH 72.55 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 18.75 331-AH 5.88 162-AH 0.00 192-AH 50.00 272-AH 35.71 302-AH 35.29 332-AH 37.50 163-AH 72.95 193-AH 28.57 273-AH 60.24 303-AH 7.14 333-AH 40.00 164-AH 11.11 194-AH 0.00 274-AH 6.25 304-AH 40.00 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 50.00 305-AH 34.43 335-AH 20.00 166-AH 0.00 196-AH 100.00 276-AH 35.59 306-AH 100.00 336-AH 0.00 167-AH 40.00 197-AH 86.00 277-AH 19.23 307-AH 25.97 337-AH 65.00 168-AH 50.00 198-AH 0.00 278-AH 4.76 308-AH 63.64 338-AH 50.00 169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 20.00 339-AH 47.37 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 22.22 340-AH 0.00 747 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD1 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,141 Pooled false Geometric Mean Average Precision 0.0778 Online translation, query expansion Binary Preference (BPREF) 0.2915 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 53.06 BILIWSD1 10 48.54 90% 20 42.20 80% 30 36.77 40 32.61 70% 50 29.26 60% 60 25.08 Precision 70 20.05 50% 80 17.06 40% 90 12.42 30% 100 9.28 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.60 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0366 Second Quartile 0.1754 Third Quartile 0.4698 Interquartile range 0.4332 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2860 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2958 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2860 20 Std With No Outliers 0.2958 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 748 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD1 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.70 251-AH 44.26 281-AH 38.31 311-AH 24.19 341-AH 68.13 142-AH 90.70 172-AH 17.20 252-AH 26.36 282-AH 10.26 312-AH 0.01 342-AH 74.23 143-AH 72.72 173-AH 100.00 253-AH 1.39 283-AH 32.99 313-AH 1.80 343-AH 100.00 144-AH 4.76 174-AH 100.00 254-AH 17.14 284-AH 17.89 314-AH 1.59 344-AH 50.99 145-AH 58.60 175-AH 74.08 255-AH 35.64 285-AH 37.85 315-AH 21.34 345-AH 15.60 146-AH 8.33 176-AH 91.85 256-AH 82.72 286-AH 4.07 316-AH 2.91 346-AH 0.13 147-AH 59.02 177-AH 45.00 257-AH 19.73 287-AH 47.97 317-AH 16.98 347-AH 2.47 148-AH 3.08 178-AH 0.61 258-AH 0.00 288-AH 8.42 318-AH 46.15 348-AH 100.00 149-AH 0.00 179-AH 62.87 259-AH 11.43 289-AH 47.39 319-AH 18.76 349-AH 30.78 150-AH 2.89 180-AH 18.82 260-AH 55.81 290-AH 20.73 320-AH 5.48 350-AH 58.09 151-AH 0.23 181-AH 65.75 261-AH 14.74 291-AH 18.70 321-AH 0.00 152-AH 3.64 182-AH 52.68 262-AH 1.58 292-AH 23.40 322-AH 11.87 153-AH 0.31 183-AH 0.80 263-AH 0.39 293-AH 62.61 323-AH 4.00 154-AH 15.17 184-AH 5.68 264-AH 36.13 294-AH 4.28 324-AH 19.66 155-AH 1.15 185-AH 12.50 265-AH 22.98 295-AH 2.98 325-AH 4.09 156-AH 5.07 186-AH 0.00 266-AH 0.08 296-AH 50.92 326-AH 32.97 157-AH 46.58 187-AH 6.67 267-AH 36.40 297-AH 2.05 327-AH 0.43 158-AH 14.79 188-AH 1.47 268-AH 67.89 298-AH 12.60 328-AH 28.78 159-AH 6.99 189-AH 71.81 269-AH 20.79 299-AH 3.69 329-AH 58.66 160-AH 0.07 190-AH 8.36 270-AH 75.06 300-AH 13.24 330-AH 38.86 161-AH 0.00 191-AH 0.00 271-AH 38.55 301-AH 52.73 331-AH 23.85 162-AH 4.55 192-AH 65.72 272-AH 24.24 302-AH 37.50 332-AH 35.02 163-AH 66.45 193-AH 31.60 273-AH 37.29 303-AH 2.37 333-AH 100.00 164-AH 0.62 194-AH 1.35 274-AH 0.65 304-AH 0.90 334-AH 11.63 165-AH 50.00 195-AH 0.00 275-AH 38.34 305-AH 18.62 335-AH 42.70 166-AH 0.00 196-AH 100.00 276-AH 7.67 306-AH 33.33 336-AH 14.41 167-AH 24.31 197-AH 79.12 277-AH 10.27 307-AH 0.85 337-AH 84.57 168-AH 44.17 198-AH 7.69 278-AH 0.42 308-AH 63.34 338-AH 10.06 169-AH 13.05 199-AH 68.53 279-AH 1.87 309-AH 5.35 339-AH 80.73 170-AH 100.00 200-AH 16.51 280-AH 4.85 310-AH 0.25 340-AH 13.08 749 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD1 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 34.50 BILIWSD1 10 docs 30.13 90% 15 docs 27.92 80% 20 docs 25.22 30 docs 21.85 70% 100 docs 11.59 60% 200 docs 7.26 Precision 500 docs 3.55 50% 1000 docs 1.96 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.76 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.2343 Third Quartile 0.4732 Interquartile range 0.4732 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2876 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2883 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2876 20 Std With No Outliers 0.2883 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD1 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD1 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD1 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD1 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD1 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD1 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD1 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 750 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD1 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 41.54 281-AH 40.48 311-AH 37.04 341-AH 66.67 142-AH 87.50 172-AH 28.57 252-AH 27.59 282-AH 16.13 312-AH 0.00 342-AH 67.71 143-AH 64.10 173-AH 100.00 253-AH 5.26 283-AH 31.58 313-AH 5.00 343-AH 100.00 144-AH 0.00 174-AH 100.00 254-AH 26.64 284-AH 23.68 314-AH 0.00 344-AH 48.48 145-AH 57.89 175-AH 71.43 255-AH 25.00 285-AH 43.48 315-AH 30.51 345-AH 11.11 146-AH 0.00 176-AH 84.62 256-AH 73.53 286-AH 8.33 316-AH 11.02 346-AH 0.00 147-AH 52.94 177-AH 46.15 257-AH 25.40 287-AH 51.02 317-AH 20.00 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 14.47 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 59.09 259-AH 0.00 289-AH 55.56 319-AH 31.58 349-AH 29.63 150-AH 0.00 180-AH 35.00 260-AH 52.38 290-AH 28.57 320-AH 12.50 350-AH 50.00 151-AH 0.00 181-AH 67.39 261-AH 17.65 291-AH 23.33 321-AH 0.00 152-AH 9.09 182-AH 75.00 262-AH 9.41 292-AH 25.00 322-AH 28.57 153-AH 0.00 183-AH 0.00 263-AH 4.17 293-AH 55.88 323-AH 3.85 154-AH 23.81 184-AH 0.00 264-AH 40.91 294-AH 11.11 324-AH 29.73 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 7.84 325-AH 9.84 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 25.00 157-AH 52.52 187-AH 0.00 267-AH 38.10 297-AH 0.00 327-AH 0.00 158-AH 23.53 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 39.13 159-AH 11.11 189-AH 57.14 269-AH 22.22 299-AH 9.21 329-AH 58.82 160-AH 0.00 190-AH 11.11 270-AH 64.91 300-AH 16.67 330-AH 43.14 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 62.50 331-AH 23.53 162-AH 0.00 192-AH 66.67 272-AH 14.29 302-AH 35.29 332-AH 25.00 163-AH 62.30 193-AH 28.57 273-AH 39.76 303-AH 7.14 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 0.00 334-AH 0.00 165-AH 0.00 195-AH 0.00 275-AH 34.85 305-AH 27.87 335-AH 40.00 166-AH 0.00 196-AH 100.00 276-AH 13.56 306-AH 0.00 336-AH 17.65 167-AH 20.00 197-AH 68.00 277-AH 26.92 307-AH 6.49 337-AH 75.00 168-AH 44.44 198-AH 0.00 278-AH 0.00 308-AH 63.64 338-AH 10.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 78.95 170-AH 100.00 200-AH 33.33 280-AH 12.00 310-AH 3.17 340-AH 0.00 751 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD2 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,240 Pooled false Geometric Mean Average Precision 0.0938 Online translation, query expansion Binary Preference (BPREF) 0.3060 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 59.17 BILIWSD2 10 51.63 90% 20 46.07 80% 30 38.31 40 33.66 70% 50 30.32 60% 60 25.74 Precision 70 21.47 50% 80 17.52 40% 90 12.81 30% 100 9.49 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 30.32 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0469 Second Quartile 0.2178 Third Quartile 0.4945 Interquartile range 0.4476 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3032 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2917 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3032 20 15 Std With No Outliers 0.2917 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 752 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD2 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.90 251-AH 36.97 281-AH 35.58 311-AH 22.68 341-AH 65.18 142-AH 93.38 172-AH 13.71 252-AH 45.85 282-AH 12.87 312-AH 4.36 342-AH 70.13 143-AH 48.45 173-AH 100.00 253-AH 3.16 283-AH 26.80 313-AH 2.58 343-AH 50.00 144-AH 0.95 174-AH 100.00 254-AH 27.50 284-AH 13.96 314-AH 1.89 344-AH 46.57 145-AH 65.57 175-AH 72.38 255-AH 34.08 285-AH 52.78 315-AH 5.20 345-AH 5.03 146-AH 25.00 176-AH 92.34 256-AH 83.27 286-AH 2.05 316-AH 3.13 346-AH 0.04 147-AH 66.51 177-AH 37.50 257-AH 24.80 287-AH 46.95 317-AH 18.33 347-AH 2.80 148-AH 3.60 178-AH 4.28 258-AH 0.27 288-AH 12.46 318-AH 5.17 348-AH 83.33 149-AH 0.00 179-AH 36.86 259-AH 7.18 289-AH 74.62 319-AH 33.79 349-AH 37.49 150-AH 6.16 180-AH 10.83 260-AH 27.50 290-AH 14.75 320-AH 0.25 350-AH 57.86 151-AH 0.07 181-AH 79.44 261-AH 22.96 291-AH 18.92 321-AH 0.00 152-AH 17.59 182-AH 52.26 262-AH 5.69 292-AH 39.88 322-AH 5.76 153-AH 1.00 183-AH 19.34 263-AH 0.11 293-AH 55.70 323-AH 6.83 154-AH 27.31 184-AH 26.50 264-AH 48.91 294-AH 55.39 324-AH 19.18 155-AH 0.83 185-AH 8.33 265-AH 14.79 295-AH 2.90 325-AH 6.72 156-AH 2.90 186-AH 0.00 266-AH 1.04 296-AH 61.11 326-AH 19.25 157-AH 50.67 187-AH 20.00 267-AH 36.11 297-AH 18.86 327-AH 1.17 158-AH 30.02 188-AH 0.49 268-AH 69.52 298-AH 10.85 328-AH 22.43 159-AH 8.17 189-AH 70.48 269-AH 31.02 299-AH 2.67 329-AH 64.66 160-AH 0.12 190-AH 8.00 270-AH 75.51 300-AH 13.85 330-AH 41.00 161-AH 0.00 191-AH 0.00 271-AH 35.00 301-AH 46.68 331-AH 58.67 162-AH 12.50 192-AH 86.26 272-AH 24.10 302-AH 45.92 332-AH 37.14 163-AH 54.26 193-AH 33.41 273-AH 36.25 303-AH 15.35 333-AH 100.00 164-AH 0.36 194-AH 1.25 274-AH 1.27 304-AH 9.31 334-AH 12.01 165-AH 100.00 195-AH 0.00 275-AH 45.88 305-AH 26.95 335-AH 48.57 166-AH 0.00 196-AH 50.00 276-AH 13.82 306-AH 100.00 336-AH 23.03 167-AH 21.12 197-AH 66.03 277-AH 13.75 307-AH 2.24 337-AH 80.57 168-AH 69.44 198-AH 0.68 278-AH 0.18 308-AH 63.52 338-AH 26.54 169-AH 13.32 199-AH 66.94 279-AH 1.59 309-AH 5.75 339-AH 67.45 170-AH 100.00 200-AH 30.15 280-AH 2.29 310-AH 1.26 340-AH 21.10 753 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD2 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 38.75 BILIWSD2 10 docs 32.81 90% 15 docs 29.38 80% 20 docs 26.47 30 docs 22.77 70% 100 docs 11.81 60% 200 docs 7.43 Precision 500 docs 3.64 50% 1000 docs 2.03 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.35 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0465 Second Quartile 0.2500 Third Quartile 0.5000 Interquartile range 0.4535 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3035 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2793 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.3035 20 Std With No Outliers 0.2793 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD2 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD2 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD2 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD2 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD2 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD2 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD2 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 754 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD2 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 38.46 281-AH 35.71 311-AH 33.33 341-AH 66.67 142-AH 87.50 172-AH 14.29 252-AH 41.38 282-AH 12.90 312-AH 6.45 342-AH 63.54 143-AH 53.85 173-AH 100.00 253-AH 9.47 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 36.24 284-AH 21.05 314-AH 5.56 344-AH 48.48 145-AH 57.89 175-AH 71.43 255-AH 25.00 285-AH 50.72 315-AH 10.17 345-AH 0.00 146-AH 50.00 176-AH 84.62 256-AH 76.47 286-AH 0.00 316-AH 8.47 346-AH 0.00 147-AH 66.67 177-AH 38.46 257-AH 34.92 287-AH 55.10 317-AH 23.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 23.68 318-AH 11.11 348-AH 50.00 149-AH 0.00 179-AH 40.91 259-AH 0.00 289-AH 72.22 319-AH 36.84 349-AH 40.74 150-AH 0.00 180-AH 22.50 260-AH 36.51 290-AH 24.49 320-AH 0.00 350-AH 50.00 151-AH 0.00 181-AH 72.83 261-AH 26.47 291-AH 26.67 321-AH 0.00 152-AH 18.18 182-AH 75.00 262-AH 12.94 292-AH 25.00 322-AH 14.29 153-AH 0.00 183-AH 25.00 263-AH 2.08 293-AH 55.88 323-AH 11.54 154-AH 28.57 184-AH 33.33 264-AH 40.91 294-AH 51.85 324-AH 31.08 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 7.84 325-AH 11.48 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 66.67 326-AH 25.00 157-AH 55.40 187-AH 0.00 267-AH 33.33 297-AH 25.00 327-AH 0.00 158-AH 29.41 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 34.78 159-AH 12.96 189-AH 57.14 269-AH 22.22 299-AH 3.95 329-AH 58.82 160-AH 0.00 190-AH 11.11 270-AH 64.91 300-AH 19.05 330-AH 45.10 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 43.75 331-AH 64.71 162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 47.06 332-AH 25.00 163-AH 53.28 193-AH 28.57 273-AH 37.35 303-AH 28.57 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 13.33 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 40.91 305-AH 32.79 335-AH 46.67 166-AH 0.00 196-AH 0.00 276-AH 18.64 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 62.00 277-AH 34.62 307-AH 7.79 337-AH 75.00 168-AH 61.11 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 40.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 63.16 170-AH 100.00 200-AH 44.44 280-AH 0.00 310-AH 4.76 340-AH 20.00 755 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD3 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 159,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title Relevant retrieved 2,647 Pooled false Geometric Mean Average Precision 0.0252 Online translation, query expansion Binary Preference (BPREF) 0.2553 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.41 BILIWSD3 10 37.62 90% 20 32.66 80% 30 28.75 40 26.21 70% 50 23.88 60% 60 20.65 Precision 70 17.40 50% 80 14.11 40% 90 10.97 30% 100 8.39 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.18 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0064 Second Quartile 0.0933 Third Quartile 0.4133 Interquartile range 0.4068 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2318 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.3025 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 1.0000 50 Mean With No Outliers 0.2318 40 30 Std With No Outliers 0.3025 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 756 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD3 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 11.53 251-AH 21.18 281-AH 27.96 311-AH 27.51 341-AH 1.14 142-AH 92.60 172-AH 7.13 252-AH 0.19 282-AH 0.20 312-AH 0.13 342-AH 69.04 143-AH 90.02 173-AH 100.00 253-AH 0.42 283-AH 11.60 313-AH 0.97 343-AH 3.33 144-AH 0.26 174-AH 100.00 254-AH 9.07 284-AH 0.50 314-AH 0.45 344-AH 50.88 145-AH 58.61 175-AH 66.80 255-AH 32.09 285-AH 0.79 315-AH 23.27 345-AH 9.60 146-AH 7.14 176-AH 91.91 256-AH 80.40 286-AH 3.33 316-AH 9.94 346-AH 0.02 147-AH 2.36 177-AH 44.13 257-AH 13.20 287-AH 20.48 317-AH 6.19 347-AH 1.77 148-AH 3.50 178-AH 0.00 258-AH 0.00 288-AH 0.59 318-AH 25.65 348-AH 100.00 149-AH 0.00 179-AH 70.12 259-AH 0.00 289-AH 45.73 319-AH 26.83 349-AH 43.82 150-AH 0.00 180-AH 15.89 260-AH 19.77 290-AH 21.88 320-AH 0.06 350-AH 59.64 151-AH 5.06 181-AH 82.30 261-AH 0.00 291-AH 4.44 321-AH 0.00 152-AH 0.04 182-AH 4.50 262-AH 1.28 292-AH 0.00 322-AH 2.12 153-AH 0.00 183-AH 0.40 263-AH 0.12 293-AH 11.62 323-AH 2.09 154-AH 12.28 184-AH 4.42 264-AH 44.83 294-AH 0.01 324-AH 44.41 155-AH 1.57 185-AH 10.00 265-AH 12.66 295-AH 0.06 325-AH 1.22 156-AH 5.56 186-AH 0.00 266-AH 0.00 296-AH 70.55 326-AH 38.83 157-AH 14.62 187-AH 7.69 267-AH 2.10 297-AH 0.00 327-AH 2.93 158-AH 44.06 188-AH 5.00 268-AH 18.19 298-AH 3.65 328-AH 44.65 159-AH 21.36 189-AH 58.28 269-AH 10.09 299-AH 0.00 329-AH 7.36 160-AH 0.00 190-AH 0.45 270-AH 38.44 300-AH 3.17 330-AH 35.58 161-AH 0.00 191-AH 0.00 271-AH 0.79 301-AH 46.67 331-AH 51.34 162-AH 100.00 192-AH 10.62 272-AH 1.89 302-AH 45.69 332-AH 29.66 163-AH 44.90 193-AH 22.01 273-AH 55.66 303-AH 1.88 333-AH 100.00 164-AH 1.74 194-AH 0.27 274-AH 0.07 304-AH 0.01 334-AH 11.34 165-AH 50.00 195-AH 0.00 275-AH 21.89 305-AH 20.58 335-AH 10.83 166-AH 0.00 196-AH 100.00 276-AH 2.05 306-AH 14.29 336-AH 16.51 167-AH 25.82 197-AH 88.67 277-AH 7.50 307-AH 0.70 337-AH 88.42 168-AH 64.13 198-AH 7.69 278-AH 0.14 308-AH 56.39 338-AH 0.76 169-AH 10.53 199-AH 68.18 279-AH 0.00 309-AH 0.83 339-AH 83.38 170-AH 100.00 200-AH 11.98 280-AH 7.72 310-AH 0.04 340-AH 15.73 757 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD3 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 25.50 BILIWSD3 10 docs 23.44 90% 15 docs 21.88 80% 20 docs 20.13 30 docs 17.46 70% 100 docs 9.27 60% 200 docs 5.73 Precision 500 docs 2.91 50% 1000 docs 1.65 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.45 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0833 Third Quartile 0.3957 Interquartile range 0.3957 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2345 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2973 80 Number of Topics of the Experiment 70 Lower Outlier Threshold 0.0000 60 Upper Outlier Threshold 0.8750 50 Mean With No Outliers 0.1942 40 30 Std With No Outliers 0.2457 20 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD3 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD3 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD3 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD3 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD3 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD3 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD3 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 758 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD3 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 26.15 281-AH 33.33 311-AH 37.04 341-AH 0.00 142-AH 87.50 172-AH 14.29 252-AH 0.00 282-AH 0.00 312-AH 3.23 342-AH 67.71 143-AH 76.92 173-AH 100.00 253-AH 4.21 283-AH 13.16 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 15.72 284-AH 2.63 314-AH 5.56 344-AH 48.48 145-AH 55.26 175-AH 71.43 255-AH 25.00 285-AH 2.90 315-AH 35.59 345-AH 11.11 146-AH 0.00 176-AH 87.18 256-AH 79.41 286-AH 8.33 316-AH 20.34 346-AH 0.00 147-AH 7.84 177-AH 53.85 257-AH 23.81 287-AH 26.53 317-AH 13.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 3.95 318-AH 22.22 348-AH 100.00 149-AH 0.00 179-AH 72.73 259-AH 0.00 289-AH 55.56 319-AH 31.58 349-AH 44.44 150-AH 0.00 180-AH 27.50 260-AH 25.40 290-AH 26.53 320-AH 0.00 350-AH 50.00 151-AH 16.67 181-AH 73.91 261-AH 0.00 291-AH 0.00 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 7.06 292-AH 0.00 322-AH 0.00 153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 17.65 323-AH 3.85 154-AH 19.05 184-AH 0.00 264-AH 40.91 294-AH 0.00 324-AH 59.46 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 0.00 325-AH 3.28 156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 50.00 157-AH 26.62 187-AH 0.00 267-AH 4.76 297-AH 0.00 327-AH 0.00 158-AH 52.94 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 39.13 159-AH 27.78 189-AH 57.14 269-AH 11.11 299-AH 0.00 329-AH 11.76 160-AH 0.00 190-AH 0.00 270-AH 38.60 300-AH 2.38 330-AH 37.25 161-AH 0.00 191-AH 0.00 271-AH 8.33 301-AH 56.25 331-AH 47.06 162-AH 100.00 192-AH 16.67 272-AH 0.00 302-AH 47.06 332-AH 25.00 163-AH 44.26 193-AH 28.57 273-AH 54.22 303-AH 0.00 333-AH 100.00 164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00 165-AH 0.00 195-AH 0.00 275-AH 31.82 305-AH 29.51 335-AH 13.33 166-AH 0.00 196-AH 100.00 276-AH 6.78 306-AH 0.00 336-AH 29.41 167-AH 40.00 197-AH 76.00 277-AH 19.23 307-AH 5.19 337-AH 80.00 168-AH 55.56 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 0.00 169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 73.68 170-AH 100.00 200-AH 22.22 280-AH 12.00 310-AH 0.00 340-AH 0.00 759 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD4 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,218 Pooled false Geometric Mean Average Precision 0.0957 Online translation, no expansion Binary Preference (BPREF) 0.2980 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.56 BILIWSD4 10 52.01 90% 20 45.74 80% 30 37.36 40 32.85 70% 50 29.84 60% 60 24.12 Precision 70 20.21 50% 80 16.16 40% 90 12.51 30% 100 9.14 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.75 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0505 Second Quartile 0.2282 Third Quartile 0.4821 Interquartile range 0.4315 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2975 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2826 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.2975 20 15 Std With No Outliers 0.2826 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 760 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD4 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.24 251-AH 37.10 281-AH 34.75 311-AH 23.05 341-AH 55.73 142-AH 92.76 172-AH 12.73 252-AH 40.72 282-AH 13.79 312-AH 8.78 342-AH 64.17 143-AH 49.28 173-AH 100.00 253-AH 2.75 283-AH 26.14 313-AH 2.51 343-AH 50.00 144-AH 11.11 174-AH 100.00 254-AH 25.56 284-AH 22.59 314-AH 1.75 344-AH 41.27 145-AH 57.39 175-AH 61.54 255-AH 35.25 285-AH 50.24 315-AH 8.25 345-AH 5.18 146-AH 25.00 176-AH 92.02 256-AH 83.77 286-AH 2.87 316-AH 0.49 346-AH 0.10 147-AH 66.50 177-AH 27.70 257-AH 22.47 287-AH 45.22 317-AH 18.70 347-AH 3.16 148-AH 3.35 178-AH 2.03 258-AH 0.38 288-AH 7.48 318-AH 4.29 348-AH 100.00 149-AH 0.00 179-AH 29.58 259-AH 5.61 289-AH 61.59 319-AH 29.85 349-AH 33.99 150-AH 5.26 180-AH 0.54 260-AH 26.88 290-AH 14.64 320-AH 2.09 350-AH 55.84 151-AH 0.09 181-AH 77.97 261-AH 18.13 291-AH 24.90 321-AH 0.00 152-AH 14.84 182-AH 51.76 262-AH 4.93 292-AH 37.35 322-AH 6.98 153-AH 0.79 183-AH 45.25 263-AH 0.19 293-AH 57.12 323-AH 8.78 154-AH 27.20 184-AH 32.91 264-AH 44.55 294-AH 56.85 324-AH 22.91 155-AH 0.61 185-AH 10.00 265-AH 16.07 295-AH 3.29 325-AH 6.05 156-AH 2.74 186-AH 0.00 266-AH 1.51 296-AH 59.36 326-AH 18.34 157-AH 47.13 187-AH 20.00 267-AH 33.94 297-AH 23.53 327-AH 1.47 158-AH 24.74 188-AH 0.30 268-AH 68.10 298-AH 11.65 328-AH 17.54 159-AH 6.41 189-AH 67.36 269-AH 31.57 299-AH 14.62 329-AH 67.04 160-AH 0.05 190-AH 6.18 270-AH 73.51 300-AH 13.90 330-AH 28.53 161-AH 0.00 191-AH 0.00 271-AH 33.06 301-AH 45.32 331-AH 58.76 162-AH 12.50 192-AH 64.50 272-AH 22.88 302-AH 46.45 332-AH 40.58 163-AH 53.46 193-AH 33.36 273-AH 41.27 303-AH 13.29 333-AH 100.00 164-AH 0.58 194-AH 1.33 274-AH 1.27 304-AH 14.13 334-AH 12.12 165-AH 100.00 195-AH 0.00 275-AH 44.81 305-AH 22.75 335-AH 46.90 166-AH 0.00 196-AH 50.00 276-AH 22.24 306-AH 100.00 336-AH 27.80 167-AH 16.89 197-AH 66.22 277-AH 11.78 307-AH 4.42 337-AH 70.93 168-AH 56.59 198-AH 0.88 278-AH 0.17 308-AH 61.49 338-AH 32.94 169-AH 22.48 199-AH 64.59 279-AH 2.49 309-AH 5.17 339-AH 60.25 170-AH 100.00 200-AH 29.39 280-AH 2.34 310-AH 2.34 340-AH 18.16 761 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD4 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 39.88 BILIWSD4 10 docs 31.88 90% 15 docs 28.71 80% 20 docs 26.06 30 docs 21.98 70% 100 docs 11.68 60% 200 docs 7.31 Precision 500 docs 3.60 50% 1000 docs 2.01 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.90 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0465 Second Quartile 0.2500 Third Quartile 0.5000 Interquartile range 0.4535 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2990 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2769 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2990 20 Std With No Outliers 0.2769 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD4 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD4 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD4 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD4 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD4 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD4 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD4 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 762 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD4 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 36.92 281-AH 35.71 311-AH 29.63 341-AH 50.00 142-AH 87.50 172-AH 14.29 252-AH 41.38 282-AH 16.13 312-AH 12.90 342-AH 58.33 143-AH 56.41 173-AH 100.00 253-AH 7.89 283-AH 28.95 313-AH 5.00 343-AH 0.00 144-AH 33.33 174-AH 100.00 254-AH 34.50 284-AH 26.32 314-AH 5.56 344-AH 45.45 145-AH 50.00 175-AH 71.43 255-AH 25.00 285-AH 50.72 315-AH 11.86 345-AH 0.00 146-AH 50.00 176-AH 84.62 256-AH 76.47 286-AH 0.00 316-AH 1.69 346-AH 0.00 147-AH 62.75 177-AH 38.46 257-AH 30.16 287-AH 48.98 317-AH 23.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 15.79 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 27.27 259-AH 0.00 289-AH 55.56 319-AH 31.58 349-AH 44.44 150-AH 0.00 180-AH 0.00 260-AH 33.33 290-AH 22.45 320-AH 6.25 350-AH 50.00 151-AH 0.00 181-AH 70.65 261-AH 20.59 291-AH 26.67 321-AH 0.00 152-AH 18.18 182-AH 75.00 262-AH 11.76 292-AH 25.00 322-AH 14.29 153-AH 0.00 183-AH 50.00 263-AH 2.08 293-AH 58.82 323-AH 11.54 154-AH 28.57 184-AH 33.33 264-AH 40.91 294-AH 59.26 324-AH 33.78 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 7.84 325-AH 9.84 156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 62.50 326-AH 25.00 157-AH 51.08 187-AH 0.00 267-AH 33.33 297-AH 25.00 327-AH 0.00 158-AH 23.53 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 30.43 159-AH 11.11 189-AH 57.14 269-AH 22.22 299-AH 25.00 329-AH 58.82 160-AH 0.00 190-AH 11.11 270-AH 63.16 300-AH 16.67 330-AH 29.41 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 56.25 331-AH 58.82 162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 41.18 332-AH 37.50 163-AH 56.56 193-AH 28.57 273-AH 40.96 303-AH 14.29 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 20.00 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 26.23 335-AH 40.00 166-AH 0.00 196-AH 0.00 276-AH 33.90 306-AH 100.00 336-AH 23.53 167-AH 20.00 197-AH 58.00 277-AH 30.77 307-AH 11.69 337-AH 70.00 168-AH 38.89 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 40.00 169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 57.89 170-AH 100.00 200-AH 44.44 280-AH 0.00 310-AH 4.76 340-AH 20.00 763 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD5 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 3,183 Pooled false Geometric Mean Average Precision 0.0757 Online translation, no query expansion Binary Preference (BPREF) 0.2915 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 56.81 BILIWSD5 10 48.94 90% 20 43.07 80% 30 36.89 40 32.34 70% 50 29.59 60% 60 24.27 Precision 70 19.60 50% 80 16.37 40% 90 12.70 30% 100 9.91 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.75 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0340 Second Quartile 0.1881 Third Quartile 0.4840 Interquartile range 0.4499 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2875 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2932 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2875 20 Std With No Outliers 0.2932 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 764 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD5 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 6.14 251-AH 43.85 281-AH 32.39 311-AH 24.43 341-AH 55.41 142-AH 89.39 172-AH 15.65 252-AH 30.17 282-AH 12.25 312-AH 0.06 342-AH 69.00 143-AH 71.33 173-AH 100.00 253-AH 1.83 283-AH 33.16 313-AH 1.83 343-AH 50.00 144-AH 4.17 174-AH 100.00 254-AH 14.96 284-AH 14.54 314-AH 1.69 344-AH 51.77 145-AH 55.09 175-AH 58.81 255-AH 39.54 285-AH 38.69 315-AH 23.37 345-AH 6.86 146-AH 10.00 176-AH 89.77 256-AH 82.28 286-AH 5.76 316-AH 7.82 346-AH 0.00 147-AH 63.76 177-AH 33.31 257-AH 19.12 287-AH 44.17 317-AH 16.25 347-AH 1.57 148-AH 3.39 178-AH 2.08 258-AH 0.03 288-AH 2.21 318-AH 45.50 348-AH 100.00 149-AH 0.00 179-AH 43.63 259-AH 10.32 289-AH 36.63 319-AH 18.74 349-AH 29.62 150-AH 1.63 180-AH 0.00 260-AH 49.83 290-AH 21.75 320-AH 6.57 350-AH 62.98 151-AH 0.82 181-AH 68.18 261-AH 6.16 291-AH 23.50 321-AH 0.00 152-AH 3.42 182-AH 51.76 262-AH 1.21 292-AH 21.04 322-AH 13.12 153-AH 0.21 183-AH 2.08 263-AH 0.37 293-AH 61.80 323-AH 4.87 154-AH 24.14 184-AH 12.03 264-AH 25.85 294-AH 55.07 324-AH 27.02 155-AH 0.84 185-AH 16.67 265-AH 33.43 295-AH 2.66 325-AH 3.26 156-AH 5.36 186-AH 0.00 266-AH 0.14 296-AH 51.67 326-AH 33.81 157-AH 46.97 187-AH 4.76 267-AH 34.31 297-AH 15.39 327-AH 0.87 158-AH 15.23 188-AH 0.95 268-AH 67.86 298-AH 12.99 328-AH 21.87 159-AH 7.67 189-AH 68.22 269-AH 16.38 299-AH 16.89 329-AH 63.96 160-AH 0.00 190-AH 5.21 270-AH 72.15 300-AH 15.96 330-AH 63.47 161-AH 0.00 191-AH 0.00 271-AH 26.05 301-AH 53.09 331-AH 29.83 162-AH 5.88 192-AH 51.55 272-AH 22.01 302-AH 39.47 332-AH 39.59 163-AH 64.60 193-AH 31.55 273-AH 36.07 303-AH 2.99 333-AH 100.00 164-AH 0.90 194-AH 2.17 274-AH 1.58 304-AH 1.67 334-AH 9.86 165-AH 100.00 195-AH 0.00 275-AH 35.59 305-AH 18.89 335-AH 41.97 166-AH 0.00 196-AH 100.00 276-AH 9.49 306-AH 100.00 336-AH 21.60 167-AH 23.31 197-AH 83.17 277-AH 8.81 307-AH 0.70 337-AH 62.58 168-AH 43.68 198-AH 4.76 278-AH 0.38 308-AH 60.11 338-AH 9.60 169-AH 9.43 199-AH 64.57 279-AH 2.35 309-AH 5.39 339-AH 72.15 170-AH 100.00 200-AH 33.14 280-AH 4.20 310-AH 0.39 340-AH 8.86 765 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD5 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 35.13 BILIWSD5 10 docs 29.56 90% 15 docs 27.38 80% 20 docs 24.84 30 docs 21.44 70% 100 docs 11.57 60% 200 docs 7.14 Precision 500 docs 3.56 50% 1000 docs 1.99 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.45 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0042 Second Quartile 0.2480 Third Quartile 0.5000 Interquartile range 0.4958 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2945 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2873 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 1.0000 30 Mean With No Outliers 0.2945 20 Std With No Outliers 0.2873 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 BILIWSD5 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 BILIWSD5 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 BILIWSD5 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 BILIWSD5 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 BILIWSD5 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 BILIWSD5 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 BILIWSD5 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 766 reina 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.REINA.BILIWSD5 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 10.53 251-AH 41.54 281-AH 30.95 311-AH 31.48 341-AH 50.00 142-AH 87.50 172-AH 28.57 252-AH 31.03 282-AH 19.35 312-AH 0.00 342-AH 67.71 143-AH 64.10 173-AH 100.00 253-AH 6.32 283-AH 31.58 313-AH 5.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 26.64 284-AH 18.42 314-AH 0.00 344-AH 54.55 145-AH 57.89 175-AH 71.43 255-AH 25.00 285-AH 40.58 315-AH 28.81 345-AH 11.11 146-AH 0.00 176-AH 82.05 256-AH 73.53 286-AH 8.33 316-AH 0.85 346-AH 0.00 147-AH 54.90 177-AH 46.15 257-AH 25.40 287-AH 51.02 317-AH 23.33 347-AH 0.00 148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 10.53 318-AH 44.44 348-AH 100.00 149-AH 0.00 179-AH 50.00 259-AH 0.00 289-AH 44.44 319-AH 31.58 349-AH 29.63 150-AH 0.00 180-AH 0.00 260-AH 52.38 290-AH 28.57 320-AH 6.25 350-AH 60.00 151-AH 0.00 181-AH 69.57 261-AH 11.76 291-AH 30.00 321-AH 0.00 152-AH 0.00 182-AH 75.00 262-AH 9.41 292-AH 25.00 322-AH 28.57 153-AH 0.00 183-AH 0.00 263-AH 4.17 293-AH 55.88 323-AH 3.85 154-AH 28.57 184-AH 22.22 264-AH 36.36 294-AH 51.85 324-AH 35.14 155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 11.76 325-AH 11.48 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 25.00 157-AH 51.80 187-AH 0.00 267-AH 38.10 297-AH 25.00 327-AH 0.00 158-AH 17.65 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 34.78 159-AH 11.11 189-AH 57.14 269-AH 22.22 299-AH 25.00 329-AH 58.82 160-AH 0.00 190-AH 11.11 270-AH 64.91 300-AH 14.29 330-AH 54.90 161-AH 0.00 191-AH 0.00 271-AH 29.17 301-AH 62.50 331-AH 35.29 162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 37.50 163-AH 62.30 193-AH 28.57 273-AH 39.76 303-AH 7.14 333-AH 100.00 164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 0.00 334-AH 0.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 24.59 335-AH 46.67 166-AH 0.00 196-AH 100.00 276-AH 18.64 306-AH 100.00 336-AH 11.76 167-AH 20.00 197-AH 70.00 277-AH 23.08 307-AH 3.90 337-AH 60.00 168-AH 50.00 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 10.00 169-AH 16.67 199-AH 60.00 279-AH 0.00 309-AH 10.00 339-AH 63.16 170-AH 100.00 200-AH 44.44 280-AH 12.00 310-AH 1.59 340-AH 0.00 767 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYSYNRF AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,696 Pooled false Geometric Mean Average Precision 0.1382 bilingual keyword BM25 lucene + synset BM25 lucene Binary Preference (BPREF) 0.3771 + RF Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.70 UNIBACROSSKEYSYNRF 10 62.23 90% 20 55.24 80% 30 48.21 40 42.51 70% 50 38.40 60% 60 32.83 Precision 70 26.42 50% 80 22.39 40% 90 17.12 30% 100 11.65 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.53 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0973 Second Quartile 0.3481 Third Quartile 0.5874 Interquartile range 0.4900 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3753 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2912 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3753 15 Std With No Outliers 0.2912 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSKEYSYNRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSKEYSYNRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 768 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYSYNRF AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 8.47 251-AH 53.66 281-AH 52.95 311-AH 19.82 341-AH 44.18 142-AH 91.85 172-AH 0.16 252-AH 39.54 282-AH 23.81 312-AH 60.03 342-AH 71.72 143-AH 69.23 173-AH 100.00 253-AH 27.77 283-AH 15.60 313-AH 4.50 343-AH 1.32 144-AH 2.07 174-AH 100.00 254-AH 14.69 284-AH 58.92 314-AH 4.24 344-AH 68.34 145-AH 68.88 175-AH 68.78 255-AH 42.23 285-AH 63.93 315-AH 41.29 345-AH 4.26 146-AH 50.21 176-AH 73.54 256-AH 70.11 286-AH 1.00 316-AH 5.11 346-AH 0.09 147-AH 45.47 177-AH 26.58 257-AH 29.32 287-AH 36.60 317-AH 10.33 347-AH 18.80 148-AH 3.10 178-AH 25.53 258-AH 0.39 288-AH 14.46 318-AH 7.31 348-AH 100.00 149-AH 0.00 179-AH 26.32 259-AH 67.58 289-AH 76.53 319-AH 41.39 349-AH 34.98 150-AH 0.70 180-AH 39.44 260-AH 45.81 290-AH 8.47 320-AH 3.55 350-AH 61.34 151-AH 25.01 181-AH 83.82 261-AH 32.54 291-AH 58.32 321-AH 0.00 152-AH 18.33 182-AH 33.18 262-AH 34.63 292-AH 64.29 322-AH 6.61 153-AH 0.15 183-AH 39.02 263-AH 4.22 293-AH 52.17 323-AH 19.18 154-AH 30.43 184-AH 52.10 264-AH 47.63 294-AH 57.86 324-AH 53.07 155-AH 67.89 185-AH 7.69 265-AH 56.77 295-AH 20.52 325-AH 36.81 156-AH 6.54 186-AH 0.00 266-AH 0.00 296-AH 44.82 326-AH 34.26 157-AH 56.47 187-AH 50.00 267-AH 26.24 297-AH 39.20 327-AH 6.83 158-AH 66.27 188-AH 0.21 268-AH 66.85 298-AH 16.45 328-AH 78.26 159-AH 21.01 189-AH 78.44 269-AH 36.87 299-AH 29.93 329-AH 70.73 160-AH 3.31 190-AH 58.55 270-AH 58.41 300-AH 12.97 330-AH 62.95 161-AH 0.00 191-AH 0.00 271-AH 37.27 301-AH 24.83 331-AH 52.38 162-AH 16.67 192-AH 78.94 272-AH 13.82 302-AH 46.06 332-AH 30.18 163-AH 81.27 193-AH 42.10 273-AH 67.29 303-AH 22.14 333-AH 100.00 164-AH 5.70 194-AH 100.00 274-AH 7.41 304-AH 21.03 334-AH 18.67 165-AH 100.00 195-AH 0.00 275-AH 37.47 305-AH 0.24 335-AH 23.40 166-AH 0.00 196-AH 50.00 276-AH 50.85 306-AH 33.33 336-AH 20.74 167-AH 11.28 197-AH 61.86 277-AH 14.37 307-AH 9.13 337-AH 81.05 168-AH 74.12 198-AH 100.00 278-AH 24.53 308-AH 64.26 338-AH 69.94 169-AH 3.88 199-AH 56.74 279-AH 40.95 309-AH 2.33 339-AH 29.80 170-AH 100.00 200-AH 53.97 280-AH 2.43 310-AH 2.19 340-AH 45.33 769 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYSYNRF AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 45.13 UNIBACROSSKEYSYNRF 10 docs 38.50 90% 15 docs 34.21 80% 20 docs 30.88 30 docs 26.13 70% 100 docs 14.25 60% 200 docs 8.83 Precision 500 docs 4.22 50% 1000 docs 2.31 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.09 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1307 Second Quartile 0.3377 Third Quartile 0.5606 Interquartile range 0.4299 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3709 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2835 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3709 20 15 Std With No Outliers 0.2835 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSKEYSYNRF Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSKEYSYNRF Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSKEYSYNRF Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 770 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSKEYSYNRF AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 55.38 281-AH 50.00 311-AH 24.07 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 38.71 312-AH 51.61 342-AH 68.75 143-AH 64.10 173-AH 100.00 253-AH 36.84 283-AH 23.68 313-AH 10.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 23.58 284-AH 52.63 314-AH 0.00 344-AH 63.64 145-AH 65.79 175-AH 71.43 255-AH 50.00 285-AH 63.77 315-AH 47.46 345-AH 11.11 146-AH 50.00 176-AH 61.54 256-AH 67.65 286-AH 0.00 316-AH 8.47 346-AH 0.00 147-AH 54.90 177-AH 30.77 257-AH 38.10 287-AH 42.86 317-AH 20.00 347-AH 33.33 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 23.68 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 36.36 259-AH 66.67 289-AH 83.33 319-AH 47.37 349-AH 29.63 150-AH 0.00 180-AH 45.00 260-AH 42.86 290-AH 12.24 320-AH 6.25 350-AH 60.00 151-AH 25.00 181-AH 76.09 261-AH 44.12 291-AH 56.67 321-AH 0.00 152-AH 18.18 182-AH 25.00 262-AH 47.06 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 61.76 323-AH 15.38 154-AH 23.81 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 55.41 155-AH 66.67 185-AH 0.00 265-AH 33.33 295-AH 31.37 325-AH 42.62 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 25.00 157-AH 56.12 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00 158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 69.57 159-AH 29.63 189-AH 57.14 269-AH 33.33 299-AH 34.21 329-AH 52.94 160-AH 0.00 190-AH 55.56 270-AH 52.63 300-AH 14.29 330-AH 64.71 161-AH 0.00 191-AH 0.00 271-AH 37.50 301-AH 31.25 331-AH 47.06 162-AH 0.00 192-AH 83.33 272-AH 28.57 302-AH 41.18 332-AH 37.50 163-AH 74.59 193-AH 42.86 273-AH 62.65 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 12.50 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 45.45 305-AH 0.00 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 50.85 306-AH 0.00 336-AH 23.53 167-AH 20.00 197-AH 56.00 277-AH 26.92 307-AH 15.58 337-AH 75.00 168-AH 55.56 198-AH 100.00 278-AH 19.05 308-AH 54.55 338-AH 60.00 169-AH 16.67 199-AH 60.00 279-AH 50.00 309-AH 0.00 339-AH 31.58 170-AH 100.00 200-AH 77.78 280-AH 0.00 310-AH 3.17 340-AH 60.00 771 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0802 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,665 Pooled false Geometric Mean Average Precision 0.1349 NLevels Cross 1 Binary Preference (BPREF) 0.3703 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.07 UNIBACROSSWSDNL0802 10 61.44 90% 20 55.03 80% 30 47.56 40 41.91 70% 50 37.31 60% 60 31.52 Precision 70 25.76 50% 80 21.30 40% 90 16.52 30% 100 11.47 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.75 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0937 Second Quartile 0.3269 Third Quartile 0.5810 Interquartile range 0.4873 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3675 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2890 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3675 15 Std With No Outliers 0.2890 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDNL0802 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDNL0802 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 772 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0802 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 8.47 251-AH 49.25 281-AH 51.75 311-AH 19.52 341-AH 44.44 142-AH 91.85 172-AH 0.16 252-AH 40.98 282-AH 20.76 312-AH 60.16 342-AH 70.67 143-AH 69.13 173-AH 100.00 253-AH 25.42 283-AH 13.45 313-AH 4.50 343-AH 1.27 144-AH 2.07 174-AH 100.00 254-AH 14.69 284-AH 57.64 314-AH 4.04 344-AH 68.34 145-AH 68.61 175-AH 64.02 255-AH 60.99 285-AH 52.62 315-AH 41.01 345-AH 4.26 146-AH 50.22 176-AH 73.10 256-AH 70.06 286-AH 1.00 316-AH 5.11 346-AH 0.07 147-AH 45.45 177-AH 24.53 257-AH 28.00 287-AH 36.03 317-AH 9.61 347-AH 23.85 148-AH 3.67 178-AH 25.52 258-AH 0.39 288-AH 10.70 318-AH 8.40 348-AH 100.00 149-AH 0.00 179-AH 27.16 259-AH 67.69 289-AH 77.14 319-AH 40.29 349-AH 33.58 150-AH 0.59 180-AH 34.13 260-AH 45.30 290-AH 8.42 320-AH 3.57 350-AH 60.61 151-AH 24.97 181-AH 83.74 261-AH 32.05 291-AH 58.32 321-AH 0.00 152-AH 18.30 182-AH 13.84 262-AH 36.13 292-AH 64.29 322-AH 6.61 153-AH 0.15 183-AH 54.05 263-AH 4.41 293-AH 51.98 323-AH 19.18 154-AH 31.11 184-AH 52.10 264-AH 46.12 294-AH 57.90 324-AH 52.96 155-AH 67.90 185-AH 7.69 265-AH 56.78 295-AH 20.41 325-AH 38.52 156-AH 6.70 186-AH 0.00 266-AH 0.00 296-AH 44.84 326-AH 34.28 157-AH 46.70 187-AH 50.00 267-AH 22.63 297-AH 37.48 327-AH 6.83 158-AH 66.26 188-AH 0.21 268-AH 66.85 298-AH 11.47 328-AH 76.53 159-AH 20.97 189-AH 78.91 269-AH 25.99 299-AH 27.93 329-AH 70.56 160-AH 3.28 190-AH 58.55 270-AH 55.15 300-AH 13.65 330-AH 63.04 161-AH 0.00 191-AH 0.00 271-AH 29.68 301-AH 22.30 331-AH 52.38 162-AH 16.67 192-AH 74.73 272-AH 13.80 302-AH 46.06 332-AH 30.24 163-AH 80.81 193-AH 47.17 273-AH 65.73 303-AH 22.14 333-AH 100.00 164-AH 5.74 194-AH 100.00 274-AH 7.41 304-AH 21.03 334-AH 18.64 165-AH 100.00 195-AH 0.00 275-AH 35.68 305-AH 0.20 335-AH 23.33 166-AH 0.00 196-AH 50.00 276-AH 46.60 306-AH 33.33 336-AH 23.71 167-AH 24.73 197-AH 58.30 277-AH 14.37 307-AH 9.12 337-AH 77.69 168-AH 50.74 198-AH 100.00 278-AH 22.35 308-AH 63.02 338-AH 66.51 169-AH 3.88 199-AH 56.16 279-AH 47.00 309-AH 2.32 339-AH 21.78 170-AH 100.00 200-AH 53.97 280-AH 2.47 310-AH 2.27 340-AH 23.92 773 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0802 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.50 UNIBACROSSWSDNL0802 10 docs 37.50 90% 15 docs 33.38 80% 20 docs 30.16 30 docs 25.69 70% 100 docs 14.06 60% 200 docs 8.70 Precision 500 docs 4.16 50% 1000 docs 2.29 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.55 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1307 Second Quartile 0.3435 Third Quartile 0.5556 Interquartile range 0.4249 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3655 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2802 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3655 20 15 Std With No Outliers 0.2802 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDNL0802 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDNL0802 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDNL0802 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 774 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0802 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 52.31 281-AH 50.00 311-AH 24.07 341-AH 50.00 142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 35.48 312-AH 51.61 342-AH 69.79 143-AH 64.10 173-AH 100.00 253-AH 35.26 283-AH 23.68 313-AH 10.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 23.58 284-AH 55.26 314-AH 0.00 344-AH 63.64 145-AH 65.79 175-AH 57.14 255-AH 75.00 285-AH 56.52 315-AH 47.46 345-AH 11.11 146-AH 50.00 176-AH 64.10 256-AH 67.65 286-AH 0.00 316-AH 8.47 346-AH 0.00 147-AH 54.90 177-AH 38.46 257-AH 38.10 287-AH 42.86 317-AH 16.67 347-AH 33.33 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 21.05 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 40.91 259-AH 66.67 289-AH 83.33 319-AH 47.37 349-AH 33.33 150-AH 0.00 180-AH 35.00 260-AH 42.86 290-AH 12.24 320-AH 12.50 350-AH 60.00 151-AH 25.00 181-AH 76.09 261-AH 44.12 291-AH 56.67 321-AH 0.00 152-AH 18.18 182-AH 25.00 262-AH 45.88 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 52.94 323-AH 15.38 154-AH 33.33 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 55.41 155-AH 66.67 185-AH 0.00 265-AH 33.33 295-AH 31.37 325-AH 45.90 156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 25.00 157-AH 49.64 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00 158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 20.00 328-AH 65.22 159-AH 29.63 189-AH 57.14 269-AH 33.33 299-AH 34.21 329-AH 52.94 160-AH 0.00 190-AH 55.56 270-AH 47.37 300-AH 14.29 330-AH 64.71 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 31.25 331-AH 47.06 162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 41.18 332-AH 37.50 163-AH 72.95 193-AH 42.86 273-AH 60.24 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 12.50 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 42.42 305-AH 0.00 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 52.54 306-AH 0.00 336-AH 23.53 167-AH 20.00 197-AH 56.00 277-AH 26.92 307-AH 15.58 337-AH 65.00 168-AH 50.00 198-AH 100.00 278-AH 14.29 308-AH 54.55 338-AH 60.00 169-AH 16.67 199-AH 60.00 279-AH 50.00 309-AH 0.00 339-AH 26.32 170-AH 100.00 200-AH 77.78 280-AH 4.00 310-AH 3.17 340-AH 20.00 775 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0901 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 3,665 Pooled false Geometric Mean Average Precision 0.1339 NLevels Cross 2 Binary Preference (BPREF) 0.3706 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 67.72 UNIBACROSSWSDNL0901 10 61.30 90% 20 54.84 80% 30 48.10 40 42.45 70% 50 37.88 60% 60 32.76 Precision 70 27.05 50% 80 22.42 40% 90 17.62 30% 100 12.14 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 37.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0948 Second Quartile 0.3342 Third Quartile 0.5912 Interquartile range 0.4965 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3731 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2937 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 1.0000 20 Mean With No Outliers 0.3731 15 Std With No Outliers 0.2937 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDNL0901 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDNL0901 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 776 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0901 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 9.40 251-AH 47.34 281-AH 49.84 311-AH 18.77 341-AH 31.96 142-AH 95.19 172-AH 0.13 252-AH 39.58 282-AH 16.44 312-AH 61.05 342-AH 73.65 143-AH 77.32 173-AH 100.00 253-AH 19.36 283-AH 18.61 313-AH 4.73 343-AH 1.15 144-AH 1.42 174-AH 100.00 254-AH 12.08 284-AH 58.11 314-AH 4.42 344-AH 64.69 145-AH 69.67 175-AH 70.24 255-AH 69.42 285-AH 60.12 315-AH 46.81 345-AH 3.33 146-AH 50.28 176-AH 76.20 256-AH 76.53 286-AH 0.86 316-AH 4.39 346-AH 0.05 147-AH 42.57 177-AH 19.22 257-AH 28.12 287-AH 34.54 317-AH 9.19 347-AH 18.33 148-AH 3.69 178-AH 25.26 258-AH 0.36 288-AH 9.55 318-AH 8.13 348-AH 100.00 149-AH 0.00 179-AH 25.68 259-AH 67.54 289-AH 77.37 319-AH 40.82 349-AH 36.18 150-AH 0.42 180-AH 44.67 260-AH 43.52 290-AH 8.67 320-AH 3.84 350-AH 61.78 151-AH 33.51 181-AH 83.79 261-AH 33.64 291-AH 57.44 321-AH 0.00 152-AH 19.69 182-AH 10.61 262-AH 33.97 292-AH 47.62 322-AH 6.19 153-AH 0.14 183-AH 50.83 263-AH 4.52 293-AH 54.07 323-AH 19.68 154-AH 31.27 184-AH 52.47 264-AH 47.23 294-AH 57.02 324-AH 57.39 155-AH 50.85 185-AH 5.00 265-AH 58.54 295-AH 23.92 325-AH 42.74 156-AH 6.27 186-AH 0.00 266-AH 0.00 296-AH 51.78 326-AH 34.00 157-AH 48.33 187-AH 50.00 267-AH 23.86 297-AH 35.42 327-AH 7.88 158-AH 76.53 188-AH 0.39 268-AH 66.95 298-AH 11.50 328-AH 72.42 159-AH 26.40 189-AH 74.05 269-AH 25.66 299-AH 26.74 329-AH 68.67 160-AH 2.47 190-AH 60.40 270-AH 62.38 300-AH 12.95 330-AH 70.78 161-AH 0.00 191-AH 0.00 271-AH 31.56 301-AH 23.05 331-AH 55.84 162-AH 16.67 192-AH 76.33 272-AH 14.45 302-AH 44.81 332-AH 34.40 163-AH 79.15 193-AH 50.75 273-AH 67.01 303-AH 21.65 333-AH 100.00 164-AH 5.87 194-AH 100.00 274-AH 6.15 304-AH 23.77 334-AH 15.72 165-AH 100.00 195-AH 0.00 275-AH 32.79 305-AH 0.13 335-AH 30.76 166-AH 0.00 196-AH 50.00 276-AH 45.84 306-AH 33.33 336-AH 24.77 167-AH 27.59 197-AH 67.23 277-AH 13.28 307-AH 11.71 337-AH 75.69 168-AH 53.03 198-AH 100.00 278-AH 24.87 308-AH 61.94 338-AH 72.31 169-AH 2.48 199-AH 57.54 279-AH 59.71 309-AH 2.02 339-AH 32.02 170-AH 100.00 200-AH 55.73 280-AH 2.73 310-AH 2.30 340-AH 22.86 777 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0901 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 44.75 UNIBACROSSWSDNL0901 10 docs 37.69 90% 15 docs 33.42 80% 20 docs 30.41 30 docs 26.08 70% 100 docs 14.36 60% 200 docs 8.73 Precision 500 docs 4.17 50% 1000 docs 2.29 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.35 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1168 Second Quartile 0.3333 Third Quartile 0.5541 Interquartile range 0.4373 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3635 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2851 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 1.0000 25 Mean With No Outliers 0.3635 20 15 Std With No Outliers 0.2851 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDNL0901 Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDNL0901 Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDNL0901 Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 778 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDNL0901 AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 100.00 171-AH 5.26 251-AH 50.77 281-AH 47.62 311-AH 20.37 341-AH 33.33 142-AH 87.50 172-AH 0.00 252-AH 31.03 282-AH 29.03 312-AH 51.61 342-AH 71.88 143-AH 74.36 173-AH 100.00 253-AH 30.53 283-AH 26.32 313-AH 15.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 20.52 284-AH 55.26 314-AH 0.00 344-AH 60.61 145-AH 65.79 175-AH 71.43 255-AH 75.00 285-AH 60.87 315-AH 47.46 345-AH 11.11 146-AH 50.00 176-AH 66.67 256-AH 73.53 286-AH 0.00 316-AH 6.78 346-AH 0.00 147-AH 50.98 177-AH 30.77 257-AH 38.10 287-AH 40.82 317-AH 16.67 347-AH 33.33 148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 19.74 318-AH 0.00 348-AH 100.00 149-AH 0.00 179-AH 40.91 259-AH 66.67 289-AH 83.33 319-AH 47.37 349-AH 37.04 150-AH 0.00 180-AH 45.00 260-AH 42.86 290-AH 12.24 320-AH 12.50 350-AH 60.00 151-AH 33.33 181-AH 75.00 261-AH 44.12 291-AH 60.00 321-AH 0.00 152-AH 18.18 182-AH 0.00 262-AH 41.18 292-AH 50.00 322-AH 7.14 153-AH 0.00 183-AH 25.00 263-AH 4.17 293-AH 52.94 323-AH 15.38 154-AH 38.10 184-AH 44.44 264-AH 45.45 294-AH 66.67 324-AH 63.51 155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 33.33 325-AH 52.46 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 25.00 157-AH 51.80 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00 158-AH 67.65 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 69.57 159-AH 33.33 189-AH 57.14 269-AH 33.33 299-AH 32.89 329-AH 52.94 160-AH 0.00 190-AH 55.56 270-AH 49.12 300-AH 14.29 330-AH 68.63 161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 31.25 331-AH 52.94 162-AH 0.00 192-AH 66.67 272-AH 28.57 302-AH 35.29 332-AH 37.50 163-AH 71.31 193-AH 42.86 273-AH 60.24 303-AH 28.57 333-AH 100.00 164-AH 3.70 194-AH 100.00 274-AH 6.25 304-AH 26.67 334-AH 20.00 165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 0.00 335-AH 20.00 166-AH 0.00 196-AH 0.00 276-AH 47.46 306-AH 0.00 336-AH 23.53 167-AH 20.00 197-AH 62.00 277-AH 26.92 307-AH 19.48 337-AH 65.00 168-AH 44.44 198-AH 100.00 278-AH 19.05 308-AH 54.55 338-AH 60.00 169-AH 0.00 199-AH 60.00 279-AH 50.00 309-AH 0.00 339-AH 26.32 170-AH 100.00 200-AH 77.78 280-AH 4.00 310-AH 3.17 340-AH 20.00 779 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 158,177 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description Relevant retrieved 1,768 Pooled false Geometric Mean Average Precision 0.0024 synset title+description (engine: Lucene+BM25) Binary Preference (BPREF) 0.1424 Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 22.54 UNIBACROSSWSDTD 10 17.63 90% 20 14.78 80% 30 11.93 40 9.78 70% 50 8.67 60% 60 6.72 Precision 70 5.52 50% 80 4.68 40% 90 3.90 30% 100 3.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 9.25 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0055 Third Quartile 0.0719 Interquartile range 0.0719 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0925 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.1968 150 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.1673 100 Mean With No Outliers 0.0224 Std With No Outliers 0.0414 50 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 780 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.68 251-AH 40.07 281-AH 20.51 311-AH 10.94 341-AH 22.14 142-AH 16.60 172-AH 0.00 252-AH 10.36 282-AH 13.93 312-AH 0.00 342-AH 22.76 143-AH 0.31 173-AH 100.00 253-AH 16.60 283-AH 0.79 313-AH 1.82 343-AH 0.00 144-AH 2.38 174-AH 100.00 254-AH 3.28 284-AH 0.80 314-AH 0.06 344-AH 4.66 145-AH 36.92 175-AH 0.00 255-AH 0.00 285-AH 0.04 315-AH 2.34 345-AH 0.00 146-AH 0.46 176-AH 10.90 256-AH 2.20 286-AH 0.27 316-AH 16.71 346-AH 0.05 147-AH 3.34 177-AH 8.70 257-AH 0.17 287-AH 31.98 317-AH 1.59 347-AH 0.00 148-AH 0.00 178-AH 14.21 258-AH 0.00 288-AH 0.19 318-AH 2.51 348-AH 0.00 149-AH 0.00 179-AH 0.08 259-AH 4.64 289-AH 0.00 319-AH 30.48 349-AH 0.03 150-AH 0.21 180-AH 0.00 260-AH 35.71 290-AH 0.68 320-AH 1.01 350-AH 0.05 151-AH 0.03 181-AH 65.06 261-AH 0.45 291-AH 2.90 321-AH 0.00 152-AH 0.03 182-AH 3.35 262-AH 3.91 292-AH 28.93 322-AH 1.64 153-AH 0.00 183-AH 19.97 263-AH 0.00 293-AH 0.00 323-AH 4.74 154-AH 1.16 184-AH 0.25 264-AH 7.65 294-AH 70.91 324-AH 0.02 155-AH 0.60 185-AH 25.00 265-AH 0.00 295-AH 0.99 325-AH 1.39 156-AH 3.50 186-AH 0.00 266-AH 0.00 296-AH 0.03 326-AH 0.42 157-AH 0.69 187-AH 1.06 267-AH 7.48 297-AH 0.43 327-AH 0.00 158-AH 0.03 188-AH 0.00 268-AH 1.20 298-AH 0.19 328-AH 32.60 159-AH 0.08 189-AH 90.94 269-AH 13.35 299-AH 0.32 329-AH 51.45 160-AH 50.13 190-AH 6.65 270-AH 0.39 300-AH 6.60 330-AH 0.00 161-AH 0.00 191-AH 0.00 271-AH 14.52 301-AH 0.00 331-AH 0.00 162-AH 0.00 192-AH 6.17 272-AH 0.00 302-AH 36.66 332-AH 0.00 163-AH 41.09 193-AH 0.03 273-AH 1.96 303-AH 16.73 333-AH 0.49 164-AH 0.25 194-AH 0.00 274-AH 1.54 304-AH 0.00 334-AH 0.00 165-AH 50.00 195-AH 0.00 275-AH 19.02 305-AH 0.02 335-AH 0.00 166-AH 0.00 196-AH 100.00 276-AH 0.50 306-AH 11.11 336-AH 0.00 167-AH 0.00 197-AH 0.41 277-AH 3.48 307-AH 0.00 337-AH 3.90 168-AH 0.00 198-AH 0.00 278-AH 1.15 308-AH 56.44 338-AH 5.17 169-AH 0.00 199-AH 6.89 279-AH 0.19 309-AH 0.64 339-AH 0.00 170-AH 0.15 200-AH 1.22 280-AH 0.22 310-AH 0.04 340-AH 0.00 781 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 11.88 UNIBACROSSWSDTD 10 docs 10.81 90% 15 docs 9.71 80% 20 docs 8.88 30 docs 7.75 70% 100 docs 4.49 60% 200 docs 3.02 Precision 500 docs 1.79 50% 1000 docs 1.11 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 10.29 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0000 Third Quartile 0.0966 Interquartile range 0.0966 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1029 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.2004 150 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.2308 100 Mean With No Outliers 0.0299 Std With No Outliers 0.0591 50 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDTD Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDTD Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDTD Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDTD Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDTD Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDTD Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDTD Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 782 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 5.26 251-AH 46.15 281-AH 26.19 311-AH 20.37 341-AH 16.67 142-AH 25.00 172-AH 0.00 252-AH 20.69 282-AH 22.58 312-AH 0.00 342-AH 30.21 143-AH 2.56 173-AH 100.00 253-AH 22.11 283-AH 5.26 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 8.73 284-AH 5.26 314-AH 0.00 344-AH 9.09 145-AH 44.74 175-AH 0.00 255-AH 0.00 285-AH 0.00 315-AH 8.47 345-AH 0.00 146-AH 0.00 176-AH 23.08 256-AH 5.88 286-AH 0.00 316-AH 22.88 346-AH 0.00 147-AH 9.80 177-AH 7.69 257-AH 1.59 287-AH 40.82 317-AH 0.00 347-AH 0.00 148-AH 0.00 178-AH 25.00 258-AH 0.00 288-AH 0.00 318-AH 0.00 348-AH 0.00 149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 36.84 349-AH 0.00 150-AH 0.00 180-AH 0.00 260-AH 34.92 290-AH 8.16 320-AH 6.25 350-AH 0.00 151-AH 0.00 181-AH 61.96 261-AH 0.00 291-AH 3.33 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 8.24 292-AH 25.00 322-AH 0.00 153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 0.00 323-AH 7.69 154-AH 9.52 184-AH 0.00 264-AH 18.18 294-AH 66.67 324-AH 0.00 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 3.92 325-AH 4.92 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00 157-AH 2.88 187-AH 0.00 267-AH 14.29 297-AH 0.00 327-AH 0.00 158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 26.09 159-AH 0.00 189-AH 85.71 269-AH 33.33 299-AH 0.00 329-AH 52.94 160-AH 50.00 190-AH 11.11 270-AH 1.75 300-AH 2.38 330-AH 0.00 161-AH 0.00 191-AH 0.00 271-AH 25.00 301-AH 0.00 331-AH 0.00 162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 47.06 332-AH 0.00 163-AH 45.08 193-AH 0.00 273-AH 4.82 303-AH 28.57 333-AH 0.00 164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00 165-AH 0.00 195-AH 0.00 275-AH 22.73 305-AH 0.00 335-AH 0.00 166-AH 0.00 196-AH 100.00 276-AH 3.39 306-AH 0.00 336-AH 0.00 167-AH 0.00 197-AH 0.00 277-AH 7.69 307-AH 0.00 337-AH 5.00 168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 63.64 338-AH 10.00 169-AH 0.00 199-AH 0.00 279-AH 0.00 309-AH 0.00 339-AH 0.00 170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 0.00 340-AH 0.00 783 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Overall statistics for 160 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 160,000 Source Language Spanish; Castilian Relevant 4,327 Topic Fields title, description, narrative Relevant retrieved 1,927 Pooled false Geometric Mean Average Precision 0.0050 synset title+description+narrative (engine: Binary Preference (BPREF) 0.1499 Lucene+BM25) Interploated Recall (%) Precision Averages (%) Ad−Hoc Robust WSD Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 25.07 UNIBACROSSWSDTDN 10 18.97 90% 20 15.89 80% 30 12.28 40 10.05 70% 50 8.88 60% 60 6.83 Precision 70 5.70 50% 80 4.46 40% 90 3.71 30% 100 2.71 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 9.69 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0005 Second Quartile 0.0090 Third Quartile 0.0852 Interquartile range 0.0847 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0969 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.1936 150 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.1615 100 Mean With No Outliers 0.0234 Std With No Outliers 0.0383 50 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 784 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 0.58 251-AH 39.96 281-AH 23.19 311-AH 9.06 341-AH 7.56 142-AH 14.18 172-AH 0.00 252-AH 35.14 282-AH 9.12 312-AH 14.30 342-AH 23.27 143-AH 0.27 173-AH 100.00 253-AH 16.15 283-AH 0.76 313-AH 2.18 343-AH 0.18 144-AH 2.38 174-AH 100.00 254-AH 12.04 284-AH 0.19 314-AH 0.05 344-AH 3.47 145-AH 35.13 175-AH 0.02 255-AH 0.00 285-AH 0.04 315-AH 2.54 345-AH 1.01 146-AH 2.00 176-AH 32.41 256-AH 1.59 286-AH 0.32 316-AH 2.84 346-AH 0.03 147-AH 4.29 177-AH 3.82 257-AH 2.94 287-AH 28.34 317-AH 5.18 347-AH 0.00 148-AH 0.00 178-AH 10.24 258-AH 0.00 288-AH 1.25 318-AH 0.53 348-AH 0.00 149-AH 0.00 179-AH 0.20 259-AH 3.17 289-AH 0.00 319-AH 34.39 349-AH 0.05 150-AH 0.25 180-AH 0.03 260-AH 26.39 290-AH 0.51 320-AH 0.65 350-AH 0.04 151-AH 0.15 181-AH 61.81 261-AH 8.49 291-AH 2.57 321-AH 0.00 152-AH 0.28 182-AH 5.79 262-AH 3.30 292-AH 15.83 322-AH 1.09 153-AH 0.00 183-AH 59.44 263-AH 0.00 293-AH 0.00 323-AH 4.90 154-AH 2.32 184-AH 0.37 264-AH 27.24 294-AH 66.12 324-AH 0.02 155-AH 0.39 185-AH 9.09 265-AH 0.00 295-AH 0.96 325-AH 0.78 156-AH 7.37 186-AH 0.00 266-AH 0.40 296-AH 1.12 326-AH 0.11 157-AH 0.73 187-AH 1.16 267-AH 6.91 297-AH 0.40 327-AH 0.10 158-AH 0.07 188-AH 0.00 268-AH 2.37 298-AH 0.36 328-AH 44.08 159-AH 0.04 189-AH 90.94 269-AH 25.12 299-AH 0.28 329-AH 48.02 160-AH 12.61 190-AH 7.36 270-AH 0.31 300-AH 2.96 330-AH 0.01 161-AH 0.00 191-AH 0.00 271-AH 8.55 301-AH 0.01 331-AH 3.06 162-AH 0.00 192-AH 5.98 272-AH 0.00 302-AH 43.16 332-AH 0.00 163-AH 64.72 193-AH 0.45 273-AH 3.10 303-AH 23.05 333-AH 1.04 164-AH 0.38 194-AH 0.49 274-AH 0.64 304-AH 0.06 334-AH 4.00 165-AH 50.00 195-AH 0.00 275-AH 41.18 305-AH 0.16 335-AH 0.16 166-AH 0.00 196-AH 50.00 276-AH 0.10 306-AH 9.09 336-AH 0.06 167-AH 0.00 197-AH 2.48 277-AH 12.44 307-AH 0.03 337-AH 3.59 168-AH 0.02 198-AH 0.13 278-AH 0.87 308-AH 64.44 338-AH 1.76 169-AH 0.00 199-AH 13.48 279-AH 0.33 309-AH 1.83 339-AH 0.01 170-AH 0.64 200-AH 0.93 280-AH 0.51 310-AH 0.05 340-AH 0.00 785 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc Robust WSD Bilingual English Test Task − Retrieved documents vs Mean Precision 100% 5 docs 14.25 UNIBACROSSWSDTDN 10 docs 11.88 90% 15 docs 10.71 80% 20 docs 9.91 30 docs 8.54 70% 100 docs 5.04 60% 200 docs 3.42 Precision 500 docs 1.93 50% 1000 docs 1.20 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 10.29 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc Robust WSD Bilingual English Test Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0000 Third Quartile 0.1181 Interquartile range 0.1181 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1029 Ad−Hoc Robust WSD Bilingual English Test Task − Distribution of the Topics of the Experiment Standard Deviation 0.1913 150 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.2917 100 Mean With No Outliers 0.0400 Std With No Outliers 0.0737 50 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH) 1 UNIBACROSSWSDTDN Difference 0.5 0 −0.5 −1 141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH) 1 UNIBACROSSWSDTDN Difference 0 −1 316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH Topic Identifier Ad−Hoc Robust WSD Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH) 1 UNIBACROSSWSDTDN Difference 0.5 0 −0.5 −1 341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH Topic Identifier 786 uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2009.UNIBA.UNIBACROSSWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST- CLEF2009 Precision averages (%) for individual queries 141-AH 0.00 171-AH 5.26 251-AH 46.15 281-AH 26.19 311-AH 14.81 341-AH 16.67 142-AH 12.50 172-AH 0.00 252-AH 37.93 282-AH 16.13 312-AH 25.81 342-AH 29.17 143-AH 0.00 173-AH 100.00 253-AH 26.32 283-AH 5.26 313-AH 0.00 343-AH 0.00 144-AH 0.00 174-AH 100.00 254-AH 20.96 284-AH 0.00 314-AH 0.00 344-AH 9.09 145-AH 39.47 175-AH 0.00 255-AH 0.00 285-AH 0.00 315-AH 8.47 345-AH 0.00 146-AH 0.00 176-AH 33.33 256-AH 5.88 286-AH 0.00 316-AH 4.24 346-AH 0.00 147-AH 7.84 177-AH 0.00 257-AH 7.94 287-AH 40.82 317-AH 6.67 347-AH 0.00 148-AH 0.00 178-AH 25.00 258-AH 0.00 288-AH 2.63 318-AH 0.00 348-AH 0.00 149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 31.58 349-AH 0.00 150-AH 0.00 180-AH 0.00 260-AH 31.75 290-AH 2.04 320-AH 0.00 350-AH 0.00 151-AH 0.00 181-AH 57.61 261-AH 14.71 291-AH 3.33 321-AH 0.00 152-AH 0.00 182-AH 0.00 262-AH 12.94 292-AH 25.00 322-AH 0.00 153-AH 0.00 183-AH 50.00 263-AH 0.00 293-AH 0.00 323-AH 3.85 154-AH 9.52 184-AH 0.00 264-AH 31.82 294-AH 62.96 324-AH 0.00 155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 3.92 325-AH 3.28 156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00 157-AH 2.88 187-AH 0.00 267-AH 14.29 297-AH 0.00 327-AH 0.00 158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 47.83 159-AH 0.00 189-AH 85.71 269-AH 33.33 299-AH 1.32 329-AH 52.94 160-AH 0.00 190-AH 11.11 270-AH 3.51 300-AH 2.38 330-AH 0.00 161-AH 0.00 191-AH 0.00 271-AH 20.83 301-AH 0.00 331-AH 5.88 162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 41.18 332-AH 0.00 163-AH 62.30 193-AH 0.00 273-AH 8.43 303-AH 28.57 333-AH 0.00 164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 20.00 165-AH 0.00 195-AH 0.00 275-AH 39.39 305-AH 1.64 335-AH 0.00 166-AH 0.00 196-AH 0.00 276-AH 0.00 306-AH 0.00 336-AH 0.00 167-AH 0.00 197-AH 2.00 277-AH 23.08 307-AH 1.30 337-AH 0.00 168-AH 0.00 198-AH 0.00 278-AH 4.76 308-AH 63.64 338-AH 10.00 169-AH 0.00 199-AH 10.00 279-AH 0.00 309-AH 0.00 339-AH 0.00 170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 0.00 340-AH 0.00 787