Appendix A Results of the TEL@CLEF Track Prepared by: Giorgio Maria Di Nunzio and Nicola Ferro {dinunzio, ferro}@dei.unipd.it Department of Information Engineering University of Padua Italy 1 2 Introduction 3 4 Results for CLEF 2009 Ad-hoc TEL@CLEF Track The following pages contain the results and graphs for all the experiments that have been officially submitted to the CLEF 2007 campaign for the Ad-hoc TEL@CLEF track. This document is divided in three main parts: 1. List of submitted experiments 2. Track overview results and graphs 3. Individual experiment results and graphs 1. List of Submitted Experiments This section gives a listing of all experiments and their characteristics: Participant: name of the participant who submitted the experiment. Country: country of the participant. Expeirment DOI: Digital Object Identifier (DOI) for each experiment. Task: track/task to which the experiment belongs. Lang.: language of the topics used to create the experiment (ISO identifiers for language). Fields: identifies the parts of the topics used to create the experiment (T = title, D = Description, N = Narrative). Constr.: identifies how the query has been constructed from topic fields (manual/automatic). Pool: specifies if experiment was used for relevance assessment pooling. 2. Track Overview Results and Graphs For each track/task graphs and tables are shown in order to compare the experiments. The graphs and tables contain the following information: - Best experiments of at most top five participants - Interpolated recall vs precision averages plot - Average precision comparison to median plot - All experiments - Average precision box plot - Average precision Tukey t-test plot - Best experiments of at most top five participants - Document cutoff levels (DCL) vs precision at DCL plot - R-Precision comparison to median plot - All experiments - R-Precision box plot - R-Precision Tukey t-test plot - A table with descriptive statistics of performance figures for each topic - Min: The minimum of a set of observations - 1st Q: The first quartile of a set of observations - 2nd Q: The second quartile (median) of a set of observations - 3rd Q: The third quartile of a set of observations - Max: The maximum of a set of observations - Mean: The arithmetic mean of a set of observations - Std: The standard deviation of a set of observations - IQR: Interquartile range, the difference between the 3rd and 1st quartiles - Range: The difference between the maximum and the minimum of a set of observations - C.Var: Coefficient of variation, the spread of a set of data as a proportion of its mean - Geom.: The geometric mean of a set of observations - Harm.: The harmonic mean of a set of observations - MAO: The mean of absolute deviation of the values in a set of observations - LOT: The lower threshold below which values of a set of observations are considered outliers - UOT: The upper threshold below which values of a set of observations are considered outliers - MNO: Mean without outliers, the arithmetic mean of a set of observations without outliers - SNO: Std without outliers, the standard deviation a set of observations without outliers 5 3. Individual Experiment Results and Graphs This section provides the individual results for each official experiment. For each experiment the following tables and graphs are shown: - Overall statistics and information - Interpolated recall vs precision averages plot - Average precision statistics and box plot - Average precision comparison to median plot - Document cutoff levels vs precision at DCL plot - R-Precision statistics and box plot - R-Precision comparison to median plot Topics are identified with DOIs, as well as the experiments. The prefix for the DOI of a topic is 10.2452. The following example shows how to build the DOI for a topic given its number: for topic 200-AH, the corresponding DOI is 10.2452/200-AH 6 List of Submitted Experiments 7 8 Participant Country Experiment DOI Task Lang. Fields Constr. Pool celi Italy 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENBL_ALLEXPANDED celi Italy 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENBL_BASE celi Italy 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENBL_ML celi Italy 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENBL_SEMVECTEXPANDED celi Italy 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENBL_TOPDOCSEXPANDED chemnitz Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_10_MONO_EN_LU_PORTE R_10_7 chemnitz Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_11_MONO_MERGED_EN_9 _10 chemnitz Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_12_MONO_EN_MERGED_L ANG_SPEC_REF_CUT_9 chemnitz Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_9_MONO_DE_TE_PORTER _BB2_BO2_3_11 cheshire United States 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.CHESHIRE.MOENT2FB cheshire United States 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.CHESHIRE.MOENT2FB3 cheshire United States 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CHESHIRE.MOENT2FBX cuza Romania* 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.CUZA.RUN01 cuza Romania* 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.CUZA.RUN02 cuza Romania* 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.CUZA.RUN03 hit China 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en T AUTOMATIC yes CLEF2009.HIT.MTD10T40 hit China 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.HIT.MTDD0T20 hit China 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.HIT.MTDD10T20 hit China 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.HIT.MTDD10T40 inesc Portugal 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.INESC.RUN10 inesc Portugal 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.INESC.RUN11 inesc Portugal 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.INESC.RUN12 inesc Portugal 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.INESC.RUN9 karlsruhe Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.KARLSRUHE.INDEXALL karlsruhe Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.KARLSRUHE.INDEXALLESA karlsruhe Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.KARLSRUHE.INDEXBL opentext Canada 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en T AUTOMATIC yes CLEF2009.OPENTEXT.OTEN09T opentext Canada 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.OPENTEXT.OTEN09TD opentext Canada 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.OPENTEXT.OTEN09TDE opentext Canada 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.OPENTEXT.OTEN09TDZ qazviniau Iran, Islamic 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes Republic Of CLEF2009.QAZVINIAU.IAUTELEN1 qazviniau Iran, Islamic 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes Republic Of CLEF2009.QAZVINIAU.IAUTELEN2 qazviniau Iran, Islamic 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no Republic Of CLEF2009.QAZVINIAU.IAUTELEN3 qazviniau Iran, Islamic 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no Republic Of CLEF2009.QAZVINIAU.IAUTELEN4 trinity Ireland 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.TRINITY.TCDENRUN1 trinity Ireland 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.TRINITY.TCDENRUN2 trinity Ireland 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.TRINITY.TCDENRUN3 trinity Ireland 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.TRINITY.TCDENRUN4 trinity-dcu Ireland 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no DCU.TCDDCUEN3 trinity-dcu Ireland 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no DCU.TCDDCUEN4 9 Participant Country Experiment DOI Task Lang. Fields Constr. Pool trinity-dcu Ireland 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes DCU.TCDDCU_EN1F trinity-dcu Ireland 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes DCU.TCDDCU_EN2F weimar Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.WEIMAR.BASELINEENINEN weimar Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.WEIMAR.CLESA169283ENINEN weimar Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC no CLEF2009.WEIMAR.CLESA169283LDENINEN weimar Germany 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 en TD AUTOMATIC yes CLEF2009.WEIMAR.COMBINEDENINEN celi Italy 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEONB_ALLEXP celi Italy 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEONB_BASE celi Italy 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEONB_ML celi Italy 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEONB_SEMVECTEXP celi Italy 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEONB_TOPDOCSEXP chemnitz Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_1_MONO_DE_TE_PGDEC_ FB_KL_3_25 chemnitz Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_2_MONO_DE_LU_PGDEC_ FB_KL_12_40 chemnitz Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_3_MONO_MERGED_DE_1_ 2 chemnitz Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_4_MONO_DE_MERGED_LA NG_SPEC_REF_CUT_1 cheshire United States 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.CHESHIRE.MODET2FB cheshire United States 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.CHESHIRE.MODET2FB3 cheshire United States 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.CHESHIRE.MODET2FBX inesc Portugal 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.INESC.RUN10 inesc Portugal 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.INESC.RUN11 inesc Portugal 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.INESC.RUN12 inesc Portugal 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.INESC.RUN9 karlsruhe Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.KARLSRUHE.AIFB_ONB_INDEXALL karlsruhe Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.KARLSRUHE.AIFB_ONB_INDEXBL karlsruhe Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.KARLSRUHE.INDEXALLESA opentext Canada 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de T AUTOMATIC yes CLEF2009.OPENTEXT.OTDE09T opentext Canada 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.OPENTEXT.OTDE09TD opentext Canada 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.OPENTEXT.OTDE09TDE opentext Canada 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.OPENTEXT.OTDE09TDZ trinity Ireland 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY.TCDDERUN1 trinity Ireland 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.TRINITY.TCDDERUN2 trinity Ireland 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY.TCDDERUN3 trinity Ireland 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.TRINITY.TCDDERUN4 trinity-dcu Ireland 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no DCU.TCDDCUDE3 trinity-dcu Ireland 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no DCU.TCDDCUDE4 trinity-dcu Ireland 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes DCU.TCDDCU_DE1 trinity-dcu Ireland 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes DCU.TCDDCU_DE1F weimar Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.WEIMAR.BASELINEDEINDE weimar Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.WEIMAR.CLESA169283DEINDE weimar Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC no CLEF2009.WEIMAR.CLESA169283LDDEINDE 10 Participant Country Experiment DOI Task Lang. Fields Constr. Pool weimar Germany 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 de TD AUTOMATIC yes CLEF2009.WEIMAR.COMBINEDDEINDE celi Italy 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRBNF_ALLTEXP celi Italy 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRBNF_BASE celi Italy 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRBNF_ML celi Italy 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRBNF_SEMVECTEXP celi Italy 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRBNF_TOPDOCSEXP chemnitz Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_17_MONO_FR_TE_PORTE R_NO_FB chemnitz Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_18_MONO_FR_LU_PORTE R_NO_FB chemnitz Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_19_MONO_MERGED_FR_1 7_18 chemnitz Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_20_MONO_FR_MERGED_L ANG_SPEC_REF_CUT_17 cheshire United States 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.CHESHIRE.MOFRT2FB cheshire United States 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.CHESHIRE.MOFRT2FB3 cheshire United States 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHESHIRE.MOFRT2FBX inesc Portugal 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.INESC.RUN11 inesc Portugal 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.INESC.RUN12 inesc Portugal 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.INESC.RUN5 inesc Portugal 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.INESC.RUN6 karlsruhe Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.KARLSRUHE.INDEXALL karlsruhe Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.KARLSRUHE.INDEXALLESA karlsruhe Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.KARLSRUHE.INDEXBL opentext Canada 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr T AUTOMATIC yes CLEF2009.OPENTEXT.OTFR09T opentext Canada 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.OPENTEXT.OTFR09TD opentext Canada 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.OPENTEXT.OTFR09TDE opentext Canada 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.OPENTEXT.OTFR09TDZ trinity Ireland 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.TRINITY.TCDFRRUN1 trinity Ireland 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.TRINITY.TCDFRRUN2 trinity Ireland 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.TRINITY.TCDFRRUN3 trinity Ireland 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.TRINITY.TCDFRRUN4 trinity-dcu Ireland 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no DCU.TCDDCUFR3 trinity-dcu Ireland 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no DCU.TCDDCUFR4 trinity-dcu Ireland 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes DCU.TCDDCU_FR1 trinity-dcu Ireland 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes DCU.TCDDCU_FR1F weimar Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.WEIMAR.BASELINEFRINFR weimar Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.WEIMAR.CLESA169283FRINFR weimar Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC no CLEF2009.WEIMAR.CLESA169283LDFRINFR weimar Germany 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 fr TD AUTOMATIC yes CLEF2009.WEIMAR.COMBINEDFRINFR aeb Greece 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 el T AUTOMATIC yes CLEF2009.AEB.2_GRAM_LANGUAGEMODELS aeb Greece 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 el T AUTOMATIC no CLEF2009.AEB.2_GRAM_LANGUAGEMODELS_WORDNE T aeb Greece 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 el T AUTOMATIC no CLEF2009.AEB.3_GRAM_LANGUAGEMODELS aeb Greece 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 el T AUTOMATIC no CLEF2009.AEB.3_GRAM_LANGUAGEMODELS_WORDNE T 11 Participant Country Experiment DOI Task Lang. Fields Constr. Pool aeb Greece 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 el T AUTOMATIC no CLEF2009.AEB.MAXENTROPY celi Italy 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEBL_BASE celi Italy 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEBL_ML celi Italy 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRBL_BASE celi Italy 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRBL_ML celi Italy 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 it TD AUTOMATIC no CLEF2009.CELI.CACAO_ITBL_BASE chemnitz Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_13_BILI_MERGED_DE2E N_9_10 chemnitz Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_14_BILI_MERGED_FR2E N_9_10 chemnitz Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_15_BILI_EN_MERGED_L ANG_SPEC_REF_CUT_9 chemnitz Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_16_BILI_EN_MERGED_L ANG_SPEC_REF_CUT_9 cheshire United States 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC yes CLEF2009.CHESHIRE.BIDEENT2FB cheshire United States 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.CHESHIRE.BIDEENT2FBX cheshire United States 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHESHIRE.BIFRENT2FB cheshire United States 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHESHIRE.BIFRENT2FBX hit China 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 zh T AUTOMATIC no CLEF2009.HIT.XTD10T40 hit China 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 zh TD AUTOMATIC yes CLEF2009.HIT.XTDD10T20 hit China 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 zh TD AUTOMATIC no CLEF2009.HIT.XTDD10T40 karlsruhe Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.KARLSRUHE.DE_INDEXALL karlsruhe Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC yes CLEF2009.KARLSRUHE.DE_INDEXALLESA karlsruhe Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.KARLSRUHE.DE_INDEXBL karlsruhe Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.KARLSRUHE.FR_INDEXALLESA karlsruhe Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.KARLSRUHE.FR_INDEXBL qazviniau Iran, Islamic 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC yes Republic Of CLEF2009.QAZVINIAU.IAUTELGE1 qazviniau Iran, Islamic 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no Republic Of CLEF2009.QAZVINIAU.IAUTELGE2 qazviniau Iran, Islamic 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de T AUTOMATIC no Republic Of CLEF2009.QAZVINIAU.IAUTELGE3 qazviniau Iran, Islamic 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no Republic Of CLEF2009.QAZVINIAU.IAUTELGE4 trinity Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY.TCDDEENRUN2 trinity Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY.TCDDEENRUN3 trinity Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC yes CLEF2009.TRINITY.TCDFRENRUN2 trinity Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.TRINITY.TCDFRENRUN3 trinity-dcu Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY-DCU.TCDDCUDEEN1 trinity-dcu Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY-DCU.TCDDCUDEEN3 trinity-dcu Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC yes CLEF2009.TRINITY-DCU.TCDDCU_FREN1F trinity-dcu Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.TRINITY-DCU.TCDDCU_FREN2 trinity-dcu Ireland 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.TRINITY-DCU.TCDDCU_FREN2F weimar Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC yes CLEF2009.WEIMAR.CLESA169283DEINEN weimar Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.WEIMAR.CLESA169283FRINEN weimar Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 de TD AUTOMATIC no CLEF2009.WEIMAR.COMBINEDDEINEN weimar Germany 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 fr TD AUTOMATIC no CLEF2009.WEIMAR.COMBINEDFRINEN celi Italy 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENONB_BASE 12 Participant Country Experiment DOI Task Lang. Fields Constr. Pool celi Italy 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENONB_ML celi Italy 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRONB_BASE celi Italy 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.CELI.CACAO_FRONB_ML celi Italy 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 it TD AUTOMATIC no CLEF2009.CELI.CACAO_ITONB_BASE chemnitz Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_5_BILI_MERGED_EN2DE _1_2 chemnitz Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_6_BILI_MERGED_FR2DE _1_2 chemnitz Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_7_BILI_EN2DE_MERGED _LANG_SPEC_REF_CUT_1 chemnitz Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_8_BILI_FR2DE_MERGED _LANG_SPEC_REF_CUT_1 cheshire United States 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 zh TD AUTOMATIC yes CLEF2009.CHESHIRE.BIENDET2FB cheshire United States 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.CHESHIRE.BIENDET2FBX cheshire United States 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHESHIRE.BIFRDET2FB cheshire United States 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.CHESHIRE.BIFRDET2FBX karlsruhe Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.KARLSRUHE.EN_INDEXALL karlsruhe Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC yes CLEF2009.KARLSRUHE.EN_INDEXALLESA karlsruhe Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.KARLSRUHE.EN_INDEXBL karlsruhe Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.KARLSRUHE.FR_INDEXALLESA karlsruhe Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.KARLSRUHE.FR_INDEXBL trinity Ireland 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC yes CLEF2009.TRINITY.TCDENDERUN2 trinity Ireland 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.TRINITY.TCDENDERUN3 trinity Ireland 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.TRINITY.TCDFRDERUN2 trinity Ireland 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.TRINITY.TCDFRDERUN3 weimar Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC yes CLEF2009.WEIMAR.CLESA169283ENINDE weimar Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.WEIMAR.CLESA169283FRINDE weimar Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 en TD AUTOMATIC no CLEF2009.WEIMAR.COMBINEDENINDE weimar Germany 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 fr TD AUTOMATIC no CLEF2009.WEIMAR.COMBINEDFRINDE celi Italy 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.CELI.CACAO_DEBNF_BASE celi Italy 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENBNF_BASE celi Italy 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.CELI.CACAO_ENBNF_ML celi Italy 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 it TD AUTOMATIC no CLEF2009.CELI.CACAO_ITBNF_BASE celi Italy 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 it TD AUTOMATIC no CLEF2009.CELI.CACAO_ITBNF_ML chemnitz Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC yes CLEF2009.CHEMNITZ.CUT_21_BILI_MERGED_EN2F R_17_18 chemnitz Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_22_BILI_MERGED_DE2F R_17_18 chemnitz Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_23_BILI_DE2FR_MERGE D_LANG_SPEC_REF_CUT_17 chemnitz Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.CHEMNITZ.CUT_24_BILI_EN2FR_MERGE D_LANG_SPEC_REF_CUT_17 cheshire United States 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC yes CLEF2009.CHESHIRE.BIDEFRT2FB cheshire United States 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.CHESHIRE.BIDEFRT2FBX cheshire United States 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.CHESHIRE.BIENFRT2FB cheshire United States 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.CHESHIRE.BIENFRT2FBX karlsruhe Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.KARLSRUHE.DE_INDEXALL karlsruhe Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC yes CLEF2009.KARLSRUHE.DE_INDEXALLESA 13 Participant Country Experiment DOI Task Lang. Fields Constr. Pool karlsruhe Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.KARLSRUHE.DE_INDEXBL karlsruhe Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.KARLSRUHE.EN_INDEXALLESA karlsruhe Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.KARLSRUHE.EN_INDEXBL trinity Ireland 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY.TCDDEFRRUN2 trinity Ireland 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.TRINITY.TCDDEFRRUN3 trinity Ireland 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC yes CLEF2009.TRINITY.TCDENFRRUN2 trinity Ireland 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.TRINITY.TCDENFRRUN3 weimar Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.WEIMAR.CLESA169283DEINFR weimar Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC yes CLEF2009.WEIMAR.CLESA169283ENINFR weimar Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 de TD AUTOMATIC no CLEF2009.WEIMAR.COMBINEDDEINFR weimar Germany 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 en TD AUTOMATIC no CLEF2009.WEIMAR.COMBINEDENINFR 14 Track Overview Results and Graphs 15 16 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Ad−Hoc TEL Monolingual English Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% inesc [Experiment RUN11; MAP 40.84%; Not Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; MAP 40.71%; Not Pooled] 90% trinity [Experiment TCDENRUN2; MAP 40.35%; Pooled] hit [Experiment MTDD10T40; MAP 39.36%; Pooled] trinity−dcu [Experiment TCDDCUEN3; MAP 36.96%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) 1 inesc [Experiment RUN11; MAP 40.84%; Not Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; MAP 40.71%; Not Pooled] 0.8 trinity [Experiment TCDENRUN2; MAP 40.35%; Pooled] hit [Experiment MTDD10T40; MAP 39.36%; Pooled] trinity−dcu [Experiment TCDDCUEN3; MAP 36.96%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Monolingual English Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 1 inesc [Experiment RUN11; MAP 40.84%; Not Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; MAP 40.71%; Not Pooled] 0.8 trinity [Experiment TCDENRUN2; MAP 40.35%; Pooled] hit [Experiment MTDD10T40; MAP 39.36%; Pooled] trinity−dcu [Experiment TCDDCUEN3; MAP 36.96%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 17 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Ad−Hoc TEL Monolingual English Task − Box Plot of the Topics inesc [Experiment RUN11; MAP 40.84%; Not Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; MAP 40.71%; Not Pooled] trinity [Experiment TCDENRUN2; MAP 40.35%; Pooled] trinity [Experiment TCDENRUN4; MAP 40.31%; Pooled] hit [Experiment MTDD10T40; MAP 39.36%; Pooled] hit [Experiment MTDD10T20; MAP 39.24%; Not Pooled] chemnitz [Experiment CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9; MAP 39.14%; Not Pooled] inesc [Experiment RUN12; MAP 39.06%; Not Pooled] chemnitz [Experiment CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11; MAP 38.64%; Pooled] inesc [Experiment RUN10; MAP 38.23%; Pooled] trinity−dcu [Experiment TCDDCUEN3; MAP 36.96%; Not Pooled] trinity [Experiment TCDENRUN3; MAP 36.96%; Not Pooled] trinity−dcu [Experiment TCDDCUEN4; MAP 36.88%; Not Pooled] inesc [Experiment RUN9; MAP 36.75%; Pooled] chemnitz [Experiment CUT_10_MONO_EN_LU_PORTER_10_7; MAP 36.72%; Pooled] trinity−dcu [Experiment TCDDCU_EN1F; MAP 36.40%; Pooled] hit [Experiment MTD10T40; MAP 35.03%; Pooled] karlsruhe [Experiment INDEXBL; MAP 34.80%; Not Pooled] opentext [Experiment OTEN09TDE; MAP 34.61%; Not Pooled] trinity−dcu [Experiment TCDDCU_EN2F; MAP 34.26%; Pooled] hit [Experiment MTDD0T20; MAP 33.90%; Not Pooled] karlsruhe [Experiment INDEXALLESA; MAP 33.43%; Pooled] Experiments karlsruhe [Experiment INDEXALL; MAP 32.87%; Pooled] cheshire [Experiment MOENT2FB; MAP 32.67%; Pooled] opentext [Experiment OTEN09TD; MAP 31.60%; Not Pooled] trinity [Experiment TCDENRUN1; MAP 29.05%; Not Pooled] opentext [Experiment OTEN09T; MAP 28.61%; Pooled] celi [Experiment CACAO_ENBL_SEMVECTEXPANDED; MAP 26.08%; Not Pooled] celi [Experiment CACAO_ENBL_ALLEXPANDED; MAP 25.80%; Not Pooled] celi [Experiment CACAO_ENBL_TOPDOCSEXPANDED; MAP 25.48%; Not Pooled] celi [Experiment CACAO_ENBL_ML; MAP 24.93%; Not Pooled] celi [Experiment CACAO_ENBL_BASE; MAP 24.89%; Not Pooled] cheshire [Experiment MOENT2FB3; MAP 22.91%; Pooled] cheshire [Experiment MOENT2FBX; MAP 22.24%; Not Pooled] opentext [Experiment OTEN09TDZ; MAP 21.60%; Pooled] weimar [Experiment CLESA169283ENINEN; MAP 21.47%; Pooled] qazviniau [Experiment IAUTELEN3; MAP 20.92%; Not Pooled] weimar [Experiment COMBINEDENINEN; MAP 20.02%; Pooled] qazviniau [Experiment IAUTELEN1; MAP 19.50%; Pooled] weimar [Experiment CLESA169283LDENINEN; MAP 19.50%; Not Pooled] qazviniau [Experiment IAUTELEN2; MAP 19.37%; Pooled] qazviniau [Experiment IAUTELEN4; MAP 19.25%; Not Pooled] weimar [Experiment BASELINEENINEN; MAP 15.81%; Not Pooled] cuza [Experiment RUN03; MAP 9.31%; Not Pooled] cuza [Experiment RUN02; MAP 8.94%; Pooled] cuza [Experiment RUN01; MAP 7.09%; Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Average Precision 18 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 10.2455/TUKEY_T_TEST.A08D93626F6F439C96C3FC146DDD2BBB Ad−Hoc TEL Monolingual English Task − Tukey T test with "top group" highlighted CUT_11_MONO_MERGED_EN_9_10 TCDENRUN2 TCDENRUN4 RUN11 CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 MTDD10T40 MTDD10T20 CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 RUN12 RUN10 TCDDCUEN4 TCDENRUN3 TCDDCUEN3 RUN9 CUT_10_MONO_EN_LU_PORTER_10_7 TCDDCU_EN1F INDEXBL OTEN09TDE MTD10T40 MTDD0T20 Experiments TCDDCU_EN2F INDEXALLESA INDEXALL MOENT2FB OTEN09TD OTEN09T TCDENRUN1 CACAO_ENBL_SEMVECTEXPANDED CACAO_ENBL_ALLEXPANDED CACAO_ENBL_TOPDOCSEXPANDED CACAO_ENBL_ML CACAO_ENBL_BASE OTEN09TDZ MOENT2FB3 MOENT2FBX CLESA169283ENINEN IAUTELEN3 IAUTELEN4 COMBINEDENINEN CLESA169283LDENINEN IAUTELEN1 IAUTELEN2 BASELINEENINEN RUN03 RUN02 RUN01 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 arcsin(sqrt(Average Precsion)) 19 20 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Ad−Hoc TEL Monolingual English Task Top 5 Participants − Retrieved documents vs Mean Precision 100% inesc [Experiment RUN11; R−Prec 39.76%; Not Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; R−Prec 41.76%; Not Pooled] 90% trinity [Experiment TCDENRUN2; R−Prec 42.57%; Pooled] hit [Experiment MTDD10T40; R−Prec 40.51%; Pooled] trinity−dcu [Experiment TCDDCUEN3; R−Prec 37.32%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) 1 inesc [Experiment RUN11; R−Prec 39.76%; Not Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; R−Prec 41.76%; Not Pooled] 0.8 trinity [Experiment TCDENRUN2; R−Prec 42.57%; Pooled] hit [Experiment MTDD10T40; R−Prec 40.51%; Pooled] trinity−dcu [Experiment TCDDCUEN3; R−Prec 37.32%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Monolingual English Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 1 inesc [Experiment RUN11; R−Prec 39.76%; Not Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; R−Prec 41.76%; Not Pooled] 0.8 trinity [Experiment TCDENRUN2; R−Prec 42.57%; Pooled] hit [Experiment MTDD10T40; R−Prec 40.51%; Pooled] trinity−dcu [Experiment TCDDCUEN3; R−Prec 37.32%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 21 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Ad−Hoc TEL Monolingual English Task − Box Plot of the Topics trinity [Experiment TCDENRUN2; R−Prec 42.57%; Pooled] trinity [Experiment TCDENRUN4; R−Prec 42.20%; Pooled] chemnitz [Experiment CUT_11_MONO_MERGED_EN_9_10; R−Prec 41.76%; Not Pooled] hit [Experiment MTDD10T40; R−Prec 40.51%; Pooled] hit [Experiment MTDD10T20; R−Prec 40.37%; Not Pooled] chemnitz [Experiment CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9; R−Prec 39.99%; Not Pooled] inesc [Experiment RUN11; R−Prec 39.76%; Not Pooled] inesc [Experiment RUN12; R−Prec 39.66%; Not Pooled] chemnitz [Experiment CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11; R−Prec 39.57%; Pooled] chemnitz [Experiment CUT_10_MONO_EN_LU_PORTER_10_7; R−Prec 39.03%; Pooled] trinity−dcu [Experiment TCDDCUEN4; R−Prec 39.01%; Not Pooled] inesc [Experiment RUN10; R−Prec 39.01%; Pooled] trinity−dcu [Experiment TCDDCU_EN1F; R−Prec 37.84%; Pooled] karlsruhe [Experiment INDEXBL; R−Prec 37.80%; Not Pooled] inesc [Experiment RUN9; R−Prec 37.69%; Pooled] trinity−dcu [Experiment TCDDCUEN3; R−Prec 37.32%; Not Pooled] trinity [Experiment TCDENRUN3; R−Prec 37.32%; Not Pooled] opentext [Experiment OTEN09TDE; R−Prec 36.97%; Not Pooled] hit [Experiment MTDD0T20; R−Prec 36.88%; Not Pooled] karlsruhe [Experiment INDEXALLESA; R−Prec 36.58%; Pooled] karlsruhe [Experiment INDEXALL; R−Prec 36.50%; Pooled] trinity−dcu [Experiment TCDDCU_EN2F; R−Prec 36.30%; Pooled] Experiments hit [Experiment MTD10T40; R−Prec 36.18%; Pooled] opentext [Experiment OTEN09TD; R−Prec 34.35%; Not Pooled] cheshire [Experiment MOENT2FB; R−Prec 34.31%; Pooled] opentext [Experiment OTEN09T; R−Prec 31.85%; Pooled] trinity [Experiment TCDENRUN1; R−Prec 31.11%; Not Pooled] celi [Experiment CACAO_ENBL_SEMVECTEXPANDED; R−Prec 30.54%; Not Pooled] celi [Experiment CACAO_ENBL_ALLEXPANDED; R−Prec 29.73%; Not Pooled] celi [Experiment CACAO_ENBL_BASE; R−Prec 29.51%; Not Pooled] celi [Experiment CACAO_ENBL_TOPDOCSEXPANDED; R−Prec 29.33%; Not Pooled] celi [Experiment CACAO_ENBL_ML; R−Prec 29.07%; Not Pooled] cheshire [Experiment MOENT2FBX; R−Prec 27.01%; Not Pooled] cheshire [Experiment MOENT2FB3; R−Prec 24.89%; Pooled] qazviniau [Experiment IAUTELEN3; R−Prec 23.61%; Not Pooled] weimar [Experiment CLESA169283ENINEN; R−Prec 23.33%; Pooled] weimar [Experiment COMBINEDENINEN; R−Prec 23.28%; Pooled] qazviniau [Experiment IAUTELEN2; R−Prec 22.77%; Pooled] qazviniau [Experiment IAUTELEN1; R−Prec 22.75%; Pooled] qazviniau [Experiment IAUTELEN4; R−Prec 22.28%; Not Pooled] opentext [Experiment OTEN09TDZ; R−Prec 21.61%; Pooled] weimar [Experiment CLESA169283LDENINEN; R−Prec 20.42%; Not Pooled] weimar [Experiment BASELINEENINEN; R−Prec 19.03%; Not Pooled] cuza [Experiment RUN03; R−Prec 13.51%; Not Pooled] cuza [Experiment RUN02; R−Prec 12.77%; Pooled] cuza [Experiment RUN01; R−Prec 10.76%; Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% R−Precision 22 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Ad−Hoc TEL Monolingual English Task − Tukey T test with "top group" highlighted TCDENRUN2 TCDENRUN4 CUT_11_MONO_MERGED_EN_9_10 MTDD10T40 CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 MTDD10T20 CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 TCDDCUEN4 RUN12 INDEXBL RUN10 RUN11 CUT_10_MONO_EN_LU_PORTER_10_7 OTEN09TDE TCDDCU_EN1F MTDD0T20 INDEXALL TCDENRUN3 TCDDCUEN3 INDEXALLESA Experiments RUN9 TCDDCU_EN2F MTD10T40 OTEN09TD MOENT2FB OTEN09T CACAO_ENBL_SEMVECTEXPANDED TCDENRUN1 CACAO_ENBL_ALLEXPANDED CACAO_ENBL_TOPDOCSEXPANDED CACAO_ENBL_BASE CACAO_ENBL_ML MOENT2FBX MOENT2FB3 OTEN09TDZ IAUTELEN3 CLESA169283ENINEN COMBINEDENINEN IAUTELEN4 IAUTELEN2 IAUTELEN1 CLESA169283LDENINEN BASELINEENINEN RUN03 RUN02 RUN01 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 arcsin(sqrt(R−Precision)) 23 24 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 2.00 18.00 21.00 21.00 21.00 18.50 4.92 3.00 19.00 0.27 17.16 14.17 3.43 14.00 21.00 20.02 1.90 702-AH 10.00 24.00 26.00 27.00 29.00 24.89 3.90 3.00 19.00 0.16 24.50 23.95 2.63 22.00 29.00 26.15 1.87 703-AH 22.00 35.00 36.00 36.00 36.00 34.89 2.84 1.00 14.00 0.08 34.75 34.57 1.65 34.00 36.00 35.82 0.51 704-AH 2.00 38.00 45.00 51.00 54.00 41.70 12.73 13.00 52.00 0.31 37.65 26.42 9.22 27.00 54.00 45.46 6.75 705-AH 1.00 66.00 83.00 84.00 84.00 71.67 20.55 18.00 83.00 0.29 63.07 26.26 14.64 52.00 84.00 77.14 10.09 706-AH 19.00 80.00 101.00 106.00 107.00 92.28 20.89 26.00 88.00 0.23 88.31 80.71 15.69 55.00 107.00 95.52 14.47 707-AH 18.00 29.00 29.00 29.00 29.00 27.65 2.81 0.00 11.00 0.10 27.49 27.29 2.07 29.00 29.00 29.00 0.00 708-AH 1.00 56.00 66.00 66.00 66.00 59.11 14.43 10.00 65.00 0.24 51.94 20.65 9.15 44.00 66.00 62.37 6.27 709-AH 20.00 73.00 82.00 85.00 87.00 73.70 19.55 12.00 67.00 0.27 69.39 62.25 14.15 57.00 87.00 81.23 6.40 710-AH 0.00 12.00 22.00 31.00 37.00 20.78 11.38 19.00 37.00 0.55 12.22 0.00 9.67 0.00 37.00 20.78 11.38 711-AH 0.00 11.00 16.00 16.00 16.00 11.87 6.21 5.00 16.00 0.52 0.91 0.00 4.93 8.00 16.00 14.76 2.10 712-AH 6.00 9.00 10.00 10.00 10.00 9.09 1.53 1.00 4.00 0.17 8.94 8.77 1.27 9.00 10.00 9.91 0.28 713-AH 12.00 24.00 30.00 35.00 43.00 29.50 7.19 11.00 31.00 0.24 28.55 27.48 5.96 12.00 43.00 29.50 7.19 714-AH 8.00 26.00 31.50 34.00 45.00 29.37 8.17 8.00 37.00 0.28 27.83 25.61 6.32 19.00 45.00 31.19 5.84 715-AH 6.00 10.00 12.00 13.00 16.00 11.85 2.53 3.00 10.00 0.21 11.55 11.22 2.02 6.00 16.00 11.85 2.53 716-AH 13.00 18.00 20.50 21.00 21.00 19.11 2.59 3.00 8.00 0.14 18.91 18.69 2.12 14.00 21.00 19.53 2.09 717-AH 4.00 13.00 16.00 16.00 17.00 14.48 2.86 3.00 13.00 0.20 14.05 13.36 2.07 12.00 17.00 15.24 1.39 718-AH 23.00 37.00 43.50 49.00 49.00 42.13 7.22 12.00 26.00 0.17 41.44 40.65 5.87 23.00 49.00 42.13 7.22 719-AH 1.00 6.00 8.00 8.00 9.00 6.93 2.21 2.00 8.00 0.32 6.24 4.87 1.62 3.00 9.00 7.48 1.37 720-AH 39.00 51.00 52.00 53.00 53.00 51.33 2.79 2.00 14.00 0.05 51.24 51.15 1.81 49.00 53.00 52.05 1.21 721-AH 4.00 9.00 9.00 9.00 10.00 8.63 1.45 0.00 6.00 0.17 8.47 8.27 0.99 9.00 9.00 9.00 0.00 722-AH 14.00 24.00 27.00 31.00 33.00 26.85 4.84 7.00 19.00 0.18 26.34 25.73 3.79 14.00 33.00 26.85 4.84 723-AH 2.00 10.00 12.50 15.00 18.00 12.43 3.77 5.00 16.00 0.30 11.65 10.36 3.17 4.00 18.00 12.67 3.46 724-AH 18.00 21.00 21.00 21.00 21.00 20.54 0.89 0.00 3.00 0.04 20.52 20.50 0.69 21.00 21.00 21.00 0.00 725-AH 52.00 123.00 178.00 185.00 196.00 154.07 39.10 62.00 144.00 0.25 147.74 139.42 33.62 52.00 196.00 154.07 39.10 726-AH 2.00 27.00 35.00 39.00 44.00 31.20 10.50 12.00 42.00 0.34 28.21 21.40 8.39 9.00 44.00 31.84 9.64 727-AH 2.00 7.00 7.00 7.00 8.00 6.41 1.63 0.00 6.00 0.25 6.07 5.50 1.08 7.00 7.00 7.00 0.00 728-AH 9.00 17.00 18.00 19.00 20.00 17.41 2.69 2.00 11.00 0.15 17.16 16.85 2.01 15.00 20.00 18.20 1.47 729-AH 9.00 13.00 16.50 28.00 37.00 19.48 7.86 15.00 28.00 0.40 18.11 16.95 6.65 9.00 37.00 19.48 7.86 730-AH 5.00 35.00 48.50 84.00 89.00 55.46 25.56 49.00 84.00 0.46 47.41 35.09 22.19 5.00 89.00 55.46 25.56 731-AH 23.00 66.00 71.50 79.00 81.00 68.72 13.67 13.00 58.00 0.20 66.80 63.93 9.67 49.00 81.00 72.14 7.74 732-AH 3.00 12.00 16.50 19.00 25.00 14.85 4.85 7.00 22.00 0.33 13.88 12.59 4.16 3.00 25.00 14.85 4.85 733-AH 8.00 33.00 59.50 60.00 60.00 47.41 18.15 27.00 52.00 0.38 41.78 33.32 15.28 8.00 60.00 47.41 18.15 734-AH 25.00 40.00 41.00 42.00 44.00 40.43 3.11 2.00 19.00 0.08 40.29 40.12 1.92 38.00 44.00 41.07 1.61 735-AH 10.00 69.00 103.00 145.00 167.00 98.85 47.98 76.00 157.00 0.49 81.83 57.68 41.07 10.00 167.00 98.85 47.98 736-AH 5.00 9.00 27.50 36.00 42.00 24.52 13.09 27.00 37.00 0.53 20.15 15.68 11.85 5.00 42.00 24.52 13.09 737-AH 2.00 17.00 20.50 26.00 35.00 20.39 8.03 9.00 33.00 0.39 17.83 13.09 6.00 5.00 35.00 21.23 7.15 738-AH 10.00 39.00 75.50 83.00 106.00 63.96 25.88 44.00 96.00 0.40 56.50 45.99 22.92 10.00 106.00 63.96 25.88 739-AH 13.00 36.00 43.00 44.00 44.00 40.04 6.58 8.00 31.00 0.16 39.27 38.07 4.89 30.00 44.00 41.07 4.44 740-AH 1.00 13.00 14.00 17.00 20.00 14.11 4.65 4.00 19.00 0.33 12.53 8.96 3.20 8.00 20.00 15.24 2.94 741-AH 9.00 11.00 12.00 12.00 12.00 11.52 0.86 1.00 3.00 0.07 11.49 11.45 0.67 10.00 12.00 11.70 0.56 742-AH 4.00 12.00 13.00 13.00 14.00 11.96 2.12 1.00 10.00 0.18 11.66 11.17 1.25 11.00 14.00 12.59 0.67 743-AH 2.00 4.00 5.00 6.00 6.00 4.98 1.24 2.00 4.00 0.25 4.79 4.55 0.99 2.00 6.00 4.98 1.24 744-AH 2.00 14.00 22.00 22.00 22.00 17.74 6.77 8.00 20.00 0.38 15.40 11.57 5.62 2.00 22.00 17.74 6.77 745-AH 11.00 40.00 62.50 64.00 65.00 52.57 15.55 24.00 54.00 0.30 49.16 43.85 13.09 11.00 65.00 52.57 15.55 746-AH 0.00 14.00 21.00 30.00 33.00 20.50 9.04 16.00 33.00 0.44 13.35 0.00 7.33 0.00 33.00 20.50 9.04 747-AH 31.00 93.00 129.50 151.00 163.00 116.87 40.19 58.00 132.00 0.34 107.15 93.74 33.63 31.00 163.00 116.87 40.19 748-AH 3.00 13.00 13.00 13.00 13.00 12.57 1.59 0.00 10.00 0.13 12.36 11.90 0.76 13.00 13.00 13.00 0.00 749-AH 11.00 34.00 39.00 42.00 43.00 36.04 7.92 8.00 32.00 0.22 34.80 32.95 5.77 22.00 43.00 37.58 5.44 750-AH 3.00 10.00 18.50 21.00 28.00 15.78 7.07 11.00 25.00 0.45 13.75 11.33 6.20 3.00 28.00 15.78 7.07 25 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0051 0.0985 0.2239 0.3226 0.4800 0.2096 0.1297 0.2241 0.4749 0.6190 0.1430 0.0544 0.1111 0.0051 0.4800 0.2096 0.1297 702-AH 0.0559 0.3910 0.6640 0.7803 0.8405 0.5626 0.2447 0.3893 0.7847 0.4349 0.4721 0.3246 0.2097 0.0559 0.8405 0.5626 0.2447 703-AH 0.2002 0.3537 0.4578 0.5382 0.6120 0.4378 0.1157 0.1846 0.4118 0.2643 0.4207 0.4016 0.0960 0.2002 0.6120 0.4378 0.1157 704-AH 0.0004 0.0545 0.0838 0.1522 0.6373 0.1220 0.1158 0.0977 0.6369 0.9491 0.0759 0.0130 0.0793 0.0004 0.2742 0.0993 0.0702 705-AH 0.0005 0.2117 0.2509 0.3505 0.5462 0.2763 0.1345 0.1388 0.5457 0.4869 0.2195 0.0199 0.1027 0.0421 0.5462 0.2825 0.1294 706-AH 0.0190 0.4586 0.5603 0.5984 0.7457 0.5194 0.1701 0.1398 0.7266 0.3275 0.4586 0.2796 0.1252 0.2586 0.7457 0.5580 0.1162 707-AH 0.1342 0.3961 0.5401 0.6265 0.6882 0.5014 0.1454 0.2304 0.5540 0.2900 0.4746 0.4389 0.1245 0.1342 0.6882 0.5014 0.1454 708-AH 0.0001 0.5574 0.6750 0.7314 0.8485 0.5815 0.2416 0.1740 0.8485 0.4155 0.3495 0.0025 0.1782 0.4039 0.8485 0.6749 0.0936 709-AH 0.0338 0.3198 0.3797 0.4361 0.5114 0.3473 0.1331 0.1163 0.4777 0.3833 0.3005 0.2175 0.1024 0.1735 0.5114 0.3886 0.0826 710-AH 0.0000 0.0059 0.0230 0.1059 0.1876 0.0528 0.0575 0.1000 0.1876 1.0902 0.0180 0.0004 0.0487 0.0000 0.1876 0.0528 0.0575 711-AH 0.0000 0.0230 0.1810 0.2836 0.4048 0.1597 0.1319 0.2606 0.4048 0.8258 0.0223 0.0001 0.1184 0.0000 0.4048 0.1597 0.1319 712-AH 0.0043 0.7000 1.0000 1.0000 1.0000 0.7951 0.3192 0.3000 0.9957 0.4014 0.5608 0.0821 0.2541 0.2668 1.0000 0.8699 0.2144 713-AH 0.0099 0.0922 0.2764 0.3796 0.5091 0.2475 0.1528 0.2874 0.4993 0.6174 0.1657 0.0707 0.1345 0.0099 0.5091 0.2475 0.1528 714-AH 0.0072 0.2208 0.3413 0.3994 0.5575 0.2954 0.1541 0.1786 0.5503 0.5217 0.2049 0.0736 0.1251 0.0072 0.5575 0.2954 0.1541 715-AH 0.0099 0.1332 0.2751 0.4492 0.5055 0.2821 0.1612 0.3160 0.4956 0.5715 0.2159 0.1183 0.1439 0.0099 0.5055 0.2821 0.1612 716-AH 0.0389 0.3462 0.5192 0.6482 0.7685 0.4767 0.2013 0.3020 0.7296 0.4223 0.4084 0.2920 0.1670 0.0389 0.7685 0.4767 0.2013 717-AH 0.0120 0.1092 0.1684 0.2167 0.4507 0.1803 0.1033 0.1075 0.4388 0.5728 0.1439 0.0936 0.0779 0.0120 0.3774 0.1743 0.0960 718-AH 0.0228 0.2203 0.3747 0.4805 0.5727 0.3379 0.1614 0.2602 0.5499 0.4778 0.2771 0.1870 0.1370 0.0228 0.5727 0.3379 0.1614 719-AH 0.0002 0.1410 0.2502 0.3535 0.6976 0.2629 0.1851 0.2125 0.6975 0.7041 0.1111 0.0028 0.1454 0.0002 0.6359 0.2533 0.1751 720-AH 0.3682 0.7733 0.9134 0.9476 0.9744 0.8474 0.1385 0.1743 0.6063 0.1635 0.8332 0.8146 0.1088 0.5984 0.9744 0.8670 0.1044 721-AH 0.0343 0.1354 0.1859 0.2180 0.3228 0.1779 0.0702 0.0825 0.2884 0.3943 0.1614 0.1406 0.0553 0.0343 0.3228 0.1779 0.0702 722-AH 0.0236 0.1633 0.2632 0.3362 0.4433 0.2529 0.1108 0.1729 0.4197 0.4379 0.2147 0.1516 0.0929 0.0236 0.4433 0.2529 0.1108 723-AH 0.0007 0.0615 0.0949 0.1190 0.2177 0.0937 0.0482 0.0576 0.2170 0.5146 0.0685 0.0139 0.0377 0.0007 0.1832 0.0910 0.0450 724-AH 0.2210 0.6185 0.7198 0.8298 0.8757 0.6942 0.1628 0.2113 0.6547 0.2345 0.6692 0.6347 0.1257 0.3181 0.8757 0.7047 0.1480 725-AH 0.0949 0.4065 0.5028 0.6586 0.7202 0.5006 0.1731 0.2520 0.6252 0.3458 0.4573 0.3908 0.1463 0.0949 0.7202 0.5006 0.1731 726-AH 0.0008 0.0500 0.0891 0.1187 0.2436 0.0908 0.0600 0.0687 0.2428 0.6604 0.0594 0.0170 0.0462 0.0008 0.2070 0.0841 0.0519 727-AH 0.0048 0.0524 0.0753 0.0949 0.3016 0.0750 0.0505 0.0424 0.2968 0.6728 0.0572 0.0347 0.0334 0.0048 0.1431 0.0677 0.0346 728-AH 0.0243 0.1033 0.1463 0.2217 0.2969 0.1587 0.0727 0.1184 0.2726 0.4581 0.1382 0.1110 0.0609 0.0243 0.2969 0.1587 0.0727 729-AH 0.0050 0.0260 0.0484 0.0730 0.2690 0.0629 0.0576 0.0470 0.2640 0.9155 0.0446 0.0300 0.0383 0.0050 0.1095 0.0482 0.0290 730-AH 0.0011 0.0481 0.2521 0.3297 0.4343 0.2107 0.1436 0.2816 0.4331 0.6816 0.1228 0.0216 0.1312 0.0011 0.4343 0.2107 0.1436 731-AH 0.0104 0.2633 0.4518 0.5711 0.8052 0.4070 0.2332 0.3078 0.7948 0.5729 0.2772 0.1090 0.1941 0.0104 0.8052 0.4070 0.2332 732-AH 0.0054 0.0150 0.0278 0.0628 0.1751 0.0450 0.0426 0.0477 0.1696 0.9474 0.0291 0.0188 0.0329 0.0054 0.1202 0.0369 0.0299 733-AH 0.0083 0.1774 0.3515 0.6178 0.7964 0.3667 0.2451 0.4404 0.7882 0.6684 0.2497 0.1029 0.2118 0.0083 0.7964 0.3667 0.2451 734-AH 0.0520 0.2926 0.5565 0.6979 0.8083 0.4959 0.2303 0.4053 0.7563 0.4643 0.4135 0.2929 0.1984 0.0520 0.8083 0.4959 0.2303 735-AH 0.0004 0.0528 0.1324 0.2247 0.3412 0.1364 0.0996 0.1718 0.3408 0.7300 0.0725 0.0061 0.0857 0.0004 0.3412 0.1364 0.0996 736-AH 0.0009 0.0137 0.0387 0.0641 0.1557 0.0473 0.0425 0.0504 0.1548 0.8993 0.0258 0.0089 0.0338 0.0009 0.1256 0.0425 0.0367 737-AH 0.0001 0.0173 0.0255 0.0485 0.2455 0.0383 0.0393 0.0312 0.2455 1.0281 0.0223 0.0022 0.0249 0.0001 0.0934 0.0337 0.0242 738-AH 0.0131 0.1796 0.3542 0.4597 0.6193 0.3178 0.1717 0.2801 0.6062 0.5403 0.2359 0.1124 0.1512 0.0131 0.6193 0.3178 0.1717 739-AH 0.1105 0.5801 0.7518 0.8071 0.8502 0.6703 0.1851 0.2269 0.7397 0.2762 0.6292 0.5564 0.1456 0.2539 0.8502 0.6938 0.1509 740-AH 0.0001 0.0193 0.0685 0.0972 0.3201 0.0703 0.0592 0.0779 0.3200 0.8429 0.0379 0.0025 0.0454 0.0001 0.1531 0.0647 0.0462 741-AH 0.0204 0.2041 0.3490 0.4036 0.5751 0.3089 0.1566 0.1995 0.5547 0.5071 0.2441 0.1499 0.1276 0.0204 0.5751 0.3089 0.1566 742-AH 0.0275 0.2721 0.5242 0.5429 0.5800 0.4190 0.1637 0.2708 0.5525 0.3907 0.3670 0.2691 0.1450 0.0275 0.5800 0.4190 0.1637 743-AH 0.0045 0.0562 0.1075 0.1730 0.3938 0.1307 0.1017 0.1169 0.3892 0.7781 0.0921 0.0515 0.0796 0.0045 0.3439 0.1139 0.0814 744-AH 0.0006 0.1891 0.5196 0.6163 0.7119 0.4139 0.2483 0.4272 0.7113 0.5999 0.2214 0.0141 0.2207 0.0006 0.7119 0.4139 0.2483 745-AH 0.0111 0.0944 0.1795 0.2174 0.3199 0.1659 0.0750 0.1230 0.3088 0.4521 0.1421 0.1033 0.0619 0.0111 0.3199 0.1659 0.0750 746-AH 0.0000 0.0419 0.1039 0.1929 0.3847 0.1280 0.0906 0.1510 0.3847 0.7077 0.0644 0.0004 0.0732 0.0000 0.3847 0.1280 0.0906 747-AH 0.0088 0.1201 0.2849 0.4000 0.6018 0.2679 0.1659 0.2799 0.5930 0.6194 0.1913 0.0905 0.1396 0.0088 0.6018 0.2679 0.1659 748-AH 0.0251 0.0684 0.0789 0.0977 0.1984 0.0893 0.0385 0.0293 0.1732 0.4310 0.0824 0.0760 0.0282 0.0251 0.1214 0.0766 0.0202 749-AH 0.0080 0.0832 0.2377 0.3951 0.7879 0.3013 0.2590 0.3119 0.7799 0.8596 0.1694 0.0624 0.2123 0.0080 0.7879 0.3013 0.2590 750-AH 0.0012 0.0287 0.0660 0.1010 0.1816 0.0682 0.0488 0.0723 0.1804 0.7160 0.0424 0.0136 0.0413 0.0012 0.1816 0.0682 0.0488 26 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0476 0.0952 0.2381 0.2857 0.4286 0.2205 0.1064 0.1905 0.3810 0.4826 0.1866 0.1466 0.0924 0.0476 0.4286 0.2205 0.1064 702-AH 0.1034 0.3448 0.7069 0.7931 0.8621 0.5697 0.2442 0.4483 0.7586 0.4287 0.4970 0.4014 0.2210 0.1034 0.8621 0.5697 0.2442 703-AH 0.1667 0.3333 0.4167 0.4444 0.5278 0.3925 0.0891 0.1111 0.3611 0.2271 0.3805 0.3658 0.0709 0.2222 0.5278 0.4028 0.0764 704-AH 0.0000 0.0370 0.1019 0.1852 0.7037 0.1353 0.1373 0.1481 0.7037 1.0151 0.0588 0.0002 0.1019 0.0000 0.3704 0.1226 0.1085 705-AH 0.0119 0.2143 0.2381 0.3690 0.6310 0.3075 0.1623 0.1548 0.6190 0.5278 0.2636 0.1776 0.1276 0.0119 0.5952 0.2509 0.0981 706-AH 0.0280 0.5047 0.5981 0.6449 0.7103 0.5445 0.1578 0.1402 0.6822 0.2898 0.4910 0.3349 0.1133 0.3084 0.7103 0.5768 0.1002 707-AH 0.1379 0.4828 0.5690 0.6552 0.6552 0.5367 0.1287 0.1724 0.5172 0.2399 0.5148 0.4807 0.1026 0.3448 0.6552 0.5613 0.0904 708-AH 0.0000 0.5224 0.6269 0.6716 0.7612 0.5451 0.2260 0.1493 0.7612 0.4146 0.2086 0.0001 0.1650 0.2985 0.7612 0.6243 0.0974 709-AH 0.1000 0.3556 0.4611 0.5000 0.5333 0.4024 0.1314 0.1444 0.4333 0.3266 0.3704 0.3238 0.1047 0.1556 0.5333 0.4299 0.1003 710-AH 0.0000 0.0222 0.0444 0.1556 0.3111 0.0937 0.0953 0.1333 0.3111 1.0170 0.0154 0.0001 0.0849 0.0000 0.3111 0.0937 0.0953 711-AH 0.0000 0.0000 0.2188 0.3125 0.3750 0.1793 0.1471 0.3125 0.3750 0.8201 0.0128 0.0000 0.1342 0.0000 0.3750 0.1793 0.1471 712-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.7804 0.3229 0.3000 1.0000 0.4138 0.3040 0.0001 0.2560 0.3000 1.0000 0.8548 0.2222 713-AH 0.0000 0.1489 0.3511 0.5106 0.5745 0.3178 0.1882 0.3617 0.5745 0.5923 0.1182 0.0001 0.1636 0.0000 0.5745 0.3178 0.1882 714-AH 0.0200 0.2600 0.4800 0.5000 0.6000 0.3791 0.1802 0.2400 0.5800 0.4754 0.2883 0.1414 0.1525 0.0200 0.6000 0.3791 0.1802 715-AH 0.0000 0.1176 0.3824 0.4706 0.5294 0.3133 0.1701 0.3529 0.5294 0.5428 0.1795 0.0002 0.1582 0.0000 0.5294 0.3133 0.1701 716-AH 0.0476 0.3333 0.4762 0.6667 0.7143 0.4710 0.1963 0.3333 0.6667 0.4167 0.4019 0.2778 0.1650 0.0476 0.7143 0.4710 0.1963 717-AH 0.0000 0.1111 0.1667 0.2222 0.4444 0.1836 0.1020 0.1111 0.4444 0.5557 0.1313 0.0005 0.0836 0.0000 0.3333 0.1680 0.0853 718-AH 0.0000 0.3265 0.3980 0.4898 0.6122 0.3878 0.1588 0.1633 0.6122 0.4095 0.1960 0.0002 0.1189 0.1224 0.6122 0.4148 0.1246 719-AH 0.0000 0.2222 0.3333 0.4444 0.5556 0.2971 0.1754 0.2222 0.5556 0.5903 0.0548 0.0001 0.1406 0.0000 0.5556 0.2971 0.1754 720-AH 0.3396 0.7358 0.8679 0.9057 0.9434 0.8134 0.1348 0.1698 0.6038 0.1658 0.7993 0.7805 0.1024 0.5849 0.9434 0.8323 0.1021 721-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1978 0.1085 0.2000 0.4000 0.5485 0.0692 0.0001 0.0813 0.0000 0.4000 0.1978 0.1085 722-AH 0.0769 0.2051 0.3333 0.3846 0.4872 0.3082 0.1075 0.1795 0.4103 0.3487 0.2846 0.2546 0.0886 0.0769 0.4872 0.3082 0.1075 723-AH 0.0000 0.1053 0.2105 0.2632 0.3684 0.1888 0.0912 0.1579 0.3684 0.4831 0.0974 0.0002 0.0772 0.0000 0.3684 0.1888 0.0912 724-AH 0.2381 0.5714 0.6429 0.7143 0.8095 0.6263 0.1313 0.1429 0.5714 0.2096 0.6098 0.5892 0.1004 0.3810 0.8095 0.6349 0.1188 725-AH 0.1651 0.3962 0.5236 0.6368 0.6887 0.5029 0.1480 0.2406 0.5236 0.2943 0.4758 0.4413 0.1231 0.1651 0.6887 0.5029 0.1480 726-AH 0.0000 0.1270 0.2063 0.2540 0.3968 0.1874 0.1003 0.1270 0.3968 0.5351 0.1249 0.0005 0.0796 0.0000 0.3968 0.1874 0.1003 727-AH 0.0000 0.0000 0.0000 0.1250 0.2500 0.0571 0.0821 0.1250 0.2500 1.4387 0.0003 0.0000 0.0720 0.0000 0.2500 0.0571 0.0821 728-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1989 0.1046 0.2000 0.4000 0.5259 0.1001 0.0002 0.0796 0.0000 0.4000 0.1989 0.1046 729-AH 0.0227 0.0455 0.0909 0.1364 0.3636 0.1082 0.0752 0.0909 0.3409 0.6948 0.0886 0.0720 0.0509 0.0227 0.2500 0.0966 0.0524 730-AH 0.0111 0.1444 0.3111 0.3333 0.3889 0.2435 0.1151 0.1889 0.3778 0.4727 0.1937 0.1030 0.1040 0.0111 0.3889 0.2435 0.1151 731-AH 0.0120 0.2048 0.4819 0.5663 0.7952 0.4078 0.2292 0.3614 0.7831 0.5621 0.2788 0.0951 0.1934 0.0120 0.7952 0.4078 0.2292 732-AH 0.0000 0.0000 0.0800 0.1200 0.2400 0.0704 0.0621 0.1200 0.2400 0.8813 0.0066 0.0000 0.0517 0.0000 0.2400 0.0704 0.0621 733-AH 0.0000 0.1639 0.3770 0.5574 0.7541 0.3831 0.2226 0.3934 0.7541 0.5811 0.2530 0.0005 0.1907 0.0000 0.7541 0.3831 0.2226 734-AH 0.0455 0.3636 0.5455 0.6818 0.7955 0.5025 0.2192 0.3182 0.7500 0.4362 0.4268 0.3089 0.1870 0.0455 0.7955 0.5025 0.2192 735-AH 0.0000 0.1532 0.2340 0.3064 0.4213 0.2201 0.1130 0.1532 0.4213 0.5134 0.1093 0.0002 0.0918 0.0000 0.4213 0.2201 0.1130 736-AH 0.0000 0.0566 0.0755 0.1132 0.2830 0.0878 0.0635 0.0566 0.2830 0.7239 0.0362 0.0001 0.0465 0.0000 0.1887 0.0741 0.0463 737-AH 0.0000 0.0444 0.0667 0.0889 0.2889 0.0705 0.0543 0.0444 0.2889 0.7698 0.0256 0.0001 0.0377 0.0000 0.1111 0.0582 0.0340 738-AH 0.0377 0.2642 0.3632 0.5849 0.6792 0.3913 0.1977 0.3208 0.6415 0.5052 0.3189 0.2183 0.1716 0.0377 0.6792 0.3913 0.1977 739-AH 0.1591 0.6364 0.6818 0.7045 0.7727 0.6299 0.1408 0.0682 0.6136 0.2235 0.6057 0.5662 0.0948 0.5455 0.7727 0.6795 0.0493 740-AH 0.0000 0.0435 0.0870 0.1304 0.3478 0.0860 0.0719 0.0870 0.3478 0.8356 0.0131 0.0000 0.0522 0.0000 0.1739 0.0761 0.0548 741-AH 0.0000 0.1667 0.3333 0.5000 0.5833 0.3134 0.1687 0.3333 0.5833 0.5382 0.1478 0.0002 0.1319 0.0000 0.5833 0.3134 0.1687 742-AH 0.0588 0.2941 0.4706 0.5294 0.5882 0.4169 0.1413 0.2353 0.5294 0.3389 0.3801 0.3213 0.1184 0.0588 0.5882 0.4169 0.1413 743-AH 0.0000 0.1250 0.1250 0.2500 0.5000 0.1685 0.1323 0.1250 0.5000 0.7855 0.0325 0.0001 0.1040 0.0000 0.3750 0.1534 0.1139 744-AH 0.0000 0.2727 0.4091 0.5455 0.6364 0.3735 0.1904 0.2727 0.6364 0.5098 0.1477 0.0001 0.1623 0.0000 0.6364 0.3735 0.1904 745-AH 0.0154 0.1385 0.1923 0.2308 0.3077 0.1870 0.0646 0.0923 0.2923 0.3456 0.1713 0.1394 0.0525 0.0154 0.3077 0.1870 0.0646 746-AH 0.0000 0.1429 0.2143 0.2857 0.4000 0.2106 0.1049 0.1429 0.4000 0.4982 0.1067 0.0002 0.0814 0.0000 0.4000 0.2106 0.1049 747-AH 0.0324 0.1730 0.4054 0.4649 0.5568 0.3395 0.1637 0.2919 0.5243 0.4821 0.2807 0.2006 0.1442 0.0324 0.5568 0.3395 0.1637 748-AH 0.0000 0.0000 0.0000 0.0769 0.3846 0.0518 0.0859 0.0769 0.3846 1.6569 0.0005 0.0000 0.0586 0.0000 0.1538 0.0322 0.0419 749-AH 0.0000 0.1395 0.2674 0.4651 0.7674 0.3119 0.2490 0.3256 0.7674 0.7981 0.0730 0.0001 0.2018 0.0000 0.7674 0.3119 0.2490 750-AH 0.0000 0.0667 0.1500 0.2000 0.3000 0.1428 0.0836 0.1333 0.3000 0.5859 0.0498 0.0001 0.0688 0.0000 0.3000 0.1428 0.0836 27 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0045 0.0907 0.1757 0.2630 0.4263 0.1765 0.1049 0.1723 0.4218 0.5945 0.1256 0.0518 0.0877 0.0045 0.4263 0.1765 0.1049 702-AH 0.0452 0.3413 0.6754 0.7788 0.8585 0.5532 0.2572 0.4376 0.8133 0.4649 0.4554 0.3018 0.2303 0.0452 0.8585 0.5532 0.2572 703-AH 0.1319 0.2894 0.3642 0.4414 0.5046 0.3556 0.0999 0.1520 0.3727 0.2809 0.3392 0.3196 0.0824 0.1319 0.5046 0.3556 0.0999 704-AH 0.0000 0.0185 0.0742 0.1341 0.6643 0.1082 0.1261 0.1156 0.6643 1.1658 0.0430 0.0002 0.0886 0.0000 0.2970 0.0853 0.0835 705-AH 0.0085 0.1655 0.1937 0.3322 0.6356 0.2671 0.1672 0.1667 0.6271 0.6258 0.2202 0.1395 0.1321 0.0085 0.5717 0.2161 0.1081 706-AH 0.0608 0.6194 0.7461 0.7899 0.8653 0.6746 0.1836 0.1706 0.8045 0.2722 0.6225 0.4913 0.1341 0.3781 0.8653 0.7121 0.1162 707-AH 0.1296 0.3805 0.5268 0.5731 0.6100 0.4736 0.1287 0.1926 0.4804 0.2718 0.4489 0.4120 0.1067 0.1296 0.6100 0.4736 0.1287 708-AH 0.0000 0.5525 0.6828 0.7204 0.8387 0.5879 0.2388 0.1680 0.8387 0.4061 0.2275 0.0001 0.1762 0.3620 0.8387 0.6715 0.1014 709-AH 0.1236 0.3544 0.4154 0.4411 0.5083 0.3807 0.1006 0.0867 0.3847 0.2644 0.3618 0.3345 0.0764 0.2585 0.5083 0.4089 0.0615 710-AH 0.0000 0.0163 0.0373 0.1249 0.2222 0.0664 0.0650 0.1086 0.2222 0.9778 0.0228 0.0002 0.0565 0.0000 0.2222 0.0664 0.0650 711-AH 0.0000 0.0000 0.1680 0.2734 0.3242 0.1413 0.1279 0.2734 0.3242 0.9053 0.0089 0.0000 0.1204 0.0000 0.3242 0.1413 0.1279 712-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.7861 0.3259 0.3000 1.0000 0.4146 0.3054 0.0001 0.2579 0.2700 1.0000 0.8610 0.2249 713-AH 0.0000 0.1163 0.3115 0.4400 0.5215 0.2787 0.1703 0.3237 0.5215 0.6110 0.1021 0.0001 0.1503 0.0000 0.5215 0.2787 0.1703 714-AH 0.0120 0.2548 0.4120 0.4576 0.5696 0.3467 0.1638 0.2028 0.5576 0.4725 0.2588 0.1145 0.1344 0.0120 0.5696 0.3467 0.1638 715-AH 0.0000 0.1176 0.3270 0.4464 0.4948 0.2831 0.1699 0.3287 0.4948 0.6002 0.1543 0.0002 0.1578 0.0000 0.4948 0.2831 0.1699 716-AH 0.0385 0.2676 0.4626 0.6236 0.7279 0.4423 0.2026 0.3560 0.6893 0.4581 0.3660 0.2400 0.1736 0.0385 0.7279 0.4423 0.2026 717-AH 0.0000 0.0802 0.1235 0.2130 0.4259 0.1611 0.1046 0.1327 0.4259 0.6494 0.1086 0.0005 0.0859 0.0000 0.3765 0.1552 0.0978 718-AH 0.0000 0.2370 0.3648 0.4656 0.5773 0.3314 0.1632 0.2287 0.5773 0.4923 0.1580 0.0002 0.1322 0.0000 0.5773 0.3314 0.1632 719-AH 0.0000 0.1481 0.2840 0.3580 0.6049 0.2582 0.1655 0.2099 0.6049 0.6409 0.0554 0.0001 0.1333 0.0000 0.6049 0.2582 0.1655 720-AH 0.3766 0.7925 0.9315 0.9562 0.9729 0.8626 0.1300 0.1638 0.5963 0.1507 0.8504 0.8346 0.1023 0.5895 0.9729 0.8734 0.1086 721-AH 0.0000 0.1000 0.1300 0.2000 0.3200 0.1437 0.0822 0.1000 0.3200 0.5721 0.0521 0.0001 0.0626 0.0000 0.3200 0.1437 0.0822 722-AH 0.0178 0.1617 0.2821 0.3458 0.4208 0.2567 0.1118 0.1841 0.4030 0.4353 0.2217 0.1641 0.0979 0.0178 0.4208 0.2567 0.1118 723-AH 0.0000 0.0637 0.1094 0.1440 0.2022 0.1048 0.0533 0.0803 0.2022 0.5090 0.0554 0.0002 0.0451 0.0000 0.2022 0.1048 0.0533 724-AH 0.2109 0.5986 0.6961 0.7596 0.8413 0.6561 0.1565 0.1610 0.6304 0.2385 0.6316 0.5983 0.1206 0.4218 0.8413 0.6984 0.1018 725-AH 0.2009 0.5604 0.7852 0.8413 0.8989 0.6902 0.1852 0.2809 0.6980 0.2683 0.6569 0.6101 0.1571 0.2009 0.8989 0.6902 0.1852 726-AH 0.0000 0.0809 0.1469 0.1849 0.3248 0.1400 0.0857 0.1041 0.3248 0.6124 0.0786 0.0005 0.0664 0.0000 0.3248 0.1400 0.0857 727-AH 0.0000 0.0000 0.0000 0.0469 0.2500 0.0272 0.0510 0.0469 0.2500 1.8757 0.0002 0.0000 0.0348 0.0000 0.0781 0.0181 0.0276 728-AH 0.0000 0.0725 0.1337 0.2075 0.3250 0.1412 0.0811 0.1350 0.3250 0.5744 0.0691 0.0002 0.0695 0.0000 0.3250 0.1412 0.0811 729-AH 0.0207 0.0470 0.0777 0.1043 0.3017 0.0905 0.0709 0.0573 0.2810 0.7830 0.0723 0.0593 0.0471 0.0207 0.1302 0.0710 0.0323 730-AH 0.0089 0.0837 0.2667 0.3010 0.3649 0.2103 0.1141 0.2173 0.3560 0.5425 0.1600 0.0873 0.1048 0.0089 0.3649 0.2103 0.1141 731-AH 0.0012 0.2717 0.5031 0.5819 0.7921 0.4169 0.2347 0.3102 0.7910 0.5630 0.2541 0.0304 0.1989 0.0012 0.7921 0.4169 0.2347 732-AH 0.0000 0.0000 0.0400 0.0752 0.1472 0.0479 0.0425 0.0752 0.1472 0.8871 0.0049 0.0000 0.0363 0.0000 0.1472 0.0479 0.0425 733-AH 0.0008 0.1422 0.3400 0.6103 0.8379 0.3730 0.2397 0.4682 0.8371 0.6426 0.2554 0.0312 0.2066 0.0008 0.8379 0.3730 0.2397 734-AH 0.0150 0.2727 0.5457 0.6968 0.8084 0.4833 0.2452 0.4241 0.7934 0.5074 0.3763 0.1975 0.2141 0.0150 0.8084 0.4833 0.2452 735-AH 0.0277 0.1800 0.3181 0.3548 0.4780 0.2801 0.1270 0.1748 0.4503 0.4535 0.2344 0.1633 0.1051 0.0277 0.4780 0.2801 0.1270 736-AH 0.0000 0.0271 0.0457 0.0737 0.1944 0.0518 0.0378 0.0466 0.1944 0.7301 0.0221 0.0001 0.0271 0.0000 0.1356 0.0486 0.0315 737-AH 0.0000 0.0188 0.0407 0.0686 0.2642 0.0496 0.0474 0.0499 0.2642 0.9546 0.0173 0.0001 0.0313 0.0000 0.1052 0.0399 0.0269 738-AH 0.0421 0.2631 0.3936 0.5710 0.7212 0.3938 0.1897 0.3079 0.6791 0.4818 0.3235 0.2210 0.1657 0.0421 0.7212 0.3938 0.1897 739-AH 0.1343 0.5863 0.7009 0.7779 0.8239 0.6469 0.1707 0.1916 0.6896 0.2639 0.6127 0.5570 0.1282 0.3554 0.8239 0.6872 0.1124 740-AH 0.0000 0.0189 0.0652 0.0851 0.3251 0.0655 0.0596 0.0662 0.3251 0.9105 0.0120 0.0001 0.0413 0.0000 0.1323 0.0564 0.0401 741-AH 0.0000 0.1458 0.3056 0.3958 0.5208 0.2695 0.1537 0.2500 0.5208 0.5703 0.1228 0.0002 0.1244 0.0000 0.5208 0.2695 0.1537 742-AH 0.0519 0.2561 0.4758 0.5087 0.5709 0.4004 0.1505 0.2526 0.5190 0.3759 0.3583 0.2946 0.1307 0.0519 0.5709 0.4004 0.1505 743-AH 0.0000 0.0469 0.0938 0.1562 0.4062 0.1233 0.1127 0.1094 0.4062 0.9139 0.0267 0.0001 0.0838 0.0000 0.3125 0.0986 0.0818 744-AH 0.0000 0.1983 0.4143 0.5186 0.6364 0.3520 0.1985 0.3202 0.6364 0.5640 0.1333 0.0001 0.1758 0.0000 0.6364 0.3520 0.1985 745-AH 0.0052 0.1037 0.1362 0.1652 0.2641 0.1399 0.0547 0.0615 0.2589 0.3907 0.1248 0.0832 0.0418 0.0471 0.2457 0.1374 0.0453 746-AH 0.0000 0.0792 0.1486 0.2090 0.3706 0.1513 0.0873 0.1298 0.3706 0.5774 0.0759 0.0002 0.0680 0.0000 0.3706 0.1513 0.0873 747-AH 0.0985 0.2801 0.4318 0.5492 0.7137 0.4126 0.1734 0.2690 0.6152 0.4201 0.3660 0.3085 0.1433 0.0985 0.7137 0.4126 0.1734 748-AH 0.0000 0.0000 0.0000 0.0533 0.2012 0.0310 0.0489 0.0533 0.2012 1.5782 0.0004 0.0000 0.0361 0.0000 0.0947 0.0206 0.0290 749-AH 0.0000 0.1109 0.2339 0.3521 0.7729 0.2825 0.2523 0.2412 0.7729 0.8931 0.0688 0.0001 0.2033 0.0000 0.6787 0.2004 0.1727 750-AH 0.0000 0.0289 0.0950 0.1300 0.2633 0.0899 0.0611 0.1011 0.2633 0.6790 0.0314 0.0001 0.0486 0.0000 0.2633 0.0899 0.0611 28 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0526 0.3333 1.0000 1.0000 1.0000 0.7137 0.3858 0.6667 0.9474 0.5405 0.5383 0.3239 0.3610 0.0526 1.0000 0.7137 0.3858 702-AH 0.1500 1.0000 1.0000 1.0000 1.0000 0.9308 0.1981 0.0000 0.8500 0.2128 0.8829 0.7672 0.1085 1.0000 1.0000 1.0000 0.0000 703-AH 0.7000 1.0000 1.0000 1.0000 1.0000 0.9875 0.0591 0.0000 0.3000 0.0599 0.9854 0.9828 0.0238 1.0000 1.0000 1.0000 0.0000 704-AH 0.0140 0.2500 0.5000 1.0000 1.0000 0.6134 0.3850 0.7500 0.9860 0.6276 0.4163 0.1695 0.3553 0.0140 1.0000 0.6134 0.3850 705-AH 0.0400 0.5000 0.5714 1.0000 1.0000 0.6622 0.2604 0.5000 0.9600 0.3932 0.5967 0.4569 0.2245 0.0400 1.0000 0.6622 0.2604 706-AH 0.8889 1.0000 1.0000 1.0000 1.0000 0.9976 0.0164 0.0000 0.1111 0.0164 0.9974 0.9973 0.0047 1.0000 1.0000 1.0000 0.0000 707-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9570 0.1410 0.0000 0.5000 0.1474 0.9423 0.9214 0.0786 1.0000 1.0000 1.0000 0.0000 708-AH 0.0040 1.0000 1.0000 1.0000 1.0000 0.8779 0.3137 0.0000 0.9960 0.3573 0.6556 0.1175 0.2070 1.0000 1.0000 1.0000 0.0000 709-AH 0.2105 1.0000 1.0000 1.0000 1.0000 0.9698 0.1446 0.0000 0.7895 0.1491 0.9476 0.8976 0.0578 1.0000 1.0000 1.0000 0.0000 710-AH 0.0000 0.0714 0.1352 0.5000 1.0000 0.3298 0.3636 0.4286 1.0000 1.1027 0.1324 0.0005 0.2996 0.0000 1.0000 0.3298 0.3636 711-AH 0.0000 0.0625 0.4286 0.6667 1.0000 0.4270 0.3893 0.6042 1.0000 0.9118 0.0461 0.0001 0.3398 0.0000 1.0000 0.4270 0.3893 712-AH 0.0098 1.0000 1.0000 1.0000 1.0000 0.9164 0.2741 0.0000 0.9902 0.2991 0.7340 0.2004 0.1527 1.0000 1.0000 1.0000 0.0000 713-AH 0.0321 1.0000 1.0000 1.0000 1.0000 0.8415 0.3236 0.0000 0.9679 0.3845 0.6597 0.2880 0.2418 1.0000 1.0000 1.0000 0.0000 714-AH 0.0543 0.7500 1.0000 1.0000 1.0000 0.8248 0.2682 0.2500 0.9457 0.3252 0.7281 0.5034 0.1958 0.5000 1.0000 0.9061 0.1331 715-AH 0.0395 1.0000 1.0000 1.0000 1.0000 0.8630 0.2984 0.0000 0.9605 0.3458 0.7360 0.4317 0.2204 1.0000 1.0000 1.0000 0.0000 716-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9353 0.2021 0.0000 0.8000 0.2161 0.8920 0.8043 0.1124 1.0000 1.0000 1.0000 0.0000 717-AH 0.0685 1.0000 1.0000 1.0000 1.0000 0.8372 0.3042 0.0000 0.9315 0.3634 0.7284 0.5211 0.2477 1.0000 1.0000 1.0000 0.0000 718-AH 0.0828 0.6250 1.0000 1.0000 1.0000 0.8197 0.3110 0.3750 0.9172 0.3794 0.7087 0.5170 0.2586 0.0828 1.0000 0.8197 0.3110 719-AH 0.0014 0.6667 1.0000 1.0000 1.0000 0.7781 0.3924 0.3333 0.9986 0.5042 0.4030 0.0220 0.3280 0.3333 1.0000 0.9575 0.1505 720-AH 0.5395 1.0000 1.0000 1.0000 1.0000 0.9860 0.0699 0.0000 0.4605 0.0709 0.9826 0.9776 0.0261 1.0000 1.0000 1.0000 0.0000 721-AH 0.0889 0.3333 1.0000 1.0000 1.0000 0.7280 0.3559 0.6667 0.9111 0.4889 0.5908 0.4113 0.3311 0.0889 1.0000 0.7280 0.3559 722-AH 0.0909 0.7143 1.0000 1.0000 1.0000 0.8137 0.2818 0.2857 0.9091 0.3463 0.7254 0.5667 0.2277 0.4286 1.0000 0.8922 0.1761 723-AH 0.0074 0.1905 0.2778 0.3333 1.0000 0.2700 0.1464 0.1429 0.9926 0.5422 0.2158 0.0926 0.0914 0.0074 0.4231 0.2538 0.0977 724-AH 0.7143 1.0000 1.0000 1.0000 1.0000 0.9651 0.0854 0.0000 0.2857 0.0884 0.9609 0.9560 0.0592 1.0000 1.0000 1.0000 0.0000 725-AH 0.9130 1.0000 1.0000 1.0000 1.0000 0.9981 0.0128 0.0000 0.0870 0.0128 0.9980 0.9979 0.0037 1.0000 1.0000 1.0000 0.0000 726-AH 0.0238 0.3103 0.3913 0.5000 1.0000 0.3675 0.1911 0.1897 0.9762 0.5199 0.2842 0.1585 0.1371 0.0317 0.6667 0.3688 0.1549 727-AH 0.0233 0.0833 0.1292 0.1818 1.0000 0.1589 0.1522 0.0985 0.9767 0.9575 0.1221 0.0938 0.0828 0.0233 0.2500 0.1321 0.0659 728-AH 0.0674 0.2857 0.4000 0.6667 1.0000 0.4883 0.3121 0.3810 0.9326 0.6392 0.3847 0.2811 0.2560 0.0674 1.0000 0.4883 0.3121 729-AH 0.0690 0.4000 1.0000 1.0000 1.0000 0.6917 0.3436 0.6000 0.9310 0.4968 0.5653 0.3912 0.3217 0.0690 1.0000 0.6917 0.3436 730-AH 0.0265 0.1910 1.0000 1.0000 1.0000 0.7224 0.3825 0.8090 0.9735 0.5295 0.5386 0.2924 0.3467 0.0265 1.0000 0.7224 0.3825 731-AH 0.0604 1.0000 1.0000 1.0000 1.0000 0.8347 0.3375 0.0000 0.9396 0.4043 0.6612 0.3591 0.2529 1.0000 1.0000 1.0000 0.0000 732-AH 0.0145 0.0417 0.2500 1.0000 1.0000 0.3814 0.3950 0.9583 0.9855 1.0355 0.1713 0.0682 0.3382 0.0145 1.0000 0.3814 0.3950 733-AH 0.0429 1.0000 1.0000 1.0000 1.0000 0.9020 0.2503 0.0000 0.9571 0.2775 0.8116 0.5412 0.1661 1.0000 1.0000 1.0000 0.0000 734-AH 0.0890 0.7500 1.0000 1.0000 1.0000 0.8195 0.2872 0.2500 0.9110 0.3505 0.7266 0.5609 0.2280 0.4545 1.0000 0.8996 0.1789 735-AH 0.0123 0.5000 1.0000 1.0000 1.0000 0.7488 0.3496 0.5000 0.9877 0.4669 0.5379 0.1449 0.3059 0.0123 1.0000 0.7488 0.3496 736-AH 0.0083 0.1111 0.1908 0.4000 1.0000 0.3040 0.3073 0.2889 0.9917 1.0110 0.1766 0.0818 0.2347 0.0083 0.5000 0.1996 0.1526 737-AH 0.0021 0.0847 0.2000 0.5000 1.0000 0.3171 0.3105 0.4153 0.9979 0.9791 0.1664 0.0387 0.2496 0.0021 1.0000 0.3171 0.3105 738-AH 0.3333 0.7619 0.9375 1.0000 1.0000 0.8540 0.1872 0.2381 0.6667 0.2192 0.8272 0.7912 0.1471 0.4286 1.0000 0.8767 0.1566 739-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9855 0.0687 0.0000 0.3333 0.0697 0.9825 0.9787 0.0277 1.0000 1.0000 1.0000 0.0000 740-AH 0.0019 0.0857 1.0000 1.0000 1.0000 0.5980 0.4421 0.9143 0.9981 0.7393 0.2881 0.0434 0.4195 0.0019 1.0000 0.5980 0.4421 741-AH 0.0455 0.7500 1.0000 1.0000 1.0000 0.7866 0.3027 0.2500 0.9545 0.3848 0.6595 0.4127 0.2288 0.5000 1.0000 0.8879 0.1573 742-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9801 0.1042 0.0000 0.6667 0.1063 0.9703 0.9517 0.0381 1.0000 1.0000 1.0000 0.0000 743-AH 0.0278 0.1667 0.3095 1.0000 1.0000 0.4488 0.3558 0.8333 0.9722 0.7928 0.3093 0.1893 0.3053 0.0278 1.0000 0.4488 0.3558 744-AH 0.0071 0.5000 1.0000 1.0000 1.0000 0.8010 0.3542 0.5000 0.9929 0.4422 0.5735 0.1399 0.2942 0.0071 1.0000 0.8010 0.3542 745-AH 0.0964 0.6667 1.0000 1.0000 1.0000 0.7946 0.3254 0.3333 0.9036 0.4095 0.6798 0.5098 0.2769 0.1765 1.0000 0.8255 0.2972 746-AH 0.0000 0.3333 0.4143 0.5000 1.0000 0.4113 0.1794 0.1667 1.0000 0.4362 0.2622 0.0005 0.1248 0.1111 0.7000 0.4266 0.1198 747-AH 0.0866 0.7500 1.0000 1.0000 1.0000 0.8777 0.2174 0.2500 0.9134 0.2477 0.8233 0.6853 0.1648 0.5000 1.0000 0.9115 0.1499 748-AH 0.0500 0.0948 0.1089 0.2000 1.0000 0.1838 0.1955 0.1052 0.9500 1.0633 0.1401 0.1199 0.1162 0.0500 0.3333 0.1359 0.0729 749-AH 0.0287 0.5000 1.0000 1.0000 1.0000 0.7090 0.3719 0.5000 0.9713 0.5245 0.4949 0.2054 0.3307 0.0287 1.0000 0.7090 0.3719 750-AH 0.0111 0.1304 0.2857 0.4000 1.0000 0.3601 0.3153 0.2696 0.9889 0.8756 0.2296 0.1142 0.2413 0.0111 0.7500 0.2452 0.1696 29 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.1538 0.3333 1.0000 1.0000 0.5040 0.3780 0.8462 1.0000 0.7500 0.2504 0.0005 0.3418 0.0000 1.0000 0.5040 0.3780 702-AH 0.1500 0.9444 1.0000 1.0000 1.0000 0.8961 0.2395 0.0556 0.8500 0.2672 0.8234 0.6655 0.1500 0.9091 1.0000 0.9894 0.0240 703-AH 0.3529 0.8571 1.0000 1.0000 1.0000 0.8853 0.2171 0.1429 0.6471 0.2453 0.8474 0.7941 0.1695 0.6667 1.0000 0.9604 0.0993 704-AH 0.0000 0.0760 0.1522 0.2593 1.0000 0.2678 0.3031 0.1833 1.0000 1.1320 0.1291 0.0005 0.2267 0.0000 0.3333 0.1294 0.0833 705-AH 0.0000 0.3391 0.4083 0.5000 0.8333 0.4530 0.1752 0.1609 0.8333 0.3869 0.3470 0.0005 0.1349 0.2093 0.7273 0.4373 0.1357 706-AH 0.0223 0.7647 0.8696 0.9167 0.9412 0.8015 0.1997 0.1520 0.9189 0.2492 0.7155 0.3776 0.1179 0.7083 0.9412 0.8496 0.0742 707-AH 0.2727 0.6471 0.7574 1.0000 1.0000 0.7928 0.1973 0.3529 0.7273 0.2489 0.7649 0.7315 0.1712 0.2727 1.0000 0.7928 0.1973 708-AH 0.0000 0.8571 0.9393 0.9600 1.0000 0.7991 0.3061 0.1029 1.0000 0.3831 0.4378 0.0002 0.2194 0.7391 1.0000 0.9325 0.0578 709-AH 0.1525 0.4737 0.5486 0.6000 0.9091 0.5453 0.1765 0.1263 0.7565 0.3237 0.5098 0.4605 0.1161 0.4423 0.7000 0.5456 0.0643 710-AH 0.0000 0.0191 0.0452 0.2632 0.3846 0.1269 0.1301 0.2440 0.3846 1.0256 0.0339 0.0001 0.1161 0.0000 0.3846 0.1269 0.1301 711-AH 0.0000 0.0556 0.4286 0.6000 1.0000 0.3892 0.3532 0.5444 1.0000 0.9075 0.0428 0.0001 0.3067 0.0000 1.0000 0.3892 0.3532 712-AH 0.0098 1.0000 1.0000 1.0000 1.0000 0.9164 0.2741 0.0000 0.9902 0.2991 0.7340 0.2004 0.1527 1.0000 1.0000 1.0000 0.0000 713-AH 0.0321 0.2500 0.7500 0.8333 1.0000 0.6017 0.3190 0.5833 0.9679 0.5301 0.4334 0.2080 0.2714 0.0321 1.0000 0.6017 0.3190 714-AH 0.0131 0.6857 0.8333 0.8824 1.0000 0.7066 0.3133 0.1966 0.9869 0.4434 0.5096 0.1715 0.2378 0.5333 1.0000 0.8394 0.1177 715-AH 0.0395 0.6667 1.0000 1.0000 1.0000 0.7985 0.3249 0.3333 0.9605 0.4069 0.6647 0.3997 0.2717 0.1818 1.0000 0.8328 0.2879 716-AH 0.0680 0.6000 1.0000 1.0000 1.0000 0.8128 0.2952 0.4000 0.9320 0.3632 0.7100 0.5130 0.2438 0.0680 1.0000 0.8128 0.2952 717-AH 0.0417 0.1765 0.6667 1.0000 1.0000 0.6182 0.3802 0.8235 0.9583 0.6150 0.4402 0.2488 0.3440 0.0417 1.0000 0.6182 0.3802 718-AH 0.0828 0.4762 0.8258 1.0000 1.0000 0.7025 0.2992 0.5238 0.9172 0.4259 0.6012 0.4518 0.2531 0.0828 1.0000 0.7025 0.2992 719-AH 0.0014 0.6667 1.0000 1.0000 1.0000 0.7781 0.3924 0.3333 0.9986 0.5042 0.4030 0.0220 0.3280 0.3333 1.0000 0.9575 0.1505 720-AH 0.5395 1.0000 1.0000 1.0000 1.0000 0.9804 0.0711 0.0000 0.4605 0.0725 0.9769 0.9719 0.0324 1.0000 1.0000 1.0000 0.0000 721-AH 0.0889 0.3333 1.0000 1.0000 1.0000 0.7280 0.3559 0.6667 0.9111 0.4889 0.5908 0.4113 0.3311 0.0889 1.0000 0.7280 0.3559 722-AH 0.0656 0.4545 0.8000 1.0000 1.0000 0.6944 0.3001 0.5455 0.9344 0.4321 0.5979 0.4544 0.2606 0.0656 1.0000 0.6944 0.3001 723-AH 0.0074 0.1905 0.2778 0.3333 1.0000 0.2697 0.1467 0.1429 0.9926 0.5440 0.2153 0.0925 0.0918 0.0074 0.4231 0.2534 0.0981 724-AH 0.7143 0.8571 1.0000 1.0000 1.0000 0.9443 0.0979 0.1429 0.2857 0.1037 0.9388 0.9327 0.0824 0.7143 1.0000 0.9443 0.0979 725-AH 0.2075 0.9167 0.9649 0.9697 1.0000 0.9088 0.1445 0.0530 0.7925 0.1590 0.8887 0.8473 0.0891 0.8889 1.0000 0.9620 0.0250 726-AH 0.0000 0.1765 0.3333 0.4167 0.6667 0.3033 0.1708 0.2402 0.6667 0.5633 0.1919 0.0005 0.1424 0.0000 0.6667 0.3033 0.1708 727-AH 0.0233 0.0833 0.1292 0.1818 1.0000 0.1589 0.1522 0.0985 0.9767 0.9575 0.1221 0.0938 0.0828 0.0233 0.2500 0.1321 0.0659 728-AH 0.0674 0.2000 0.3333 0.6000 1.0000 0.3990 0.2594 0.4000 0.9326 0.6501 0.3187 0.2444 0.2043 0.0674 1.0000 0.3990 0.2594 729-AH 0.0109 0.0331 0.0765 0.2500 0.7000 0.1615 0.1866 0.2169 0.6891 1.1551 0.0828 0.0450 0.1473 0.0109 0.5000 0.1371 0.1495 730-AH 0.0000 0.1833 0.8452 0.9412 1.0000 0.6205 0.3860 0.7578 1.0000 0.6222 0.2971 0.0002 0.3595 0.0000 1.0000 0.6205 0.3860 731-AH 0.0365 0.4737 0.9091 1.0000 1.0000 0.7411 0.3588 0.5263 0.9635 0.4842 0.5388 0.2533 0.2986 0.0365 1.0000 0.7411 0.3588 732-AH 0.0064 0.0244 0.0531 0.1579 0.5000 0.0955 0.1000 0.1335 0.4936 1.0474 0.0586 0.0373 0.0765 0.0064 0.2857 0.0865 0.0802 733-AH 0.0128 0.3043 0.6910 0.8500 1.0000 0.5893 0.3199 0.5457 0.9872 0.5428 0.4310 0.1815 0.2789 0.0128 1.0000 0.5893 0.3199 734-AH 0.0890 0.6250 0.8571 0.9630 1.0000 0.7520 0.2796 0.3380 0.9110 0.3718 0.6615 0.5124 0.2238 0.1667 1.0000 0.7667 0.2640 735-AH 0.0000 0.1875 0.4083 0.5763 0.7500 0.3742 0.2280 0.3888 0.7500 0.6093 0.1355 0.0001 0.1999 0.0000 0.7500 0.3742 0.2280 736-AH 0.0000 0.0136 0.0984 0.1193 0.3158 0.0971 0.0811 0.1056 0.3158 0.8354 0.0490 0.0005 0.0640 0.0000 0.2500 0.0923 0.0750 737-AH 0.0000 0.0389 0.0749 0.1132 0.7500 0.0978 0.1164 0.0743 0.7500 1.1900 0.0483 0.0002 0.0632 0.0000 0.1613 0.0706 0.0419 738-AH 0.0000 0.6765 0.7410 0.8065 0.9750 0.6678 0.2594 0.1300 0.9750 0.3885 0.4379 0.0005 0.1808 0.5238 0.9750 0.7601 0.1015 739-AH 0.3158 1.0000 1.0000 1.0000 1.0000 0.9588 0.1373 0.0000 0.6842 0.1432 0.9431 0.9163 0.0734 1.0000 1.0000 1.0000 0.0000 740-AH 0.0000 0.0448 0.0860 0.1579 1.0000 0.1453 0.1775 0.1131 1.0000 1.2215 0.0555 0.0002 0.1138 0.0000 0.3000 0.0954 0.0734 741-AH 0.0214 0.3333 0.7750 1.0000 1.0000 0.6426 0.3587 0.6667 0.9786 0.5581 0.4446 0.1949 0.3075 0.0214 1.0000 0.6426 0.3587 742-AH 0.1053 1.0000 1.0000 1.0000 1.0000 0.9224 0.2002 0.0000 0.8947 0.2170 0.8763 0.7577 0.1281 1.0000 1.0000 1.0000 0.0000 743-AH 0.0278 0.1667 0.3095 1.0000 1.0000 0.4488 0.3558 0.8333 0.9722 0.7928 0.3093 0.1893 0.3053 0.0278 1.0000 0.4488 0.3558 744-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.7584 0.3729 0.6000 1.0000 0.4917 0.4418 0.0005 0.3289 0.0000 1.0000 0.7584 0.3729 745-AH 0.0964 0.1892 0.2572 0.3478 0.8889 0.3096 0.1780 0.1586 0.7925 0.5750 0.2722 0.2437 0.1266 0.0964 0.5833 0.2738 0.1170 746-AH 0.0000 0.1613 0.3571 0.4706 0.7000 0.3250 0.1901 0.3093 0.7000 0.5848 0.1462 0.0002 0.1602 0.0000 0.7000 0.3250 0.1901 747-AH 0.0399 0.3585 0.4984 0.7179 0.9600 0.5255 0.2553 0.3595 0.9201 0.4859 0.4283 0.2763 0.2054 0.0399 0.9600 0.5255 0.2553 748-AH 0.0500 0.0940 0.1058 0.1176 0.3846 0.1241 0.0717 0.0236 0.3346 0.5772 0.1121 0.1045 0.0427 0.0588 0.1333 0.1013 0.0169 749-AH 0.0287 0.2400 0.5333 1.0000 1.0000 0.5516 0.3793 0.7600 0.9713 0.6876 0.3518 0.1633 0.3384 0.0287 1.0000 0.5516 0.3793 750-AH 0.0042 0.1250 0.2308 0.2857 0.7500 0.2178 0.1345 0.1607 0.7458 0.6174 0.1583 0.0656 0.0961 0.0042 0.4375 0.2060 0.1092 30 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.1389 0.3137 0.5556 1.0000 0.3843 0.3135 0.4167 1.0000 0.8157 0.1920 0.0005 0.2533 0.0000 1.0000 0.3843 0.3135 702-AH 0.0833 0.8333 1.0000 1.0000 1.0000 0.8361 0.2841 0.1667 0.9167 0.3398 0.7386 0.5523 0.2127 0.8182 1.0000 0.9677 0.0546 703-AH 0.2338 0.5385 0.7273 1.0000 1.0000 0.7327 0.2606 0.4615 0.7662 0.3557 0.6780 0.6153 0.2266 0.2338 1.0000 0.7327 0.2606 704-AH 0.0000 0.0586 0.1043 0.1910 0.8824 0.1895 0.2168 0.1324 0.8824 1.1440 0.0951 0.0005 0.1521 0.0000 0.3667 0.1121 0.0857 705-AH 0.0000 0.2787 0.3241 0.4545 0.8333 0.3903 0.2056 0.1759 0.8333 0.5268 0.2344 0.0002 0.1609 0.1319 0.6957 0.3503 0.1317 706-AH 0.0000 0.7209 0.7887 0.8519 0.8889 0.7300 0.1940 0.1309 0.8889 0.2657 0.5464 0.0005 0.1226 0.5682 0.8889 0.7867 0.0755 707-AH 0.2321 0.6364 0.6786 0.8462 1.0000 0.7143 0.1876 0.2098 0.7679 0.2626 0.6851 0.6475 0.1484 0.3704 1.0000 0.7353 0.1626 708-AH 0.0000 0.7500 0.9365 0.9545 0.9706 0.7855 0.3039 0.2045 0.9706 0.3869 0.4305 0.0002 0.2200 0.5185 0.9706 0.8955 0.1050 709-AH 0.0206 0.4423 0.5322 0.5588 0.7826 0.4755 0.1655 0.1165 0.7620 0.3481 0.3979 0.1973 0.1173 0.2804 0.6393 0.5183 0.0770 710-AH 0.0000 0.0151 0.0443 0.1695 0.3333 0.1006 0.1072 0.1544 0.3333 1.0655 0.0154 0.0001 0.0932 0.0000 0.3333 0.1006 0.1072 711-AH 0.0000 0.0400 0.3418 0.5000 1.0000 0.2990 0.2579 0.4600 1.0000 0.8624 0.0359 0.0001 0.2283 0.0000 1.0000 0.2990 0.2579 712-AH 0.0098 1.0000 1.0000 1.0000 1.0000 0.9155 0.2769 0.0000 0.9902 0.3024 0.7237 0.1913 0.1543 1.0000 1.0000 1.0000 0.0000 713-AH 0.0317 0.1299 0.5694 0.7333 0.9091 0.4647 0.3048 0.6035 0.8774 0.6560 0.2955 0.1376 0.2790 0.0317 0.9091 0.4647 0.3048 714-AH 0.0000 0.6857 0.7857 0.8333 0.9231 0.6478 0.3098 0.1476 0.9231 0.4782 0.3572 0.0005 0.2437 0.6000 0.9231 0.8022 0.0779 715-AH 0.0141 0.1111 0.6250 1.0000 1.0000 0.5450 0.3957 0.8889 0.9859 0.7260 0.3359 0.1519 0.3669 0.0141 1.0000 0.5450 0.3957 716-AH 0.0680 0.4545 0.9129 1.0000 1.0000 0.7653 0.3136 0.5455 0.9320 0.4097 0.6513 0.4638 0.2651 0.0680 1.0000 0.7653 0.3136 717-AH 0.0185 0.0851 0.1870 0.5714 1.0000 0.3518 0.3289 0.4863 0.9815 0.9351 0.2127 0.1231 0.2806 0.0185 1.0000 0.3518 0.3289 718-AH 0.0828 0.4211 0.6782 0.7647 0.9091 0.5760 0.2400 0.3437 0.8263 0.4166 0.5024 0.3993 0.2096 0.0828 0.9091 0.5760 0.2400 719-AH 0.0000 0.2222 0.6667 1.0000 1.0000 0.5607 0.3634 0.7778 1.0000 0.6481 0.1831 0.0002 0.3087 0.0000 1.0000 0.5607 0.3634 720-AH 0.5395 0.9756 1.0000 1.0000 1.0000 0.9745 0.0710 0.0244 0.4605 0.0729 0.9710 0.9661 0.0342 0.9500 1.0000 0.9924 0.0144 721-AH 0.0889 0.1765 0.2500 0.3333 0.6667 0.2852 0.1431 0.1569 0.5778 0.5017 0.2534 0.2240 0.1088 0.0889 0.5000 0.2586 0.1040 722-AH 0.0377 0.2917 0.5670 0.7273 1.0000 0.5245 0.2735 0.4356 0.9623 0.5214 0.4254 0.2853 0.2337 0.0377 1.0000 0.5245 0.2735 723-AH 0.0000 0.1333 0.2778 0.3125 0.4231 0.2261 0.1204 0.1792 0.4231 0.5325 0.1384 0.0005 0.1042 0.0000 0.4231 0.2261 0.1204 724-AH 0.4167 0.8333 1.0000 1.0000 1.0000 0.9036 0.1649 0.1667 0.5833 0.1825 0.8839 0.8574 0.1259 0.7143 1.0000 0.9461 0.0923 725-AH 0.0788 0.8846 0.9587 0.9663 1.0000 0.8584 0.2354 0.0817 0.9212 0.2743 0.7792 0.5788 0.1530 0.8305 1.0000 0.9503 0.0347 726-AH 0.0000 0.0833 0.2288 0.3171 0.5000 0.2150 0.1549 0.2337 0.5000 0.7201 0.0886 0.0002 0.1282 0.0000 0.5000 0.2150 0.1549 727-AH 0.0215 0.0725 0.1213 0.1818 1.0000 0.1442 0.1462 0.1094 0.9785 1.0142 0.1100 0.0846 0.0768 0.0215 0.3333 0.1251 0.0696 728-AH 0.0674 0.1538 0.2389 0.3889 0.8000 0.2870 0.1746 0.2350 0.7326 0.6083 0.2398 0.1976 0.1375 0.0674 0.6667 0.2637 0.1382 729-AH 0.0109 0.0239 0.0288 0.0649 0.5882 0.0726 0.1225 0.0411 0.5773 1.6882 0.0406 0.0302 0.0637 0.0109 0.1047 0.0389 0.0236 730-AH 0.0000 0.1491 0.5600 0.7826 1.0000 0.4793 0.3414 0.6335 1.0000 0.7122 0.1574 0.0001 0.3158 0.0000 1.0000 0.4793 0.3414 731-AH 0.0365 0.3365 0.8807 0.9667 1.0000 0.6631 0.3690 0.6301 0.9635 0.5565 0.4675 0.2305 0.3323 0.0365 1.0000 0.6631 0.3690 732-AH 0.0000 0.0225 0.0288 0.0543 0.2857 0.0526 0.0568 0.0319 0.2857 1.0797 0.0313 0.0005 0.0394 0.0000 0.1020 0.0340 0.0226 733-AH 0.0000 0.1593 0.5909 0.7692 1.0000 0.5091 0.3178 0.6099 1.0000 0.6242 0.2020 0.0002 0.2782 0.0000 1.0000 0.5091 0.3178 734-AH 0.0890 0.4000 0.8189 0.9130 1.0000 0.6785 0.3028 0.5130 0.9110 0.4462 0.5706 0.4132 0.2653 0.0890 1.0000 0.6785 0.3028 735-AH 0.0000 0.1206 0.3160 0.3790 0.7015 0.2816 0.2022 0.2584 0.7015 0.7183 0.0589 0.0001 0.1705 0.0000 0.7015 0.2816 0.2022 736-AH 0.0000 0.0000 0.0587 0.1193 0.3000 0.0817 0.0849 0.1193 0.3000 1.0394 0.0065 0.0000 0.0697 0.0000 0.2500 0.0768 0.0791 737-AH 0.0000 0.0345 0.0452 0.0714 0.6923 0.0725 0.1047 0.0369 0.6923 1.4453 0.0196 0.0001 0.0519 0.0000 0.1163 0.0470 0.0297 738-AH 0.0000 0.3898 0.6180 0.7451 0.9750 0.5423 0.2698 0.3553 0.9750 0.4974 0.2037 0.0001 0.2147 0.0000 0.9750 0.5423 0.2698 739-AH 0.2264 0.9286 1.0000 1.0000 1.0000 0.9161 0.1803 0.0714 0.7736 0.1968 0.8879 0.8388 0.1245 0.9000 1.0000 0.9927 0.0253 740-AH 0.0000 0.0366 0.0623 0.0862 1.0000 0.0896 0.1500 0.0496 1.0000 1.6753 0.0306 0.0001 0.0654 0.0000 0.1389 0.0568 0.0341 741-AH 0.0214 0.2222 0.6607 0.8333 1.0000 0.5693 0.3493 0.6111 0.9786 0.6137 0.3919 0.1857 0.3130 0.0214 1.0000 0.5693 0.3493 742-AH 0.0083 0.6667 1.0000 1.0000 1.0000 0.7956 0.3276 0.3333 0.9917 0.4117 0.5810 0.1167 0.2670 0.2727 1.0000 0.8693 0.2319 743-AH 0.0048 0.0870 0.2000 0.2857 1.0000 0.2525 0.2435 0.1988 0.9952 0.9641 0.1516 0.0620 0.1740 0.0048 0.5000 0.1733 0.1228 744-AH 0.0000 0.3333 0.9375 1.0000 1.0000 0.6734 0.3912 0.6667 1.0000 0.5809 0.2619 0.0002 0.3591 0.0000 1.0000 0.6734 0.3912 745-AH 0.0000 0.1573 0.2099 0.2653 0.5200 0.2213 0.0908 0.1080 0.5200 0.4106 0.1710 0.0005 0.0667 0.0000 0.4194 0.2146 0.0798 746-AH 0.0000 0.1111 0.2636 0.4211 0.7000 0.2740 0.1887 0.3099 0.7000 0.6889 0.1124 0.0002 0.1466 0.0000 0.7000 0.2740 0.1887 747-AH 0.0000 0.1744 0.4459 0.6613 0.9348 0.4373 0.2839 0.4869 0.9348 0.6493 0.1848 0.0002 0.2368 0.0000 0.9348 0.4373 0.2839 748-AH 0.0500 0.0940 0.1046 0.1121 0.3846 0.1198 0.0693 0.0181 0.3346 0.5780 0.1089 0.1022 0.0383 0.0705 0.1333 0.1011 0.0143 749-AH 0.0166 0.1579 0.3913 0.7143 1.0000 0.4162 0.3303 0.5564 0.9834 0.7936 0.2543 0.1177 0.2805 0.0166 1.0000 0.4162 0.3303 750-AH 0.0000 0.0500 0.1302 0.2432 0.7500 0.1657 0.1478 0.1932 0.7500 0.8915 0.0456 0.0001 0.1185 0.0000 0.4375 0.1528 0.1200 31 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0816 0.1898 0.3333 0.7778 0.2243 0.1790 0.2517 0.7778 0.7980 0.0805 0.0001 0.1411 0.0000 0.5833 0.2120 0.1602 702-AH 0.0391 0.7500 0.9373 1.0000 1.0000 0.7722 0.3190 0.2500 0.9609 0.4131 0.6324 0.3792 0.2552 0.5294 1.0000 0.9182 0.1135 703-AH 0.1702 0.4000 0.5528 0.8462 1.0000 0.6156 0.2390 0.4462 0.8298 0.3883 0.5651 0.5099 0.2034 0.1702 1.0000 0.6156 0.2390 704-AH 0.0000 0.0573 0.1043 0.1786 0.8095 0.1483 0.1568 0.1213 0.8095 1.0569 0.0445 0.0001 0.1042 0.0000 0.2716 0.1023 0.0695 705-AH 0.0000 0.2483 0.2795 0.4062 0.8333 0.3426 0.2235 0.1579 0.8333 0.6524 0.1320 0.0001 0.1652 0.1047 0.5045 0.2867 0.0966 706-AH 0.0000 0.6613 0.7446 0.7826 0.8710 0.6912 0.1869 0.1213 0.8710 0.2704 0.4371 0.0002 0.1190 0.5072 0.8710 0.7399 0.0826 707-AH 0.1681 0.6111 0.6786 0.8333 1.0000 0.6874 0.1955 0.2222 0.8319 0.2844 0.6505 0.5966 0.1453 0.3704 1.0000 0.7205 0.1537 708-AH 0.0000 0.6944 0.9249 0.9545 0.9706 0.7624 0.3110 0.2601 0.9706 0.4079 0.4153 0.0002 0.2384 0.3488 0.9706 0.8689 0.1482 709-AH 0.0000 0.4179 0.4964 0.5541 0.6393 0.4309 0.1844 0.1361 0.6393 0.4279 0.1743 0.0001 0.1400 0.2257 0.6393 0.4907 0.1039 710-AH 0.0000 0.0000 0.0426 0.1377 0.3125 0.0769 0.0932 0.1377 0.3125 1.2111 0.0057 0.0000 0.0761 0.0000 0.3125 0.0769 0.0932 711-AH 0.0000 0.0400 0.1881 0.3810 0.5556 0.2158 0.1842 0.3410 0.5556 0.8537 0.0285 0.0001 0.1655 0.0000 0.5556 0.2158 0.1842 712-AH 0.0073 1.0000 1.0000 1.0000 1.0000 0.8978 0.2882 0.0000 0.9927 0.3210 0.6638 0.1129 0.1778 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0397 0.3893 0.6522 0.8824 0.3788 0.2832 0.6125 0.8824 0.7475 0.1809 0.0005 0.2522 0.0000 0.8824 0.3788 0.2832 714-AH 0.0000 0.1758 0.7083 0.7727 0.8824 0.5348 0.3124 0.5969 0.8824 0.5842 0.1776 0.0001 0.2800 0.0000 0.8824 0.5348 0.3124 715-AH 0.0076 0.0968 0.5455 0.8750 1.0000 0.4833 0.3746 0.7782 0.9924 0.7751 0.2675 0.0847 0.3505 0.0076 1.0000 0.4833 0.3746 716-AH 0.0680 0.4062 0.7889 0.9167 1.0000 0.6993 0.2999 0.5104 0.9320 0.4288 0.5932 0.4281 0.2514 0.0680 1.0000 0.6993 0.2999 717-AH 0.0000 0.0638 0.0913 0.1622 0.8571 0.2029 0.2558 0.0983 0.8571 1.2606 0.0986 0.0005 0.1849 0.0000 0.3000 0.0945 0.0588 718-AH 0.0464 0.3404 0.5847 0.7391 0.8095 0.5292 0.2268 0.3987 0.7631 0.4286 0.4578 0.3483 0.1985 0.0464 0.8095 0.5292 0.2268 719-AH 0.0000 0.0175 0.5000 0.7500 1.0000 0.4739 0.3574 0.7325 1.0000 0.7542 0.1104 0.0001 0.3023 0.0000 1.0000 0.4739 0.3574 720-AH 0.4286 0.9688 1.0000 1.0000 1.0000 0.9607 0.1065 0.0312 0.5714 0.1109 0.9520 0.9386 0.0502 0.9333 1.0000 0.9878 0.0175 721-AH 0.0508 0.1724 0.2265 0.3333 0.6000 0.2552 0.1237 0.1609 0.5492 0.4846 0.2254 0.1946 0.1005 0.0508 0.5000 0.2475 0.1135 722-AH 0.0214 0.2400 0.4248 0.6000 0.8571 0.4002 0.2343 0.3600 0.8357 0.5855 0.2807 0.1250 0.1999 0.0214 0.8571 0.4002 0.2343 723-AH 0.0000 0.0971 0.1629 0.2609 0.4231 0.1812 0.1095 0.1638 0.4231 0.6044 0.0844 0.0002 0.0913 0.0000 0.4231 0.1812 0.1095 724-AH 0.1184 0.7222 0.9333 1.0000 1.0000 0.8528 0.1987 0.2778 0.8816 0.2330 0.8145 0.7322 0.1567 0.4500 1.0000 0.8691 0.1669 725-AH 0.0000 0.7447 0.9053 0.9605 1.0000 0.7886 0.2677 0.2158 1.0000 0.3395 0.5667 0.0005 0.1973 0.4277 1.0000 0.8699 0.1303 726-AH 0.0000 0.0617 0.1288 0.2000 0.4898 0.1531 0.1364 0.1383 0.4898 0.8912 0.0322 0.0001 0.1058 0.0000 0.4000 0.1240 0.1018 727-AH 0.0000 0.0577 0.1000 0.1290 0.3333 0.1009 0.0642 0.0713 0.3333 0.6366 0.0426 0.0001 0.0461 0.0000 0.1923 0.0957 0.0544 728-AH 0.0455 0.1321 0.2029 0.3158 0.5000 0.2272 0.1189 0.1837 0.4545 0.5233 0.1957 0.1643 0.0989 0.0455 0.5000 0.2272 0.1189 729-AH 0.0000 0.0000 0.0199 0.0411 0.4545 0.0503 0.1025 0.0411 0.4545 2.0401 0.0031 0.0000 0.0567 0.0000 0.0845 0.0208 0.0212 730-AH 0.0000 0.0886 0.3274 0.5192 0.7500 0.3232 0.2441 0.4306 0.7500 0.7553 0.1060 0.0001 0.2166 0.0000 0.7500 0.3232 0.2441 731-AH 0.0000 0.2935 0.7763 0.8667 1.0000 0.5900 0.3457 0.5732 1.0000 0.5859 0.3447 0.0005 0.3151 0.0000 1.0000 0.5900 0.3457 732-AH 0.0000 0.0204 0.0269 0.0396 0.2857 0.0430 0.0534 0.0192 0.2857 1.2410 0.0195 0.0002 0.0308 0.0000 0.0672 0.0270 0.0142 733-AH 0.0000 0.0766 0.4245 0.7576 0.9200 0.4149 0.3234 0.6810 0.9200 0.7794 0.1009 0.0001 0.2895 0.0000 0.9200 0.4149 0.3234 734-AH 0.0890 0.3889 0.7560 0.9000 1.0000 0.6453 0.3015 0.5111 0.9110 0.4672 0.5375 0.3910 0.2662 0.0890 1.0000 0.6453 0.3015 735-AH 0.0000 0.0000 0.1622 0.3103 0.6050 0.1879 0.1752 0.3103 0.6050 0.9325 0.0109 0.0000 0.1459 0.0000 0.6050 0.1879 0.1752 736-AH 0.0000 0.0000 0.0503 0.1013 0.2881 0.0707 0.0783 0.1013 0.2881 1.1079 0.0036 0.0000 0.0634 0.0000 0.2278 0.0658 0.0719 737-AH 0.0000 0.0203 0.0319 0.0598 0.2800 0.0466 0.0494 0.0395 0.2800 1.0591 0.0140 0.0001 0.0323 0.0000 0.1127 0.0366 0.0273 738-AH 0.0000 0.2632 0.4470 0.7451 0.9750 0.4577 0.2857 0.4819 0.9750 0.6243 0.1619 0.0001 0.2503 0.0000 0.9750 0.4577 0.2857 739-AH 0.0000 0.7838 0.8923 1.0000 1.0000 0.8357 0.2309 0.2162 1.0000 0.2763 0.6336 0.0005 0.1571 0.6667 1.0000 0.8969 0.1099 740-AH 0.0000 0.0265 0.0445 0.0816 0.7000 0.0725 0.1069 0.0551 0.7000 1.4739 0.0261 0.0001 0.0515 0.0000 0.1556 0.0509 0.0338 741-AH 0.0214 0.2188 0.5000 0.8000 1.0000 0.4881 0.3137 0.5813 0.9786 0.6426 0.3340 0.1677 0.2725 0.0214 1.0000 0.4881 0.3137 742-AH 0.0000 0.2727 1.0000 1.0000 1.0000 0.7027 0.3914 0.7273 1.0000 0.5569 0.2787 0.0002 0.3475 0.0000 1.0000 0.7027 0.3914 743-AH 0.0000 0.0588 0.1371 0.2174 0.7500 0.1899 0.1918 0.1586 0.7500 1.0096 0.0803 0.0002 0.1374 0.0000 0.4545 0.1357 0.1115 744-AH 0.0000 0.2500 0.7778 1.0000 1.0000 0.6062 0.3957 0.7500 1.0000 0.6528 0.0913 0.0001 0.3578 0.0000 1.0000 0.6062 0.3957 745-AH 0.0000 0.1434 0.2018 0.2234 0.3175 0.1835 0.0748 0.0800 0.3175 0.4075 0.0984 0.0002 0.0571 0.0823 0.3175 0.1963 0.0584 746-AH 0.0000 0.0343 0.1879 0.2958 0.6471 0.2070 0.1676 0.2615 0.6471 0.8095 0.0482 0.0001 0.1289 0.0000 0.6471 0.2070 0.1676 747-AH 0.0000 0.1551 0.4275 0.6277 0.8857 0.4094 0.2730 0.4725 0.8857 0.6669 0.0994 0.0001 0.2278 0.0000 0.8857 0.4094 0.2730 748-AH 0.0000 0.0930 0.1039 0.1121 0.3846 0.1172 0.0715 0.0191 0.3846 0.6102 0.0887 0.0005 0.0392 0.0705 0.1333 0.1006 0.0144 749-AH 0.0000 0.0801 0.2950 0.5000 0.9583 0.3684 0.3252 0.4199 0.9583 0.8828 0.1849 0.0005 0.2662 0.0000 0.9583 0.3684 0.3252 750-AH 0.0000 0.0119 0.0570 0.2250 0.3333 0.1135 0.1115 0.2131 0.3333 0.9824 0.0112 0.0000 0.1003 0.0000 0.3333 0.1135 0.1115 32 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0672 0.1579 0.2432 0.6923 0.1625 0.1224 0.1761 0.6923 0.7533 0.0634 0.0001 0.0881 0.0000 0.3333 0.1508 0.0939 702-AH 0.0000 0.3514 0.9250 1.0000 1.0000 0.6858 0.3480 0.6486 1.0000 0.5075 0.4327 0.0005 0.3164 0.0000 1.0000 0.6858 0.3480 703-AH 0.1370 0.3529 0.4412 0.5556 0.8000 0.4508 0.1538 0.2026 0.6630 0.3411 0.4224 0.3904 0.1254 0.1370 0.8000 0.4508 0.1538 704-AH 0.0000 0.0514 0.0996 0.1786 0.7692 0.1292 0.1330 0.1272 0.7692 1.0295 0.0403 0.0001 0.0891 0.0000 0.2716 0.1028 0.0746 705-AH 0.0000 0.2483 0.2688 0.3864 0.8333 0.3360 0.2213 0.1380 0.8333 0.6585 0.1297 0.0001 0.1617 0.1047 0.5045 0.2790 0.0903 706-AH 0.0000 0.6162 0.7181 0.7544 0.8710 0.6342 0.2103 0.1382 0.8710 0.3315 0.3922 0.0002 0.1506 0.4510 0.8710 0.7134 0.0850 707-AH 0.1681 0.5909 0.6786 0.7500 0.9333 0.6380 0.1632 0.1591 0.7653 0.2558 0.6083 0.5622 0.1177 0.3529 0.9333 0.6685 0.1176 708-AH 0.0000 0.6512 0.8875 0.9412 0.9706 0.7455 0.3086 0.2900 0.9706 0.4139 0.4058 0.0002 0.2401 0.3462 0.9706 0.8494 0.1562 709-AH 0.0000 0.3140 0.4853 0.5263 0.6393 0.4081 0.1857 0.2124 0.6393 0.4552 0.1624 0.0001 0.1482 0.0000 0.6393 0.4081 0.1857 710-AH 0.0000 0.0000 0.0312 0.1203 0.2278 0.0590 0.0734 0.1203 0.2278 1.2431 0.0022 0.0000 0.0606 0.0000 0.2278 0.0590 0.0734 711-AH 0.0000 0.0383 0.1358 0.3043 0.4118 0.1679 0.1456 0.2660 0.4118 0.8672 0.0234 0.0001 0.1309 0.0000 0.4118 0.1679 0.1456 712-AH 0.0073 1.0000 1.0000 1.0000 1.0000 0.8414 0.3527 0.0000 0.9927 0.4192 0.5579 0.0946 0.2621 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0361 0.3030 0.5938 0.7600 0.3192 0.2680 0.5577 0.7600 0.8395 0.1021 0.0002 0.2449 0.0000 0.7600 0.3192 0.2680 714-AH 0.0000 0.0603 0.6816 0.7407 0.8333 0.4713 0.3227 0.6804 0.8333 0.6847 0.1141 0.0001 0.2937 0.0000 0.8333 0.4713 0.3227 715-AH 0.0000 0.0854 0.3709 0.8750 1.0000 0.4529 0.3777 0.7896 1.0000 0.8340 0.1948 0.0005 0.3554 0.0000 1.0000 0.4529 0.3777 716-AH 0.0413 0.3333 0.7212 0.9000 1.0000 0.6256 0.3153 0.5667 0.9587 0.5040 0.5093 0.3470 0.2865 0.0413 1.0000 0.6256 0.3153 717-AH 0.0000 0.0349 0.0749 0.0923 0.7273 0.0912 0.1120 0.0574 0.7273 1.2284 0.0399 0.0002 0.0568 0.0000 0.1455 0.0650 0.0375 718-AH 0.0409 0.2530 0.4444 0.6774 0.7188 0.4450 0.2196 0.4244 0.6779 0.4934 0.3708 0.2727 0.1883 0.0409 0.7188 0.4450 0.2196 719-AH 0.0000 0.0175 0.1325 0.5000 1.0000 0.2732 0.2939 0.4825 1.0000 1.0758 0.0448 0.0001 0.2540 0.0000 1.0000 0.2732 0.2939 720-AH 0.3556 0.9643 0.9785 1.0000 1.0000 0.9532 0.1139 0.0357 0.6444 0.1195 0.9424 0.9242 0.0522 0.9333 1.0000 0.9815 0.0193 721-AH 0.0508 0.1667 0.1786 0.3077 0.5000 0.2189 0.1045 0.1410 0.4492 0.4773 0.1966 0.1752 0.0820 0.0508 0.5000 0.2189 0.1045 722-AH 0.0000 0.1368 0.2976 0.3830 0.6154 0.2767 0.1669 0.2462 0.6154 0.6033 0.1428 0.0002 0.1391 0.0000 0.6154 0.2767 0.1669 723-AH 0.0000 0.0383 0.0973 0.2045 0.4231 0.1265 0.1078 0.1663 0.4231 0.8520 0.0505 0.0002 0.0869 0.0000 0.4231 0.1265 0.1078 724-AH 0.1184 0.6875 0.9000 1.0000 1.0000 0.8033 0.2244 0.3125 0.8816 0.2793 0.7554 0.6676 0.1845 0.2308 1.0000 0.8185 0.2015 725-AH 0.0000 0.3868 0.7308 0.9082 0.9691 0.6481 0.3073 0.5213 0.9691 0.4741 0.2488 0.0001 0.2538 0.0000 0.9691 0.6481 0.3073 726-AH 0.0000 0.0428 0.0671 0.1275 0.3944 0.0923 0.0936 0.0846 0.3944 1.0139 0.0129 0.0000 0.0669 0.0000 0.2093 0.0689 0.0552 727-AH 0.0000 0.0483 0.0725 0.1053 0.1923 0.0752 0.0471 0.0570 0.1923 0.6270 0.0243 0.0001 0.0360 0.0000 0.1852 0.0726 0.0442 728-AH 0.0372 0.1132 0.1665 0.2424 0.4444 0.1937 0.1047 0.1292 0.4072 0.5407 0.1674 0.1428 0.0842 0.0372 0.4348 0.1881 0.0988 729-AH 0.0000 0.0000 0.0000 0.0349 0.3103 0.0361 0.0791 0.0349 0.3103 2.1911 0.0003 0.0000 0.0482 0.0000 0.0845 0.0130 0.0222 730-AH 0.0000 0.0000 0.1473 0.2015 0.3830 0.1321 0.1011 0.2015 0.3830 0.7653 0.0129 0.0000 0.0855 0.0000 0.3830 0.1321 0.1011 731-AH 0.0000 0.1756 0.6036 0.7556 0.9744 0.4887 0.3134 0.5799 0.9744 0.6413 0.1986 0.0002 0.2808 0.0000 0.9744 0.4887 0.3134 732-AH 0.0000 0.0172 0.0222 0.0299 0.2041 0.0333 0.0429 0.0126 0.2041 1.2903 0.0086 0.0001 0.0243 0.0000 0.0425 0.0202 0.0114 733-AH 0.0000 0.0419 0.3989 0.7179 0.8788 0.3847 0.3151 0.6760 0.8788 0.8191 0.0375 0.0000 0.2770 0.0000 0.8788 0.3847 0.3151 734-AH 0.0890 0.3750 0.7165 0.9000 0.9630 0.6296 0.2988 0.5250 0.8740 0.4745 0.5240 0.3840 0.2647 0.0890 0.9630 0.6296 0.2988 735-AH 0.0000 0.0000 0.1225 0.2480 0.4444 0.1336 0.1490 0.2480 0.4444 1.1155 0.0019 0.0000 0.1288 0.0000 0.4444 0.1336 0.1490 736-AH 0.0000 0.0000 0.0364 0.1009 0.2716 0.0596 0.0741 0.1009 0.2716 1.2432 0.0019 0.0000 0.0589 0.0000 0.2202 0.0549 0.0676 737-AH 0.0000 0.0000 0.0312 0.0402 0.1957 0.0323 0.0355 0.0402 0.1957 1.0993 0.0032 0.0000 0.0238 0.0000 0.0957 0.0287 0.0259 738-AH 0.0000 0.0000 0.3779 0.6548 0.8148 0.3619 0.3137 0.6548 0.8148 0.8669 0.0138 0.0000 0.2876 0.0000 0.8148 0.3619 0.3137 739-AH 0.0000 0.7333 0.8221 0.9474 1.0000 0.7808 0.2396 0.2140 1.0000 0.3069 0.5861 0.0005 0.1662 0.4419 1.0000 0.8512 0.1248 740-AH 0.0000 0.0200 0.0358 0.0698 0.1262 0.0434 0.0318 0.0497 0.1262 0.7336 0.0142 0.0001 0.0260 0.0000 0.1262 0.0434 0.0318 741-AH 0.0162 0.1296 0.2746 0.5455 1.0000 0.3244 0.2501 0.4158 0.9838 0.7711 0.2178 0.1178 0.2045 0.0162 1.0000 0.3244 0.2501 742-AH 0.0000 0.2093 0.8819 1.0000 1.0000 0.6781 0.4000 0.7907 1.0000 0.5898 0.2561 0.0002 0.3565 0.0000 1.0000 0.6781 0.4000 743-AH 0.0000 0.0265 0.0704 0.1739 0.5714 0.1239 0.1488 0.1474 0.5714 1.2009 0.0195 0.0001 0.1114 0.0000 0.2632 0.0732 0.0692 744-AH 0.0000 0.2500 0.5670 0.8182 1.0000 0.5179 0.3602 0.5682 1.0000 0.6955 0.0761 0.0001 0.3163 0.0000 1.0000 0.5179 0.3602 745-AH 0.0000 0.1250 0.1902 0.2169 0.2719 0.1651 0.0757 0.0919 0.2719 0.4584 0.0724 0.0001 0.0611 0.0000 0.2719 0.1651 0.0757 746-AH 0.0000 0.0173 0.1365 0.2727 0.5600 0.1518 0.1413 0.2554 0.5600 0.9311 0.0146 0.0000 0.1196 0.0000 0.5600 0.1518 0.1413 747-AH 0.0000 0.1211 0.4105 0.5123 0.7812 0.3675 0.2499 0.3913 0.7812 0.6801 0.0744 0.0001 0.2139 0.0000 0.7812 0.3675 0.2499 748-AH 0.0000 0.0909 0.1027 0.1121 0.2368 0.1077 0.0443 0.0212 0.2368 0.4116 0.0849 0.0005 0.0264 0.0705 0.1333 0.0999 0.0138 749-AH 0.0000 0.0801 0.2247 0.4737 0.9583 0.3339 0.3241 0.3936 0.9583 0.9709 0.1160 0.0002 0.2642 0.0000 0.9583 0.3339 0.3241 750-AH 0.0000 0.0000 0.0396 0.1111 0.2927 0.0742 0.0898 0.1111 0.2927 1.2114 0.0048 0.0000 0.0727 0.0000 0.2308 0.0543 0.0650 33 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0522 0.1079 0.1719 0.3929 0.1174 0.0787 0.1197 0.3929 0.6702 0.0482 0.0001 0.0626 0.0000 0.2444 0.1113 0.0676 702-AH 0.0000 0.3265 0.8750 0.9600 1.0000 0.6528 0.3622 0.6335 1.0000 0.5549 0.3921 0.0005 0.3343 0.0000 1.0000 0.6528 0.3622 703-AH 0.1370 0.3043 0.3957 0.4419 0.5806 0.3867 0.1083 0.1375 0.4437 0.2800 0.3698 0.3501 0.0877 0.1370 0.5806 0.3867 0.1083 704-AH 0.0000 0.0514 0.0731 0.1368 0.7692 0.1073 0.1222 0.0854 0.7692 1.1385 0.0346 0.0001 0.0698 0.0000 0.2061 0.0860 0.0567 705-AH 0.0000 0.2483 0.2688 0.3675 0.7818 0.3303 0.2116 0.1192 0.7818 0.6407 0.1284 0.0001 0.1551 0.1000 0.5045 0.2777 0.0899 706-AH 0.0000 0.5370 0.6826 0.7143 0.8710 0.5872 0.2269 0.1772 0.8710 0.3864 0.3484 0.0002 0.1730 0.3830 0.8710 0.6711 0.1089 707-AH 0.0595 0.4286 0.5941 0.6786 0.6786 0.5275 0.1759 0.2500 0.6190 0.3335 0.4784 0.3859 0.1467 0.0595 0.6786 0.5275 0.1759 708-AH 0.0000 0.5484 0.8554 0.8974 0.9512 0.6859 0.2995 0.3490 0.9512 0.4367 0.3733 0.0002 0.2403 0.0340 0.9512 0.7171 0.2665 709-AH 0.0000 0.2804 0.4523 0.5111 0.5844 0.3807 0.1853 0.2307 0.5844 0.4867 0.1035 0.0001 0.1495 0.0000 0.5844 0.3807 0.1853 710-AH 0.0000 0.0000 0.0000 0.0526 0.1756 0.0376 0.0521 0.0526 0.1756 1.3856 0.0007 0.0000 0.0421 0.0000 0.1299 0.0271 0.0408 711-AH 0.0000 0.0383 0.1052 0.2667 0.4091 0.1543 0.1376 0.2284 0.4091 0.8919 0.0215 0.0001 0.1245 0.0000 0.4091 0.1543 0.1376 712-AH 0.0073 1.0000 1.0000 1.0000 1.0000 0.8414 0.3527 0.0000 0.9927 0.4192 0.5579 0.0946 0.2621 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0243 0.1639 0.5208 0.6486 0.2524 0.2419 0.4966 0.6486 0.9583 0.0196 0.0000 0.2256 0.0000 0.6486 0.2524 0.2419 714-AH 0.0000 0.0430 0.2635 0.6136 0.7812 0.3209 0.2928 0.5706 0.7812 0.9124 0.0301 0.0000 0.2684 0.0000 0.7812 0.3209 0.2928 715-AH 0.0000 0.0346 0.0815 0.2812 0.6923 0.1678 0.1742 0.2466 0.6923 1.0380 0.0485 0.0001 0.1407 0.0000 0.6000 0.1562 0.1570 716-AH 0.0259 0.1940 0.4492 0.8462 1.0000 0.5231 0.3341 0.6521 0.9741 0.6386 0.3666 0.1898 0.3079 0.0259 1.0000 0.5231 0.3341 717-AH 0.0000 0.0289 0.0716 0.0909 0.2727 0.0702 0.0538 0.0620 0.2727 0.7660 0.0295 0.0001 0.0363 0.0000 0.1562 0.0618 0.0368 718-AH 0.0000 0.2047 0.3272 0.5000 0.7027 0.3461 0.2006 0.2953 0.7027 0.5796 0.2307 0.0005 0.1728 0.0000 0.7027 0.3461 0.2006 719-AH 0.0000 0.0108 0.0237 0.0833 1.0000 0.1208 0.2232 0.0725 1.0000 1.8471 0.0150 0.0001 0.1494 0.0000 0.1190 0.0304 0.0325 720-AH 0.3556 0.9643 0.9770 1.0000 1.0000 0.9457 0.1165 0.0357 0.6444 0.1232 0.9346 0.9163 0.0597 0.9333 1.0000 0.9800 0.0195 721-AH 0.0000 0.0943 0.1493 0.1724 0.3846 0.1477 0.0854 0.0781 0.3846 0.5782 0.0966 0.0005 0.0591 0.0000 0.2778 0.1286 0.0597 722-AH 0.0000 0.0741 0.1852 0.3043 0.4762 0.1899 0.1338 0.2303 0.4762 0.7044 0.0700 0.0001 0.1167 0.0000 0.4762 0.1899 0.1338 723-AH 0.0000 0.0181 0.0759 0.1549 0.4231 0.0933 0.0915 0.1368 0.4231 0.9809 0.0148 0.0001 0.0675 0.0000 0.3571 0.0860 0.0777 724-AH 0.0853 0.6471 0.7574 0.9333 1.0000 0.7419 0.2485 0.2863 0.9147 0.3349 0.6680 0.5271 0.1901 0.4643 1.0000 0.8000 0.1673 725-AH 0.0000 0.3138 0.5382 0.8231 0.9561 0.5316 0.3001 0.5093 0.9561 0.5645 0.1639 0.0001 0.2594 0.0000 0.9561 0.5316 0.3001 726-AH 0.0000 0.0000 0.0423 0.0821 0.2645 0.0550 0.0691 0.0821 0.2645 1.2561 0.0016 0.0000 0.0512 0.0000 0.1720 0.0412 0.0459 727-AH 0.0000 0.0483 0.0725 0.1053 0.1923 0.0752 0.0471 0.0570 0.1923 0.6270 0.0243 0.0001 0.0360 0.0000 0.1852 0.0726 0.0442 728-AH 0.0000 0.0986 0.1249 0.2128 0.4348 0.1652 0.1037 0.1142 0.4348 0.6279 0.1126 0.0005 0.0844 0.0000 0.3704 0.1592 0.0965 729-AH 0.0000 0.0000 0.0000 0.0292 0.1325 0.0190 0.0355 0.0292 0.1325 1.8711 0.0001 0.0000 0.0264 0.0000 0.0537 0.0083 0.0168 730-AH 0.0000 0.0000 0.1007 0.1705 0.2571 0.0985 0.0852 0.1705 0.2571 0.8650 0.0051 0.0000 0.0747 0.0000 0.2571 0.0985 0.0852 731-AH 0.0000 0.1484 0.4738 0.6418 0.9565 0.4232 0.2796 0.4934 0.9565 0.6607 0.1752 0.0002 0.2432 0.0000 0.9565 0.4232 0.2796 732-AH 0.0000 0.0000 0.0202 0.0231 0.1562 0.0236 0.0360 0.0231 0.1562 1.5265 0.0015 0.0000 0.0200 0.0000 0.0377 0.0134 0.0118 733-AH 0.0000 0.0419 0.3736 0.6596 0.8611 0.3591 0.3020 0.6176 0.8611 0.8410 0.0299 0.0000 0.2628 0.0000 0.8611 0.3591 0.3020 734-AH 0.0825 0.3636 0.6432 0.8889 0.9630 0.5928 0.2985 0.5253 0.8805 0.5036 0.4870 0.3528 0.2717 0.0825 0.9630 0.5928 0.2985 735-AH 0.0000 0.0000 0.0000 0.1878 0.3122 0.0869 0.1160 0.1878 0.3122 1.3354 0.0005 0.0000 0.1058 0.0000 0.3122 0.0869 0.1160 736-AH 0.0000 0.0000 0.0148 0.0909 0.1942 0.0461 0.0592 0.0909 0.1942 1.2841 0.0009 0.0000 0.0480 0.0000 0.1942 0.0461 0.0592 737-AH 0.0000 0.0000 0.0000 0.0292 0.1173 0.0164 0.0255 0.0292 0.1173 1.5523 0.0002 0.0000 0.0207 0.0000 0.0671 0.0142 0.0206 738-AH 0.0000 0.0000 0.3510 0.6543 0.7654 0.3442 0.3048 0.6543 0.7654 0.8857 0.0092 0.0000 0.2745 0.0000 0.7654 0.3442 0.3048 739-AH 0.0000 0.6875 0.7664 0.8800 0.9565 0.7144 0.2284 0.1925 0.9565 0.3196 0.5314 0.0005 0.1552 0.5946 0.9565 0.7943 0.0899 740-AH 0.0000 0.0169 0.0242 0.0537 0.1262 0.0356 0.0289 0.0368 0.1262 0.8124 0.0101 0.0001 0.0228 0.0000 0.0923 0.0335 0.0257 741-AH 0.0162 0.1099 0.2457 0.5455 0.8571 0.2972 0.2381 0.4356 0.8410 0.8011 0.1933 0.1051 0.1993 0.0162 0.8571 0.2972 0.2381 742-AH 0.0000 0.2093 0.4099 0.6429 1.0000 0.4087 0.2859 0.4336 1.0000 0.6995 0.1540 0.0002 0.2400 0.0000 1.0000 0.4087 0.2859 743-AH 0.0000 0.0265 0.0704 0.1739 0.5714 0.1239 0.1488 0.1474 0.5714 1.2009 0.0195 0.0001 0.1114 0.0000 0.2632 0.0732 0.0692 744-AH 0.0000 0.1290 0.4051 0.6111 1.0000 0.4188 0.3084 0.4821 1.0000 0.7363 0.0614 0.0001 0.2613 0.0000 1.0000 0.4188 0.3084 745-AH 0.0000 0.0971 0.1796 0.2000 0.2500 0.1507 0.0736 0.1029 0.2500 0.4884 0.0651 0.0001 0.0619 0.0000 0.2500 0.1507 0.0736 746-AH 0.0000 0.0000 0.0960 0.2121 0.3913 0.1151 0.1161 0.2121 0.3913 1.0091 0.0044 0.0000 0.0992 0.0000 0.3913 0.1151 0.1161 747-AH 0.0000 0.1086 0.3381 0.4493 0.6690 0.2930 0.2097 0.3406 0.6690 0.7157 0.0287 0.0000 0.1835 0.0000 0.6690 0.2930 0.2097 748-AH 0.0000 0.0909 0.1027 0.1121 0.2368 0.1067 0.0418 0.0212 0.2368 0.3916 0.0845 0.0005 0.0251 0.0705 0.1333 0.0999 0.0138 749-AH 0.0000 0.0801 0.1840 0.3898 0.9583 0.3115 0.3185 0.3097 0.9583 1.0225 0.1066 0.0002 0.2562 0.0000 0.8462 0.2048 0.2075 750-AH 0.0000 0.0000 0.0296 0.0420 0.2500 0.0356 0.0529 0.0420 0.2500 1.4875 0.0014 0.0000 0.0332 0.0000 0.0785 0.0214 0.0228 34 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0402 0.0964 0.1250 0.2167 0.0913 0.0547 0.0848 0.2167 0.5992 0.0392 0.0001 0.0445 0.0000 0.2167 0.0913 0.0547 702-AH 0.0000 0.2903 0.8043 0.9565 1.0000 0.6164 0.3715 0.6662 1.0000 0.6028 0.2920 0.0002 0.3446 0.0000 1.0000 0.6164 0.3715 703-AH 0.0409 0.2421 0.3212 0.3607 0.4800 0.3089 0.0998 0.1186 0.4391 0.3232 0.2870 0.2495 0.0794 0.0916 0.4800 0.3148 0.0923 704-AH 0.0000 0.0479 0.0626 0.1196 0.7174 0.0950 0.1144 0.0717 0.7174 1.2046 0.0220 0.0001 0.0644 0.0000 0.1910 0.0749 0.0517 705-AH 0.0000 0.2483 0.2688 0.3466 0.6974 0.3145 0.1904 0.0983 0.6974 0.6054 0.1234 0.0001 0.1395 0.1175 0.4315 0.2783 0.0680 706-AH 0.0000 0.3495 0.5879 0.6762 0.8140 0.5050 0.2354 0.3267 0.8140 0.4661 0.2381 0.0002 0.1904 0.0000 0.8140 0.5050 0.2354 707-AH 0.0363 0.2903 0.5820 0.6786 0.6786 0.4896 0.2060 0.3882 0.6423 0.4206 0.4153 0.2866 0.1777 0.0363 0.6786 0.4896 0.2060 708-AH 0.0000 0.5256 0.7118 0.8077 0.9348 0.6219 0.2820 0.2821 0.9348 0.4535 0.2830 0.0002 0.2220 0.1126 0.9348 0.6951 0.1969 709-AH 0.0000 0.2804 0.4141 0.4615 0.5094 0.3389 0.1676 0.1812 0.5094 0.4946 0.0769 0.0001 0.1315 0.0724 0.5094 0.3997 0.0912 710-AH 0.0000 0.0000 0.0000 0.0424 0.1330 0.0250 0.0425 0.0424 0.1330 1.6958 0.0002 0.0000 0.0349 0.0000 0.1049 0.0179 0.0335 711-AH 0.0000 0.0181 0.0837 0.1538 0.3704 0.1026 0.0990 0.1357 0.3704 0.9645 0.0136 0.0000 0.0757 0.0000 0.2941 0.0904 0.0822 712-AH 0.0073 1.0000 1.0000 1.0000 1.0000 0.8351 0.3644 0.0000 0.9927 0.4363 0.5240 0.0773 0.2725 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0000 0.0498 0.1887 0.5000 0.1135 0.1411 0.1887 0.5000 1.2439 0.0028 0.0000 0.1171 0.0000 0.4328 0.1049 0.1300 714-AH 0.0000 0.0000 0.0368 0.1095 0.6818 0.0922 0.1612 0.1095 0.6818 1.7482 0.0018 0.0000 0.1050 0.0000 0.1829 0.0408 0.0519 715-AH 0.0000 0.0000 0.0210 0.0364 0.1618 0.0273 0.0348 0.0364 0.1618 1.2765 0.0026 0.0000 0.0232 0.0000 0.0719 0.0214 0.0213 716-AH 0.0172 0.1940 0.4055 0.7647 0.8750 0.4559 0.2982 0.5707 0.8578 0.6542 0.3229 0.1673 0.2687 0.0172 0.8750 0.4559 0.2982 717-AH 0.0000 0.0289 0.0674 0.0833 0.1188 0.0592 0.0321 0.0544 0.1188 0.5427 0.0269 0.0001 0.0273 0.0000 0.1188 0.0592 0.0321 718-AH 0.0000 0.1303 0.2203 0.3605 0.6383 0.2439 0.1634 0.2302 0.6383 0.6698 0.0910 0.0001 0.1369 0.0000 0.6383 0.2439 0.1634 719-AH 0.0000 0.0083 0.0237 0.0682 0.6000 0.0734 0.1236 0.0598 0.6000 1.6844 0.0106 0.0001 0.0802 0.0000 0.1013 0.0271 0.0275 720-AH 0.3168 0.8974 0.9605 0.9792 1.0000 0.8979 0.1687 0.0817 0.6832 0.1879 0.8739 0.8365 0.1055 0.8462 1.0000 0.9568 0.0393 721-AH 0.0000 0.0659 0.0723 0.0822 0.1200 0.0680 0.0313 0.0163 0.1200 0.4605 0.0317 0.0001 0.0220 0.0508 0.1053 0.0765 0.0112 722-AH 0.0000 0.0285 0.0848 0.2500 0.3288 0.1238 0.1156 0.2215 0.3288 0.9334 0.0177 0.0001 0.1033 0.0000 0.3288 0.1238 0.1156 723-AH 0.0000 0.0000 0.0235 0.0678 0.3529 0.0463 0.0682 0.0678 0.3529 1.4735 0.0010 0.0000 0.0473 0.0000 0.1463 0.0358 0.0449 724-AH 0.0551 0.6087 0.7222 0.8750 1.0000 0.7007 0.2513 0.2663 0.9449 0.3587 0.6132 0.4286 0.1891 0.4103 1.0000 0.7585 0.1730 725-AH 0.0000 0.0000 0.3997 0.6919 0.8477 0.3812 0.3176 0.6919 0.8477 0.8331 0.0150 0.0000 0.2902 0.0000 0.8477 0.3812 0.3176 726-AH 0.0000 0.0000 0.0000 0.0469 0.1013 0.0199 0.0326 0.0469 0.1013 1.6393 0.0001 0.0000 0.0277 0.0000 0.1013 0.0199 0.0326 727-AH 0.0000 0.0417 0.0591 0.0968 0.1923 0.0687 0.0472 0.0551 0.1923 0.6862 0.0219 0.0001 0.0359 0.0000 0.1622 0.0633 0.0403 728-AH 0.0000 0.0822 0.1086 0.1644 0.3243 0.1251 0.0749 0.0822 0.3243 0.5985 0.0732 0.0002 0.0563 0.0000 0.2500 0.1163 0.0634 729-AH 0.0000 0.0000 0.0000 0.0289 0.0792 0.0134 0.0244 0.0289 0.0792 1.8152 0.0001 0.0000 0.0199 0.0000 0.0696 0.0120 0.0226 730-AH 0.0000 0.0000 0.0000 0.1623 0.2178 0.0672 0.0862 0.1623 0.2178 1.2830 0.0005 0.0000 0.0790 0.0000 0.2178 0.0672 0.0862 731-AH 0.0000 0.0874 0.2810 0.5102 0.9434 0.3451 0.2610 0.4228 0.9434 0.7564 0.0970 0.0001 0.2178 0.0000 0.9434 0.3451 0.2610 732-AH 0.0000 0.0000 0.0186 0.0223 0.1562 0.0199 0.0327 0.0223 0.1562 1.6434 0.0006 0.0000 0.0191 0.0000 0.0377 0.0110 0.0121 733-AH 0.0000 0.0000 0.3260 0.5781 0.8261 0.3246 0.2857 0.5781 0.8261 0.8803 0.0229 0.0000 0.2474 0.0000 0.8261 0.3246 0.2857 734-AH 0.0000 0.3068 0.5455 0.8286 0.8824 0.5281 0.2848 0.5218 0.8824 0.5392 0.3559 0.0005 0.2579 0.0000 0.8824 0.5281 0.2848 735-AH 0.0000 0.0000 0.0000 0.1480 0.2639 0.0519 0.0902 0.1480 0.2639 1.7397 0.0001 0.0000 0.0767 0.0000 0.2639 0.0519 0.0902 736-AH 0.0000 0.0000 0.0000 0.0605 0.1561 0.0359 0.0506 0.0605 0.1561 1.4101 0.0004 0.0000 0.0421 0.0000 0.1454 0.0332 0.0477 737-AH 0.0000 0.0000 0.0000 0.0000 0.0874 0.0105 0.0203 0.0000 0.0874 1.9332 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.3449 0.5565 0.7647 0.3196 0.2806 0.5565 0.7647 0.8779 0.0089 0.0000 0.2508 0.0000 0.7647 0.3196 0.2806 739-AH 0.0000 0.6429 0.7011 0.7941 0.8529 0.6539 0.2193 0.1513 0.8529 0.3354 0.3979 0.0002 0.1508 0.4242 0.8529 0.7288 0.0930 740-AH 0.0000 0.0000 0.0226 0.0364 0.1250 0.0257 0.0239 0.0364 0.1250 0.9287 0.0038 0.0000 0.0174 0.0000 0.0711 0.0235 0.0188 741-AH 0.0162 0.0900 0.1667 0.2424 0.5333 0.1852 0.1217 0.1524 0.5172 0.6572 0.1414 0.0942 0.0950 0.0162 0.4706 0.1775 0.1111 742-AH 0.0000 0.0556 0.1450 0.2500 0.5238 0.1592 0.1274 0.1944 0.5238 0.8005 0.0464 0.0001 0.1034 0.0000 0.5238 0.1592 0.1274 743-AH 0.0000 0.0000 0.0262 0.0513 0.4545 0.0533 0.0871 0.0513 0.4545 1.6355 0.0041 0.0000 0.0533 0.0000 0.0794 0.0243 0.0235 744-AH 0.0000 0.0325 0.3374 0.4667 0.8235 0.2878 0.2243 0.4342 0.8235 0.7794 0.0308 0.0000 0.1904 0.0000 0.8235 0.2878 0.2243 745-AH 0.0000 0.0796 0.1639 0.1942 0.2265 0.1318 0.0786 0.1146 0.2265 0.5965 0.0198 0.0000 0.0667 0.0000 0.2265 0.1318 0.0786 746-AH 0.0000 0.0000 0.0279 0.1304 0.3333 0.0782 0.1033 0.1304 0.3333 1.3215 0.0015 0.0000 0.0845 0.0000 0.3231 0.0725 0.0970 747-AH 0.0000 0.0000 0.2082 0.3993 0.5415 0.2093 0.1961 0.3993 0.5415 0.9368 0.0045 0.0000 0.1810 0.0000 0.5415 0.2093 0.1961 748-AH 0.0000 0.0903 0.0999 0.1111 0.2368 0.1044 0.0400 0.0208 0.2368 0.3834 0.0830 0.0005 0.0236 0.0705 0.1333 0.0994 0.0138 749-AH 0.0000 0.0674 0.1520 0.3662 0.9286 0.2855 0.3090 0.2988 0.9286 1.0822 0.0566 0.0001 0.2477 0.0000 0.7297 0.1782 0.1874 750-AH 0.0000 0.0000 0.0233 0.0362 0.2045 0.0268 0.0400 0.0362 0.2045 1.4890 0.0009 0.0000 0.0251 0.0000 0.0878 0.0198 0.0221 35 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0340 0.0942 0.1128 0.1744 0.0804 0.0487 0.0788 0.1744 0.6058 0.0252 0.0001 0.0409 0.0000 0.1744 0.0804 0.0487 702-AH 0.0000 0.1250 0.7121 0.9565 1.0000 0.5773 0.4007 0.8315 1.0000 0.6942 0.1242 0.0001 0.3736 0.0000 1.0000 0.5773 0.4007 703-AH 0.0000 0.2080 0.2723 0.3133 0.4407 0.2603 0.0925 0.1053 0.4407 0.3554 0.1674 0.0002 0.0696 0.0847 0.4407 0.2721 0.0752 704-AH 0.0000 0.0470 0.0587 0.1016 0.7170 0.0827 0.1121 0.0546 0.7170 1.3559 0.0117 0.0000 0.0588 0.0000 0.1639 0.0575 0.0410 705-AH 0.0000 0.2343 0.2680 0.3463 0.6354 0.2774 0.1670 0.1121 0.6354 0.6021 0.0630 0.0001 0.1226 0.1175 0.5043 0.2921 0.0931 706-AH 0.0000 0.1984 0.4590 0.6198 0.7103 0.3903 0.2357 0.4214 0.7103 0.6038 0.0816 0.0001 0.2030 0.0000 0.7103 0.3903 0.2357 707-AH 0.0000 0.2617 0.3667 0.5122 0.5676 0.3661 0.1689 0.2505 0.5676 0.4614 0.1790 0.0002 0.1450 0.0000 0.5676 0.3661 0.1689 708-AH 0.0000 0.4700 0.5529 0.6857 0.9216 0.5152 0.2415 0.2157 0.9216 0.4688 0.1634 0.0001 0.1765 0.3092 0.9216 0.6039 0.1258 709-AH 0.0000 0.2281 0.3486 0.3879 0.4286 0.2804 0.1427 0.1598 0.4286 0.5089 0.0544 0.0001 0.1130 0.0000 0.4286 0.2804 0.1427 710-AH 0.0000 0.0000 0.0000 0.0000 0.0779 0.0127 0.0251 0.0000 0.0779 1.9726 0.0001 0.0000 0.0199 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0526 0.0870 0.2373 0.0623 0.0586 0.0870 0.2373 0.9412 0.0060 0.0000 0.0441 0.0000 0.2090 0.0584 0.0529 712-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.7872 0.4085 0.0000 1.0000 0.5190 0.1691 0.0001 0.3331 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0733 0.1823 0.0377 0.0559 0.0733 0.1823 1.4816 0.0003 0.0000 0.0477 0.0000 0.1823 0.0377 0.0559 714-AH 0.0000 0.0000 0.0000 0.0000 0.2368 0.0194 0.0450 0.0000 0.2368 2.3240 0.0001 0.0000 0.0295 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0160 0.0223 0.1519 0.0200 0.0270 0.0223 0.1519 1.3507 0.0016 0.0000 0.0165 0.0000 0.0440 0.0134 0.0125 716-AH 0.0000 0.1261 0.2521 0.4048 0.7500 0.2945 0.2277 0.2787 0.7500 0.7733 0.1020 0.0001 0.1802 0.0000 0.7500 0.2945 0.2277 717-AH 0.0000 0.0264 0.0619 0.0730 0.1057 0.0518 0.0294 0.0467 0.1057 0.5674 0.0203 0.0001 0.0255 0.0000 0.1057 0.0518 0.0294 718-AH 0.0000 0.0562 0.1223 0.2734 0.4091 0.1518 0.1160 0.2173 0.4091 0.7643 0.0342 0.0001 0.1000 0.0000 0.4091 0.1518 0.1160 719-AH 0.0000 0.0000 0.0188 0.0574 0.5833 0.0659 0.1200 0.0574 0.5833 1.8218 0.0048 0.0000 0.0741 0.0000 0.1013 0.0242 0.0254 720-AH 0.1413 0.8261 0.9512 0.9778 1.0000 0.8404 0.2305 0.1517 0.8587 0.2742 0.7776 0.6481 0.1603 0.6129 1.0000 0.9103 0.1022 721-AH 0.0000 0.0256 0.0612 0.0684 0.1029 0.0518 0.0285 0.0428 0.1029 0.5501 0.0203 0.0001 0.0230 0.0000 0.1029 0.0518 0.0285 722-AH 0.0000 0.0000 0.0000 0.1197 0.2059 0.0570 0.0704 0.1197 0.2059 1.2354 0.0008 0.0000 0.0609 0.0000 0.2059 0.0570 0.0704 723-AH 0.0000 0.0000 0.0000 0.0405 0.2000 0.0285 0.0443 0.0405 0.2000 1.5514 0.0006 0.0000 0.0306 0.0000 0.0955 0.0192 0.0249 724-AH 0.0551 0.5357 0.6461 0.7895 0.9375 0.6285 0.2157 0.2538 0.8824 0.3432 0.5560 0.4018 0.1567 0.1583 0.9375 0.6673 0.1616 725-AH 0.0000 0.0000 0.3013 0.5051 0.6802 0.2800 0.2555 0.5051 0.6802 0.9127 0.0066 0.0000 0.2314 0.0000 0.6802 0.2800 0.2555 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0337 0.0536 0.0897 0.1622 0.0589 0.0399 0.0560 0.1622 0.6782 0.0190 0.0001 0.0307 0.0000 0.1622 0.0589 0.0399 728-AH 0.0000 0.0738 0.0801 0.0980 0.1795 0.0801 0.0380 0.0243 0.1795 0.4743 0.0322 0.0001 0.0243 0.0484 0.1250 0.0856 0.0154 729-AH 0.0000 0.0000 0.0000 0.0000 0.0771 0.0062 0.0168 0.0000 0.0771 2.7297 0.0000 0.0000 0.0107 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.1420 0.2178 0.0633 0.0842 0.1420 0.2178 1.3304 0.0004 0.0000 0.0771 0.0000 0.2178 0.0633 0.0842 731-AH 0.0000 0.0814 0.2077 0.3882 0.8939 0.2549 0.2316 0.3067 0.8939 0.9086 0.0603 0.0001 0.1761 0.0000 0.7975 0.2265 0.1926 732-AH 0.0000 0.0000 0.0000 0.0209 0.1047 0.0138 0.0262 0.0209 0.1047 1.8955 0.0002 0.0000 0.0181 0.0000 0.0299 0.0065 0.0106 733-AH 0.0000 0.0000 0.2292 0.5570 0.7818 0.2853 0.2656 0.5570 0.7818 0.9310 0.0169 0.0000 0.2285 0.0000 0.7818 0.2853 0.2656 734-AH 0.0000 0.2188 0.3780 0.6889 0.8611 0.4368 0.2570 0.4701 0.8611 0.5884 0.2901 0.0005 0.2300 0.0000 0.8611 0.4368 0.2570 735-AH 0.0000 0.0000 0.0000 0.0000 0.1780 0.0039 0.0262 0.0000 0.1780 6.7823 0.0000 0.0000 0.0076 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.1191 0.0140 0.0313 0.0000 0.1191 2.2388 0.0001 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0516 0.0034 0.0113 0.0000 0.0516 3.3486 0.0000 0.0000 0.0061 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.1033 0.3394 0.6441 0.1701 0.1880 0.3394 0.6441 1.1051 0.0031 0.0000 0.1680 0.0000 0.6441 0.1701 0.1880 739-AH 0.0000 0.3827 0.6703 0.7209 0.8421 0.5358 0.2666 0.3382 0.8421 0.4976 0.2363 0.0002 0.2232 0.0000 0.8421 0.5358 0.2666 740-AH 0.0000 0.0000 0.0000 0.0333 0.0664 0.0125 0.0187 0.0333 0.0664 1.4943 0.0002 0.0000 0.0163 0.0000 0.0664 0.0125 0.0187 741-AH 0.0111 0.0750 0.1337 0.2093 0.4091 0.1501 0.1003 0.1343 0.3980 0.6683 0.1106 0.0663 0.0779 0.0111 0.4091 0.1501 0.1003 742-AH 0.0000 0.0189 0.0591 0.1538 0.4138 0.0925 0.0954 0.1350 0.4138 1.0312 0.0164 0.0001 0.0745 0.0000 0.2857 0.0853 0.0831 743-AH 0.0000 0.0000 0.0000 0.0373 0.1463 0.0226 0.0336 0.0373 0.1463 1.4855 0.0005 0.0000 0.0258 0.0000 0.0909 0.0199 0.0282 744-AH 0.0000 0.0000 0.2832 0.3404 0.4571 0.2102 0.1608 0.3404 0.4571 0.7648 0.0123 0.0000 0.1477 0.0000 0.4571 0.2102 0.1608 745-AH 0.0000 0.0000 0.1426 0.1667 0.2063 0.1071 0.0782 0.1667 0.2063 0.7297 0.0080 0.0000 0.0701 0.0000 0.2063 0.1071 0.0782 746-AH 0.0000 0.0000 0.0000 0.0547 0.3049 0.0425 0.0788 0.0547 0.3049 1.8556 0.0001 0.0000 0.0617 0.0000 0.1196 0.0133 0.0345 747-AH 0.0000 0.0000 0.0679 0.2699 0.5077 0.1378 0.1538 0.2699 0.5077 1.1160 0.0016 0.0000 0.1379 0.0000 0.5077 0.1378 0.1538 748-AH 0.0000 0.0813 0.0944 0.1064 0.1370 0.0920 0.0234 0.0251 0.1370 0.2539 0.0749 0.0005 0.0151 0.0588 0.1370 0.0957 0.0156 749-AH 0.0000 0.0392 0.1341 0.3113 0.9118 0.2350 0.2791 0.2721 0.9118 1.1876 0.0318 0.0001 0.2186 0.0000 0.6200 0.1326 0.1434 750-AH 0.0000 0.0000 0.0000 0.0248 0.0508 0.0095 0.0144 0.0248 0.0508 1.5125 0.0001 0.0000 0.0128 0.0000 0.0508 0.0095 0.0144 36 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0228 0.0796 0.0994 0.1417 0.0684 0.0456 0.0766 0.1417 0.6664 0.0113 0.0000 0.0387 0.0000 0.1417 0.0684 0.0456 702-AH 0.0000 0.0325 0.1116 0.5000 0.9600 0.2700 0.3204 0.4675 0.9600 1.1868 0.0326 0.0001 0.2730 0.0000 0.9600 0.2700 0.3204 703-AH 0.0000 0.1714 0.2230 0.2936 0.4143 0.2209 0.0928 0.1221 0.4143 0.4203 0.1391 0.0002 0.0704 0.0000 0.4143 0.2209 0.0928 704-AH 0.0000 0.0000 0.0484 0.0931 0.2332 0.0548 0.0599 0.0931 0.2332 1.0935 0.0020 0.0000 0.0472 0.0000 0.1751 0.0508 0.0541 705-AH 0.0000 0.0000 0.2492 0.2899 0.5191 0.1966 0.1539 0.2899 0.5191 0.7829 0.0120 0.0000 0.1306 0.0000 0.5191 0.1966 0.1539 706-AH 0.0000 0.0000 0.2997 0.4503 0.6615 0.2834 0.2207 0.4503 0.6615 0.7787 0.0187 0.0000 0.1849 0.0000 0.6615 0.2834 0.2207 707-AH 0.0000 0.2222 0.2875 0.3571 0.4902 0.2643 0.1316 0.1349 0.4902 0.4977 0.0882 0.0001 0.1003 0.0244 0.4902 0.2966 0.0984 708-AH 0.0000 0.1508 0.4558 0.5684 0.7013 0.3815 0.2346 0.4176 0.7013 0.6148 0.0648 0.0001 0.1985 0.0000 0.7013 0.3815 0.2346 709-AH 0.0000 0.0857 0.2806 0.3547 0.3913 0.2222 0.1428 0.2690 0.3913 0.6428 0.0288 0.0000 0.1248 0.0000 0.3913 0.2222 0.1428 710-AH 0.0000 0.0000 0.0000 0.0000 0.0429 0.0045 0.0129 0.0000 0.0429 2.8979 0.0000 0.0000 0.0079 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0449 0.0818 0.2373 0.0539 0.0598 0.0818 0.2373 1.1100 0.0027 0.0000 0.0461 0.0000 0.1733 0.0462 0.0484 712-AH 0.0000 0.0188 1.0000 1.0000 1.0000 0.6609 0.4603 0.9812 1.0000 0.6965 0.0474 0.0000 0.4250 0.0000 1.0000 0.6609 0.4603 713-AH 0.0000 0.0000 0.0000 0.0000 0.0633 0.0080 0.0194 0.0000 0.0633 2.4325 0.0000 0.0000 0.0135 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.1839 0.0059 0.0283 0.0000 0.1839 4.8030 0.0000 0.0000 0.0110 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0408 0.0056 0.0109 0.0000 0.0408 1.9454 0.0001 0.0000 0.0085 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0398 0.1156 0.1600 0.6071 0.1194 0.1129 0.1202 0.6071 0.9459 0.0193 0.0001 0.0776 0.0000 0.2787 0.1018 0.0748 717-AH 0.0000 0.0000 0.0457 0.0595 0.0785 0.0373 0.0272 0.0595 0.0785 0.7299 0.0038 0.0000 0.0241 0.0000 0.0785 0.0373 0.0272 718-AH 0.0000 0.0000 0.0820 0.1680 0.2222 0.0906 0.0786 0.1680 0.2222 0.8670 0.0067 0.0000 0.0680 0.0000 0.2222 0.0906 0.0786 719-AH 0.0000 0.0000 0.0128 0.0471 0.3636 0.0505 0.0935 0.0471 0.3636 1.8514 0.0022 0.0000 0.0590 0.0000 0.1013 0.0180 0.0225 720-AH 0.0000 0.6143 0.9093 0.9778 0.9796 0.7571 0.3003 0.3635 0.9796 0.3967 0.5413 0.0005 0.2483 0.1208 0.9796 0.7739 0.2810 721-AH 0.0000 0.0234 0.0568 0.0625 0.0976 0.0467 0.0269 0.0391 0.0976 0.5763 0.0137 0.0001 0.0224 0.0000 0.0976 0.0467 0.0269 722-AH 0.0000 0.0000 0.0000 0.0000 0.0896 0.0084 0.0210 0.0000 0.0896 2.4921 0.0000 0.0000 0.0143 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0721 0.0074 0.0156 0.0000 0.0721 2.0999 0.0001 0.0000 0.0113 0.0000 0.0000 0.0000 0.0000 724-AH 0.0449 0.4595 0.5667 0.6296 0.8182 0.5300 0.1857 0.1702 0.7733 0.3503 0.4676 0.3367 0.1377 0.2308 0.8182 0.5725 0.1281 725-AH 0.0000 0.0000 0.2200 0.3025 0.4509 0.1626 0.1568 0.3025 0.4509 0.9642 0.0027 0.0000 0.1485 0.0000 0.4509 0.1626 0.1568 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0118 0.0445 0.0593 0.1346 0.0462 0.0346 0.0475 0.1346 0.7480 0.0125 0.0001 0.0259 0.0000 0.1250 0.0443 0.0323 728-AH 0.0000 0.0471 0.0693 0.0762 0.1333 0.0571 0.0328 0.0291 0.1333 0.5736 0.0122 0.0001 0.0260 0.0276 0.0988 0.0693 0.0149 729-AH 0.0000 0.0000 0.0000 0.0000 0.0441 0.0010 0.0065 0.0000 0.0441 6.7823 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.1351 0.2118 0.0575 0.0829 0.1351 0.2118 1.4413 0.0003 0.0000 0.0750 0.0000 0.2118 0.0575 0.0829 731-AH 0.0000 0.0000 0.1168 0.2219 0.7976 0.1774 0.2079 0.2219 0.7976 1.1719 0.0117 0.0000 0.1473 0.0000 0.3722 0.1232 0.1124 732-AH 0.0000 0.0000 0.0000 0.0000 0.0290 0.0036 0.0087 0.0000 0.0290 2.4102 0.0000 0.0000 0.0061 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.2083 0.4336 0.7000 0.2382 0.2344 0.4336 0.7000 0.9838 0.0100 0.0000 0.2016 0.0000 0.7000 0.2382 0.2344 734-AH 0.0000 0.1856 0.2780 0.4935 0.7660 0.3307 0.2122 0.3079 0.7660 0.6415 0.1521 0.0002 0.1710 0.0000 0.7660 0.3307 0.2122 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.6204 0.0298 0.1180 0.0000 0.6204 3.9566 0.0000 0.0000 0.0557 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0669 0.5703 0.6923 0.7826 0.4434 0.2933 0.6254 0.7826 0.6616 0.0471 0.0000 0.2610 0.0000 0.7826 0.4434 0.2933 740-AH 0.0000 0.0000 0.0000 0.0000 0.0334 0.0046 0.0102 0.0000 0.0334 2.2327 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0613 0.1093 0.1370 0.2326 0.1058 0.0577 0.0756 0.2326 0.5456 0.0534 0.0002 0.0442 0.0000 0.2326 0.1058 0.0577 742-AH 0.0000 0.0000 0.0000 0.0000 0.0177 0.0004 0.0026 0.0000 0.0177 6.7823 0.0000 0.0000 0.0008 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.2500 0.2969 0.3636 0.1768 0.1388 0.2969 0.3636 0.7850 0.0107 0.0000 0.1282 0.0000 0.3636 0.1768 0.1388 745-AH 0.0000 0.0000 0.1223 0.1486 0.1871 0.0920 0.0717 0.1486 0.1871 0.7789 0.0050 0.0000 0.0644 0.0000 0.1871 0.0920 0.0717 746-AH 0.0000 0.0000 0.0000 0.0529 0.2366 0.0318 0.0616 0.0529 0.2366 1.9378 0.0001 0.0000 0.0470 0.0000 0.1267 0.0167 0.0369 747-AH 0.0000 0.0000 0.0000 0.1860 0.4011 0.0696 0.1113 0.1860 0.4011 1.5993 0.0002 0.0000 0.0968 0.0000 0.4011 0.0696 0.1113 748-AH 0.0000 0.0789 0.0932 0.1009 0.1333 0.0873 0.0273 0.0220 0.1333 0.3123 0.0597 0.0002 0.0187 0.0588 0.1333 0.0948 0.0158 749-AH 0.0000 0.0000 0.1000 0.2035 0.6863 0.1506 0.1780 0.2035 0.6863 1.1814 0.0119 0.0000 0.1325 0.0000 0.4375 0.1085 0.1163 750-AH 0.0000 0.0000 0.0000 0.0000 0.0448 0.0034 0.0102 0.0000 0.0448 2.9815 0.0000 0.0000 0.0061 0.0000 0.0000 0.0000 0.0000 37 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0718 0.0964 0.1408 0.0613 0.0440 0.0964 0.1408 0.7184 0.0074 0.0000 0.0382 0.0000 0.1408 0.0613 0.0440 702-AH 0.0000 0.0000 0.0000 0.0381 0.5510 0.0308 0.0858 0.0381 0.5510 2.7827 0.0001 0.0000 0.0431 0.0000 0.0928 0.0164 0.0297 703-AH 0.0000 0.1094 0.1565 0.2129 0.2895 0.1532 0.0795 0.1035 0.2895 0.5188 0.0659 0.0001 0.0638 0.0000 0.2895 0.1532 0.0795 704-AH 0.0000 0.0000 0.0000 0.0591 0.1317 0.0309 0.0424 0.0591 0.1317 1.3735 0.0003 0.0000 0.0376 0.0000 0.1317 0.0309 0.0424 705-AH 0.0000 0.0000 0.2072 0.2691 0.3602 0.1635 0.1409 0.2691 0.3602 0.8618 0.0049 0.0000 0.1308 0.0000 0.3602 0.1635 0.1409 706-AH 0.0000 0.0000 0.1683 0.3404 0.5389 0.1946 0.1859 0.3404 0.5389 0.9550 0.0077 0.0000 0.1519 0.0000 0.5389 0.1946 0.1859 707-AH 0.0000 0.0935 0.2445 0.3152 0.3803 0.1989 0.1341 0.2217 0.3803 0.6740 0.0261 0.0000 0.1197 0.0000 0.3803 0.1989 0.1341 708-AH 0.0000 0.0000 0.2762 0.3506 0.5922 0.2252 0.1705 0.3506 0.5922 0.7572 0.0132 0.0000 0.1508 0.0000 0.5922 0.2252 0.1705 709-AH 0.0000 0.0000 0.2379 0.2867 0.3491 0.1732 0.1344 0.2867 0.3491 0.7756 0.0076 0.0000 0.1236 0.0000 0.3491 0.1732 0.1344 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0248 0.0568 0.1261 0.0319 0.0361 0.0568 0.1261 1.1302 0.0012 0.0000 0.0295 0.0000 0.1261 0.0319 0.0361 712-AH 0.0000 0.0175 1.0000 1.0000 1.0000 0.6571 0.4603 0.9825 1.0000 0.7006 0.0464 0.0000 0.4237 0.0000 1.0000 0.6571 0.4603 713-AH 0.0000 0.0000 0.0000 0.0000 0.0434 0.0009 0.0064 0.0000 0.0434 6.7823 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0938 0.0020 0.0138 0.0000 0.0938 6.7823 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0293 0.0015 0.0060 0.0000 0.0293 3.8957 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0889 0.1379 0.5128 0.0890 0.0964 0.1379 0.5128 1.0828 0.0053 0.0000 0.0716 0.0000 0.2561 0.0796 0.0730 717-AH 0.0000 0.0000 0.0000 0.0000 0.0474 0.0022 0.0089 0.0000 0.0474 3.9807 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0278 0.0849 0.1965 0.0502 0.0590 0.0849 0.1965 1.1753 0.0010 0.0000 0.0502 0.0000 0.1965 0.0502 0.0590 719-AH 0.0000 0.0000 0.0000 0.0000 0.1875 0.0068 0.0303 0.0000 0.1875 4.4449 0.0000 0.0000 0.0122 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.1853 0.8588 0.9412 0.9796 0.6103 0.3803 0.7558 0.9796 0.6231 0.2020 0.0001 0.3533 0.0000 0.9796 0.6103 0.3803 721-AH 0.0000 0.0170 0.0531 0.0604 0.0643 0.0391 0.0242 0.0434 0.0643 0.6185 0.0086 0.0001 0.0216 0.0000 0.0643 0.0391 0.0242 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0371 0.0019 0.0074 0.0000 0.0371 3.9402 0.0000 0.0000 0.0035 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.4000 0.4811 0.5429 0.7037 0.4299 0.1937 0.1429 0.7037 0.4505 0.2413 0.0002 0.1442 0.3390 0.7037 0.5071 0.0984 725-AH 0.0000 0.0000 0.0000 0.0000 0.2242 0.0093 0.0443 0.0000 0.2242 4.7471 0.0000 0.0000 0.0179 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.0406 0.0013 0.0066 0.0000 0.0406 5.0470 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0479 0.0583 0.0738 0.0363 0.0270 0.0583 0.0738 0.7445 0.0032 0.0000 0.0244 0.0000 0.0738 0.0363 0.0270 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.1195 0.2020 0.0461 0.0762 0.1195 0.2020 1.6538 0.0002 0.0000 0.0661 0.0000 0.2020 0.0461 0.0762 731-AH 0.0000 0.0000 0.0000 0.1434 0.2525 0.0685 0.0874 0.1434 0.2525 1.2761 0.0006 0.0000 0.0774 0.0000 0.2525 0.0685 0.0874 732-AH 0.0000 0.0000 0.0000 0.0000 0.0275 0.0006 0.0041 0.0000 0.0275 6.7823 0.0000 0.0000 0.0012 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.1395 0.2895 0.6707 0.1749 0.1885 0.2895 0.6707 1.0780 0.0046 0.0000 0.1584 0.0000 0.6707 0.1749 0.1885 734-AH 0.0000 0.0626 0.1578 0.2083 0.5479 0.1654 0.1471 0.1457 0.5479 0.8892 0.0212 0.0000 0.1055 0.0000 0.4167 0.1320 0.1027 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.5517 0.0245 0.0992 0.0000 0.5517 4.0470 0.0000 0.0000 0.0458 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.4823 0.5333 0.6452 0.3526 0.2410 0.5333 0.6452 0.6836 0.0269 0.0000 0.2149 0.0000 0.6452 0.3526 0.2410 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0408 0.0902 0.1237 0.1692 0.0861 0.0496 0.0829 0.1692 0.5759 0.0317 0.0001 0.0403 0.0000 0.1692 0.0861 0.0496 742-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.1961 0.2727 0.3636 0.1552 0.1302 0.2727 0.3636 0.8393 0.0068 0.0000 0.1211 0.0000 0.3636 0.1552 0.1302 745-AH 0.0000 0.0000 0.0974 0.1204 0.1443 0.0647 0.0608 0.1204 0.1443 0.9406 0.0016 0.0000 0.0591 0.0000 0.1443 0.0647 0.0608 746-AH 0.0000 0.0000 0.0000 0.0000 0.1441 0.0129 0.0315 0.0000 0.1441 2.4345 0.0001 0.0000 0.0208 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0779 0.0886 0.0960 0.1333 0.0811 0.0325 0.0181 0.1333 0.4006 0.0333 0.0001 0.0220 0.0588 0.1161 0.0890 0.0140 749-AH 0.0000 0.0000 0.0465 0.0846 0.3362 0.0757 0.1033 0.0846 0.3362 1.3647 0.0015 0.0000 0.0787 0.0000 0.2108 0.0380 0.0533 750-AH 0.0000 0.0000 0.0000 0.0000 0.0330 0.0014 0.0065 0.0000 0.0330 4.7491 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000 38 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0579 0.0811 0.1321 0.0448 0.0403 0.0811 0.1321 0.8980 0.0022 0.0000 0.0369 0.0000 0.1321 0.0448 0.0403 702-AH 0.0000 0.0000 0.0000 0.0000 0.0699 0.0070 0.0172 0.0000 0.0699 2.4616 0.0000 0.0000 0.0119 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.1123 0.1319 0.1446 0.0873 0.0559 0.1319 0.1446 0.6402 0.0101 0.0000 0.0490 0.0000 0.1446 0.0873 0.0559 704-AH 0.0000 0.0000 0.0000 0.0000 0.0567 0.0012 0.0084 0.0000 0.0567 6.7823 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0000 0.2569 0.3022 0.1170 0.1286 0.2569 0.3022 1.0993 0.0012 0.0000 0.1233 0.0000 0.3022 0.1170 0.1286 706-AH 0.0000 0.0000 0.0000 0.0000 0.3057 0.0433 0.0854 0.0000 0.3057 1.9743 0.0001 0.0000 0.0677 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0303 0.1695 0.2816 0.3258 0.1588 0.1209 0.2513 0.3258 0.7615 0.0173 0.0000 0.1085 0.0000 0.3258 0.1588 0.1209 708-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0225 0.0458 0.1053 0.0274 0.0310 0.0458 0.1053 1.1288 0.0010 0.0000 0.0258 0.0000 0.1053 0.0274 0.0310 712-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6052 0.4641 1.0000 1.0000 0.7669 0.0245 0.0000 0.4365 0.0000 1.0000 0.6052 0.4641 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0149 0.0843 0.4773 0.0539 0.0858 0.0843 0.4773 1.5915 0.0009 0.0000 0.0570 0.0000 0.1858 0.0397 0.0489 717-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0000 0.0544 0.1061 0.0211 0.0340 0.0544 0.1061 1.6095 0.0001 0.0000 0.0294 0.0000 0.1061 0.0211 0.0340 719-AH 0.0000 0.0000 0.0000 0.0000 0.1875 0.0068 0.0303 0.0000 0.1875 4.4449 0.0000 0.0000 0.0122 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0685 0.2095 0.0358 0.0474 0.0685 0.2095 1.3241 0.0005 0.0000 0.0405 0.0000 0.1421 0.0319 0.0400 721-AH 0.0000 0.0000 0.0000 0.0000 0.0532 0.0056 0.0136 0.0000 0.0532 2.4217 0.0000 0.0000 0.0091 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.0345 0.2500 0.2838 0.3559 0.1960 0.1251 0.2492 0.3559 0.6379 0.0218 0.0000 0.1051 0.0000 0.3559 0.1960 0.1251 725-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.0406 0.0013 0.0066 0.0000 0.0406 5.0470 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0459 0.0036 0.0099 0.0000 0.0459 2.7415 0.0000 0.0000 0.0063 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0259 0.0006 0.0038 0.0000 0.0259 6.7823 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.0000 0.0840 0.0037 0.0173 0.0000 0.0840 4.7422 0.0000 0.0000 0.0070 0.0000 0.0000 0.0000 0.0000 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.1415 0.0031 0.0209 0.0000 0.1415 6.7823 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.1176 0.3636 0.0660 0.0961 0.1176 0.3636 1.4549 0.0006 0.0000 0.0762 0.0000 0.2733 0.0535 0.0772 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0514 0.0769 0.1538 0.0500 0.0420 0.0769 0.1538 0.8398 0.0045 0.0000 0.0337 0.0000 0.1538 0.0500 0.0420 742-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.1445 0.2000 0.2973 0.1187 0.1028 0.2000 0.2973 0.8658 0.0056 0.0000 0.0947 0.0000 0.2973 0.1187 0.1028 745-AH 0.0000 0.0000 0.0000 0.0000 0.1085 0.0163 0.0365 0.0000 0.1085 2.2332 0.0000 0.0000 0.0270 0.0000 0.0000 0.0000 0.0000 746-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0622 0.0833 0.0903 0.1161 0.0714 0.0326 0.0281 0.1161 0.4569 0.0247 0.0001 0.0243 0.0312 0.1161 0.0821 0.0181 749-AH 0.0000 0.0000 0.0000 0.0000 0.1405 0.0101 0.0315 0.0000 0.1405 3.1070 0.0000 0.0000 0.0181 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 39 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2000 0.4000 0.8000 1.0000 0.4391 0.3256 0.6000 1.0000 0.7414 0.0578 0.0001 0.2737 0.0000 1.0000 0.4391 0.3256 702-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8304 0.2632 0.2000 1.0000 0.3169 0.5107 0.0002 0.1991 0.6000 1.0000 0.8952 0.1545 703-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8304 0.2529 0.2000 0.8000 0.3045 0.7698 0.6740 0.1991 0.6000 1.0000 0.9231 0.1266 704-AH 0.0000 0.2000 0.2000 0.4000 1.0000 0.2870 0.3001 0.2000 1.0000 1.0457 0.0257 0.0000 0.2242 0.0000 0.6000 0.1744 0.1390 705-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3348 0.1689 0.2000 0.6000 0.5046 0.1665 0.0002 0.1433 0.0000 0.6000 0.3348 0.1689 706-AH 0.4000 0.8000 0.8000 0.8000 1.0000 0.8261 0.1307 0.0000 0.6000 0.1582 0.8137 0.7977 0.0832 0.8000 0.8000 0.8000 0.0000 707-AH 0.2000 0.4000 0.6000 1.0000 1.0000 0.6696 0.2740 0.6000 0.8000 0.4092 0.5989 0.5130 0.2321 0.2000 1.0000 0.6696 0.2740 708-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6957 0.2913 0.2000 1.0000 0.4188 0.2230 0.0001 0.2147 0.4000 1.0000 0.7950 0.1395 709-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6435 0.2382 0.4000 1.0000 0.3702 0.4847 0.0005 0.1902 0.0000 1.0000 0.6435 0.2382 710-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1043 0.1382 0.2000 0.4000 1.3242 0.0006 0.0000 0.1225 0.0000 0.4000 0.1043 0.1382 711-AH 0.0000 0.0000 0.4000 0.4000 0.8000 0.2565 0.2518 0.4000 0.8000 0.9816 0.0042 0.0000 0.2280 0.0000 0.8000 0.2565 0.2518 712-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8739 0.3022 0.0000 1.0000 0.3458 0.3484 0.0001 0.2083 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5609 0.3029 0.4000 1.0000 0.5401 0.1425 0.0001 0.2423 0.0000 1.0000 0.5609 0.3029 714-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6043 0.3169 0.4000 1.0000 0.5244 0.1859 0.0001 0.2482 0.0000 1.0000 0.6043 0.3169 715-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5435 0.3257 0.4000 1.0000 0.5993 0.1107 0.0001 0.2764 0.0000 1.0000 0.5435 0.3257 716-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7609 0.3029 0.4000 0.8000 0.3981 0.6660 0.5364 0.2474 0.2000 1.0000 0.7609 0.3029 717-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4261 0.2551 0.4000 1.0000 0.5987 0.1638 0.0001 0.1992 0.0000 1.0000 0.4261 0.2551 718-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6217 0.3583 0.6000 1.0000 0.5763 0.1237 0.0001 0.3068 0.0000 1.0000 0.6217 0.3583 719-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4087 0.2763 0.4000 1.0000 0.6762 0.0561 0.0001 0.2352 0.0000 1.0000 0.4087 0.2763 720-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9522 0.1346 0.0000 0.8000 0.1413 0.9334 0.8889 0.0790 1.0000 1.0000 1.0000 0.0000 721-AH 0.0000 0.2000 0.2000 0.2000 0.6000 0.2000 0.1193 0.0000 0.6000 0.5963 0.0489 0.0001 0.0609 0.2000 0.2000 0.2000 0.0000 722-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6609 0.3037 0.2000 1.0000 0.4595 0.2099 0.0001 0.2382 0.4000 1.0000 0.7550 0.1894 723-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0174 0.0709 0.0000 0.4000 4.0757 0.0000 0.0000 0.0325 0.0000 0.0000 0.0000 0.0000 724-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9087 0.1380 0.2000 0.4000 0.1518 0.8968 0.8832 0.1191 0.6000 1.0000 0.9087 0.1380 725-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9217 0.1298 0.2000 0.4000 0.1408 0.9113 0.8990 0.1089 0.6000 1.0000 0.9217 0.1298 726-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1522 0.1410 0.2000 0.4000 0.9266 0.0046 0.0000 0.1191 0.0000 0.4000 0.1522 0.1410 727-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0261 0.0801 0.0000 0.4000 3.0704 0.0000 0.0000 0.0465 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2522 0.2248 0.4000 0.8000 0.8916 0.0167 0.0000 0.1811 0.0000 0.8000 0.2522 0.2248 729-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3000 0.1619 0.2000 0.6000 0.5398 0.0835 0.0001 0.1391 0.0000 0.6000 0.3000 0.1619 730-AH 0.0000 0.0000 0.8000 1.0000 1.0000 0.5696 0.4278 1.0000 1.0000 0.7512 0.0305 0.0000 0.3936 0.0000 1.0000 0.5696 0.4278 731-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7391 0.3721 0.4000 1.0000 0.5034 0.1479 0.0001 0.3021 0.2000 1.0000 0.8718 0.2127 732-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1304 0.1412 0.2000 0.4000 1.0827 0.0019 0.0000 0.1248 0.0000 0.4000 0.1304 0.1412 733-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7043 0.2883 0.4000 1.0000 0.4093 0.3419 0.0002 0.2295 0.2000 1.0000 0.7535 0.2261 734-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6609 0.3262 0.2000 1.0000 0.4937 0.2036 0.0001 0.2650 0.4000 1.0000 0.8000 0.1700 735-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5217 0.3333 0.6000 1.0000 0.6388 0.1035 0.0001 0.2832 0.0000 1.0000 0.5217 0.3333 736-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1174 0.1495 0.2000 0.4000 1.2737 0.0008 0.0000 0.1327 0.0000 0.4000 0.1174 0.1495 737-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1522 0.1696 0.2000 0.6000 1.1147 0.0021 0.0000 0.1456 0.0000 0.4000 0.1422 0.1574 738-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6435 0.2794 0.4000 1.0000 0.4342 0.4625 0.0005 0.2280 0.0000 1.0000 0.6435 0.2794 739-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9522 0.1531 0.0000 0.6000 0.1608 0.9329 0.9020 0.0853 1.0000 1.0000 1.0000 0.0000 740-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.1913 0.1976 0.4000 1.0000 1.0328 0.0063 0.0000 0.1414 0.0000 1.0000 0.1913 0.1976 741-AH 0.0000 0.2000 0.5000 0.8000 1.0000 0.4957 0.2913 0.6000 1.0000 0.5878 0.1248 0.0001 0.2522 0.0000 1.0000 0.4957 0.2913 742-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.7957 0.2650 0.4000 0.8000 0.3330 0.7360 0.6556 0.2318 0.2000 1.0000 0.7957 0.2650 743-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1913 0.1631 0.2000 0.6000 0.8524 0.0141 0.0000 0.1081 0.0000 0.4000 0.1628 0.1254 744-AH 0.0000 0.2000 0.9000 1.0000 1.0000 0.6609 0.4085 0.8000 1.0000 0.6181 0.1016 0.0001 0.3633 0.0000 1.0000 0.6609 0.4085 745-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.3696 0.2457 0.4000 1.0000 0.6649 0.0638 0.0001 0.2023 0.0000 1.0000 0.3696 0.2457 746-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2304 0.1518 0.2000 0.6000 0.6589 0.0442 0.0001 0.1132 0.0000 0.6000 0.2304 0.1518 747-AH 0.0000 0.6000 0.7000 0.8000 1.0000 0.6522 0.2648 0.2000 1.0000 0.4060 0.3211 0.0002 0.2087 0.4000 1.0000 0.7095 0.1936 748-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0522 0.0888 0.2000 0.2000 1.7019 0.0001 0.0000 0.0771 0.0000 0.2000 0.0522 0.0888 749-AH 0.0000 0.2000 0.6000 1.0000 1.0000 0.5522 0.3869 0.8000 1.0000 0.7006 0.0700 0.0001 0.3389 0.0000 1.0000 0.5522 0.3869 750-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1174 0.1495 0.2000 0.6000 1.2737 0.0010 0.0000 0.1276 0.0000 0.4000 0.1067 0.1321 40 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2000 0.3000 0.5000 0.7000 0.3043 0.1909 0.3000 0.7000 0.6271 0.1166 0.0001 0.1575 0.0000 0.7000 0.3043 0.1909 702-AH 0.0000 0.8000 0.9000 1.0000 1.0000 0.7783 0.2788 0.2000 1.0000 0.3583 0.4647 0.0002 0.2070 0.7000 1.0000 0.9027 0.0866 703-AH 0.2000 0.5000 0.7000 1.0000 1.0000 0.7022 0.2629 0.5000 0.8000 0.3744 0.6388 0.5581 0.2198 0.2000 1.0000 0.7022 0.2629 704-AH 0.0000 0.1000 0.1000 0.4000 0.9000 0.2630 0.2719 0.3000 0.9000 1.0337 0.0477 0.0001 0.2175 0.0000 0.8000 0.2341 0.2401 705-AH 0.0000 0.3000 0.4000 0.4000 0.5000 0.3543 0.1312 0.1000 0.5000 0.3701 0.1846 0.0002 0.1014 0.2000 0.5000 0.3791 0.0940 706-AH 0.2000 0.8000 0.8000 0.9000 0.9000 0.7848 0.1549 0.1000 0.7000 0.1973 0.7582 0.7069 0.0940 0.7000 0.9000 0.8293 0.0642 707-AH 0.1000 0.5000 0.6000 0.8000 1.0000 0.6174 0.2090 0.3000 0.9000 0.3386 0.5740 0.5114 0.1682 0.1000 1.0000 0.6174 0.2090 708-AH 0.0000 0.7000 0.9000 0.9000 1.0000 0.7196 0.2986 0.2000 1.0000 0.4150 0.2275 0.0001 0.2206 0.4000 1.0000 0.8250 0.1235 709-AH 0.1000 0.5000 0.5500 0.6000 0.9000 0.5522 0.1823 0.1000 0.8000 0.3301 0.5156 0.4635 0.1391 0.4000 0.7000 0.5576 0.0867 710-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1065 0.1083 0.2000 0.3000 1.0169 0.0036 0.0000 0.0873 0.0000 0.3000 0.1065 0.1083 711-AH 0.0000 0.0000 0.3000 0.4000 0.5000 0.2109 0.1991 0.4000 0.5000 0.9444 0.0037 0.0000 0.1887 0.0000 0.5000 0.2109 0.1991 712-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.7804 0.3229 0.3000 1.0000 0.4138 0.3040 0.0001 0.2560 0.3000 1.0000 0.8548 0.2222 713-AH 0.0000 0.3000 0.6000 0.7000 0.9000 0.5043 0.2691 0.4000 0.9000 0.5336 0.1548 0.0001 0.2216 0.0000 0.9000 0.5043 0.2691 714-AH 0.0000 0.5000 0.7500 0.8000 0.9000 0.6239 0.2930 0.3000 0.9000 0.4696 0.2815 0.0002 0.2373 0.1000 0.9000 0.6674 0.2495 715-AH 0.0000 0.2000 0.5000 0.7000 0.8000 0.4630 0.2831 0.5000 0.8000 0.6114 0.1687 0.0001 0.2592 0.0000 0.8000 0.4630 0.2831 716-AH 0.1000 0.4000 0.7000 0.9000 1.0000 0.6674 0.2813 0.5000 0.9000 0.4215 0.5707 0.4231 0.2280 0.1000 1.0000 0.6674 0.2813 717-AH 0.0000 0.1000 0.2500 0.4000 0.7000 0.2935 0.1937 0.3000 0.7000 0.6599 0.1620 0.0002 0.1587 0.0000 0.7000 0.2935 0.1937 718-AH 0.0000 0.4000 0.6000 0.7000 0.9000 0.5413 0.2926 0.3000 0.9000 0.5405 0.1113 0.0001 0.2356 0.0000 0.9000 0.5413 0.2926 719-AH 0.0000 0.2000 0.3000 0.4000 0.6000 0.2761 0.1580 0.2000 0.6000 0.5724 0.0629 0.0001 0.1235 0.0000 0.6000 0.2761 0.1580 720-AH 0.1000 0.9000 1.0000 1.0000 1.0000 0.9478 0.1394 0.1000 0.9000 0.1471 0.9186 0.8110 0.0726 0.8000 1.0000 0.9667 0.0564 721-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1978 0.1085 0.2000 0.4000 0.5485 0.0692 0.0001 0.0813 0.0000 0.4000 0.1978 0.1085 722-AH 0.0000 0.4000 0.5000 0.7000 0.9000 0.5174 0.2602 0.3000 0.9000 0.5029 0.2001 0.0001 0.2110 0.0000 0.9000 0.5174 0.2602 723-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1522 0.0913 0.1000 0.3000 0.5997 0.0265 0.0001 0.0777 0.0000 0.3000 0.1522 0.0913 724-AH 0.4000 0.7000 0.9000 1.0000 1.0000 0.8022 0.2005 0.3000 0.6000 0.2500 0.7731 0.7393 0.1716 0.4000 1.0000 0.8022 0.2005 725-AH 0.6000 0.9000 0.9000 1.0000 1.0000 0.9022 0.0931 0.1000 0.4000 0.1032 0.8970 0.8913 0.0638 0.8000 1.0000 0.9186 0.0699 726-AH 0.0000 0.1000 0.2000 0.2000 0.6000 0.1848 0.1429 0.1000 0.6000 0.7735 0.0294 0.0001 0.0981 0.0000 0.3000 0.1463 0.0925 727-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0674 0.0818 0.1000 0.3000 1.2138 0.0009 0.0000 0.0703 0.0000 0.2000 0.0622 0.0747 728-AH 0.0000 0.1000 0.3000 0.3000 0.5000 0.2326 0.1317 0.2000 0.5000 0.5664 0.0655 0.0001 0.1095 0.0000 0.5000 0.2326 0.1317 729-AH 0.0000 0.1000 0.2000 0.4000 0.7000 0.2413 0.1681 0.3000 0.7000 0.6966 0.0933 0.0001 0.1365 0.0000 0.7000 0.2413 0.1681 730-AH 0.0000 0.1000 0.8000 0.9000 1.0000 0.5783 0.4125 0.8000 1.0000 0.7134 0.0812 0.0001 0.3873 0.0000 1.0000 0.5783 0.4125 731-AH 0.0000 0.6000 0.9000 1.0000 1.0000 0.7152 0.3651 0.4000 1.0000 0.5105 0.1407 0.0001 0.2912 0.1000 1.0000 0.8436 0.2162 732-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.0978 0.0906 0.2000 0.3000 0.9266 0.0035 0.0000 0.0766 0.0000 0.3000 0.0978 0.0906 733-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5717 0.2544 0.4000 1.0000 0.4450 0.3427 0.0002 0.2059 0.0000 1.0000 0.5717 0.2544 734-AH 0.0000 0.5000 0.8000 0.9000 1.0000 0.6652 0.2908 0.4000 1.0000 0.4371 0.3154 0.0002 0.2310 0.0000 1.0000 0.6652 0.2908 735-AH 0.0000 0.3000 0.4000 0.7000 0.9000 0.4587 0.2663 0.4000 0.9000 0.5806 0.1708 0.0001 0.2308 0.0000 0.9000 0.4587 0.2663 736-AH 0.0000 0.0000 0.1000 0.1000 0.4000 0.0913 0.1029 0.1000 0.4000 1.1271 0.0022 0.0000 0.0794 0.0000 0.2000 0.0690 0.0749 737-AH 0.0000 0.0000 0.1000 0.2000 0.7000 0.1261 0.1389 0.2000 0.7000 1.1019 0.0056 0.0000 0.1047 0.0000 0.3000 0.1133 0.1100 738-AH 0.1000 0.5000 0.7000 0.8000 0.9000 0.6283 0.2287 0.3000 0.8000 0.3640 0.5629 0.4525 0.1842 0.1000 0.9000 0.6283 0.2287 739-AH 0.3000 0.9000 1.0000 1.0000 1.0000 0.9065 0.1756 0.1000 0.7000 0.1937 0.8826 0.8471 0.1301 0.8000 1.0000 0.9789 0.0528 740-AH 0.0000 0.0000 0.1000 0.2000 0.7000 0.1326 0.1334 0.2000 0.7000 1.0061 0.0103 0.0000 0.0976 0.0000 0.4000 0.1200 0.1036 741-AH 0.0000 0.2000 0.4000 0.5000 0.6000 0.3457 0.1846 0.3000 0.6000 0.5342 0.1630 0.0002 0.1551 0.0000 0.6000 0.3457 0.1846 742-AH 0.1000 0.4000 0.8000 0.8000 0.9000 0.6370 0.2407 0.4000 0.8000 0.3779 0.5708 0.4777 0.2127 0.1000 0.9000 0.6370 0.2407 743-AH 0.0000 0.1000 0.1000 0.2000 0.4000 0.1652 0.1140 0.1000 0.4000 0.6897 0.0676 0.0001 0.0911 0.0000 0.3000 0.1300 0.0723 744-AH 0.0000 0.3000 0.7000 0.8000 1.0000 0.5522 0.3202 0.5000 1.0000 0.5800 0.1973 0.0001 0.2866 0.0000 1.0000 0.5522 0.3202 745-AH 0.0000 0.2000 0.3000 0.4000 0.8000 0.3043 0.2022 0.2000 0.8000 0.6642 0.0552 0.0001 0.1406 0.0000 0.7000 0.2818 0.1756 746-AH 0.0000 0.2000 0.2500 0.4000 0.7000 0.2761 0.1594 0.2000 0.7000 0.5774 0.1108 0.0001 0.1326 0.0000 0.7000 0.2761 0.1594 747-AH 0.0000 0.4000 0.6000 0.8000 0.9000 0.6022 0.2333 0.4000 0.9000 0.3875 0.4467 0.0005 0.1893 0.0000 0.9000 0.6022 0.2333 748-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0543 0.0780 0.1000 0.3000 1.4361 0.0005 0.0000 0.0638 0.0000 0.2000 0.0432 0.0587 749-AH 0.0000 0.3000 0.4000 0.8000 1.0000 0.4674 0.3225 0.5000 1.0000 0.6901 0.0622 0.0001 0.2703 0.0000 1.0000 0.4674 0.3225 750-AH 0.0000 0.0000 0.1500 0.2000 0.6000 0.1326 0.1351 0.2000 0.6000 1.0186 0.0041 0.0000 0.1109 0.0000 0.4000 0.1222 0.1166 41 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.1333 0.2667 0.4000 0.6000 0.2609 0.1486 0.2667 0.6000 0.5697 0.1240 0.0002 0.1251 0.0000 0.6000 0.2609 0.1486 702-AH 0.0000 0.6000 0.9000 0.9333 1.0000 0.7319 0.2956 0.3333 1.0000 0.4039 0.5134 0.0005 0.2452 0.1333 1.0000 0.7798 0.2397 703-AH 0.1333 0.4667 0.6000 0.8000 0.8667 0.5826 0.2166 0.3333 0.7333 0.3717 0.5263 0.4471 0.1719 0.1333 0.8667 0.5826 0.2166 704-AH 0.0000 0.0667 0.1333 0.3333 0.8667 0.2203 0.2274 0.2667 0.8667 1.0324 0.0482 0.0001 0.1812 0.0000 0.7333 0.1924 0.1892 705-AH 0.0000 0.3333 0.4000 0.4667 0.6667 0.3812 0.1270 0.1333 0.6667 0.3332 0.2962 0.0005 0.0938 0.2000 0.5333 0.3756 0.0827 706-AH 0.1333 0.7333 0.8000 0.8667 0.9333 0.7652 0.1798 0.1333 0.8000 0.2350 0.7245 0.6356 0.1193 0.5333 0.9333 0.8047 0.0980 707-AH 0.2000 0.5333 0.6000 0.7333 0.9333 0.6014 0.1736 0.2000 0.7333 0.2886 0.5723 0.5370 0.1379 0.2667 0.9333 0.6104 0.1645 708-AH 0.0000 0.8000 0.8667 0.9333 0.9333 0.7420 0.3081 0.1333 0.9333 0.4152 0.2321 0.0001 0.2302 0.6000 0.9333 0.8702 0.0929 709-AH 0.0667 0.4000 0.4667 0.5333 0.8667 0.4986 0.1588 0.1333 0.8000 0.3186 0.4682 0.4154 0.1129 0.2000 0.6667 0.4667 0.0906 710-AH 0.0000 0.0667 0.0667 0.2000 0.3333 0.1159 0.1074 0.1333 0.3333 0.9266 0.0155 0.0000 0.0911 0.0000 0.3333 0.1159 0.1074 711-AH 0.0000 0.0000 0.2333 0.3333 0.4000 0.1797 0.1480 0.3333 0.4000 0.8235 0.0107 0.0000 0.1380 0.0000 0.4000 0.1797 0.1480 712-AH 0.0000 0.4667 0.6667 0.6667 0.6667 0.5290 0.2143 0.2000 0.6667 0.4050 0.2574 0.0002 0.1711 0.2000 0.6667 0.5778 0.1492 713-AH 0.0000 0.2000 0.5667 0.6667 0.8667 0.4754 0.2598 0.4667 0.8667 0.5465 0.1735 0.0001 0.2192 0.0000 0.8667 0.4754 0.2598 714-AH 0.0000 0.5333 0.7333 0.8000 0.8667 0.6087 0.2632 0.2667 0.8667 0.4323 0.4000 0.0005 0.2024 0.2000 0.8667 0.7077 0.1258 715-AH 0.0000 0.1333 0.4000 0.5333 0.6000 0.3507 0.1924 0.4000 0.6000 0.5486 0.1999 0.0002 0.1790 0.0000 0.6000 0.3507 0.1924 716-AH 0.0667 0.3333 0.6333 0.8000 0.8667 0.5696 0.2529 0.4667 0.8000 0.4440 0.4816 0.3453 0.2183 0.0667 0.8667 0.5696 0.2529 717-AH 0.0000 0.1333 0.1667 0.2667 0.5333 0.2087 0.1277 0.1333 0.5333 0.6121 0.1443 0.0005 0.1059 0.0000 0.4667 0.2015 0.1193 718-AH 0.0000 0.3333 0.6667 0.7333 0.8000 0.5116 0.2682 0.4000 0.8000 0.5242 0.1076 0.0001 0.2255 0.0000 0.8000 0.5116 0.2682 719-AH 0.0000 0.1333 0.2000 0.2667 0.4667 0.1913 0.1112 0.1333 0.4667 0.5813 0.0459 0.0001 0.0846 0.0000 0.4667 0.1913 0.1112 720-AH 0.0667 0.9333 1.0000 1.0000 1.0000 0.9449 0.1393 0.0667 0.9333 0.1475 0.9091 0.7448 0.0599 0.8667 1.0000 0.9644 0.0440 721-AH 0.0000 0.1333 0.2000 0.2667 0.3333 0.1754 0.0824 0.1333 0.3333 0.4698 0.0917 0.0002 0.0674 0.0000 0.3333 0.1754 0.0824 722-AH 0.0000 0.2667 0.5000 0.6000 0.8000 0.4580 0.2189 0.3333 0.8000 0.4780 0.3173 0.0005 0.1841 0.0000 0.8000 0.4580 0.2189 723-AH 0.0000 0.1333 0.2000 0.2667 0.3333 0.1884 0.0935 0.1333 0.3333 0.4965 0.0967 0.0002 0.0769 0.0000 0.3333 0.1884 0.0935 724-AH 0.3333 0.6667 0.7333 0.8667 0.9333 0.7188 0.1709 0.2000 0.6000 0.2378 0.6945 0.6646 0.1375 0.4000 0.9333 0.7457 0.1412 725-AH 0.6000 0.8667 0.9333 0.9333 1.0000 0.9072 0.0825 0.0667 0.4000 0.0910 0.9031 0.8985 0.0612 0.8000 1.0000 0.9225 0.0581 726-AH 0.0000 0.1333 0.2000 0.2667 0.5333 0.2217 0.1406 0.1333 0.5333 0.6340 0.0512 0.0001 0.1077 0.0000 0.4667 0.2076 0.1263 727-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0739 0.0566 0.1333 0.2000 0.7660 0.0072 0.0000 0.0468 0.0000 0.2000 0.0739 0.0566 728-AH 0.0000 0.1333 0.2000 0.3333 0.4667 0.2130 0.1181 0.2000 0.4667 0.5544 0.0877 0.0001 0.0959 0.0000 0.4667 0.2130 0.1181 729-AH 0.0000 0.1333 0.1333 0.2667 0.5333 0.1986 0.1261 0.1333 0.5333 0.6351 0.1368 0.0005 0.1028 0.0000 0.4000 0.1833 0.1058 730-AH 0.0000 0.0667 0.7000 0.9333 1.0000 0.5623 0.3952 0.8667 1.0000 0.7028 0.1641 0.0001 0.3647 0.0000 1.0000 0.5623 0.3952 731-AH 0.0000 0.4667 0.8667 0.9333 1.0000 0.7014 0.3610 0.4667 1.0000 0.5146 0.1982 0.0001 0.2950 0.0000 1.0000 0.7014 0.3610 732-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0870 0.0768 0.1333 0.2667 0.8833 0.0055 0.0000 0.0655 0.0000 0.2667 0.0870 0.0768 733-AH 0.0000 0.3333 0.6000 0.7333 1.0000 0.5435 0.2522 0.4000 1.0000 0.4640 0.3211 0.0002 0.2155 0.0000 1.0000 0.5435 0.2522 734-AH 0.0000 0.4667 0.7333 0.8667 1.0000 0.6449 0.2925 0.4000 1.0000 0.4535 0.3026 0.0002 0.2448 0.0000 1.0000 0.6449 0.2925 735-AH 0.0000 0.2667 0.4000 0.6000 0.8667 0.4217 0.2360 0.3333 0.8667 0.5597 0.1619 0.0001 0.2004 0.0000 0.8667 0.4217 0.2360 736-AH 0.0000 0.0667 0.0667 0.1333 0.2667 0.0928 0.0750 0.0667 0.2667 0.8086 0.0117 0.0000 0.0625 0.0000 0.2000 0.0848 0.0665 737-AH 0.0000 0.0000 0.0667 0.1333 0.6000 0.0971 0.1049 0.1333 0.6000 1.0803 0.0081 0.0000 0.0747 0.0000 0.2000 0.0859 0.0733 738-AH 0.0667 0.6000 0.6667 0.7333 0.9333 0.6304 0.2030 0.1333 0.8667 0.3221 0.5739 0.4652 0.1471 0.4667 0.9333 0.6967 0.1109 739-AH 0.2000 0.8000 0.8667 1.0000 1.0000 0.8522 0.1816 0.2000 0.8000 0.2131 0.8240 0.7770 0.1332 0.6667 1.0000 0.8952 0.1142 740-AH 0.0000 0.0000 0.1333 0.1333 0.5333 0.1072 0.1008 0.1333 0.5333 0.9403 0.0108 0.0000 0.0736 0.0000 0.3333 0.0978 0.0786 741-AH 0.0000 0.2000 0.2667 0.4000 0.5333 0.2638 0.1440 0.2000 0.5333 0.5459 0.1251 0.0002 0.1084 0.0000 0.5333 0.2638 0.1440 742-AH 0.0667 0.3333 0.5333 0.6000 0.6667 0.4667 0.1590 0.2667 0.6000 0.3407 0.4257 0.3608 0.1333 0.0667 0.6667 0.4667 0.1590 743-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1333 0.0770 0.1333 0.3333 0.5774 0.0811 0.0002 0.0580 0.0000 0.3333 0.1333 0.0770 744-AH 0.0000 0.3333 0.5000 0.6667 0.8000 0.4696 0.2442 0.3333 0.8000 0.5201 0.1788 0.0001 0.2029 0.0000 0.8000 0.4696 0.2442 745-AH 0.0000 0.2000 0.2667 0.3333 0.6000 0.2768 0.1348 0.1333 0.6000 0.4869 0.1710 0.0002 0.0957 0.0000 0.4667 0.2543 0.1072 746-AH 0.0000 0.1333 0.2667 0.3333 0.6000 0.2725 0.1545 0.2000 0.6000 0.5670 0.1325 0.0002 0.1278 0.0000 0.6000 0.2725 0.1545 747-AH 0.0000 0.3333 0.5333 0.7333 0.9333 0.5362 0.2356 0.4000 0.9333 0.4393 0.3909 0.0005 0.1859 0.0000 0.9333 0.5362 0.2356 748-AH 0.0000 0.0000 0.0000 0.0667 0.3333 0.0507 0.0785 0.0667 0.3333 1.5473 0.0006 0.0000 0.0551 0.0000 0.1333 0.0302 0.0395 749-AH 0.0000 0.2000 0.4000 0.6667 0.9333 0.4275 0.3141 0.4667 0.9333 0.7348 0.0681 0.0001 0.2577 0.0000 0.9333 0.4275 0.3141 750-AH 0.0000 0.0667 0.1333 0.2000 0.4667 0.1391 0.1174 0.1333 0.4667 0.8441 0.0156 0.0000 0.0938 0.0000 0.2667 0.1194 0.0926 42 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0500 0.1000 0.2500 0.3000 0.4500 0.2272 0.1114 0.2000 0.4000 0.4904 0.1906 0.1478 0.0975 0.0500 0.4500 0.2272 0.1114 702-AH 0.1000 0.4500 0.8000 0.9500 1.0000 0.6913 0.2872 0.5000 0.9000 0.4154 0.6042 0.4801 0.2551 0.1000 1.0000 0.6913 0.2872 703-AH 0.1500 0.4500 0.5500 0.6500 0.8000 0.5163 0.1560 0.2000 0.6500 0.3022 0.4874 0.4509 0.1279 0.1500 0.8000 0.5163 0.1560 704-AH 0.0000 0.0500 0.1750 0.2500 0.8000 0.2043 0.2081 0.2000 0.8000 1.0185 0.0537 0.0001 0.1555 0.0000 0.4500 0.1640 0.1441 705-AH 0.0000 0.3000 0.4000 0.4500 0.7500 0.3826 0.1317 0.1500 0.7500 0.3443 0.2974 0.0005 0.0914 0.2000 0.5000 0.3679 0.0840 706-AH 0.1000 0.6500 0.8000 0.8500 0.9000 0.7380 0.1768 0.2000 0.8000 0.2395 0.6983 0.6109 0.1254 0.5500 0.9000 0.7767 0.0984 707-AH 0.2000 0.5500 0.6000 0.6500 0.7000 0.5685 0.1343 0.1000 0.5000 0.2363 0.5466 0.5153 0.0984 0.5000 0.7000 0.6224 0.0578 708-AH 0.0000 0.7000 0.9000 0.9500 0.9500 0.7500 0.3102 0.2500 0.9500 0.4136 0.2332 0.0001 0.2283 0.5000 0.9500 0.8612 0.1168 709-AH 0.2000 0.4000 0.4500 0.5500 0.7500 0.4761 0.1210 0.1500 0.5500 0.2541 0.4606 0.4443 0.0936 0.2000 0.7500 0.4761 0.1210 710-AH 0.0000 0.0500 0.0500 0.2500 0.3500 0.1109 0.1115 0.2000 0.3500 1.0058 0.0140 0.0000 0.0973 0.0000 0.3500 0.1109 0.1115 711-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1685 0.1364 0.3000 0.4000 0.8094 0.0146 0.0000 0.1248 0.0000 0.4000 0.1685 0.1364 712-AH 0.0000 0.3500 0.5000 0.5000 0.5000 0.4033 0.1558 0.1500 0.5000 0.3863 0.2021 0.0002 0.1239 0.1500 0.5000 0.4405 0.1014 713-AH 0.0000 0.2500 0.5500 0.6500 0.8000 0.4500 0.2510 0.4000 0.8000 0.5578 0.1650 0.0001 0.2217 0.0000 0.8000 0.4500 0.2510 714-AH 0.0000 0.5500 0.6750 0.7500 0.8500 0.5707 0.2516 0.2000 0.8500 0.4408 0.3662 0.0005 0.1930 0.4000 0.8500 0.6763 0.0998 715-AH 0.0000 0.1000 0.3250 0.4000 0.4500 0.2707 0.1485 0.3000 0.4500 0.5488 0.1554 0.0002 0.1384 0.0000 0.4500 0.2707 0.1485 716-AH 0.0500 0.3500 0.5000 0.7000 0.7500 0.4880 0.2012 0.3500 0.7000 0.4122 0.4175 0.2901 0.1695 0.0500 0.7500 0.4880 0.2012 717-AH 0.0000 0.1000 0.1500 0.2000 0.4000 0.1728 0.0929 0.1000 0.4000 0.5376 0.1247 0.0005 0.0760 0.0000 0.3500 0.1678 0.0874 718-AH 0.0000 0.3500 0.6000 0.7000 0.8000 0.4913 0.2636 0.3500 0.8000 0.5365 0.1246 0.0001 0.2236 0.0000 0.8000 0.4913 0.2636 719-AH 0.0000 0.1000 0.1500 0.2000 0.3500 0.1533 0.0909 0.1000 0.3500 0.5933 0.0451 0.0001 0.0669 0.0000 0.3500 0.1533 0.0909 720-AH 0.1000 0.9500 0.9500 1.0000 1.0000 0.9380 0.1391 0.0500 0.9000 0.1483 0.9089 0.8033 0.0594 0.9000 1.0000 0.9663 0.0322 721-AH 0.0000 0.1000 0.1500 0.2000 0.2500 0.1576 0.0567 0.1000 0.2500 0.3600 0.1229 0.0005 0.0440 0.0000 0.2500 0.1576 0.0567 722-AH 0.0000 0.2000 0.4500 0.6000 0.7500 0.4109 0.1918 0.4000 0.7500 0.4667 0.2924 0.0005 0.1638 0.0000 0.7500 0.4109 0.1918 723-AH 0.0000 0.1000 0.2000 0.2500 0.3500 0.1870 0.0878 0.1500 0.3500 0.4698 0.0974 0.0002 0.0756 0.0000 0.3500 0.1870 0.0878 724-AH 0.2500 0.5500 0.6500 0.7500 0.8000 0.6380 0.1330 0.2000 0.5500 0.2084 0.6216 0.6010 0.1042 0.3500 0.8000 0.6467 0.1208 725-AH 0.6000 0.9000 0.9500 0.9500 1.0000 0.9130 0.0792 0.0500 0.4000 0.0867 0.9091 0.9046 0.0553 0.8500 1.0000 0.9302 0.0438 726-AH 0.0000 0.2000 0.3000 0.3500 0.5000 0.2609 0.1505 0.1500 0.5000 0.5770 0.0590 0.0001 0.1198 0.0000 0.5000 0.2609 0.1505 727-AH 0.0000 0.0500 0.0750 0.1000 0.1500 0.0739 0.0431 0.0500 0.1500 0.5835 0.0243 0.0001 0.0370 0.0000 0.1500 0.0739 0.0431 728-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1989 0.1046 0.2000 0.4000 0.5259 0.1001 0.0002 0.0796 0.0000 0.4000 0.1989 0.1046 729-AH 0.0000 0.1000 0.1750 0.2500 0.5500 0.1772 0.1182 0.1500 0.5500 0.6670 0.1199 0.0005 0.0902 0.0000 0.3000 0.1602 0.0886 730-AH 0.0000 0.1000 0.6750 0.8000 1.0000 0.5109 0.3568 0.7000 1.0000 0.6985 0.1803 0.0002 0.3281 0.0000 1.0000 0.5109 0.3568 731-AH 0.0000 0.4500 0.8500 0.9500 1.0000 0.6707 0.3588 0.5000 1.0000 0.5350 0.1853 0.0001 0.2961 0.0000 1.0000 0.6707 0.3588 732-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0772 0.0664 0.1000 0.2000 0.8607 0.0071 0.0000 0.0566 0.0000 0.2000 0.0772 0.0664 733-AH 0.0000 0.3000 0.6000 0.7000 0.9000 0.5098 0.2549 0.4000 0.9000 0.5000 0.2933 0.0002 0.2237 0.0000 0.9000 0.5098 0.2549 734-AH 0.0000 0.4000 0.7250 0.9000 0.9500 0.6207 0.3008 0.5000 0.9500 0.4847 0.4079 0.0005 0.2596 0.0000 0.9500 0.6207 0.3008 735-AH 0.0000 0.2500 0.4250 0.6000 0.8500 0.4098 0.2245 0.3500 0.8500 0.5479 0.1568 0.0001 0.1902 0.0000 0.8500 0.4098 0.2245 736-AH 0.0000 0.0500 0.1000 0.1000 0.3000 0.0870 0.0636 0.0500 0.3000 0.7317 0.0267 0.0001 0.0484 0.0000 0.1500 0.0756 0.0468 737-AH 0.0000 0.0500 0.0500 0.1500 0.5000 0.0902 0.0886 0.1000 0.5000 0.9819 0.0154 0.0001 0.0633 0.0000 0.2500 0.0811 0.0642 738-AH 0.0500 0.5500 0.6500 0.7500 0.9500 0.6217 0.2040 0.2000 0.9000 0.3282 0.5600 0.4279 0.1509 0.4000 0.9500 0.6793 0.1230 739-AH 0.3000 0.7000 0.8500 0.9000 0.9500 0.7957 0.1646 0.2000 0.6500 0.2069 0.7734 0.7431 0.1252 0.4500 0.9500 0.8170 0.1325 740-AH 0.0000 0.0500 0.1000 0.1500 0.4000 0.0935 0.0800 0.1000 0.4000 0.8559 0.0139 0.0000 0.0577 0.0000 0.3000 0.0867 0.0661 741-AH 0.0000 0.1500 0.2250 0.3000 0.4000 0.2239 0.1129 0.1500 0.4000 0.5043 0.1307 0.0002 0.0935 0.0000 0.4000 0.2239 0.1129 742-AH 0.1000 0.2500 0.4000 0.4500 0.5000 0.3641 0.1177 0.2000 0.4000 0.3232 0.3381 0.3030 0.1005 0.1000 0.5000 0.3641 0.1177 743-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1174 0.0643 0.1000 0.2500 0.5478 0.0714 0.0002 0.0551 0.0000 0.2500 0.1174 0.0643 744-AH 0.0000 0.2500 0.4500 0.5500 0.7000 0.4033 0.2107 0.3000 0.7000 0.5224 0.1557 0.0001 0.1810 0.0000 0.7000 0.4033 0.2107 745-AH 0.0000 0.2000 0.2500 0.3000 0.5500 0.2511 0.1046 0.1000 0.5500 0.4166 0.1929 0.0005 0.0733 0.1000 0.4000 0.2381 0.0714 746-AH 0.0000 0.1500 0.2500 0.3500 0.6000 0.2478 0.1494 0.2000 0.6000 0.6030 0.1188 0.0002 0.1177 0.0000 0.6000 0.2478 0.1494 747-AH 0.0000 0.4000 0.5000 0.7000 0.9500 0.5228 0.2235 0.3000 0.9500 0.4275 0.3855 0.0005 0.1803 0.0000 0.9500 0.5228 0.2235 748-AH 0.0000 0.0000 0.0500 0.1000 0.2500 0.0543 0.0657 0.1000 0.2500 1.2085 0.0023 0.0000 0.0456 0.0000 0.2500 0.0543 0.0657 749-AH 0.0000 0.2000 0.3500 0.5000 0.9500 0.3957 0.3031 0.3000 0.9500 0.7661 0.0646 0.0001 0.2389 0.0000 0.9500 0.3957 0.3031 750-AH 0.0000 0.0500 0.1500 0.2000 0.4000 0.1522 0.1033 0.1500 0.4000 0.6785 0.0252 0.0001 0.0827 0.0000 0.4000 0.1522 0.1033 43 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0333 0.1333 0.2000 0.2333 0.3667 0.1826 0.0800 0.1000 0.3333 0.4383 0.1605 0.1325 0.0660 0.0333 0.3667 0.1826 0.0800 702-AH 0.1000 0.3333 0.7000 0.7667 0.8333 0.5529 0.2365 0.4333 0.7333 0.4277 0.4823 0.3891 0.2141 0.1000 0.8333 0.5529 0.2365 703-AH 0.1667 0.3667 0.4333 0.5000 0.5667 0.4261 0.1013 0.1333 0.4000 0.2378 0.4116 0.3933 0.0824 0.2667 0.5667 0.4379 0.0864 704-AH 0.0000 0.0333 0.1500 0.2333 0.7333 0.1659 0.1664 0.2000 0.7333 1.0026 0.0513 0.0001 0.1254 0.0000 0.5000 0.1447 0.1337 705-AH 0.0333 0.2667 0.3333 0.4000 0.8000 0.3667 0.1713 0.1333 0.7667 0.4671 0.3276 0.2704 0.1275 0.1667 0.5333 0.3081 0.0818 706-AH 0.0667 0.7000 0.7667 0.8000 0.8667 0.7072 0.1768 0.1000 0.8000 0.2500 0.6574 0.5298 0.1126 0.6000 0.8667 0.7593 0.0689 707-AH 0.1333 0.4667 0.5500 0.6333 0.6333 0.5254 0.1246 0.1667 0.5000 0.2371 0.5040 0.4701 0.0974 0.3333 0.6333 0.5496 0.0856 708-AH 0.0000 0.6667 0.8833 0.9333 0.9667 0.7428 0.3090 0.2667 0.9667 0.4160 0.2784 0.0001 0.2333 0.4667 0.9667 0.8508 0.1346 709-AH 0.2000 0.4000 0.4667 0.5333 0.7333 0.4514 0.1058 0.1333 0.5333 0.2344 0.4368 0.4186 0.0794 0.2000 0.7333 0.4514 0.1058 710-AH 0.0000 0.0333 0.0500 0.2000 0.3000 0.1022 0.1036 0.1667 0.3000 1.0141 0.0149 0.0001 0.0912 0.0000 0.3000 0.1022 0.1036 711-AH 0.0000 0.0333 0.1500 0.2667 0.3667 0.1442 0.1207 0.2333 0.3667 0.8371 0.0149 0.0000 0.1080 0.0000 0.3667 0.1442 0.1207 712-AH 0.0000 0.2333 0.3333 0.3333 0.3333 0.2696 0.1042 0.1000 0.3333 0.3865 0.1386 0.0002 0.0830 0.1000 0.3333 0.2944 0.0678 713-AH 0.0000 0.2000 0.4333 0.5667 0.7000 0.3906 0.2260 0.3667 0.7000 0.5787 0.1442 0.0001 0.1966 0.0000 0.7000 0.3906 0.2260 714-AH 0.0333 0.4000 0.6667 0.7333 0.7667 0.5239 0.2499 0.3333 0.7333 0.4770 0.3852 0.1734 0.2079 0.0333 0.7667 0.5239 0.2499 715-AH 0.0000 0.1000 0.2667 0.2667 0.3000 0.1986 0.0984 0.1667 0.3000 0.4954 0.1187 0.0002 0.0887 0.0000 0.3000 0.1986 0.0984 716-AH 0.0333 0.3000 0.4000 0.4667 0.5667 0.3703 0.1319 0.1667 0.5333 0.3562 0.3264 0.2344 0.1033 0.0667 0.5667 0.3856 0.1126 717-AH 0.0000 0.0667 0.1333 0.1667 0.2667 0.1297 0.0622 0.1000 0.2667 0.4792 0.0966 0.0005 0.0479 0.0000 0.2667 0.1297 0.0622 718-AH 0.0000 0.3333 0.5000 0.6667 0.7000 0.4543 0.2292 0.3333 0.7000 0.5044 0.2092 0.0002 0.1907 0.0000 0.7000 0.4543 0.2292 719-AH 0.0000 0.0667 0.1167 0.1333 0.2667 0.1123 0.0725 0.0667 0.2667 0.6452 0.0337 0.0001 0.0543 0.0000 0.2000 0.0976 0.0567 720-AH 0.1667 0.9333 0.9667 1.0000 1.0000 0.9319 0.1445 0.0667 0.8333 0.1551 0.9081 0.8487 0.0677 0.8667 1.0000 0.9643 0.0320 721-AH 0.0000 0.1333 0.1333 0.1667 0.1667 0.1333 0.0391 0.0333 0.1667 0.2934 0.1055 0.0005 0.0232 0.1333 0.1667 0.1467 0.0165 722-AH 0.0000 0.2000 0.3833 0.4667 0.5333 0.3362 0.1469 0.2667 0.5333 0.4368 0.2473 0.0005 0.1287 0.0000 0.5333 0.3362 0.1469 723-AH 0.0000 0.1000 0.1667 0.2333 0.3667 0.1652 0.0816 0.1333 0.3667 0.4941 0.0861 0.0002 0.0653 0.0000 0.3667 0.1652 0.0816 724-AH 0.1667 0.5000 0.5667 0.6000 0.6333 0.5312 0.0997 0.1000 0.4667 0.1878 0.5182 0.4985 0.0698 0.4000 0.6333 0.5556 0.0587 725-AH 0.5667 0.9000 0.9333 0.9667 1.0000 0.8957 0.0998 0.0667 0.4333 0.1114 0.8894 0.8821 0.0733 0.8667 1.0000 0.9377 0.0321 726-AH 0.0000 0.1333 0.2667 0.3333 0.4667 0.2428 0.1479 0.2000 0.4667 0.6091 0.0537 0.0001 0.1233 0.0000 0.4667 0.2428 0.1479 727-AH 0.0000 0.0667 0.1000 0.1000 0.1667 0.0775 0.0404 0.0333 0.1667 0.5211 0.0304 0.0001 0.0321 0.0333 0.1333 0.0829 0.0263 728-AH 0.0000 0.1333 0.1667 0.2333 0.3333 0.1797 0.0871 0.1000 0.3333 0.4844 0.0937 0.0002 0.0698 0.0000 0.3333 0.1797 0.0871 729-AH 0.0333 0.0667 0.1333 0.1667 0.4333 0.1312 0.0884 0.1000 0.4000 0.6743 0.1061 0.0842 0.0619 0.0333 0.2333 0.1174 0.0612 730-AH 0.0000 0.1333 0.5333 0.6667 0.8333 0.4435 0.2898 0.5333 0.8333 0.6535 0.2469 0.0005 0.2624 0.0000 0.8333 0.4435 0.2898 731-AH 0.0000 0.3667 0.7667 0.8667 1.0000 0.6043 0.3358 0.5000 1.0000 0.5557 0.2341 0.0002 0.2873 0.0000 1.0000 0.6043 0.3358 732-AH 0.0000 0.0000 0.0667 0.1000 0.2667 0.0645 0.0577 0.1000 0.2667 0.8946 0.0073 0.0000 0.0458 0.0000 0.1333 0.0600 0.0495 733-AH 0.0000 0.2333 0.5000 0.7000 0.8667 0.4674 0.2533 0.4667 0.8667 0.5420 0.3147 0.0005 0.2195 0.0000 0.8667 0.4674 0.2533 734-AH 0.0333 0.3667 0.6500 0.8333 0.8667 0.5855 0.2669 0.4667 0.8333 0.4559 0.4866 0.3216 0.2350 0.0333 0.8667 0.5855 0.2669 735-AH 0.0000 0.2333 0.4000 0.5667 0.7667 0.3804 0.2031 0.3333 0.7667 0.5339 0.1491 0.0001 0.1746 0.0000 0.7667 0.3804 0.2031 736-AH 0.0000 0.0667 0.0667 0.1000 0.3000 0.0804 0.0556 0.0333 0.3000 0.6911 0.0254 0.0001 0.0402 0.0333 0.1333 0.0806 0.0291 737-AH 0.0000 0.0333 0.0667 0.1000 0.4333 0.0833 0.0782 0.0667 0.4333 0.9381 0.0203 0.0001 0.0529 0.0000 0.1333 0.0651 0.0435 738-AH 0.0333 0.5333 0.6000 0.6667 0.9667 0.5761 0.2121 0.1333 0.9333 0.3681 0.5019 0.3424 0.1548 0.3667 0.8667 0.6333 0.1207 739-AH 0.2333 0.7000 0.7333 0.8000 0.8667 0.7058 0.1449 0.1000 0.6333 0.2053 0.6855 0.6564 0.1031 0.6000 0.8667 0.7533 0.0715 740-AH 0.0000 0.0333 0.0667 0.1000 0.2667 0.0725 0.0581 0.0667 0.2667 0.8015 0.0136 0.0001 0.0430 0.0000 0.1667 0.0644 0.0445 741-AH 0.0000 0.1333 0.1833 0.2333 0.3000 0.1761 0.0871 0.1000 0.3000 0.4947 0.1227 0.0005 0.0732 0.0000 0.3000 0.1761 0.0871 742-AH 0.0667 0.2000 0.3000 0.3000 0.4000 0.2638 0.0854 0.1000 0.3333 0.3239 0.2442 0.2166 0.0679 0.0667 0.4000 0.2638 0.0854 743-AH 0.0000 0.0667 0.1000 0.1333 0.1667 0.0891 0.0450 0.0667 0.1667 0.5052 0.0557 0.0002 0.0374 0.0000 0.1667 0.0891 0.0450 744-AH 0.0000 0.2333 0.3667 0.4667 0.5000 0.3196 0.1518 0.2333 0.5000 0.4750 0.1310 0.0001 0.1257 0.0000 0.5000 0.3196 0.1518 745-AH 0.0000 0.2000 0.2333 0.2667 0.4333 0.2304 0.0766 0.0667 0.4333 0.3324 0.1818 0.0005 0.0526 0.1000 0.3333 0.2230 0.0518 746-AH 0.0000 0.1333 0.2333 0.3000 0.4667 0.2174 0.1133 0.1667 0.4667 0.5210 0.1092 0.0002 0.0862 0.0000 0.4667 0.2174 0.1133 747-AH 0.0333 0.4000 0.4667 0.6333 0.9000 0.5051 0.2158 0.2333 0.8667 0.4273 0.4415 0.3265 0.1726 0.1000 0.9000 0.5156 0.2060 748-AH 0.0000 0.0333 0.0333 0.0667 0.2000 0.0572 0.0561 0.0333 0.2000 0.9795 0.0077 0.0000 0.0419 0.0000 0.1000 0.0415 0.0331 749-AH 0.0000 0.2000 0.3333 0.4667 0.9000 0.3601 0.2900 0.2667 0.9000 0.8051 0.0696 0.0001 0.2286 0.0000 0.8333 0.2943 0.2318 750-AH 0.0000 0.0667 0.1500 0.2000 0.3000 0.1428 0.0836 0.1333 0.3000 0.5859 0.0498 0.0001 0.0688 0.0000 0.3000 0.1428 0.0836 44 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0100 0.0700 0.1000 0.1200 0.1500 0.0959 0.0394 0.0500 0.1400 0.4106 0.0833 0.0635 0.0322 0.0100 0.1500 0.0959 0.0394 702-AH 0.0700 0.2000 0.2200 0.2400 0.2700 0.2063 0.0487 0.0400 0.2000 0.2362 0.1985 0.1875 0.0360 0.1700 0.2700 0.2241 0.0238 703-AH 0.1200 0.2200 0.2600 0.2800 0.3200 0.2524 0.0423 0.0600 0.2000 0.1677 0.2484 0.2437 0.0344 0.1600 0.3200 0.2553 0.0378 704-AH 0.0000 0.0400 0.0650 0.1300 0.4200 0.0998 0.0921 0.0900 0.4200 0.9232 0.0471 0.0002 0.0698 0.0000 0.2300 0.0868 0.0698 705-AH 0.0100 0.2000 0.2200 0.3300 0.6200 0.2835 0.1505 0.1300 0.6100 0.5308 0.2420 0.1579 0.1183 0.0100 0.4800 0.2234 0.0782 706-AH 0.0300 0.5300 0.6300 0.6700 0.7300 0.5643 0.1664 0.1400 0.7000 0.2949 0.5062 0.3404 0.1207 0.3700 0.7300 0.6062 0.0943 707-AH 0.0700 0.2300 0.2500 0.2800 0.2900 0.2441 0.0481 0.0500 0.2200 0.1968 0.2375 0.2271 0.0350 0.1700 0.2900 0.2535 0.0322 708-AH 0.0000 0.4700 0.5100 0.5400 0.6000 0.4417 0.1783 0.0700 0.6000 0.4037 0.1733 0.0001 0.1286 0.3700 0.6000 0.5176 0.0447 709-AH 0.0900 0.3200 0.4500 0.4800 0.5100 0.3857 0.1277 0.1600 0.4200 0.3312 0.3535 0.3059 0.1041 0.0900 0.5100 0.3857 0.1277 710-AH 0.0000 0.0100 0.0300 0.1300 0.2100 0.0702 0.0657 0.1200 0.2100 0.9363 0.0259 0.0002 0.0589 0.0000 0.2100 0.0702 0.0657 711-AH 0.0000 0.0300 0.0800 0.1000 0.1400 0.0707 0.0477 0.0700 0.1400 0.6748 0.0136 0.0001 0.0415 0.0000 0.1400 0.0707 0.0477 712-AH 0.0000 0.0700 0.1000 0.1000 0.1000 0.0839 0.0275 0.0300 0.1000 0.3280 0.0657 0.0005 0.0219 0.0300 0.1000 0.0905 0.0178 713-AH 0.0000 0.1000 0.2150 0.2800 0.3000 0.1885 0.0984 0.1800 0.3000 0.5219 0.1054 0.0002 0.0865 0.0000 0.3000 0.1885 0.0984 714-AH 0.0100 0.1600 0.2450 0.2600 0.3300 0.2078 0.0887 0.1000 0.3200 0.4269 0.1683 0.0914 0.0716 0.0200 0.3300 0.2168 0.0796 715-AH 0.0200 0.0800 0.0850 0.0900 0.1200 0.0802 0.0214 0.0100 0.1000 0.2674 0.0762 0.0701 0.0150 0.0700 0.1000 0.0877 0.0081 716-AH 0.0400 0.1400 0.1600 0.1600 0.2100 0.1476 0.0334 0.0200 0.1700 0.2264 0.1426 0.1354 0.0242 0.1300 0.1700 0.1553 0.0108 717-AH 0.0200 0.0600 0.0700 0.0800 0.1100 0.0672 0.0188 0.0200 0.0900 0.2801 0.0641 0.0601 0.0136 0.0300 0.1000 0.0673 0.0166 718-AH 0.0100 0.2100 0.2700 0.3100 0.3600 0.2513 0.0796 0.1000 0.3500 0.3169 0.2268 0.1527 0.0629 0.0800 0.3600 0.2567 0.0716 719-AH 0.0000 0.0200 0.0400 0.0600 0.0900 0.0413 0.0239 0.0400 0.0900 0.5788 0.0169 0.0001 0.0174 0.0000 0.0900 0.0413 0.0239 720-AH 0.1800 0.4600 0.5200 0.5200 0.5200 0.4743 0.0733 0.0600 0.3400 0.1544 0.4668 0.4559 0.0534 0.4000 0.5200 0.4926 0.0402 721-AH 0.0200 0.0600 0.0600 0.0600 0.0800 0.0589 0.0106 0.0000 0.0600 0.1797 0.0577 0.0560 0.0065 0.0600 0.0600 0.0600 0.0000 722-AH 0.0400 0.1500 0.1850 0.2400 0.2600 0.1804 0.0620 0.0900 0.2200 0.3438 0.1659 0.1459 0.0496 0.0400 0.2600 0.1804 0.0620 723-AH 0.0000 0.0700 0.0800 0.1100 0.1500 0.0796 0.0355 0.0400 0.1500 0.4457 0.0439 0.0002 0.0270 0.0200 0.1500 0.0851 0.0294 724-AH 0.0900 0.1900 0.2100 0.2100 0.2100 0.1943 0.0309 0.0200 0.1200 0.1589 0.1910 0.1861 0.0201 0.1700 0.2100 0.2031 0.0114 725-AH 0.2100 0.6700 0.7850 0.8900 0.9600 0.7465 0.1936 0.2200 0.7500 0.2593 0.7102 0.6552 0.1434 0.3900 0.9600 0.7821 0.1423 726-AH 0.0100 0.0900 0.1600 0.1900 0.3000 0.1454 0.0747 0.1000 0.2900 0.5137 0.1166 0.0729 0.0606 0.0100 0.3000 0.1454 0.0747 727-AH 0.0100 0.0300 0.0500 0.0600 0.0700 0.0467 0.0183 0.0300 0.0600 0.3908 0.0424 0.0371 0.0154 0.0100 0.0700 0.0467 0.0183 728-AH 0.0500 0.0900 0.1100 0.1200 0.1400 0.1041 0.0239 0.0300 0.0900 0.2296 0.1010 0.0973 0.0197 0.0500 0.1400 0.1041 0.0239 729-AH 0.0100 0.0400 0.0500 0.0700 0.1900 0.0620 0.0446 0.0300 0.1800 0.7199 0.0506 0.0408 0.0299 0.0100 0.0900 0.0498 0.0208 730-AH 0.0100 0.1500 0.2800 0.3000 0.3700 0.2252 0.1033 0.1500 0.3600 0.4586 0.1803 0.0946 0.0926 0.0100 0.3700 0.2252 0.1033 731-AH 0.0100 0.1900 0.4500 0.5000 0.6800 0.3657 0.2015 0.3100 0.6700 0.5510 0.2493 0.0809 0.1695 0.0100 0.6800 0.3657 0.2015 732-AH 0.0000 0.0100 0.0300 0.0500 0.1500 0.0365 0.0333 0.0400 0.1500 0.9113 0.0114 0.0001 0.0238 0.0000 0.1100 0.0318 0.0252 733-AH 0.0300 0.1400 0.3300 0.4600 0.5600 0.3009 0.1719 0.3200 0.5300 0.5714 0.2360 0.1644 0.1521 0.0300 0.5600 0.3009 0.1719 734-AH 0.0700 0.2700 0.3200 0.3700 0.4100 0.2963 0.1010 0.1000 0.3400 0.3409 0.2694 0.2291 0.0777 0.1400 0.4100 0.3277 0.0628 735-AH 0.0000 0.1900 0.3800 0.4300 0.6100 0.3170 0.1682 0.2400 0.6100 0.5306 0.1487 0.0002 0.1430 0.0000 0.6100 0.3170 0.1682 736-AH 0.0000 0.0300 0.0700 0.1100 0.2400 0.0787 0.0594 0.0800 0.2400 0.7547 0.0497 0.0005 0.0454 0.0000 0.2100 0.0751 0.0548 737-AH 0.0000 0.0300 0.0550 0.0700 0.1800 0.0576 0.0379 0.0400 0.1800 0.6579 0.0259 0.0001 0.0276 0.0000 0.1100 0.0509 0.0285 738-AH 0.0400 0.2700 0.3750 0.6100 0.7000 0.4017 0.2057 0.3400 0.6600 0.5120 0.3252 0.2207 0.1783 0.0400 0.7000 0.4017 0.2057 739-AH 0.1300 0.3300 0.4200 0.4300 0.4300 0.3733 0.0828 0.1000 0.3000 0.2219 0.3605 0.3420 0.0662 0.1900 0.4300 0.3843 0.0656 740-AH 0.0000 0.0200 0.0500 0.0700 0.1200 0.0485 0.0280 0.0500 0.1200 0.5785 0.0260 0.0002 0.0233 0.0000 0.1200 0.0485 0.0280 741-AH 0.0100 0.0800 0.1000 0.1100 0.1200 0.0878 0.0310 0.0300 0.1100 0.3535 0.0781 0.0614 0.0236 0.0400 0.1200 0.0978 0.0182 742-AH 0.0200 0.0900 0.1100 0.1200 0.1300 0.0967 0.0299 0.0300 0.1100 0.3090 0.0895 0.0784 0.0231 0.0500 0.1300 0.1049 0.0194 743-AH 0.0100 0.0300 0.0400 0.0500 0.0600 0.0383 0.0135 0.0200 0.0500 0.3541 0.0352 0.0311 0.0102 0.0100 0.0600 0.0383 0.0135 744-AH 0.0000 0.1000 0.1900 0.2100 0.2200 0.1550 0.0717 0.1100 0.2200 0.4628 0.1075 0.0005 0.0611 0.0000 0.2200 0.1550 0.0717 745-AH 0.0700 0.1400 0.1800 0.2000 0.2700 0.1730 0.0505 0.0600 0.2000 0.2919 0.1648 0.1555 0.0412 0.0700 0.2700 0.1730 0.0505 746-AH 0.0000 0.0800 0.1300 0.1900 0.2500 0.1307 0.0698 0.1100 0.2500 0.5345 0.0663 0.0002 0.0581 0.0000 0.2500 0.1307 0.0698 747-AH 0.0500 0.2300 0.4000 0.5900 0.7700 0.4052 0.2109 0.3600 0.7200 0.5205 0.3368 0.2534 0.1744 0.0500 0.7700 0.4052 0.2109 748-AH 0.0100 0.0600 0.0900 0.0900 0.1200 0.0778 0.0255 0.0300 0.1100 0.3272 0.0717 0.0615 0.0208 0.0300 0.1200 0.0793 0.0236 749-AH 0.0000 0.0900 0.1950 0.3000 0.3700 0.1967 0.1195 0.2100 0.3700 0.6076 0.1216 0.0005 0.1024 0.0000 0.3700 0.1967 0.1195 750-AH 0.0100 0.0500 0.0700 0.1100 0.1800 0.0796 0.0439 0.0600 0.1700 0.5520 0.0639 0.0443 0.0369 0.0100 0.1800 0.0796 0.0439 45 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0050 0.0500 0.0800 0.0950 0.1050 0.0709 0.0274 0.0450 0.1000 0.3862 0.0609 0.0417 0.0222 0.0050 0.1050 0.0709 0.0274 702-AH 0.0400 0.1050 0.1150 0.1250 0.1400 0.1100 0.0225 0.0200 0.1000 0.2046 0.1068 0.1022 0.0157 0.0750 0.1400 0.1156 0.0132 703-AH 0.1000 0.1450 0.1600 0.1700 0.1750 0.1550 0.0182 0.0250 0.0750 0.1174 0.1538 0.1524 0.0137 0.1100 0.1750 0.1574 0.0146 704-AH 0.0000 0.0350 0.0575 0.1300 0.2250 0.0810 0.0607 0.0950 0.2250 0.7495 0.0482 0.0005 0.0517 0.0000 0.2250 0.0810 0.0607 705-AH 0.0050 0.1500 0.2075 0.3100 0.3700 0.2223 0.0977 0.1600 0.3650 0.4394 0.1899 0.1028 0.0875 0.0050 0.3700 0.2223 0.0977 706-AH 0.0250 0.3300 0.3875 0.4400 0.5050 0.3724 0.1040 0.1100 0.4800 0.2792 0.3423 0.2574 0.0757 0.2350 0.5050 0.3876 0.0765 707-AH 0.0650 0.1300 0.1450 0.1450 0.1450 0.1324 0.0197 0.0150 0.0800 0.1491 0.1306 0.1282 0.0147 0.1150 0.1450 0.1382 0.0101 708-AH 0.0000 0.2650 0.2975 0.3100 0.3250 0.2598 0.0963 0.0450 0.3250 0.3707 0.1099 0.0001 0.0638 0.2600 0.3250 0.2974 0.0188 709-AH 0.0550 0.2700 0.3250 0.3500 0.3800 0.2866 0.0925 0.0800 0.3250 0.3227 0.2619 0.2214 0.0710 0.1650 0.3800 0.3169 0.0509 710-AH 0.0000 0.0100 0.0300 0.0950 0.1300 0.0495 0.0437 0.0850 0.1300 0.8827 0.0246 0.0004 0.0385 0.0000 0.1300 0.0495 0.0437 711-AH 0.0000 0.0300 0.0550 0.0700 0.0800 0.0459 0.0273 0.0400 0.0800 0.5945 0.0100 0.0001 0.0229 0.0000 0.0800 0.0459 0.0273 712-AH 0.0050 0.0350 0.0500 0.0500 0.0500 0.0424 0.0128 0.0150 0.0450 0.3022 0.0389 0.0321 0.0104 0.0150 0.0500 0.0448 0.0093 713-AH 0.0000 0.0550 0.1300 0.1500 0.1650 0.1070 0.0510 0.0950 0.1650 0.4767 0.0659 0.0002 0.0451 0.0000 0.1650 0.1070 0.0510 714-AH 0.0150 0.0900 0.1300 0.1400 0.1900 0.1136 0.0429 0.0500 0.1750 0.3781 0.0998 0.0774 0.0333 0.0200 0.1900 0.1158 0.0407 715-AH 0.0100 0.0400 0.0450 0.0500 0.0650 0.0446 0.0103 0.0100 0.0550 0.2303 0.0430 0.0403 0.0069 0.0250 0.0650 0.0453 0.0089 716-AH 0.0400 0.0750 0.0900 0.1000 0.1050 0.0859 0.0176 0.0250 0.0650 0.2044 0.0838 0.0812 0.0147 0.0400 0.1050 0.0859 0.0176 717-AH 0.0150 0.0350 0.0600 0.0650 0.0750 0.0522 0.0171 0.0300 0.0600 0.3268 0.0488 0.0448 0.0153 0.0150 0.0750 0.0522 0.0171 718-AH 0.0700 0.1400 0.1650 0.1900 0.2050 0.1590 0.0339 0.0500 0.1350 0.2131 0.1549 0.1499 0.0271 0.0700 0.2050 0.1590 0.0339 719-AH 0.0000 0.0150 0.0200 0.0400 0.0450 0.0248 0.0133 0.0250 0.0450 0.5363 0.0141 0.0002 0.0115 0.0000 0.0450 0.0248 0.0133 720-AH 0.1700 0.2300 0.2600 0.2600 0.2600 0.2453 0.0248 0.0300 0.0900 0.1011 0.2439 0.2423 0.0196 0.2150 0.2600 0.2505 0.0156 721-AH 0.0200 0.0300 0.0450 0.0450 0.0500 0.0388 0.0092 0.0150 0.0300 0.2371 0.0375 0.0360 0.0079 0.0200 0.0500 0.0388 0.0092 722-AH 0.0350 0.0900 0.1075 0.1350 0.1500 0.1060 0.0308 0.0450 0.1150 0.2909 0.1005 0.0935 0.0245 0.0350 0.1500 0.1060 0.0308 723-AH 0.0050 0.0350 0.0550 0.0600 0.0750 0.0478 0.0188 0.0250 0.0700 0.3928 0.0418 0.0317 0.0149 0.0050 0.0750 0.0478 0.0188 724-AH 0.0600 0.1000 0.1050 0.1050 0.1050 0.1008 0.0095 0.0050 0.0450 0.0941 0.1002 0.0996 0.0063 0.0950 0.1050 0.1039 0.0029 725-AH 0.1750 0.4200 0.5300 0.6550 0.7150 0.5225 0.1510 0.2350 0.5400 0.2889 0.4954 0.4607 0.1237 0.1750 0.7150 0.5225 0.1510 726-AH 0.0050 0.0750 0.1050 0.1250 0.1650 0.0966 0.0422 0.0500 0.1600 0.4362 0.0816 0.0535 0.0339 0.0050 0.1650 0.0966 0.0422 727-AH 0.0100 0.0300 0.0350 0.0350 0.0400 0.0309 0.0082 0.0050 0.0300 0.2652 0.0292 0.0265 0.0060 0.0250 0.0400 0.0341 0.0025 728-AH 0.0350 0.0700 0.0700 0.0750 0.0850 0.0698 0.0109 0.0050 0.0500 0.1555 0.0688 0.0675 0.0071 0.0650 0.0800 0.0732 0.0045 729-AH 0.0050 0.0250 0.0350 0.0500 0.1100 0.0401 0.0256 0.0250 0.1050 0.6375 0.0335 0.0271 0.0180 0.0050 0.0800 0.0337 0.0152 730-AH 0.0150 0.1150 0.1625 0.1800 0.2250 0.1455 0.0524 0.0650 0.2100 0.3603 0.1291 0.0963 0.0433 0.0250 0.2250 0.1515 0.0453 731-AH 0.0250 0.1700 0.2675 0.3150 0.3500 0.2312 0.1045 0.1450 0.3250 0.4519 0.1872 0.1199 0.0858 0.0250 0.3500 0.2312 0.1045 732-AH 0.0000 0.0150 0.0250 0.0350 0.0900 0.0280 0.0214 0.0200 0.0900 0.7634 0.0164 0.0002 0.0156 0.0000 0.0450 0.0227 0.0128 733-AH 0.0150 0.0850 0.2225 0.2750 0.3000 0.1855 0.0994 0.1900 0.2850 0.5356 0.1456 0.0960 0.0902 0.0150 0.3000 0.1855 0.0994 734-AH 0.0450 0.1800 0.1925 0.2000 0.2100 0.1770 0.0409 0.0200 0.1650 0.2310 0.1684 0.1521 0.0259 0.1650 0.2100 0.1908 0.0118 735-AH 0.0000 0.1550 0.2600 0.3250 0.4600 0.2351 0.1221 0.1700 0.4600 0.5195 0.1155 0.0002 0.1008 0.0000 0.4600 0.2351 0.1221 736-AH 0.0000 0.0150 0.0475 0.0900 0.1550 0.0616 0.0467 0.0750 0.1550 0.7570 0.0358 0.0005 0.0400 0.0000 0.1550 0.0616 0.0467 737-AH 0.0000 0.0300 0.0425 0.0600 0.1150 0.0452 0.0251 0.0300 0.1150 0.5541 0.0216 0.0001 0.0194 0.0000 0.0900 0.0437 0.0230 738-AH 0.0250 0.1650 0.3250 0.3600 0.4900 0.2630 0.1221 0.1950 0.4650 0.4643 0.2209 0.1602 0.1097 0.0250 0.4900 0.2630 0.1221 739-AH 0.0650 0.1650 0.2150 0.2150 0.2200 0.1929 0.0387 0.0500 0.1550 0.2007 0.1873 0.1787 0.0307 0.1250 0.2200 0.1988 0.0278 740-AH 0.0000 0.0250 0.0400 0.0550 0.0800 0.0393 0.0183 0.0300 0.0800 0.4645 0.0296 0.0005 0.0146 0.0000 0.0800 0.0393 0.0183 741-AH 0.0050 0.0500 0.0550 0.0600 0.0600 0.0520 0.0123 0.0100 0.0550 0.2361 0.0490 0.0414 0.0083 0.0400 0.0600 0.0552 0.0057 742-AH 0.0100 0.0550 0.0550 0.0600 0.0650 0.0529 0.0136 0.0050 0.0550 0.2578 0.0499 0.0444 0.0094 0.0500 0.0650 0.0584 0.0044 743-AH 0.0050 0.0200 0.0250 0.0300 0.0300 0.0225 0.0067 0.0100 0.0250 0.2991 0.0212 0.0194 0.0057 0.0050 0.0300 0.0225 0.0067 744-AH 0.0050 0.0650 0.1100 0.1100 0.1100 0.0830 0.0368 0.0450 0.1050 0.4436 0.0673 0.0400 0.0319 0.0050 0.1100 0.0830 0.0368 745-AH 0.0550 0.1250 0.1650 0.1900 0.2100 0.1542 0.0429 0.0650 0.1550 0.2779 0.1471 0.1384 0.0365 0.0550 0.2100 0.1542 0.0429 746-AH 0.0000 0.0450 0.0900 0.1050 0.1550 0.0796 0.0420 0.0600 0.1550 0.5284 0.0419 0.0002 0.0353 0.0000 0.1550 0.0796 0.0420 747-AH 0.0350 0.1750 0.3900 0.4600 0.5300 0.3292 0.1569 0.2850 0.4950 0.4767 0.2743 0.2006 0.1377 0.0350 0.5300 0.3292 0.1569 748-AH 0.0150 0.0600 0.0650 0.0650 0.0650 0.0609 0.0098 0.0050 0.0500 0.1609 0.0595 0.0567 0.0056 0.0550 0.0650 0.0637 0.0025 749-AH 0.0000 0.0600 0.1375 0.1750 0.2050 0.1227 0.0637 0.1150 0.2050 0.5194 0.0849 0.0005 0.0550 0.0000 0.2050 0.1227 0.0637 750-AH 0.0050 0.0300 0.0450 0.0650 0.0950 0.0464 0.0229 0.0350 0.0900 0.4938 0.0389 0.0287 0.0191 0.0050 0.0950 0.0464 0.0229 46 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0020 0.0300 0.0420 0.0420 0.0420 0.0352 0.0114 0.0120 0.0400 0.3234 0.0306 0.0193 0.0084 0.0200 0.0420 0.0382 0.0059 702-AH 0.0180 0.0460 0.0500 0.0520 0.0580 0.0469 0.0092 0.0060 0.0400 0.1964 0.0456 0.0437 0.0060 0.0420 0.0580 0.0500 0.0037 703-AH 0.0420 0.0700 0.0720 0.0720 0.0720 0.0691 0.0067 0.0020 0.0300 0.0968 0.0687 0.0682 0.0041 0.0680 0.0720 0.0716 0.0011 704-AH 0.0020 0.0400 0.0590 0.0900 0.1040 0.0602 0.0292 0.0500 0.1020 0.4846 0.0484 0.0239 0.0241 0.0020 0.1040 0.0602 0.0292 705-AH 0.0020 0.1180 0.1630 0.1680 0.1680 0.1393 0.0419 0.0500 0.1660 0.3007 0.1223 0.0518 0.0313 0.0460 0.1680 0.1452 0.0320 706-AH 0.0220 0.1520 0.1920 0.2080 0.2140 0.1742 0.0437 0.0560 0.1920 0.2509 0.1640 0.1407 0.0330 0.1040 0.2140 0.1808 0.0309 707-AH 0.0360 0.0560 0.0580 0.0580 0.0580 0.0548 0.0065 0.0020 0.0220 0.1191 0.0543 0.0538 0.0048 0.0560 0.0580 0.0578 0.0006 708-AH 0.0020 0.1100 0.1320 0.1320 0.1320 0.1129 0.0365 0.0220 0.1300 0.3236 0.0935 0.0362 0.0248 0.0880 0.1320 0.1247 0.0123 709-AH 0.0280 0.1380 0.1640 0.1660 0.1740 0.1426 0.0423 0.0280 0.1460 0.2969 0.1313 0.1110 0.0311 0.1020 0.1740 0.1589 0.0150 710-AH 0.0000 0.0140 0.0320 0.0500 0.0660 0.0316 0.0206 0.0360 0.0660 0.6511 0.0200 0.0004 0.0179 0.0000 0.0660 0.0316 0.0206 711-AH 0.0000 0.0180 0.0280 0.0320 0.0320 0.0227 0.0122 0.0140 0.0320 0.5346 0.0059 0.0001 0.0098 0.0000 0.0320 0.0227 0.0122 712-AH 0.0060 0.0140 0.0200 0.0200 0.0200 0.0177 0.0038 0.0060 0.0140 0.2144 0.0172 0.0164 0.0031 0.0060 0.0200 0.0177 0.0038 713-AH 0.0220 0.0320 0.0560 0.0660 0.0740 0.0508 0.0173 0.0340 0.0520 0.3409 0.0474 0.0437 0.0154 0.0220 0.0740 0.0508 0.0173 714-AH 0.0100 0.0460 0.0560 0.0620 0.0900 0.0513 0.0175 0.0160 0.0800 0.3411 0.0467 0.0395 0.0130 0.0340 0.0720 0.0561 0.0089 715-AH 0.0100 0.0180 0.0200 0.0220 0.0300 0.0202 0.0043 0.0040 0.0200 0.2149 0.0197 0.0191 0.0032 0.0120 0.0280 0.0205 0.0036 716-AH 0.0220 0.0360 0.0400 0.0420 0.0420 0.0374 0.0056 0.0060 0.0200 0.1489 0.0370 0.0364 0.0046 0.0280 0.0420 0.0386 0.0042 717-AH 0.0080 0.0260 0.0320 0.0320 0.0340 0.0278 0.0064 0.0060 0.0260 0.2318 0.0268 0.0253 0.0052 0.0200 0.0340 0.0299 0.0036 718-AH 0.0360 0.0660 0.0790 0.0880 0.0980 0.0763 0.0152 0.0220 0.0620 0.1989 0.0746 0.0727 0.0126 0.0360 0.0980 0.0763 0.0152 719-AH 0.0000 0.0080 0.0140 0.0160 0.0180 0.0119 0.0052 0.0080 0.0180 0.4371 0.0073 0.0002 0.0043 0.0000 0.0180 0.0119 0.0052 720-AH 0.0780 0.0980 0.1040 0.1040 0.1060 0.1010 0.0059 0.0060 0.0280 0.0581 0.1008 0.1006 0.0043 0.0920 0.1060 0.1022 0.0035 721-AH 0.0080 0.0160 0.0180 0.0180 0.0200 0.0167 0.0033 0.0020 0.0120 0.1978 0.0162 0.0156 0.0024 0.0140 0.0200 0.0179 0.0013 722-AH 0.0200 0.0420 0.0500 0.0600 0.0640 0.0484 0.0126 0.0180 0.0440 0.2596 0.0463 0.0436 0.0100 0.0200 0.0640 0.0484 0.0126 723-AH 0.0040 0.0180 0.0230 0.0300 0.0360 0.0230 0.0078 0.0120 0.0320 0.3405 0.0210 0.0178 0.0063 0.0040 0.0360 0.0230 0.0078 724-AH 0.0360 0.0400 0.0420 0.0420 0.0420 0.0410 0.0019 0.0020 0.0060 0.0469 0.0409 0.0409 0.0015 0.0380 0.0420 0.0413 0.0014 725-AH 0.0780 0.2300 0.2960 0.3300 0.3560 0.2698 0.0760 0.1000 0.2780 0.2818 0.2549 0.2334 0.0625 0.0840 0.3560 0.2741 0.0711 726-AH 0.0040 0.0460 0.0540 0.0660 0.0820 0.0520 0.0188 0.0200 0.0780 0.3615 0.0468 0.0367 0.0145 0.0180 0.0820 0.0531 0.0176 727-AH 0.0040 0.0120 0.0140 0.0140 0.0160 0.0126 0.0033 0.0020 0.0120 0.2592 0.0119 0.0108 0.0023 0.0100 0.0160 0.0138 0.0010 728-AH 0.0160 0.0320 0.0360 0.0380 0.0400 0.0337 0.0058 0.0060 0.0240 0.1711 0.0331 0.0323 0.0043 0.0280 0.0400 0.0354 0.0030 729-AH 0.0060 0.0180 0.0220 0.0300 0.0680 0.0263 0.0152 0.0120 0.0620 0.5790 0.0223 0.0187 0.0116 0.0060 0.0460 0.0218 0.0102 730-AH 0.0100 0.0680 0.0890 0.1380 0.1740 0.0969 0.0455 0.0700 0.1640 0.4693 0.0832 0.0634 0.0367 0.0100 0.1740 0.0969 0.0455 731-AH 0.0260 0.0960 0.1280 0.1480 0.1540 0.1171 0.0375 0.0520 0.1280 0.3201 0.1083 0.0954 0.0297 0.0260 0.1540 0.1171 0.0375 732-AH 0.0060 0.0160 0.0200 0.0240 0.0360 0.0203 0.0069 0.0080 0.0300 0.3407 0.0191 0.0177 0.0050 0.0060 0.0360 0.0203 0.0069 733-AH 0.0120 0.0380 0.1110 0.1180 0.1200 0.0880 0.0375 0.0800 0.1080 0.4267 0.0757 0.0588 0.0325 0.0120 0.1200 0.0880 0.0375 734-AH 0.0500 0.0780 0.0800 0.0840 0.0860 0.0797 0.0067 0.0060 0.0360 0.0846 0.0794 0.0790 0.0043 0.0760 0.0860 0.0817 0.0030 735-AH 0.0040 0.1020 0.1550 0.2140 0.2720 0.1513 0.0755 0.1120 0.2680 0.4992 0.1158 0.0455 0.0619 0.0040 0.2720 0.1513 0.0755 736-AH 0.0000 0.0100 0.0380 0.0620 0.0800 0.0363 0.0253 0.0520 0.0800 0.6948 0.0231 0.0004 0.0216 0.0000 0.0800 0.0363 0.0253 737-AH 0.0000 0.0220 0.0280 0.0380 0.0580 0.0294 0.0130 0.0160 0.0580 0.4435 0.0216 0.0004 0.0102 0.0000 0.0580 0.0294 0.0130 738-AH 0.0140 0.0760 0.1460 0.1640 0.2100 0.1222 0.0529 0.0880 0.1960 0.4331 0.1054 0.0810 0.0470 0.0140 0.2100 0.1222 0.0529 739-AH 0.0260 0.0700 0.0860 0.0880 0.0880 0.0790 0.0136 0.0180 0.0620 0.1723 0.0774 0.0750 0.0107 0.0440 0.0880 0.0802 0.0112 740-AH 0.0000 0.0200 0.0240 0.0320 0.0360 0.0239 0.0091 0.0120 0.0360 0.3794 0.0185 0.0004 0.0069 0.0020 0.0360 0.0244 0.0084 741-AH 0.0100 0.0220 0.0240 0.0240 0.0240 0.0226 0.0028 0.0020 0.0140 0.1263 0.0223 0.0220 0.0019 0.0200 0.0240 0.0234 0.0011 742-AH 0.0080 0.0220 0.0240 0.0260 0.0260 0.0230 0.0047 0.0040 0.0180 0.2031 0.0223 0.0210 0.0032 0.0160 0.0260 0.0240 0.0025 743-AH 0.0040 0.0080 0.0100 0.0120 0.0120 0.0097 0.0026 0.0040 0.0080 0.2644 0.0093 0.0088 0.0021 0.0040 0.0120 0.0097 0.0026 744-AH 0.0040 0.0280 0.0440 0.0440 0.0440 0.0347 0.0140 0.0160 0.0400 0.4036 0.0297 0.0219 0.0119 0.0060 0.0440 0.0354 0.0134 745-AH 0.0220 0.0780 0.1080 0.1180 0.1240 0.0947 0.0294 0.0400 0.1020 0.3106 0.0883 0.0793 0.0251 0.0220 0.1240 0.0947 0.0294 746-AH 0.0000 0.0220 0.0400 0.0540 0.0640 0.0377 0.0179 0.0320 0.0640 0.4751 0.0217 0.0002 0.0144 0.0000 0.0640 0.0377 0.0179 747-AH 0.0340 0.1140 0.2190 0.2620 0.3120 0.1958 0.0823 0.1480 0.2780 0.4201 0.1708 0.1370 0.0685 0.0340 0.3120 0.1958 0.0823 748-AH 0.0060 0.0260 0.0260 0.0260 0.0260 0.0251 0.0032 0.0000 0.0200 0.1263 0.0247 0.0238 0.0015 0.0260 0.0260 0.0260 0.0000 749-AH 0.0160 0.0580 0.0710 0.0780 0.0860 0.0647 0.0190 0.0200 0.0700 0.2931 0.0606 0.0541 0.0145 0.0400 0.0860 0.0691 0.0131 750-AH 0.0040 0.0140 0.0260 0.0360 0.0440 0.0246 0.0109 0.0220 0.0400 0.4442 0.0215 0.0176 0.0094 0.0040 0.0440 0.0246 0.0109 47 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-EN-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0020 0.0180 0.0210 0.0210 0.0210 0.0185 0.0049 0.0030 0.0190 0.2660 0.0172 0.0142 0.0034 0.0140 0.0210 0.0200 0.0019 702-AH 0.0100 0.0240 0.0260 0.0270 0.0290 0.0249 0.0039 0.0030 0.0190 0.1567 0.0245 0.0240 0.0026 0.0220 0.0290 0.0262 0.0019 703-AH 0.0220 0.0350 0.0360 0.0360 0.0360 0.0349 0.0028 0.0010 0.0140 0.0813 0.0348 0.0346 0.0017 0.0340 0.0360 0.0358 0.0005 704-AH 0.0020 0.0380 0.0450 0.0510 0.0540 0.0417 0.0127 0.0130 0.0520 0.3053 0.0376 0.0264 0.0092 0.0270 0.0540 0.0455 0.0068 705-AH 0.0010 0.0660 0.0830 0.0840 0.0840 0.0717 0.0205 0.0180 0.0830 0.2867 0.0631 0.0263 0.0146 0.0520 0.0840 0.0771 0.0101 706-AH 0.0190 0.0800 0.1010 0.1060 0.1070 0.0923 0.0209 0.0260 0.0880 0.2263 0.0883 0.0807 0.0157 0.0550 0.1070 0.0955 0.0145 707-AH 0.0180 0.0290 0.0290 0.0290 0.0290 0.0277 0.0028 0.0000 0.0110 0.1018 0.0275 0.0273 0.0021 0.0290 0.0290 0.0290 0.0000 708-AH 0.0010 0.0560 0.0660 0.0660 0.0660 0.0591 0.0144 0.0100 0.0650 0.2442 0.0519 0.0207 0.0091 0.0440 0.0660 0.0624 0.0063 709-AH 0.0200 0.0730 0.0820 0.0850 0.0870 0.0737 0.0196 0.0120 0.0670 0.2653 0.0694 0.0623 0.0141 0.0570 0.0870 0.0812 0.0064 710-AH 0.0000 0.0120 0.0220 0.0310 0.0370 0.0208 0.0114 0.0190 0.0370 0.5477 0.0142 0.0004 0.0097 0.0000 0.0370 0.0208 0.0114 711-AH 0.0000 0.0110 0.0160 0.0160 0.0160 0.0119 0.0062 0.0050 0.0160 0.5232 0.0035 0.0001 0.0049 0.0080 0.0160 0.0148 0.0021 712-AH 0.0060 0.0090 0.0100 0.0100 0.0100 0.0091 0.0015 0.0010 0.0040 0.1686 0.0089 0.0088 0.0013 0.0090 0.0100 0.0099 0.0003 713-AH 0.0120 0.0240 0.0300 0.0350 0.0430 0.0295 0.0072 0.0110 0.0310 0.2439 0.0285 0.0275 0.0060 0.0120 0.0430 0.0295 0.0072 714-AH 0.0080 0.0260 0.0315 0.0340 0.0450 0.0294 0.0082 0.0080 0.0370 0.2783 0.0278 0.0256 0.0063 0.0190 0.0450 0.0312 0.0058 715-AH 0.0060 0.0100 0.0120 0.0130 0.0160 0.0118 0.0025 0.0030 0.0100 0.2135 0.0116 0.0112 0.0020 0.0060 0.0160 0.0118 0.0025 716-AH 0.0130 0.0180 0.0205 0.0210 0.0210 0.0191 0.0026 0.0030 0.0080 0.1357 0.0189 0.0187 0.0021 0.0140 0.0210 0.0195 0.0021 717-AH 0.0040 0.0130 0.0160 0.0160 0.0170 0.0145 0.0029 0.0030 0.0130 0.1974 0.0141 0.0134 0.0021 0.0120 0.0170 0.0152 0.0014 718-AH 0.0230 0.0370 0.0435 0.0490 0.0490 0.0421 0.0072 0.0120 0.0260 0.1713 0.0414 0.0406 0.0059 0.0230 0.0490 0.0421 0.0072 719-AH 0.0010 0.0060 0.0080 0.0080 0.0090 0.0069 0.0022 0.0020 0.0080 0.3180 0.0062 0.0049 0.0016 0.0030 0.0090 0.0075 0.0014 720-AH 0.0390 0.0510 0.0520 0.0530 0.0530 0.0513 0.0028 0.0020 0.0140 0.0543 0.0512 0.0512 0.0018 0.0490 0.0530 0.0520 0.0012 721-AH 0.0040 0.0090 0.0090 0.0090 0.0100 0.0086 0.0015 0.0000 0.0060 0.1681 0.0085 0.0083 0.0010 0.0090 0.0090 0.0090 0.0000 722-AH 0.0140 0.0240 0.0270 0.0310 0.0330 0.0268 0.0048 0.0070 0.0190 0.1803 0.0263 0.0257 0.0038 0.0140 0.0330 0.0268 0.0048 723-AH 0.0020 0.0100 0.0125 0.0150 0.0180 0.0124 0.0038 0.0050 0.0160 0.3031 0.0116 0.0104 0.0032 0.0040 0.0180 0.0127 0.0035 724-AH 0.0180 0.0210 0.0210 0.0210 0.0210 0.0205 0.0009 0.0000 0.0030 0.0432 0.0205 0.0205 0.0007 0.0210 0.0210 0.0210 0.0000 725-AH 0.0520 0.1230 0.1780 0.1850 0.1960 0.1541 0.0391 0.0620 0.1440 0.2538 0.1477 0.1394 0.0336 0.0520 0.1960 0.1541 0.0391 726-AH 0.0020 0.0270 0.0350 0.0390 0.0440 0.0312 0.0105 0.0120 0.0420 0.3367 0.0282 0.0214 0.0084 0.0150 0.0440 0.0329 0.0085 727-AH 0.0020 0.0070 0.0070 0.0070 0.0080 0.0064 0.0016 0.0000 0.0060 0.2537 0.0061 0.0055 0.0011 0.0070 0.0070 0.0070 0.0000 728-AH 0.0090 0.0170 0.0180 0.0190 0.0200 0.0174 0.0027 0.0020 0.0110 0.1544 0.0172 0.0168 0.0020 0.0150 0.0200 0.0182 0.0015 729-AH 0.0090 0.0130 0.0165 0.0280 0.0370 0.0195 0.0079 0.0150 0.0280 0.4033 0.0181 0.0170 0.0066 0.0090 0.0370 0.0195 0.0079 730-AH 0.0050 0.0350 0.0485 0.0840 0.0890 0.0555 0.0256 0.0490 0.0840 0.4608 0.0474 0.0351 0.0222 0.0050 0.0890 0.0555 0.0256 731-AH 0.0230 0.0660 0.0715 0.0790 0.0810 0.0687 0.0137 0.0130 0.0580 0.1989 0.0668 0.0639 0.0097 0.0490 0.0810 0.0721 0.0077 732-AH 0.0030 0.0120 0.0165 0.0190 0.0250 0.0148 0.0048 0.0070 0.0220 0.3266 0.0139 0.0126 0.0042 0.0030 0.0250 0.0148 0.0048 733-AH 0.0080 0.0330 0.0595 0.0600 0.0600 0.0474 0.0181 0.0270 0.0520 0.3828 0.0418 0.0333 0.0153 0.0080 0.0600 0.0474 0.0181 734-AH 0.0250 0.0400 0.0410 0.0420 0.0440 0.0404 0.0031 0.0020 0.0190 0.0769 0.0403 0.0401 0.0019 0.0380 0.0440 0.0411 0.0016 735-AH 0.0100 0.0690 0.1030 0.1450 0.1670 0.0988 0.0480 0.0760 0.1570 0.4854 0.0818 0.0577 0.0411 0.0100 0.1670 0.0988 0.0480 736-AH 0.0050 0.0090 0.0275 0.0360 0.0420 0.0245 0.0131 0.0270 0.0370 0.5336 0.0201 0.0157 0.0118 0.0050 0.0420 0.0245 0.0131 737-AH 0.0020 0.0170 0.0205 0.0260 0.0350 0.0204 0.0080 0.0090 0.0330 0.3940 0.0178 0.0131 0.0060 0.0050 0.0350 0.0212 0.0071 738-AH 0.0100 0.0390 0.0755 0.0830 0.1060 0.0640 0.0259 0.0440 0.0960 0.4046 0.0565 0.0460 0.0229 0.0100 0.1060 0.0640 0.0259 739-AH 0.0130 0.0360 0.0430 0.0440 0.0440 0.0400 0.0066 0.0080 0.0310 0.1644 0.0393 0.0381 0.0049 0.0300 0.0440 0.0411 0.0044 740-AH 0.0010 0.0130 0.0140 0.0170 0.0200 0.0141 0.0047 0.0040 0.0190 0.3298 0.0125 0.0090 0.0032 0.0080 0.0200 0.0152 0.0029 741-AH 0.0090 0.0110 0.0120 0.0120 0.0120 0.0115 0.0009 0.0010 0.0030 0.0749 0.0115 0.0114 0.0007 0.0100 0.0120 0.0117 0.0006 742-AH 0.0040 0.0120 0.0130 0.0130 0.0140 0.0120 0.0021 0.0010 0.0100 0.1772 0.0117 0.0112 0.0012 0.0110 0.0140 0.0126 0.0007 743-AH 0.0020 0.0040 0.0050 0.0060 0.0060 0.0050 0.0012 0.0020 0.0040 0.2487 0.0048 0.0045 0.0010 0.0020 0.0060 0.0050 0.0012 744-AH 0.0020 0.0140 0.0220 0.0220 0.0220 0.0177 0.0068 0.0080 0.0200 0.3819 0.0154 0.0116 0.0056 0.0030 0.0220 0.0181 0.0064 745-AH 0.0110 0.0400 0.0625 0.0640 0.0650 0.0526 0.0155 0.0240 0.0540 0.2958 0.0492 0.0438 0.0131 0.0110 0.0650 0.0526 0.0155 746-AH 0.0000 0.0140 0.0210 0.0300 0.0330 0.0205 0.0090 0.0160 0.0330 0.4407 0.0155 0.0004 0.0073 0.0000 0.0330 0.0205 0.0090 747-AH 0.0310 0.0930 0.1295 0.1510 0.1630 0.1169 0.0402 0.0580 0.1320 0.3438 0.1072 0.0937 0.0336 0.0310 0.1630 0.1169 0.0402 748-AH 0.0030 0.0130 0.0130 0.0130 0.0130 0.0126 0.0016 0.0000 0.0100 0.1263 0.0124 0.0119 0.0008 0.0130 0.0130 0.0130 0.0000 749-AH 0.0110 0.0340 0.0390 0.0420 0.0430 0.0360 0.0079 0.0080 0.0320 0.2197 0.0348 0.0329 0.0058 0.0240 0.0430 0.0380 0.0049 750-AH 0.0030 0.0100 0.0185 0.0210 0.0280 0.0158 0.0071 0.0110 0.0250 0.4480 0.0137 0.0113 0.0062 0.0030 0.0280 0.0158 0.0071 48 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Ad−Hoc TEL Monolingual German Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% opentext [Experiment OTDE09TDE; MAP 28.68%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; MAP 27.89%; Not Pooled] 90% inesc [Experiment RUN12; MAP 27.85%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; MAP 26.86%; Not Pooled] trinity [Experiment TCDDERUN1; MAP 25.77%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) 1 opentext [Experiment OTDE09TDE; MAP 28.68%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; MAP 27.89%; Not Pooled] 0.8 inesc [Experiment RUN12; MAP 27.85%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; MAP 26.86%; Not Pooled] trinity [Experiment TCDDERUN1; MAP 25.77%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Monolingual German Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 1 opentext [Experiment OTDE09TDE; MAP 28.68%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; MAP 27.89%; Not Pooled] 0.8 inesc [Experiment RUN12; MAP 27.85%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; MAP 26.86%; Not Pooled] trinity [Experiment TCDDERUN1; MAP 25.77%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 49 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Ad−Hoc TEL Monolingual German Task − Box Plot of the Topics opentext [Experiment OTDE09TDE; MAP 28.68%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; MAP 27.89%; Not Pooled] inesc [Experiment RUN12; MAP 27.85%; Not Pooled] inesc [Experiment RUN11; MAP 27.76%; Not Pooled] chemnitz [Experiment CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1; MAP 27.13%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; MAP 26.86%; Not Pooled] trinity [Experiment TCDDERUN3; MAP 26.86%; Not Pooled] inesc [Experiment RUN10; MAP 26.47%; Pooled] chemnitz [Experiment CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40; MAP 26.41%; Pooled] chemnitz [Experiment CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25; MAP 26.02%; Pooled] inesc [Experiment RUN9; MAP 25.87%; Pooled] trinity [Experiment TCDDERUN1; MAP 25.77%; Not Pooled] opentext [Experiment OTDE09TD; MAP 25.69%; Not Pooled] trinity−dcu [Experiment TCDDCU_DE1F; MAP 25.61%; Pooled] opentext [Experiment OTDE09T; MAP 25.49%; Pooled] trinity−dcu [Experiment TCDDCUDE4; MAP 24.39%; Not Pooled] trinity [Experiment TCDDERUN2; MAP 23.97%; Pooled] Experiments trinity [Experiment TCDDERUN4; MAP 23.88%; Pooled] karlsruhe [Experiment AIFB_ONB_INDEXBL; MAP 23.31%; Not Pooled] trinity−dcu [Experiment TCDDCU_DE1; MAP 23.29%; Pooled] karlsruhe [Experiment INDEXALLESA; MAP 23.08%; Pooled] karlsruhe [Experiment AIFB_ONB_INDEXALL; MAP 22.85%; Pooled] celi [Experiment CACAO_DEONB_ALLEXP; MAP 21.02%; Not Pooled] celi [Experiment CACAO_DEONB_TOPDOCSEXP; MAP 20.18%; Not Pooled] celi [Experiment CACAO_DEONB_SEMVECTEXP; MAP 19.93%; Not Pooled] celi [Experiment CACAO_DEONB_ML; MAP 19.27%; Not Pooled] celi [Experiment CACAO_DEONB_BASE; MAP 19.07%; Not Pooled] opentext [Experiment OTDE09TDZ; MAP 18.80%; Pooled] weimar [Experiment COMBINEDDEINDE; MAP 16.36%; Pooled] cheshire [Experiment MODET2FB; MAP 14.78%; Pooled] weimar [Experiment CLESA169283DEINDE; MAP 13.70%; Pooled] weimar [Experiment CLESA169283LDDEINDE; MAP 13.36%; Not Pooled] cheshire [Experiment MODET2FB3; MAP 13.31%; Pooled] cheshire [Experiment MODET2FBX; MAP 12.30%; Not Pooled] weimar [Experiment BASELINEDEINDE; MAP 10.03%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Average Precision 50 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 10.2455/TUKEY_T_TEST.2F4858A455EA40E6B41D15EDA6ADD20F Ad−Hoc TEL Monolingual German Task − Tukey T test with "top group" highlighted OTDE09TDE RUN12 RUN11 CUT_3_MONO_MERGED_DE_1_2 TCDDERUN3 TCDDCUDE3 OTDE09TD CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 OTDE09T CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 TCDDERUN1 CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 RUN10 TCDDCUDE4 TCDDCU_DE1F Experiments RUN9 INDEXALLESA AIFB_ONB_INDEXBL TCDDERUN2 TCDDERUN4 AIFB_ONB_INDEXALL TCDDCU_DE1 CACAO_DEONB_ALLEXP OTDE09TDZ CACAO_DEONB_SEMVECTEXP CACAO_DEONB_TOPDOCSEXP CACAO_DEONB_ML CACAO_DEONB_BASE COMBINEDDEINDE MODET2FB MODET2FB3 CLESA169283DEINDE MODET2FBX CLESA169283LDDEINDE BASELINEDEINDE 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 arcsin(sqrt(Average Precsion)) 51 52 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Ad−Hoc TEL Monolingual German Task Top 5 Participants − Retrieved documents vs Mean Precision 100% opentext [Experiment OTDE09TDE; R−Prec 30.56%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; R−Prec 29.38%; Not Pooled] 90% inesc [Experiment RUN12; R−Prec 29.67%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; R−Prec 30.02%; Not Pooled] trinity [Experiment TCDDERUN1; R−Prec 28.24%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) 1 opentext [Experiment OTDE09TDE; R−Prec 30.56%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; R−Prec 29.38%; Not Pooled] 0.8 inesc [Experiment RUN12; R−Prec 29.67%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; R−Prec 30.02%; Not Pooled] trinity [Experiment TCDDERUN1; R−Prec 28.24%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Monolingual German Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 1 opentext [Experiment OTDE09TDE; R−Prec 30.56%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; R−Prec 29.38%; Not Pooled] 0.8 inesc [Experiment RUN12; R−Prec 29.67%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; R−Prec 30.02%; Not Pooled] trinity [Experiment TCDDERUN1; R−Prec 28.24%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 53 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Ad−Hoc TEL Monolingual German Task − Box Plot of the Topics opentext [Experiment OTDE09TDE; R−Prec 30.56%; Not Pooled] trinity−dcu [Experiment TCDDCUDE3; R−Prec 30.02%; Not Pooled] trinity [Experiment TCDDERUN3; R−Prec 30.02%; Not Pooled] inesc [Experiment RUN10; R−Prec 29.88%; Pooled] inesc [Experiment RUN12; R−Prec 29.67%; Not Pooled] inesc [Experiment RUN11; R−Prec 29.65%; Not Pooled] chemnitz [Experiment CUT_3_MONO_MERGED_DE_1_2; R−Prec 29.38%; Not Pooled] opentext [Experiment OTDE09T; R−Prec 29.03%; Pooled] trinity−dcu [Experiment TCDDCU_DE1F; R−Prec 29.02%; Pooled] chemnitz [Experiment CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1; R−Prec 28.52%; Not Pooled] chemnitz [Experiment CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25; R−Prec 28.24%; Pooled] trinity [Experiment TCDDERUN1; R−Prec 28.24%; Not Pooled] inesc [Experiment RUN9; R−Prec 28.21%; Pooled] opentext [Experiment OTDE09TD; R−Prec 28.05%; Not Pooled] chemnitz [Experiment CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40; R−Prec 28.03%; Pooled] trinity−dcu [Experiment TCDDCUDE4; R−Prec 27.49%; Not Pooled] karlsruhe [Experiment INDEXALLESA; R−Prec 27.24%; Pooled] Experiments trinity−dcu [Experiment TCDDCU_DE1; R−Prec 27.00%; Pooled] trinity [Experiment TCDDERUN4; R−Prec 26.88%; Pooled] trinity [Experiment TCDDERUN2; R−Prec 26.62%; Pooled] karlsruhe [Experiment AIFB_ONB_INDEXALL; R−Prec 26.37%; Pooled] karlsruhe [Experiment AIFB_ONB_INDEXBL; R−Prec 25.53%; Not Pooled] celi [Experiment CACAO_DEONB_ALLEXP; R−Prec 24.23%; Not Pooled] celi [Experiment CACAO_DEONB_SEMVECTEXP; R−Prec 23.24%; Not Pooled] celi [Experiment CACAO_DEONB_TOPDOCSEXP; R−Prec 23.22%; Not Pooled] celi [Experiment CACAO_DEONB_BASE; R−Prec 22.99%; Not Pooled] celi [Experiment CACAO_DEONB_ML; R−Prec 22.90%; Not Pooled] opentext [Experiment OTDE09TDZ; R−Prec 19.81%; Pooled] weimar [Experiment COMBINEDDEINDE; R−Prec 19.63%; Pooled] cheshire [Experiment MODET2FB3; R−Prec 16.75%; Pooled] cheshire [Experiment MODET2FB; R−Prec 16.53%; Pooled] weimar [Experiment CLESA169283DEINDE; R−Prec 16.36%; Pooled] cheshire [Experiment MODET2FBX; R−Prec 15.45%; Not Pooled] weimar [Experiment CLESA169283LDDEINDE; R−Prec 15.40%; Not Pooled] weimar [Experiment BASELINEDEINDE; R−Prec 12.30%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% R−Precision 54 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Ad−Hoc TEL Monolingual German Task − Tukey T test with "top group" highlighted OTDE09TDE OTDE09T TCDDERUN3 TCDDCUDE3 OTDE09TD RUN11 CUT_3_MONO_MERGED_DE_1_2 RUN10 INDEXALLESA CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 RUN12 TCDDERUN1 CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 TCDDCU_DE1F Experiments TCDDCUDE4 AIFB_ONB_INDEXALL TCDDCU_DE1 RUN9 TCDDERUN4 TCDDERUN2 AIFB_ONB_INDEXBL CACAO_DEONB_ALLEXP CACAO_DEONB_SEMVECTEXP CACAO_DEONB_ML CACAO_DEONB_TOPDOCSEXP CACAO_DEONB_BASE OTDE09TDZ COMBINEDDEINDE MODET2FB3 MODET2FB MODET2FBX CLESA169283DEINDE CLESA169283LDDEINDE BASELINEDEINDE 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 arcsin(sqrt(R−Precision)) 55 56 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 9.00 10.00 11.00 11.00 15.00 11.09 1.42 1.00 6.00 0.13 11.01 10.93 0.99 9.00 12.00 10.60 0.72 702-AH 9.00 15.00 16.00 18.00 18.00 15.60 2.57 3.00 9.00 0.16 15.36 15.09 2.01 11.00 18.00 15.79 2.33 703-AH 8.00 9.00 9.00 10.00 11.00 9.46 0.92 1.00 3.00 0.10 9.42 9.38 0.77 8.00 11.00 9.46 0.92 704-AH 12.00 27.25 32.00 37.00 51.00 32.31 9.20 9.75 39.00 0.28 30.95 29.43 6.62 17.00 51.00 32.91 8.62 705-AH 2.00 10.00 13.00 14.00 14.00 11.60 2.59 4.00 12.00 0.22 11.12 10.11 2.01 6.00 14.00 11.88 2.01 706-AH 1.00 6.00 7.00 7.00 10.00 6.46 1.69 1.00 9.00 0.26 6.13 5.46 1.22 5.00 8.00 6.38 0.90 707-AH 3.00 9.00 10.00 10.00 10.00 9.43 1.24 1.00 7.00 0.13 9.29 9.02 0.72 8.00 10.00 9.62 0.55 708-AH 0.00 7.00 8.00 8.00 8.00 6.20 3.16 1.00 8.00 0.51 0.71 0.00 2.55 7.00 8.00 7.85 0.36 709-AH 0.00 21.25 35.00 40.75 46.00 29.43 14.45 19.50 46.00 0.49 11.13 0.00 12.03 0.00 46.00 29.43 14.45 710-AH 0.00 21.25 25.00 25.00 26.00 21.26 7.48 3.75 26.00 0.35 6.52 0.00 5.05 19.00 26.00 24.03 2.06 711-AH 7.00 9.00 10.00 12.00 16.00 10.37 2.31 3.00 9.00 0.22 10.11 9.85 1.87 7.00 16.00 10.37 2.31 712-AH 3.00 4.00 5.00 5.00 12.00 5.43 2.37 1.00 9.00 0.44 5.10 4.88 1.44 3.00 5.00 4.61 0.56 713-AH 1.00 5.00 5.00 6.75 8.00 5.43 1.46 1.75 7.00 0.27 5.17 4.72 1.14 4.00 8.00 5.56 1.26 714-AH 0.00 5.50 26.00 27.00 32.00 19.40 11.48 21.50 32.00 0.59 3.35 0.00 9.79 0.00 32.00 19.40 11.48 715-AH 0.00 4.75 13.00 14.00 16.00 10.37 4.95 9.25 16.00 0.48 6.12 0.00 4.39 0.00 16.00 10.37 4.95 716-AH 8.00 18.00 25.00 26.00 26.00 22.69 4.92 8.00 18.00 0.22 21.98 21.01 3.99 8.00 26.00 22.69 4.92 717-AH 26.00 29.75 36.00 38.00 42.00 34.77 5.25 8.25 16.00 0.15 34.36 33.93 4.29 26.00 42.00 34.77 5.25 718-AH 9.00 19.00 20.00 24.00 31.00 21.37 5.64 5.00 22.00 0.26 20.56 19.60 4.33 17.00 31.00 22.47 4.52 719-AH 1.00 8.75 18.00 20.00 23.00 15.31 6.57 11.25 22.00 0.43 13.04 9.12 5.57 1.00 23.00 15.31 6.57 720-AH 8.00 13.00 14.00 15.00 16.00 13.94 1.80 2.00 8.00 0.13 13.81 13.66 1.33 10.00 16.00 14.12 1.49 721-AH 5.00 21.00 23.00 26.00 32.00 22.09 6.30 5.00 27.00 0.29 20.91 19.17 4.64 16.00 32.00 24.34 3.96 722-AH 3.00 4.00 5.00 6.00 8.00 5.11 1.32 2.00 5.00 0.26 4.96 4.81 1.17 3.00 8.00 5.11 1.32 723-AH 0.00 8.00 9.00 10.00 12.00 8.03 3.27 2.00 12.00 0.41 1.86 0.00 2.20 6.00 12.00 9.06 1.55 724-AH 30.00 46.50 48.00 48.00 48.00 46.66 3.32 1.50 18.00 0.07 46.51 46.33 2.00 46.00 48.00 47.86 0.52 725-AH 0.00 14.00 14.00 31.00 39.00 19.80 11.67 17.00 39.00 0.59 10.70 0.00 9.87 0.00 39.00 19.80 11.67 726-AH 0.00 3.25 6.00 7.00 9.00 5.31 2.73 3.75 9.00 0.51 2.28 0.00 2.31 0.00 9.00 5.31 2.73 727-AH 1.00 5.00 11.00 22.00 25.00 13.57 8.97 17.00 24.00 0.66 9.47 5.12 8.22 1.00 25.00 13.57 8.97 728-AH 2.00 6.25 7.00 10.00 16.00 8.40 3.57 3.75 14.00 0.42 7.63 6.76 2.74 2.00 15.00 7.94 3.11 729-AH 0.00 1.00 2.00 10.00 20.00 6.06 6.90 9.00 20.00 1.14 0.87 0.00 5.96 0.00 20.00 6.06 6.90 730-AH 0.00 0.00 0.00 13.75 15.00 5.71 6.51 13.75 15.00 1.14 0.01 0.00 5.88 0.00 15.00 5.71 6.51 731-AH 23.00 30.25 40.00 49.00 57.00 39.80 9.86 18.75 34.00 0.25 38.58 37.35 8.38 23.00 57.00 39.80 9.86 732-AH 9.00 17.00 19.00 21.00 26.00 18.57 4.20 4.00 17.00 0.23 18.03 17.39 3.18 11.00 26.00 19.15 3.56 733-AH 0.00 13.00 21.00 22.00 22.00 15.97 8.17 9.00 22.00 0.51 4.31 0.00 6.89 0.00 22.00 15.97 8.17 734-AH 14.00 17.00 19.00 20.00 20.00 18.29 1.81 3.00 6.00 0.10 18.19 18.09 1.53 14.00 20.00 18.29 1.81 735-AH 0.00 15.00 30.00 40.00 53.00 28.17 14.30 25.00 53.00 0.51 15.65 0.00 11.76 0.00 53.00 28.17 14.30 736-AH 2.00 8.00 14.00 17.00 20.00 12.54 5.29 9.00 18.00 0.42 10.92 8.73 4.43 2.00 20.00 12.54 5.29 737-AH 9.00 31.50 45.00 62.75 71.00 45.17 17.54 31.25 62.00 0.39 40.99 35.48 15.55 9.00 71.00 45.17 17.54 738-AH 5.00 10.25 18.00 23.00 29.00 16.80 7.70 12.75 24.00 0.46 14.90 12.99 6.85 5.00 29.00 16.80 7.70 739-AH 14.00 22.00 25.00 29.00 29.00 25.20 3.99 7.00 15.00 0.16 24.86 24.47 3.30 14.00 29.00 25.20 3.99 740-AH 22.00 42.50 51.00 53.75 62.00 47.89 9.76 11.25 40.00 0.20 46.65 45.07 7.24 37.00 62.00 50.16 6.49 741-AH 14.00 17.00 17.00 20.00 20.00 17.66 1.92 3.00 6.00 0.11 17.55 17.45 1.61 14.00 20.00 17.66 1.92 742-AH 0.00 1.00 3.00 3.00 3.00 2.14 1.00 2.00 3.00 0.47 1.39 0.00 0.93 0.00 3.00 2.14 1.00 743-AH 0.00 1.00 1.00 8.00 15.00 3.94 5.40 7.00 15.00 1.37 0.15 0.00 4.60 0.00 15.00 3.94 5.40 744-AH 5.00 19.00 22.00 23.75 25.00 20.26 4.93 4.75 20.00 0.24 19.27 17.48 3.44 13.00 25.00 21.18 3.23 745-AH 11.00 50.75 68.00 71.00 72.00 59.77 18.30 20.25 61.00 0.31 54.68 45.72 13.93 46.00 72.00 65.61 8.40 746-AH 18.00 43.50 56.00 73.00 76.00 55.29 18.40 29.50 58.00 0.33 51.36 46.31 14.79 18.00 76.00 55.29 18.40 747-AH 0.00 33.00 59.00 64.75 78.00 51.11 19.82 31.75 78.00 0.39 31.44 0.00 16.61 0.00 78.00 51.11 19.82 748-AH 1.00 1.25 3.00 3.00 3.00 2.31 0.87 1.75 2.00 0.37 2.11 1.87 0.78 1.00 3.00 2.31 0.87 749-AH 6.00 12.25 20.00 30.50 51.00 23.14 12.64 18.25 45.00 0.55 19.69 16.42 10.16 6.00 51.00 23.14 12.64 750-AH 2.00 5.00 7.00 12.00 17.00 8.49 4.25 7.00 15.00 0.50 7.37 6.24 3.84 2.00 17.00 8.49 4.25 57 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0099 0.0488 0.0720 0.1117 0.1946 0.0801 0.0447 0.0629 0.1846 0.5579 0.0674 0.0533 0.0343 0.0099 0.1946 0.0801 0.0447 702-AH 0.0635 0.2587 0.3145 0.3376 0.3908 0.2842 0.0928 0.0790 0.3273 0.3266 0.2601 0.2229 0.0706 0.2044 0.3908 0.3173 0.0462 703-AH 0.0399 0.1383 0.1680 0.2359 0.4456 0.1984 0.0894 0.0976 0.4058 0.4503 0.1805 0.1613 0.0681 0.0399 0.3621 0.1835 0.0669 704-AH 0.0110 0.0695 0.1078 0.1556 0.3617 0.1166 0.0808 0.0861 0.3507 0.6929 0.0893 0.0596 0.0586 0.0110 0.2430 0.1026 0.0583 705-AH 0.0929 0.2573 0.3021 0.3712 0.4866 0.3001 0.0927 0.1139 0.3936 0.3087 0.2835 0.2631 0.0728 0.0929 0.4866 0.3001 0.0927 706-AH 0.0003 0.0089 0.1568 0.3412 0.4728 0.1824 0.1643 0.3322 0.4725 0.9005 0.0630 0.0069 0.1439 0.0003 0.4728 0.1824 0.1643 707-AH 0.2061 0.3483 0.3617 0.4382 0.5609 0.3966 0.0795 0.0899 0.3548 0.2005 0.3889 0.3811 0.0646 0.3162 0.5609 0.4022 0.0734 708-AH 0.0000 0.0058 0.0170 0.2020 0.6266 0.1373 0.1934 0.1961 0.6266 1.4085 0.0116 0.0001 0.1518 0.0000 0.4562 0.0944 0.1371 709-AH 0.0000 0.0677 0.2594 0.3441 0.5173 0.2304 0.1693 0.2764 0.5173 0.7347 0.0650 0.0002 0.1417 0.0000 0.5173 0.2304 0.1693 710-AH 0.0000 0.0607 0.3566 0.6220 0.7555 0.3628 0.2667 0.5613 0.7555 0.7352 0.1067 0.0001 0.2251 0.0000 0.7555 0.3628 0.2667 711-AH 0.0262 0.2302 0.2839 0.4169 0.4932 0.2955 0.1412 0.1867 0.4670 0.4779 0.2451 0.1728 0.1141 0.0262 0.4932 0.2955 0.1412 712-AH 0.0038 0.2027 0.2295 0.2307 0.6534 0.2193 0.1027 0.0280 0.6496 0.4681 0.1797 0.0717 0.0505 0.1758 0.2524 0.2221 0.0210 713-AH 0.0003 0.0282 0.0487 0.1156 0.2206 0.0777 0.0666 0.0875 0.2202 0.8575 0.0453 0.0084 0.0548 0.0003 0.2206 0.0777 0.0666 714-AH 0.0000 0.0236 0.3771 0.4615 0.5677 0.3024 0.2018 0.4379 0.5677 0.6674 0.0615 0.0001 0.1739 0.0000 0.5677 0.3024 0.2018 715-AH 0.0000 0.0211 0.0657 0.1034 0.2051 0.0692 0.0548 0.0823 0.2051 0.7925 0.0360 0.0003 0.0435 0.0000 0.2051 0.0692 0.0548 716-AH 0.0598 0.2688 0.3534 0.5673 0.7511 0.3984 0.1860 0.2985 0.6913 0.4668 0.3517 0.2955 0.1545 0.0598 0.7511 0.3984 0.1860 717-AH 0.0791 0.2710 0.3826 0.4670 0.5658 0.3698 0.1214 0.1959 0.4867 0.3283 0.3441 0.3073 0.1014 0.0791 0.5658 0.3698 0.1214 718-AH 0.0214 0.2135 0.2672 0.3372 0.4431 0.2658 0.1020 0.1236 0.4217 0.3838 0.2325 0.1651 0.0761 0.0309 0.4431 0.2729 0.0941 719-AH 0.0016 0.0297 0.0770 0.1639 0.3667 0.1024 0.0889 0.1342 0.3651 0.8684 0.0555 0.0167 0.0722 0.0016 0.2893 0.0946 0.0773 720-AH 0.0199 0.3186 0.4577 0.5601 0.7748 0.4259 0.1921 0.2415 0.7549 0.4510 0.3454 0.1887 0.1554 0.0199 0.7748 0.4259 0.1921 721-AH 0.0009 0.0514 0.0753 0.1158 0.2754 0.0955 0.0711 0.0645 0.2745 0.7442 0.0674 0.0192 0.0529 0.0009 0.1845 0.0746 0.0418 722-AH 0.0089 0.0723 0.1171 0.1862 0.3580 0.1404 0.0902 0.1139 0.3491 0.6426 0.1102 0.0721 0.0688 0.0089 0.3509 0.1340 0.0831 723-AH 0.0000 0.0630 0.1357 0.1933 0.3018 0.1278 0.0797 0.1303 0.3018 0.6236 0.0427 0.0001 0.0677 0.0000 0.3018 0.1278 0.0797 724-AH 0.2862 0.6040 0.6358 0.7232 0.7875 0.6461 0.1039 0.1192 0.5013 0.1608 0.6362 0.6234 0.0779 0.4919 0.7875 0.6567 0.0841 725-AH 0.0000 0.1650 0.2361 0.2792 0.5394 0.2362 0.1434 0.1142 0.5394 0.6069 0.1293 0.0003 0.1015 0.0000 0.4254 0.2009 0.1089 726-AH 0.0000 0.0013 0.0055 0.0232 0.2022 0.0321 0.0578 0.0218 0.2022 1.7970 0.0043 0.0001 0.0416 0.0000 0.0483 0.0076 0.0109 727-AH 0.0009 0.0062 0.0568 0.1701 0.3220 0.0904 0.0944 0.1639 0.3211 1.0434 0.0284 0.0053 0.0839 0.0009 0.3220 0.0904 0.0944 728-AH 0.0070 0.0648 0.1072 0.1529 0.2182 0.1099 0.0506 0.0882 0.2112 0.4608 0.0952 0.0689 0.0395 0.0070 0.2182 0.1099 0.0506 729-AH 0.0000 0.0110 0.0161 0.0292 0.0669 0.0191 0.0153 0.0182 0.0669 0.8009 0.0071 0.0001 0.0113 0.0000 0.0364 0.0165 0.0110 730-AH 0.0000 0.0000 0.0000 0.0976 0.2041 0.0480 0.0616 0.0976 0.2041 1.2844 0.0008 0.0000 0.0547 0.0000 0.2041 0.0480 0.0616 731-AH 0.0346 0.2253 0.3324 0.5176 0.8429 0.3617 0.1823 0.2922 0.8083 0.5042 0.3060 0.2296 0.1525 0.0346 0.8429 0.3617 0.1823 732-AH 0.0059 0.0199 0.0286 0.0862 0.2265 0.0652 0.0623 0.0663 0.2206 0.9561 0.0416 0.0272 0.0498 0.0059 0.1412 0.0477 0.0400 733-AH 0.0000 0.0723 0.2899 0.4004 0.5507 0.2565 0.1696 0.3281 0.5507 0.6612 0.0746 0.0001 0.1450 0.0000 0.5507 0.2565 0.1696 734-AH 0.3163 0.5596 0.7276 0.8404 0.8712 0.6822 0.1848 0.2807 0.5549 0.2710 0.6515 0.6144 0.1490 0.3163 0.8712 0.6822 0.1848 735-AH 0.0000 0.0598 0.0967 0.1808 0.3123 0.1153 0.0772 0.1210 0.3123 0.6697 0.0602 0.0003 0.0633 0.0000 0.3123 0.1153 0.0772 736-AH 0.0010 0.0175 0.0306 0.0466 0.0680 0.0313 0.0180 0.0291 0.0670 0.5750 0.0242 0.0128 0.0142 0.0010 0.0680 0.0313 0.0180 737-AH 0.0083 0.0297 0.0567 0.1305 0.2146 0.0835 0.0655 0.1009 0.2063 0.7841 0.0593 0.0406 0.0561 0.0083 0.2146 0.0835 0.0655 738-AH 0.0009 0.0123 0.0459 0.1313 0.3666 0.0923 0.1091 0.1191 0.3657 1.1817 0.0347 0.0094 0.0847 0.0009 0.2554 0.0682 0.0775 739-AH 0.0316 0.3936 0.4775 0.6166 0.6685 0.4639 0.1810 0.2230 0.6369 0.3902 0.3940 0.2529 0.1367 0.0990 0.6685 0.4898 0.1507 740-AH 0.0093 0.2132 0.3915 0.4359 0.5909 0.3286 0.1541 0.2227 0.5816 0.4688 0.2621 0.1296 0.1295 0.0093 0.5909 0.3286 0.1541 741-AH 0.0772 0.3325 0.4576 0.5444 0.7286 0.4269 0.1526 0.2119 0.6513 0.3574 0.3899 0.3349 0.1223 0.0772 0.7286 0.4269 0.1526 742-AH 0.0000 0.0956 0.1694 0.3333 0.7917 0.2502 0.2033 0.2377 0.7917 0.8128 0.1396 0.0003 0.1561 0.0000 0.3794 0.2006 0.1251 743-AH 0.0000 0.0001 0.0010 0.0252 0.3689 0.0267 0.0667 0.0251 0.3689 2.4987 0.0008 0.0000 0.0378 0.0000 0.0622 0.0054 0.0137 744-AH 0.0434 0.1260 0.4235 0.5420 0.6343 0.3604 0.2113 0.4160 0.5908 0.5864 0.2743 0.1857 0.1939 0.0434 0.6343 0.3604 0.2113 745-AH 0.0109 0.2442 0.4579 0.6819 0.7880 0.4446 0.2501 0.4377 0.7770 0.5626 0.3202 0.1346 0.2212 0.0109 0.7880 0.4446 0.2501 746-AH 0.0051 0.3453 0.4345 0.4933 0.6535 0.3861 0.1766 0.1480 0.6484 0.4574 0.2567 0.0578 0.1267 0.3215 0.6535 0.4486 0.0908 747-AH 0.0000 0.0405 0.0807 0.1317 0.2158 0.0866 0.0562 0.0912 0.2158 0.6483 0.0523 0.0003 0.0476 0.0000 0.2158 0.0866 0.0562 748-AH 0.0159 0.0513 0.1111 0.1848 0.4983 0.1278 0.0977 0.1335 0.4824 0.7645 0.0983 0.0734 0.0689 0.0159 0.3316 0.1169 0.0746 749-AH 0.0009 0.0353 0.0885 0.1357 0.3509 0.1020 0.0849 0.1004 0.3500 0.8318 0.0600 0.0125 0.0664 0.0009 0.2284 0.0881 0.0642 750-AH 0.0010 0.0082 0.0193 0.0783 0.2579 0.0512 0.0632 0.0701 0.2568 1.2351 0.0227 0.0089 0.0493 0.0010 0.1671 0.0406 0.0465 58 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0876 0.0754 0.1333 0.2000 0.8611 0.0049 0.0000 0.0673 0.0000 0.2000 0.0876 0.0754 702-AH 0.1364 0.2727 0.2727 0.3182 0.4091 0.2870 0.0591 0.0455 0.2727 0.2060 0.2803 0.2726 0.0441 0.2273 0.3636 0.2947 0.0335 703-AH 0.0000 0.1136 0.1818 0.1818 0.5455 0.1948 0.1149 0.0682 0.5455 0.5897 0.1345 0.0003 0.0727 0.0909 0.2727 0.1667 0.0538 704-AH 0.0000 0.0938 0.1786 0.2277 0.4286 0.1806 0.1107 0.1339 0.4286 0.6127 0.1135 0.0003 0.0851 0.0000 0.3929 0.1733 0.1034 705-AH 0.0714 0.2143 0.2857 0.4286 0.5000 0.3000 0.1079 0.2143 0.4286 0.3597 0.2780 0.2514 0.0906 0.0714 0.5000 0.3000 0.1079 706-AH 0.0000 0.0000 0.2000 0.3000 0.5000 0.1943 0.1731 0.3000 0.5000 0.8910 0.0064 0.0000 0.1497 0.0000 0.5000 0.1943 0.1731 707-AH 0.2000 0.3000 0.3000 0.4000 0.5000 0.3343 0.0684 0.1000 0.3000 0.2045 0.3282 0.3226 0.0547 0.2000 0.5000 0.3343 0.0684 708-AH 0.0000 0.0000 0.0000 0.3333 0.6667 0.1302 0.1989 0.3333 0.6667 1.5283 0.0004 0.0000 0.1722 0.0000 0.6667 0.1302 0.1989 709-AH 0.0000 0.1302 0.3125 0.3958 0.6042 0.2827 0.1848 0.2656 0.6042 0.6535 0.0627 0.0001 0.1526 0.0000 0.6042 0.2827 0.1848 710-AH 0.0000 0.1207 0.3793 0.6207 0.8276 0.3901 0.2837 0.5000 0.8276 0.7272 0.0794 0.0001 0.2377 0.0000 0.8276 0.3901 0.2837 711-AH 0.0625 0.2500 0.3125 0.4844 0.5625 0.3500 0.1547 0.2344 0.5000 0.4421 0.3060 0.2479 0.1286 0.0625 0.5625 0.3500 0.1547 712-AH 0.0000 0.2500 0.2500 0.2500 0.5833 0.2452 0.0880 0.0000 0.5833 0.3587 0.1807 0.0003 0.0370 0.2500 0.2500 0.2500 0.0000 713-AH 0.0000 0.0227 0.0909 0.1818 0.2727 0.1247 0.0988 0.1591 0.2727 0.7926 0.0127 0.0000 0.0853 0.0000 0.2727 0.1247 0.0988 714-AH 0.0000 0.0909 0.4848 0.5455 0.6061 0.3671 0.2291 0.4545 0.6061 0.6241 0.0756 0.0001 0.1998 0.0000 0.6061 0.3671 0.2291 715-AH 0.0000 0.0000 0.0625 0.0625 0.3125 0.0732 0.0795 0.0625 0.3125 1.0855 0.0051 0.0000 0.0564 0.0000 0.0625 0.0379 0.0311 716-AH 0.0769 0.3462 0.4615 0.5385 0.6154 0.4363 0.1220 0.1923 0.5385 0.2796 0.4113 0.3674 0.0963 0.0769 0.6154 0.4363 0.1220 717-AH 0.1190 0.3095 0.3810 0.4940 0.5952 0.3939 0.1160 0.1845 0.4762 0.2944 0.3736 0.3475 0.0990 0.1190 0.5952 0.3939 0.1160 718-AH 0.0312 0.2891 0.3750 0.4375 0.4688 0.3455 0.1201 0.1484 0.4375 0.3475 0.3090 0.2378 0.0925 0.0938 0.4688 0.3548 0.1085 719-AH 0.0000 0.0400 0.1200 0.2300 0.4000 0.1394 0.1129 0.1900 0.4000 0.8096 0.0267 0.0001 0.0942 0.0000 0.4000 0.1394 0.1129 720-AH 0.0000 0.3750 0.5000 0.6250 0.7500 0.4768 0.2133 0.2500 0.7500 0.4475 0.2471 0.0002 0.1716 0.0000 0.7500 0.4768 0.2133 721-AH 0.0000 0.0882 0.1176 0.1985 0.3529 0.1370 0.0888 0.1103 0.3529 0.6482 0.0714 0.0002 0.0691 0.0000 0.3529 0.1370 0.0888 722-AH 0.0000 0.1111 0.1111 0.2222 0.3333 0.1460 0.0798 0.1111 0.3333 0.5465 0.0824 0.0002 0.0626 0.0000 0.3333 0.1460 0.0798 723-AH 0.0000 0.0667 0.1333 0.1333 0.3333 0.1276 0.0782 0.0667 0.3333 0.6125 0.0442 0.0001 0.0536 0.0000 0.2000 0.1075 0.0562 724-AH 0.2708 0.5625 0.6250 0.6615 0.6875 0.5970 0.0875 0.0990 0.4167 0.1466 0.5890 0.5783 0.0630 0.4375 0.6875 0.6066 0.0676 725-AH 0.0000 0.2074 0.2979 0.3511 0.5745 0.2821 0.1552 0.1436 0.5745 0.5502 0.1667 0.0003 0.1123 0.0000 0.5532 0.2735 0.1488 726-AH 0.0000 0.0000 0.0000 0.0625 0.4375 0.0554 0.1152 0.0625 0.4375 2.0813 0.0002 0.0000 0.0791 0.0000 0.1250 0.0125 0.0303 727-AH 0.0000 0.0000 0.0741 0.2500 0.3704 0.1280 0.1339 0.2500 0.3704 1.0461 0.0070 0.0000 0.1186 0.0000 0.3704 0.1280 0.1339 728-AH 0.0526 0.1053 0.1579 0.1974 0.3684 0.1564 0.0771 0.0921 0.3158 0.4930 0.1396 0.1244 0.0587 0.0526 0.3158 0.1502 0.0687 729-AH 0.0000 0.0312 0.0625 0.0625 0.1875 0.0580 0.0474 0.0312 0.1875 0.8171 0.0135 0.0001 0.0337 0.0000 0.0938 0.0427 0.0278 730-AH 0.0000 0.0000 0.0000 0.1000 0.3500 0.0757 0.1080 0.1000 0.3500 1.4269 0.0008 0.0000 0.0866 0.0000 0.2500 0.0591 0.0861 731-AH 0.0351 0.3421 0.4737 0.5439 0.7544 0.4416 0.1702 0.2018 0.7193 0.3854 0.3928 0.2992 0.1317 0.1579 0.7544 0.4536 0.1571 732-AH 0.0000 0.0000 0.0741 0.1111 0.2963 0.0899 0.0969 0.1111 0.2963 1.0769 0.0070 0.0000 0.0768 0.0000 0.2593 0.0706 0.0761 733-AH 0.0000 0.1196 0.3478 0.4674 0.6087 0.2907 0.1856 0.3478 0.6087 0.6385 0.0823 0.0001 0.1614 0.0000 0.6087 0.2907 0.1856 734-AH 0.3000 0.4750 0.7500 0.8000 0.8500 0.6700 0.1832 0.3250 0.5500 0.2734 0.6401 0.6048 0.1566 0.3000 0.8500 0.6700 0.1832 735-AH 0.0000 0.1233 0.2055 0.2466 0.3973 0.1918 0.0950 0.1233 0.3973 0.4952 0.1248 0.0003 0.0775 0.0000 0.3973 0.1918 0.0950 736-AH 0.0000 0.0385 0.0769 0.1154 0.1538 0.0692 0.0425 0.0769 0.1538 0.6145 0.0253 0.0001 0.0369 0.0000 0.1538 0.0692 0.0425 737-AH 0.0595 0.0833 0.1310 0.2232 0.3214 0.1524 0.0775 0.1399 0.2619 0.5084 0.1342 0.1184 0.0652 0.0595 0.3214 0.1524 0.0775 738-AH 0.0000 0.0294 0.1176 0.1765 0.4118 0.1336 0.1142 0.1471 0.4118 0.8548 0.0243 0.0001 0.0930 0.0000 0.3529 0.1254 0.1050 739-AH 0.0000 0.3793 0.4828 0.5517 0.6207 0.4463 0.1549 0.1724 0.6207 0.3470 0.3173 0.0003 0.1165 0.1379 0.6207 0.4702 0.1225 740-AH 0.0000 0.2344 0.4219 0.4961 0.6562 0.3804 0.1660 0.2617 0.6562 0.4365 0.2608 0.0003 0.1352 0.0000 0.6562 0.3804 0.1660 741-AH 0.0500 0.3500 0.5000 0.5500 0.7500 0.4471 0.1475 0.2000 0.7000 0.3299 0.4032 0.3059 0.1147 0.0500 0.7500 0.4471 0.1475 742-AH 0.0000 0.0000 0.3333 0.3333 0.6667 0.2667 0.1947 0.3333 0.6667 0.7301 0.0180 0.0000 0.1524 0.0000 0.6667 0.2667 0.1947 743-AH 0.0000 0.0000 0.0000 0.0000 0.5333 0.0210 0.0911 0.0000 0.5333 4.3498 0.0000 0.0000 0.0371 0.0000 0.0000 0.0000 0.0000 744-AH 0.0385 0.1538 0.4231 0.5385 0.6154 0.3626 0.1964 0.3846 0.5769 0.5416 0.2834 0.1829 0.1780 0.0385 0.6154 0.3626 0.1964 745-AH 0.0556 0.2813 0.5417 0.7187 0.8056 0.4857 0.2468 0.4375 0.7500 0.5081 0.3954 0.2775 0.2226 0.0556 0.8056 0.4857 0.2468 746-AH 0.0260 0.4156 0.4545 0.4935 0.6364 0.4082 0.1654 0.0779 0.6104 0.4052 0.3244 0.1693 0.1168 0.3636 0.5844 0.4708 0.0518 747-AH 0.0000 0.0959 0.1279 0.2209 0.2907 0.1545 0.0788 0.1250 0.2907 0.5104 0.1049 0.0003 0.0689 0.0000 0.2907 0.1545 0.0788 748-AH 0.0000 0.0000 0.0000 0.3333 0.3333 0.1143 0.1605 0.3333 0.3333 1.4046 0.0004 0.0000 0.1502 0.0000 0.3333 0.1143 0.1605 749-AH 0.0000 0.0533 0.1333 0.2000 0.4133 0.1455 0.1096 0.1467 0.4133 0.7534 0.0850 0.0003 0.0902 0.0000 0.4133 0.1455 0.1096 750-AH 0.0000 0.0400 0.0400 0.1600 0.2800 0.0949 0.0789 0.1200 0.2800 0.8314 0.0297 0.0001 0.0673 0.0000 0.2800 0.0949 0.0789 59 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0222 0.1033 0.1956 0.0566 0.0654 0.1033 0.1956 1.1554 0.0030 0.0000 0.0563 0.0000 0.1956 0.0566 0.0654 702-AH 0.0785 0.2629 0.2748 0.2996 0.3781 0.2665 0.0671 0.0367 0.2996 0.2518 0.2547 0.2374 0.0449 0.2603 0.3388 0.2876 0.0226 703-AH 0.0000 0.0909 0.1240 0.1818 0.4628 0.1478 0.1075 0.0909 0.4628 0.7273 0.0922 0.0003 0.0793 0.0000 0.3140 0.1290 0.0766 704-AH 0.0000 0.0865 0.1349 0.1824 0.3763 0.1452 0.0879 0.0959 0.3763 0.6053 0.0953 0.0003 0.0653 0.0000 0.3259 0.1384 0.0793 705-AH 0.0663 0.2003 0.2245 0.3380 0.3929 0.2494 0.0844 0.1378 0.3265 0.3384 0.2341 0.2160 0.0701 0.0663 0.3929 0.2494 0.0844 706-AH 0.0000 0.0000 0.2000 0.2950 0.5200 0.1806 0.1683 0.2950 0.5200 0.9322 0.0060 0.0000 0.1423 0.0000 0.5200 0.1806 0.1683 707-AH 0.2000 0.3000 0.3000 0.3500 0.5100 0.3286 0.0627 0.0500 0.3100 0.1908 0.3233 0.3183 0.0489 0.2800 0.4100 0.3157 0.0379 708-AH 0.0000 0.0000 0.0000 0.1605 0.6049 0.1076 0.1725 0.1605 0.6049 1.6038 0.0004 0.0000 0.1384 0.0000 0.3704 0.0593 0.1093 709-AH 0.0000 0.1589 0.2266 0.3484 0.5469 0.2427 0.1613 0.1896 0.5469 0.6644 0.0890 0.0001 0.1297 0.0000 0.5469 0.2427 0.1613 710-AH 0.0000 0.0809 0.3579 0.6139 0.7907 0.3788 0.2815 0.5330 0.7907 0.7431 0.1095 0.0001 0.2449 0.0000 0.7907 0.3788 0.2815 711-AH 0.0117 0.2197 0.2891 0.4443 0.5117 0.3115 0.1417 0.2246 0.5000 0.4549 0.2625 0.1577 0.1154 0.0117 0.5117 0.3115 0.1417 712-AH 0.0000 0.2309 0.2431 0.2431 0.6042 0.2335 0.0942 0.0122 0.6042 0.4034 0.1663 0.0003 0.0419 0.2222 0.2500 0.2390 0.0080 713-AH 0.0000 0.0083 0.0744 0.1488 0.2397 0.0907 0.0817 0.1405 0.2397 0.9013 0.0095 0.0000 0.0677 0.0000 0.2397 0.0907 0.0817 714-AH 0.0000 0.0657 0.4472 0.5032 0.5831 0.3455 0.2178 0.4376 0.5831 0.6304 0.0711 0.0001 0.1919 0.0000 0.5831 0.3455 0.2178 715-AH 0.0000 0.0000 0.0391 0.0625 0.2266 0.0522 0.0599 0.0625 0.2266 1.1459 0.0039 0.0000 0.0424 0.0000 0.1523 0.0380 0.0374 716-AH 0.0828 0.2711 0.3728 0.5288 0.6686 0.3856 0.1488 0.2578 0.5858 0.3858 0.3527 0.3101 0.1196 0.0828 0.6686 0.3856 0.1488 717-AH 0.0845 0.2829 0.3543 0.4403 0.5425 0.3588 0.1107 0.1575 0.4580 0.3087 0.3378 0.3089 0.0934 0.0845 0.5425 0.3588 0.1107 718-AH 0.0312 0.2595 0.3154 0.3455 0.4395 0.2881 0.1120 0.0859 0.4082 0.3889 0.2493 0.1827 0.0842 0.1963 0.4395 0.3319 0.0578 719-AH 0.0000 0.0388 0.0848 0.1536 0.3456 0.1067 0.0896 0.1148 0.3456 0.8398 0.0214 0.0001 0.0722 0.0000 0.2960 0.0996 0.0805 720-AH 0.0000 0.3262 0.4414 0.6084 0.7383 0.4490 0.1986 0.2822 0.7383 0.4422 0.2347 0.0002 0.1607 0.0000 0.7383 0.4490 0.1986 721-AH 0.0000 0.0426 0.0649 0.1347 0.2933 0.0944 0.0767 0.0921 0.2933 0.8121 0.0544 0.0003 0.0588 0.0000 0.1869 0.0766 0.0511 722-AH 0.0000 0.0988 0.1111 0.1975 0.3827 0.1407 0.0837 0.0988 0.3827 0.5946 0.0783 0.0002 0.0635 0.0000 0.3333 0.1336 0.0734 723-AH 0.0000 0.0622 0.1244 0.1333 0.2667 0.1083 0.0644 0.0711 0.2667 0.5947 0.0383 0.0001 0.0502 0.0000 0.2222 0.0991 0.0537 724-AH 0.2135 0.5959 0.6493 0.6977 0.7157 0.6249 0.1012 0.1018 0.5022 0.1619 0.6132 0.5947 0.0700 0.4831 0.7157 0.6430 0.0646 725-AH 0.0000 0.2133 0.2834 0.3146 0.5509 0.2764 0.1441 0.1013 0.5509 0.5212 0.1677 0.0003 0.0999 0.0801 0.4590 0.2778 0.0803 726-AH 0.0000 0.0000 0.0000 0.0146 0.3086 0.0398 0.0859 0.0146 0.3086 2.1551 0.0002 0.0000 0.0604 0.0000 0.0156 0.0021 0.0048 727-AH 0.0000 0.0014 0.0466 0.1828 0.2853 0.0905 0.0971 0.1814 0.2853 1.0720 0.0078 0.0000 0.0853 0.0000 0.2853 0.0905 0.0971 728-AH 0.0139 0.1004 0.1080 0.1544 0.2410 0.1303 0.0563 0.0540 0.2271 0.4325 0.1167 0.0955 0.0443 0.0526 0.2355 0.1271 0.0476 729-AH 0.0000 0.0220 0.0449 0.0537 0.1289 0.0410 0.0303 0.0317 0.1289 0.7387 0.0103 0.0001 0.0232 0.0000 0.0762 0.0361 0.0231 730-AH 0.0000 0.0000 0.0000 0.0781 0.2700 0.0543 0.0797 0.0781 0.2700 1.4685 0.0007 0.0000 0.0609 0.0000 0.1925 0.0369 0.0569 731-AH 0.0345 0.3026 0.4251 0.5072 0.8366 0.4101 0.1722 0.2045 0.8021 0.4198 0.3609 0.2760 0.1380 0.0345 0.6651 0.3975 0.1577 732-AH 0.0000 0.0000 0.0357 0.0871 0.2332 0.0629 0.0713 0.0871 0.2332 1.1335 0.0049 0.0000 0.0561 0.0000 0.2140 0.0528 0.0598 733-AH 0.0000 0.0699 0.2363 0.4192 0.5274 0.2500 0.1718 0.3492 0.5274 0.6873 0.0700 0.0001 0.1512 0.0000 0.5274 0.2500 0.1718 734-AH 0.2700 0.4894 0.7400 0.8456 0.8775 0.6667 0.2104 0.3563 0.6075 0.3156 0.6241 0.5719 0.1718 0.2700 0.8775 0.6667 0.2104 735-AH 0.0000 0.1379 0.1768 0.2316 0.3376 0.1754 0.0833 0.0937 0.3376 0.4748 0.1143 0.0003 0.0636 0.0000 0.3376 0.1754 0.0833 736-AH 0.0000 0.0329 0.0385 0.0662 0.0962 0.0451 0.0238 0.0333 0.0962 0.5277 0.0267 0.0002 0.0200 0.0000 0.0962 0.0451 0.0238 737-AH 0.0434 0.0752 0.0957 0.1718 0.2874 0.1229 0.0681 0.0966 0.2440 0.5536 0.1068 0.0937 0.0556 0.0434 0.2874 0.1229 0.0681 738-AH 0.0000 0.0112 0.0623 0.1507 0.4663 0.1086 0.1235 0.1395 0.4663 1.1368 0.0197 0.0001 0.0916 0.0000 0.2561 0.0785 0.0758 739-AH 0.0000 0.3636 0.4625 0.5511 0.6124 0.4231 0.1645 0.1876 0.6124 0.3888 0.2907 0.0003 0.1261 0.1082 0.6124 0.4580 0.1218 740-AH 0.0010 0.2844 0.4568 0.4885 0.6433 0.3877 0.1639 0.2040 0.6423 0.4227 0.3045 0.0308 0.1336 0.0010 0.6433 0.3877 0.1639 741-AH 0.0500 0.3256 0.4500 0.5219 0.7150 0.4052 0.1550 0.1962 0.6650 0.3826 0.3610 0.2902 0.1255 0.0500 0.7150 0.4052 0.1550 742-AH 0.0000 0.0000 0.1111 0.3333 0.6667 0.1937 0.1950 0.3333 0.6667 1.0068 0.0127 0.0000 0.1578 0.0000 0.6667 0.1937 0.1950 743-AH 0.0000 0.0000 0.0000 0.0000 0.4578 0.0155 0.0774 0.0000 0.4578 4.9988 0.0000 0.0000 0.0272 0.0000 0.0000 0.0000 0.0000 744-AH 0.0385 0.1387 0.3802 0.5041 0.5976 0.3383 0.1935 0.3654 0.5592 0.5720 0.2580 0.1668 0.1776 0.0385 0.5976 0.3383 0.1935 745-AH 0.0552 0.3510 0.5152 0.7731 0.8252 0.5262 0.2622 0.4221 0.7701 0.4982 0.4255 0.2873 0.2338 0.0552 0.8252 0.5262 0.2622 746-AH 0.0261 0.3999 0.4640 0.4918 0.6919 0.4165 0.1743 0.0919 0.6657 0.4185 0.3314 0.1783 0.1205 0.2894 0.5991 0.4643 0.0676 747-AH 0.0000 0.0608 0.0998 0.1543 0.2773 0.1167 0.0678 0.0935 0.2773 0.5813 0.0788 0.0003 0.0556 0.0000 0.2773 0.1167 0.0678 748-AH 0.0000 0.0000 0.0000 0.1111 0.3333 0.0476 0.0776 0.1111 0.3333 1.6290 0.0003 0.0000 0.0626 0.0000 0.2222 0.0392 0.0604 749-AH 0.0000 0.0544 0.0965 0.1983 0.4119 0.1346 0.1072 0.1438 0.4119 0.7962 0.0761 0.0003 0.0857 0.0000 0.4119 0.1346 0.1072 750-AH 0.0000 0.0284 0.0432 0.0980 0.2512 0.0686 0.0635 0.0696 0.2512 0.9252 0.0209 0.0001 0.0497 0.0000 0.1776 0.0583 0.0486 60 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0159 0.0936 0.1429 0.3625 1.0000 0.3077 0.3382 0.2689 0.9841 1.0991 0.1845 0.1157 0.2646 0.0159 0.5000 0.1645 0.1223 702-AH 0.2222 1.0000 1.0000 1.0000 1.0000 0.9224 0.2211 0.0000 0.7778 0.2397 0.8745 0.7877 0.1374 1.0000 1.0000 1.0000 0.0000 703-AH 0.0714 0.2222 0.6000 1.0000 1.0000 0.6152 0.3744 0.7778 0.9286 0.6085 0.4812 0.3543 0.3548 0.0714 1.0000 0.6152 0.3744 704-AH 0.0588 0.5000 0.7143 1.0000 1.0000 0.6589 0.3083 0.5000 0.9412 0.4679 0.5409 0.3612 0.2510 0.0588 1.0000 0.6589 0.3083 705-AH 0.4545 0.6667 1.0000 1.0000 1.0000 0.8654 0.2078 0.3333 0.5455 0.2402 0.8357 0.8009 0.1846 0.4545 1.0000 0.8654 0.2078 706-AH 0.0032 0.0271 1.0000 1.0000 1.0000 0.6030 0.4671 0.9729 0.9968 0.7746 0.2127 0.0345 0.4383 0.0032 1.0000 0.6030 0.4671 707-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 708-AH 0.0000 0.0098 0.0305 0.3480 1.0000 0.2710 0.3714 0.3382 1.0000 1.3704 0.0207 0.0001 0.2967 0.0000 0.6667 0.1202 0.1734 709-AH 0.0000 0.3890 1.0000 1.0000 1.0000 0.7344 0.4016 0.6110 1.0000 0.5469 0.2652 0.0002 0.3408 0.0000 1.0000 0.7344 0.4016 710-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.7263 0.3878 0.6000 1.0000 0.5339 0.2468 0.0001 0.3391 0.0000 1.0000 0.7263 0.3878 711-AH 0.1111 0.7569 1.0000 1.0000 1.0000 0.8409 0.2777 0.2431 0.8889 0.3302 0.7632 0.6270 0.2273 0.4167 1.0000 0.9176 0.1818 712-AH 0.0200 1.0000 1.0000 1.0000 1.0000 0.9082 0.2666 0.0000 0.9800 0.2935 0.7815 0.3571 0.1626 1.0000 1.0000 1.0000 0.0000 713-AH 0.0038 0.0938 0.2500 0.5000 1.0000 0.3980 0.3663 0.4062 0.9962 0.9203 0.2056 0.0537 0.3062 0.0038 1.0000 0.3980 0.3663 714-AH 0.0000 0.3750 0.7647 1.0000 1.0000 0.6947 0.3709 0.6250 1.0000 0.5338 0.1788 0.0001 0.3045 0.0000 1.0000 0.6947 0.3709 715-AH 0.0000 0.0964 0.1429 0.4286 1.0000 0.2624 0.2504 0.3321 1.0000 0.9542 0.1305 0.0003 0.1951 0.0000 0.6000 0.2177 0.1747 716-AH 0.4286 1.0000 1.0000 1.0000 1.0000 0.9097 0.2046 0.0000 0.5714 0.2249 0.8776 0.8333 0.1496 1.0000 1.0000 1.0000 0.0000 717-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9566 0.1080 0.0000 0.3333 0.1128 0.9496 0.9413 0.0743 1.0000 1.0000 1.0000 0.0000 718-AH 0.1333 1.0000 1.0000 1.0000 1.0000 0.9158 0.2430 0.0000 0.8667 0.2653 0.8451 0.6916 0.1492 1.0000 1.0000 1.0000 0.0000 719-AH 0.0133 0.2390 0.5000 0.9500 1.0000 0.5041 0.3521 0.7110 0.9867 0.6985 0.3090 0.1077 0.2765 0.0133 1.0000 0.5041 0.3521 720-AH 0.0375 0.7500 0.8333 1.0000 1.0000 0.8246 0.2428 0.2500 0.9625 0.2944 0.7179 0.3784 0.1652 0.5000 1.0000 0.8723 0.1468 721-AH 0.0077 0.1456 0.2222 0.5221 1.0000 0.4045 0.3547 0.3765 0.9923 0.8767 0.2572 0.1110 0.3012 0.0077 1.0000 0.4045 0.3547 722-AH 0.0455 0.5000 1.0000 1.0000 1.0000 0.8062 0.3061 0.5000 0.9545 0.3798 0.6923 0.4459 0.2658 0.0455 1.0000 0.8062 0.3061 723-AH 0.0000 0.3750 1.0000 1.0000 1.0000 0.6956 0.3855 0.6250 1.0000 0.5541 0.1947 0.0001 0.3478 0.0000 1.0000 0.6956 0.3855 724-AH 0.6364 1.0000 1.0000 1.0000 1.0000 0.9736 0.0888 0.0000 0.3636 0.0912 0.9687 0.9627 0.0483 1.0000 1.0000 1.0000 0.0000 725-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9020 0.2529 0.0000 1.0000 0.2804 0.6171 0.0003 0.1569 1.0000 1.0000 1.0000 0.0000 726-AH 0.0000 0.0064 0.0189 0.1075 1.0000 0.1221 0.2196 0.1011 1.0000 1.7984 0.0201 0.0002 0.1493 0.0000 0.2500 0.0373 0.0550 727-AH 0.0068 0.0444 0.2500 0.6250 1.0000 0.3607 0.3422 0.5806 0.9932 0.9486 0.1711 0.0530 0.2930 0.0068 1.0000 0.3607 0.3422 728-AH 0.0667 0.5000 1.0000 1.0000 1.0000 0.8048 0.2743 0.5000 0.9333 0.3408 0.7287 0.5676 0.2454 0.0667 1.0000 0.8048 0.2743 729-AH 0.0000 0.1028 0.2000 0.3333 1.0000 0.2846 0.2949 0.2306 1.0000 1.0364 0.0681 0.0001 0.2104 0.0000 0.5000 0.1923 0.1468 730-AH 0.0000 0.0000 0.0000 0.5000 1.0000 0.2323 0.3204 0.5000 1.0000 1.3795 0.0016 0.0000 0.2615 0.0000 1.0000 0.2323 0.3204 731-AH 0.5000 0.8000 1.0000 1.0000 1.0000 0.9006 0.1506 0.2000 0.5000 0.1672 0.8862 0.8695 0.1306 0.5714 1.0000 0.9124 0.1355 732-AH 0.0248 0.0536 0.1667 0.5675 1.0000 0.3621 0.3748 0.5138 0.9752 1.0351 0.1759 0.0864 0.3271 0.0248 1.0000 0.3621 0.3748 733-AH 0.0000 0.3409 0.5000 1.0000 1.0000 0.5713 0.3442 0.6591 1.0000 0.6025 0.1933 0.0001 0.2936 0.0000 1.0000 0.5713 0.3442 734-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 735-AH 0.0000 0.5000 0.7500 1.0000 1.0000 0.6857 0.3336 0.5000 1.0000 0.4866 0.4214 0.0003 0.2803 0.0000 1.0000 0.6857 0.3336 736-AH 0.0171 0.1009 0.1667 0.2500 0.5000 0.2009 0.1447 0.1491 0.4829 0.7206 0.1518 0.1032 0.1120 0.0171 0.2857 0.1510 0.0810 737-AH 0.1154 0.2043 0.2500 0.5000 1.0000 0.3810 0.2622 0.2957 0.8846 0.6881 0.3155 0.2702 0.1990 0.1154 0.6250 0.3011 0.1422 738-AH 0.0083 0.0684 0.2105 1.0000 1.0000 0.4945 0.4503 0.9316 0.9917 0.9107 0.2271 0.0749 0.4333 0.0083 1.0000 0.4945 0.4503 739-AH 0.1148 1.0000 1.0000 1.0000 1.0000 0.8879 0.2513 0.0000 0.8852 0.2830 0.8111 0.6463 0.1730 1.0000 1.0000 1.0000 0.0000 740-AH 0.0323 0.6724 1.0000 1.0000 1.0000 0.8406 0.2258 0.3276 0.9677 0.2686 0.7670 0.4806 0.1797 0.3333 1.0000 0.8644 0.1793 741-AH 0.1667 0.6667 1.0000 1.0000 1.0000 0.8169 0.2566 0.3333 0.8333 0.3141 0.7581 0.6693 0.2198 0.2750 1.0000 0.8360 0.2337 742-AH 0.0000 0.2708 0.3333 1.0000 1.0000 0.5236 0.3689 0.7292 1.0000 0.7045 0.2910 0.0003 0.3267 0.0000 1.0000 0.5236 0.3689 743-AH 0.0000 0.0013 0.0147 0.0820 1.0000 0.0635 0.1705 0.0807 1.0000 2.6851 0.0037 0.0000 0.0786 0.0000 0.2000 0.0360 0.0510 744-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 745-AH 0.1216 0.6278 1.0000 1.0000 1.0000 0.7989 0.2498 0.3722 0.8784 0.3127 0.7396 0.6364 0.2132 0.1216 1.0000 0.7989 0.2498 746-AH 0.0345 0.9000 1.0000 1.0000 1.0000 0.8533 0.3151 0.1000 0.9655 0.3693 0.6886 0.3400 0.2189 0.7778 1.0000 0.9776 0.0595 747-AH 0.0000 0.2036 0.3333 0.5000 1.0000 0.4133 0.3036 0.2964 1.0000 0.7345 0.2453 0.0003 0.2342 0.0000 0.6000 0.2920 0.1514 748-AH 0.0476 0.1250 0.2500 0.3333 1.0000 0.2396 0.1718 0.2083 0.9524 0.7169 0.1956 0.1584 0.1154 0.0476 0.5000 0.2173 0.1112 749-AH 0.0126 1.0000 1.0000 1.0000 1.0000 0.9168 0.2759 0.0000 0.9874 0.3009 0.7223 0.1807 0.1522 1.0000 1.0000 1.0000 0.0000 750-AH 0.0128 0.1111 0.2500 1.0000 1.0000 0.4346 0.4008 0.8889 0.9872 0.9224 0.2360 0.0959 0.3554 0.0128 1.0000 0.4346 0.4008 61 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0159 0.0936 0.1429 0.2500 1.0000 0.2314 0.2300 0.1564 0.9841 0.9943 0.1609 0.1103 0.1589 0.0159 0.4286 0.1749 0.1196 702-AH 0.1667 1.0000 1.0000 1.0000 1.0000 0.8822 0.2568 0.0000 0.8333 0.2910 0.8127 0.6874 0.1817 1.0000 1.0000 1.0000 0.0000 703-AH 0.0714 0.2115 0.3333 1.0000 1.0000 0.5165 0.3627 0.7885 0.9286 0.7021 0.3891 0.2874 0.3344 0.0714 1.0000 0.5165 0.3627 704-AH 0.0347 0.1336 0.3000 0.4615 0.7500 0.3240 0.2098 0.3280 0.7153 0.6477 0.2404 0.1536 0.1753 0.0347 0.7500 0.3240 0.2098 705-AH 0.1579 0.5417 0.6667 1.0000 1.0000 0.7436 0.2346 0.4583 0.8421 0.3155 0.6983 0.6352 0.2011 0.1579 1.0000 0.7436 0.2346 706-AH 0.0032 0.0271 1.0000 1.0000 1.0000 0.6030 0.4671 0.9729 0.9968 0.7746 0.2127 0.0345 0.4383 0.0032 1.0000 0.6030 0.4671 707-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000 708-AH 0.0000 0.0098 0.0305 0.3480 1.0000 0.2710 0.3714 0.3382 1.0000 1.3704 0.0207 0.0001 0.2967 0.0000 0.6667 0.1202 0.1734 709-AH 0.0000 0.1586 0.5882 0.7778 1.0000 0.4845 0.3319 0.6192 1.0000 0.6851 0.1139 0.0001 0.2988 0.0000 1.0000 0.4845 0.3319 710-AH 0.0000 0.1535 0.8333 1.0000 1.0000 0.6238 0.3898 0.8465 1.0000 0.6249 0.1900 0.0001 0.3379 0.0000 1.0000 0.6238 0.3898 711-AH 0.1111 0.5312 1.0000 1.0000 1.0000 0.7761 0.3128 0.4688 0.8889 0.4031 0.6755 0.5258 0.2688 0.1111 1.0000 0.7761 0.3128 712-AH 0.0098 0.8125 1.0000 1.0000 1.0000 0.8589 0.2891 0.1875 0.9902 0.3366 0.6865 0.1977 0.2096 0.6000 1.0000 0.9500 0.1197 713-AH 0.0000 0.0612 0.1579 0.4000 1.0000 0.2485 0.2611 0.3388 1.0000 1.0504 0.1099 0.0003 0.2055 0.0000 0.6000 0.2030 0.1870 714-AH 0.0000 0.0648 0.7143 0.7944 1.0000 0.5560 0.3572 0.7296 1.0000 0.6425 0.0491 0.0000 0.3086 0.0000 1.0000 0.5560 0.3572 715-AH 0.0000 0.0698 0.0952 0.1533 0.6000 0.1429 0.1412 0.0835 0.6000 0.9881 0.0649 0.0002 0.0978 0.0000 0.2727 0.0982 0.0624 716-AH 0.0968 0.5000 0.5909 1.0000 1.0000 0.6966 0.2680 0.5000 0.9032 0.3847 0.6321 0.5362 0.2416 0.0968 1.0000 0.6966 0.2680 717-AH 0.1538 0.7143 0.9000 1.0000 1.0000 0.8430 0.2165 0.2857 0.8462 0.2569 0.7934 0.6938 0.1610 0.5455 1.0000 0.8839 0.1398 718-AH 0.0923 0.4667 0.6667 0.8295 1.0000 0.6267 0.2700 0.3629 0.9077 0.4309 0.5442 0.4258 0.2217 0.0923 1.0000 0.6267 0.2700 719-AH 0.0000 0.0536 0.2105 0.3938 0.8000 0.2324 0.2128 0.3401 0.8000 0.9160 0.1061 0.0003 0.1745 0.0000 0.8000 0.2324 0.2128 720-AH 0.0375 0.7500 0.8000 1.0000 1.0000 0.7755 0.2673 0.2500 0.9625 0.3447 0.6457 0.3238 0.1770 0.4000 1.0000 0.8438 0.1488 721-AH 0.0077 0.1328 0.1579 0.2625 0.5294 0.2078 0.1339 0.1297 0.5217 0.6441 0.1624 0.0941 0.1081 0.0077 0.4444 0.1892 0.1131 722-AH 0.0455 0.5000 1.0000 1.0000 1.0000 0.8062 0.3061 0.5000 0.9545 0.3798 0.6923 0.4459 0.2658 0.0455 1.0000 0.8062 0.3061 723-AH 0.0000 0.1290 0.5000 1.0000 1.0000 0.5390 0.4205 0.8710 1.0000 0.7802 0.1273 0.0001 0.3907 0.0000 1.0000 0.5390 0.4205 724-AH 0.6364 0.7644 1.0000 1.0000 1.0000 0.8950 0.1278 0.2356 0.3636 0.1428 0.8854 0.8751 0.1098 0.6364 1.0000 0.8950 0.1278 725-AH 0.0000 0.7143 0.8182 0.8729 1.0000 0.6831 0.3362 0.1586 1.0000 0.4921 0.1900 0.0001 0.2602 0.5833 1.0000 0.8422 0.0996 726-AH 0.0000 0.0063 0.0169 0.0669 1.0000 0.1113 0.2206 0.0606 1.0000 1.9810 0.0104 0.0001 0.1466 0.0000 0.1481 0.0243 0.0351 727-AH 0.0000 0.0127 0.1034 0.3846 0.5385 0.1862 0.1890 0.3719 0.5385 1.0154 0.0293 0.0001 0.1695 0.0000 0.5385 0.1862 0.1890 728-AH 0.0152 0.4250 0.6667 1.0000 1.0000 0.6306 0.3129 0.5750 0.9848 0.4962 0.4662 0.1536 0.2507 0.0152 1.0000 0.6306 0.3129 729-AH 0.0000 0.0000 0.0000 0.0573 0.2857 0.0414 0.0744 0.0573 0.2857 1.7996 0.0003 0.0000 0.0557 0.0000 0.1304 0.0199 0.0400 730-AH 0.0000 0.0000 0.0000 0.2320 0.6667 0.1447 0.2117 0.2320 0.6667 1.4629 0.0012 0.0000 0.1739 0.0000 0.5556 0.1293 0.1941 731-AH 0.0266 0.6240 0.7333 0.8750 1.0000 0.7384 0.2040 0.2510 0.9734 0.2762 0.6737 0.4128 0.1531 0.3889 1.0000 0.7593 0.1645 732-AH 0.0248 0.0429 0.0625 0.1968 0.5714 0.1417 0.1577 0.1540 0.5466 1.1128 0.0867 0.0616 0.1240 0.0248 0.4000 0.1064 0.1089 733-AH 0.0000 0.1177 0.4762 0.8000 1.0000 0.4764 0.3480 0.6823 1.0000 0.7304 0.0854 0.0001 0.2888 0.0000 1.0000 0.4764 0.3480 734-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9949 0.0210 0.0000 0.1000 0.0211 0.9947 0.9945 0.0095 1.0000 1.0000 1.0000 0.0000 735-AH 0.0000 0.2177 0.5000 0.6400 1.0000 0.4423 0.2767 0.4223 1.0000 0.6256 0.1553 0.0001 0.2309 0.0000 1.0000 0.4423 0.2767 736-AH 0.0000 0.0545 0.0962 0.1313 0.1875 0.0948 0.0507 0.0767 0.1875 0.5346 0.0631 0.0003 0.0422 0.0000 0.1875 0.0948 0.0507 737-AH 0.0129 0.0835 0.1606 0.2892 0.7857 0.2063 0.1635 0.2057 0.7728 0.7922 0.1514 0.1002 0.1231 0.0129 0.5000 0.1893 0.1306 738-AH 0.0064 0.0301 0.1429 0.2969 1.0000 0.2398 0.2790 0.2668 0.9936 1.1636 0.1064 0.0379 0.2032 0.0064 0.6667 0.1737 0.1795 739-AH 0.1148 0.7769 1.0000 1.0000 1.0000 0.8400 0.2740 0.2231 0.8852 0.3262 0.7542 0.5955 0.2071 0.5455 1.0000 0.9256 0.1360 740-AH 0.0287 0.4803 0.7143 0.8824 1.0000 0.6672 0.2896 0.4021 0.9713 0.4342 0.5456 0.3049 0.2342 0.0287 1.0000 0.6672 0.2896 741-AH 0.0531 0.6354 1.0000 1.0000 1.0000 0.7894 0.2860 0.3646 0.9469 0.3623 0.6952 0.4949 0.2407 0.1515 1.0000 0.8110 0.2596 742-AH 0.0000 0.2708 0.3333 1.0000 1.0000 0.5236 0.3689 0.7292 1.0000 0.7045 0.2910 0.0003 0.3267 0.0000 1.0000 0.5236 0.3689 743-AH 0.0000 0.0000 0.0000 0.0728 0.6667 0.0452 0.1180 0.0728 0.6667 2.6111 0.0002 0.0000 0.0650 0.0000 0.1379 0.0269 0.0478 744-AH 0.0517 0.3977 1.0000 1.0000 1.0000 0.7192 0.3611 0.6023 0.9483 0.5021 0.5551 0.3283 0.3151 0.0517 1.0000 0.7192 0.3611 745-AH 0.0368 0.4412 0.6667 0.7575 1.0000 0.6027 0.2647 0.3163 0.9632 0.4392 0.4899 0.2819 0.2080 0.0368 1.0000 0.6027 0.2647 746-AH 0.0240 0.7526 0.8750 0.9486 1.0000 0.7696 0.3129 0.1960 0.9760 0.4066 0.5676 0.2043 0.2176 0.7143 1.0000 0.8908 0.0916 747-AH 0.0000 0.1144 0.1800 0.2653 0.5000 0.1911 0.1167 0.1509 0.5000 0.6108 0.1205 0.0003 0.0945 0.0000 0.4444 0.1821 0.1052 748-AH 0.0476 0.1250 0.2500 0.3333 1.0000 0.2396 0.1718 0.2083 0.9524 0.7169 0.1956 0.1584 0.1154 0.0476 0.5000 0.2173 0.1112 749-AH 0.0000 0.0235 0.1667 0.6607 0.9091 0.3250 0.3250 0.6372 0.9091 1.0001 0.0698 0.0001 0.2976 0.0000 0.9091 0.3250 0.3250 750-AH 0.0000 0.0176 0.0588 0.2107 1.0000 0.1844 0.2665 0.1931 1.0000 1.4452 0.0451 0.0002 0.1910 0.0000 0.3750 0.0894 0.1048 62 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0159 0.0936 0.1233 0.1524 0.7500 0.1787 0.1772 0.0588 0.7341 0.9917 0.1308 0.0986 0.1163 0.0159 0.1786 0.1085 0.0371 702-AH 0.1000 0.6562 1.0000 1.0000 1.0000 0.8084 0.3043 0.3438 0.9000 0.3764 0.7000 0.5107 0.2452 0.1429 1.0000 0.8511 0.2558 703-AH 0.0524 0.1351 0.1875 0.2286 1.0000 0.2538 0.2061 0.0936 0.9476 0.8121 0.2022 0.1678 0.1380 0.0524 0.3333 0.1787 0.0674 704-AH 0.0231 0.0755 0.1579 0.2625 0.6842 0.1966 0.1579 0.1870 0.6611 0.8033 0.1420 0.0975 0.1181 0.0231 0.3871 0.1690 0.1128 705-AH 0.0000 0.3813 0.4667 0.5341 1.0000 0.4733 0.1918 0.1528 1.0000 0.4052 0.3359 0.0003 0.1323 0.1579 0.7500 0.4484 0.1253 706-AH 0.0000 0.0254 0.6667 1.0000 1.0000 0.5272 0.4536 0.9746 1.0000 0.8604 0.1452 0.0003 0.4257 0.0000 1.0000 0.5272 0.4536 707-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9929 0.0423 0.0000 0.2500 0.0426 0.9918 0.9906 0.0139 1.0000 1.0000 1.0000 0.0000 708-AH 0.0000 0.0098 0.0305 0.3480 1.0000 0.2710 0.3715 0.3382 1.0000 1.3709 0.0177 0.0000 0.2968 0.0000 0.6667 0.1201 0.1735 709-AH 0.0000 0.1150 0.4000 0.6538 0.8182 0.3970 0.2944 0.5388 0.8182 0.7416 0.0750 0.0001 0.2512 0.0000 0.8182 0.3970 0.2944 710-AH 0.0000 0.0815 0.6429 0.8889 1.0000 0.5595 0.3911 0.8074 1.0000 0.6991 0.1580 0.0001 0.3485 0.0000 1.0000 0.5595 0.3911 711-AH 0.0373 0.3542 0.6667 0.8000 1.0000 0.5911 0.2892 0.4458 0.9627 0.4893 0.4608 0.2620 0.2417 0.0373 1.0000 0.5911 0.2892 712-AH 0.0080 0.6000 0.7500 0.7500 1.0000 0.6539 0.2680 0.1500 0.9920 0.4099 0.4782 0.1190 0.1916 0.5000 0.8333 0.6840 0.0977 713-AH 0.0000 0.0520 0.0833 0.1645 0.6000 0.1622 0.1817 0.1125 0.6000 1.1204 0.0748 0.0003 0.1406 0.0000 0.2500 0.0776 0.0545 714-AH 0.0000 0.0134 0.6667 0.7778 1.0000 0.5292 0.3528 0.7644 1.0000 0.6666 0.0380 0.0000 0.3028 0.0000 1.0000 0.5292 0.3528 715-AH 0.0000 0.0426 0.0824 0.1456 0.5714 0.1069 0.1129 0.1030 0.5714 1.0558 0.0348 0.0001 0.0761 0.0000 0.2353 0.0860 0.0689 716-AH 0.0511 0.4628 0.5500 0.8304 1.0000 0.6167 0.2342 0.3675 0.9489 0.3797 0.5580 0.4386 0.1889 0.0511 1.0000 0.6167 0.2342 717-AH 0.0586 0.5786 0.6842 0.8182 1.0000 0.6783 0.2090 0.2396 0.9414 0.3081 0.6226 0.4902 0.1508 0.3913 1.0000 0.7121 0.1597 718-AH 0.0255 0.4591 0.5556 0.7500 1.0000 0.5390 0.2402 0.2909 0.9745 0.4457 0.4486 0.2778 0.1901 0.0255 1.0000 0.5390 0.2402 719-AH 0.0000 0.0230 0.0930 0.2560 0.6154 0.1737 0.1767 0.2331 0.6154 1.0177 0.0673 0.0003 0.1466 0.0000 0.5833 0.1607 0.1616 720-AH 0.0348 0.5848 0.8000 0.8571 1.0000 0.6814 0.2732 0.2723 0.9652 0.4009 0.5513 0.2864 0.2075 0.2500 1.0000 0.7605 0.1664 721-AH 0.0000 0.1264 0.1565 0.2078 0.5294 0.1831 0.1211 0.0815 0.5294 0.6612 0.1199 0.0003 0.0860 0.0250 0.3175 0.1526 0.0646 722-AH 0.0082 0.0285 0.0541 0.5714 1.0000 0.2894 0.4087 0.5429 0.9918 1.4125 0.0894 0.0379 0.3464 0.0082 1.0000 0.2894 0.4087 723-AH 0.0000 0.1050 0.1290 0.1823 1.0000 0.1679 0.1747 0.0773 1.0000 1.0406 0.0507 0.0001 0.0980 0.0000 0.2667 0.1259 0.0716 724-AH 0.5556 0.7317 0.8889 1.0000 1.0000 0.8653 0.1387 0.2683 0.4444 0.1603 0.8536 0.8412 0.1209 0.5556 1.0000 0.8653 0.1387 725-AH 0.0000 0.2028 0.7692 0.8462 1.0000 0.5863 0.3452 0.6433 1.0000 0.5888 0.1503 0.0001 0.2979 0.0000 1.0000 0.5863 0.3452 726-AH 0.0000 0.0011 0.0146 0.0551 0.4375 0.0681 0.1253 0.0539 0.4375 1.8401 0.0040 0.0000 0.0873 0.0000 0.0606 0.0154 0.0189 727-AH 0.0000 0.0000 0.0929 0.3422 0.5385 0.1645 0.1763 0.3422 0.5385 1.0715 0.0095 0.0000 0.1569 0.0000 0.5385 0.1645 0.1763 728-AH 0.0000 0.0394 0.0789 0.2079 0.6667 0.1641 0.1821 0.1685 0.6667 1.1099 0.0460 0.0001 0.1425 0.0000 0.4444 0.1252 0.1329 729-AH 0.0000 0.0000 0.0000 0.0248 0.1750 0.0265 0.0485 0.0248 0.1750 1.8344 0.0002 0.0000 0.0353 0.0000 0.0614 0.0064 0.0139 730-AH 0.0000 0.0000 0.0000 0.1396 0.5556 0.1053 0.1704 0.1396 0.5556 1.6184 0.0010 0.0000 0.1302 0.0000 0.3333 0.0545 0.0946 731-AH 0.0266 0.5277 0.7059 0.8571 1.0000 0.6548 0.2800 0.3295 0.9734 0.4276 0.5337 0.2853 0.2170 0.0422 1.0000 0.6733 0.2616 732-AH 0.0163 0.0336 0.0452 0.1567 0.5000 0.1130 0.1315 0.1231 0.4837 1.1628 0.0666 0.0464 0.1025 0.0163 0.2609 0.0736 0.0722 733-AH 0.0000 0.1177 0.4000 0.7500 1.0000 0.4319 0.3233 0.6323 1.0000 0.7486 0.0534 0.0000 0.2755 0.0000 1.0000 0.4319 0.3233 734-AH 0.5556 0.9183 1.0000 1.0000 1.0000 0.9171 0.1566 0.0817 0.4444 0.1707 0.9010 0.8814 0.1187 0.8333 1.0000 0.9853 0.0398 735-AH 0.0000 0.0133 0.2344 0.3425 0.6250 0.2182 0.1763 0.3292 0.6250 0.8080 0.0188 0.0000 0.1474 0.0000 0.6250 0.2182 0.1763 736-AH 0.0000 0.0296 0.0476 0.0741 0.1591 0.0540 0.0399 0.0445 0.1591 0.7386 0.0130 0.0001 0.0312 0.0000 0.1333 0.0509 0.0360 737-AH 0.0000 0.0677 0.1118 0.2551 0.4857 0.1606 0.1279 0.1874 0.4857 0.7966 0.0744 0.0002 0.1039 0.0000 0.4857 0.1606 0.1279 738-AH 0.0000 0.0133 0.0787 0.2102 1.0000 0.1767 0.2474 0.1970 1.0000 1.4005 0.0467 0.0002 0.1716 0.0000 0.4762 0.1268 0.1418 739-AH 0.0926 0.7714 1.0000 1.0000 1.0000 0.8225 0.2885 0.2286 0.9074 0.3508 0.7224 0.5344 0.2210 0.4375 1.0000 0.9093 0.1610 740-AH 0.0262 0.3315 0.6897 0.8667 0.9500 0.6005 0.2931 0.5352 0.9238 0.4881 0.4707 0.2415 0.2456 0.0262 0.9500 0.6005 0.2931 741-AH 0.0531 0.6354 0.7143 1.0000 1.0000 0.7301 0.2626 0.3646 0.9469 0.3597 0.6487 0.4757 0.1971 0.1515 1.0000 0.7500 0.2383 742-AH 0.0000 0.2708 0.3333 1.0000 1.0000 0.5236 0.3689 0.7292 1.0000 0.7045 0.2910 0.0003 0.3267 0.0000 1.0000 0.5236 0.3689 743-AH 0.0000 0.0000 0.0000 0.0687 0.6667 0.0447 0.1178 0.0687 0.6667 2.6374 0.0001 0.0000 0.0644 0.0000 0.1379 0.0264 0.0472 744-AH 0.0000 0.1969 0.7778 1.0000 1.0000 0.6095 0.3935 0.8031 1.0000 0.6457 0.2525 0.0002 0.3621 0.0000 1.0000 0.6095 0.3935 745-AH 0.0000 0.3348 0.5769 0.7531 0.9000 0.5395 0.2732 0.4183 0.9000 0.5064 0.2629 0.0002 0.2323 0.0000 0.9000 0.5395 0.2732 746-AH 0.0199 0.6839 0.8421 0.9309 1.0000 0.7195 0.3074 0.2470 0.9801 0.4273 0.5071 0.1548 0.2240 0.4524 1.0000 0.8346 0.1216 747-AH 0.0000 0.0684 0.1498 0.2361 0.4222 0.1596 0.1084 0.1676 0.4222 0.6789 0.0786 0.0002 0.0935 0.0000 0.4222 0.1596 0.1084 748-AH 0.0476 0.1250 0.2500 0.3333 1.0000 0.2396 0.1718 0.2083 0.9524 0.7169 0.1956 0.1584 0.1154 0.0476 0.5000 0.2173 0.1112 749-AH 0.0000 0.0000 0.0647 0.2122 0.8095 0.1621 0.2173 0.2122 0.8095 1.3410 0.0090 0.0000 0.1641 0.0000 0.4839 0.1103 0.1383 750-AH 0.0000 0.0076 0.0213 0.0910 0.6250 0.0821 0.1360 0.0834 0.6250 1.6557 0.0115 0.0001 0.0946 0.0000 0.2000 0.0433 0.0622 63 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0159 0.0429 0.1034 0.1286 0.1786 0.0908 0.0473 0.0858 0.1626 0.5215 0.0749 0.0572 0.0397 0.0159 0.1786 0.0908 0.0473 702-AH 0.0195 0.1644 0.2917 0.4375 1.0000 0.3338 0.2299 0.2731 0.9805 0.6888 0.2464 0.1465 0.1735 0.0195 0.7778 0.3143 0.2016 703-AH 0.0524 0.1245 0.1818 0.2222 0.6667 0.2132 0.1509 0.0977 0.6143 0.7079 0.1779 0.1521 0.0963 0.0524 0.3182 0.1649 0.0603 704-AH 0.0000 0.0484 0.1308 0.2479 0.6071 0.1640 0.1486 0.1995 0.6071 0.9061 0.0868 0.0003 0.1160 0.0000 0.5000 0.1509 0.1289 705-AH 0.0000 0.2682 0.3333 0.4520 0.8333 0.3592 0.1755 0.1838 0.8333 0.4887 0.2468 0.0003 0.1269 0.0000 0.5455 0.3304 0.1335 706-AH 0.0000 0.0132 0.1429 0.7500 1.0000 0.3230 0.3760 0.7368 1.0000 1.1642 0.0726 0.0003 0.3256 0.0000 1.0000 0.3230 0.3760 707-AH 0.0612 1.0000 1.0000 1.0000 1.0000 0.9232 0.1809 0.0000 0.9388 0.1959 0.8717 0.6646 0.1185 1.0000 1.0000 1.0000 0.0000 708-AH 0.0000 0.0098 0.0305 0.3480 1.0000 0.2222 0.3034 0.3382 1.0000 1.3657 0.0164 0.0000 0.2364 0.0000 0.6667 0.1493 0.1922 709-AH 0.0000 0.0634 0.3226 0.4454 0.8182 0.3314 0.2695 0.3820 0.8182 0.8131 0.0415 0.0000 0.2166 0.0000 0.8182 0.3314 0.2695 710-AH 0.0000 0.0462 0.5000 0.8480 1.0000 0.5104 0.3713 0.8018 1.0000 0.7275 0.1377 0.0001 0.3305 0.0000 1.0000 0.5104 0.3713 711-AH 0.0172 0.2632 0.5000 0.7024 1.0000 0.4738 0.2627 0.4392 0.9828 0.5544 0.3527 0.1748 0.2131 0.0172 1.0000 0.4738 0.2627 712-AH 0.0000 0.0088 0.0095 0.0176 0.8333 0.0746 0.1982 0.0089 0.8333 2.6546 0.0143 0.0003 0.1074 0.0000 0.0196 0.0098 0.0040 713-AH 0.0000 0.0158 0.0312 0.0808 0.1724 0.0523 0.0512 0.0650 0.1724 0.9786 0.0274 0.0003 0.0406 0.0000 0.1724 0.0523 0.0512 714-AH 0.0000 0.0037 0.6316 0.7610 0.8667 0.4948 0.3376 0.7574 0.8667 0.6822 0.0346 0.0000 0.2977 0.0000 0.8667 0.4948 0.3376 715-AH 0.0000 0.0022 0.0698 0.1456 0.3333 0.0885 0.0871 0.1434 0.3333 0.9845 0.0083 0.0000 0.0697 0.0000 0.3333 0.0885 0.0871 716-AH 0.0437 0.4301 0.5263 0.7167 1.0000 0.5692 0.2265 0.2865 0.9563 0.3980 0.5101 0.3919 0.1761 0.0437 1.0000 0.5692 0.2265 717-AH 0.0586 0.3463 0.5417 0.6725 0.9000 0.5136 0.2071 0.3262 0.8414 0.4032 0.4606 0.3777 0.1684 0.0586 0.9000 0.5136 0.2071 718-AH 0.0000 0.3119 0.4688 0.7083 0.7857 0.4634 0.2395 0.3964 0.7857 0.5169 0.2749 0.0003 0.1865 0.0000 0.7857 0.4634 0.2395 719-AH 0.0000 0.0089 0.0915 0.2554 0.6154 0.1474 0.1610 0.2465 0.6154 1.0924 0.0141 0.0000 0.1323 0.0000 0.6154 0.1474 0.1610 720-AH 0.0279 0.4603 0.7273 0.8333 1.0000 0.6289 0.2778 0.3730 0.9721 0.4418 0.4879 0.2301 0.2223 0.0279 1.0000 0.6289 0.2778 721-AH 0.0000 0.0901 0.1353 0.1677 0.4231 0.1466 0.0985 0.0776 0.4231 0.6719 0.0954 0.0003 0.0653 0.0000 0.2000 0.1168 0.0523 722-AH 0.0057 0.0143 0.0316 0.0631 1.0000 0.0868 0.1835 0.0487 0.9943 2.1137 0.0352 0.0214 0.0950 0.0057 0.1111 0.0343 0.0268 723-AH 0.0000 0.0747 0.1042 0.1400 0.4167 0.1121 0.0842 0.0654 0.4167 0.7514 0.0369 0.0001 0.0546 0.0000 0.1613 0.0920 0.0497 724-AH 0.2754 0.7143 0.8824 0.9493 1.0000 0.8284 0.1546 0.2351 0.7246 0.1866 0.8096 0.7817 0.1241 0.5926 1.0000 0.8447 0.1228 725-AH 0.0000 0.0000 0.0000 0.5403 0.8500 0.2056 0.3108 0.5403 0.8500 1.5120 0.0010 0.0000 0.2696 0.0000 0.8500 0.2056 0.3108 726-AH 0.0000 0.0000 0.0112 0.0547 0.4375 0.0672 0.1257 0.0547 0.4375 1.8698 0.0023 0.0000 0.0876 0.0000 0.0594 0.0144 0.0189 727-AH 0.0000 0.0000 0.0377 0.2754 0.4500 0.1432 0.1647 0.2754 0.4500 1.1498 0.0042 0.0000 0.1486 0.0000 0.4500 0.1432 0.1647 728-AH 0.0000 0.0121 0.0348 0.0939 0.4000 0.0665 0.0906 0.0818 0.4000 1.3632 0.0136 0.0001 0.0596 0.0000 0.2143 0.0477 0.0482 729-AH 0.0000 0.0000 0.0000 0.0178 0.1667 0.0130 0.0326 0.0178 0.1667 2.5062 0.0001 0.0000 0.0181 0.0000 0.0313 0.0057 0.0101 730-AH 0.0000 0.0000 0.0000 0.1281 0.5455 0.0791 0.1295 0.1281 0.5455 1.6383 0.0009 0.0000 0.0951 0.0000 0.2609 0.0544 0.0812 731-AH 0.0266 0.4073 0.6122 0.8400 1.0000 0.5891 0.3130 0.4327 0.9734 0.5313 0.4274 0.1924 0.2608 0.0266 1.0000 0.5891 0.3130 732-AH 0.0107 0.0291 0.0383 0.0739 0.3214 0.0853 0.0963 0.0448 0.3107 1.1290 0.0531 0.0379 0.0721 0.0107 0.0828 0.0403 0.0198 733-AH 0.0000 0.0910 0.4000 0.6591 0.8000 0.4039 0.3011 0.5681 0.8000 0.7456 0.0501 0.0000 0.2619 0.0000 0.8000 0.4039 0.3011 734-AH 0.3333 0.8115 0.9091 1.0000 1.0000 0.8618 0.1786 0.1885 0.6667 0.2073 0.8383 0.8073 0.1361 0.5455 1.0000 0.8888 0.1426 735-AH 0.0000 0.0000 0.0891 0.2507 0.4583 0.1386 0.1413 0.2507 0.4583 1.0196 0.0076 0.0000 0.1194 0.0000 0.4583 0.1386 0.1413 736-AH 0.0000 0.0139 0.0360 0.0505 0.1333 0.0398 0.0350 0.0366 0.1333 0.8795 0.0078 0.0000 0.0261 0.0000 0.0891 0.0322 0.0250 737-AH 0.0000 0.0407 0.0974 0.1676 0.3294 0.1115 0.0879 0.1269 0.3294 0.7879 0.0432 0.0001 0.0723 0.0000 0.3294 0.1115 0.0879 738-AH 0.0000 0.0031 0.0519 0.1261 0.5500 0.1105 0.1428 0.1230 0.5500 1.2922 0.0085 0.0000 0.1063 0.0000 0.3000 0.0696 0.0836 739-AH 0.0506 0.7026 0.9000 1.0000 1.0000 0.7646 0.2913 0.2974 0.9494 0.3810 0.6541 0.4342 0.2238 0.3333 1.0000 0.8460 0.1890 740-AH 0.0228 0.2500 0.5556 0.7122 0.9091 0.4941 0.2587 0.4622 0.8863 0.5236 0.3719 0.1825 0.2247 0.0228 0.9091 0.4941 0.2587 741-AH 0.0531 0.5000 0.7000 0.8429 1.0000 0.6742 0.2586 0.3429 0.9469 0.3836 0.5971 0.4469 0.2037 0.0531 1.0000 0.6742 0.2586 742-AH 0.0000 0.2708 0.3333 1.0000 1.0000 0.5236 0.3689 0.7292 1.0000 0.7045 0.2910 0.0003 0.3267 0.0000 1.0000 0.5236 0.3689 743-AH 0.0000 0.0000 0.0000 0.0356 0.6667 0.0418 0.1169 0.0356 0.6667 2.7985 0.0001 0.0000 0.0604 0.0000 0.0855 0.0075 0.0205 744-AH 0.0000 0.1134 0.7273 0.8182 0.9000 0.5044 0.3565 0.7048 0.9000 0.7069 0.1992 0.0002 0.3332 0.0000 0.9000 0.5044 0.3565 745-AH 0.0000 0.3153 0.5606 0.7531 0.8929 0.5206 0.2842 0.4377 0.8929 0.5458 0.1542 0.0001 0.2442 0.0000 0.8929 0.5206 0.2842 746-AH 0.0000 0.5809 0.7073 0.7869 0.8889 0.6080 0.2762 0.2060 0.8889 0.4543 0.1768 0.0001 0.2049 0.2976 0.8889 0.7084 0.1279 747-AH 0.0000 0.0526 0.1498 0.1972 0.3077 0.1305 0.0872 0.1445 0.3077 0.6682 0.0425 0.0001 0.0766 0.0000 0.3077 0.1305 0.0872 748-AH 0.0476 0.1250 0.2500 0.3333 1.0000 0.2396 0.1718 0.2083 0.9524 0.7169 0.1956 0.1584 0.1154 0.0476 0.5000 0.2173 0.1112 749-AH 0.0000 0.0000 0.0000 0.0764 0.7188 0.0769 0.1508 0.0764 0.7188 1.9618 0.0009 0.0000 0.0922 0.0000 0.1165 0.0245 0.0349 750-AH 0.0000 0.0000 0.0000 0.0288 0.1915 0.0253 0.0478 0.0288 0.1915 1.8923 0.0005 0.0000 0.0302 0.0000 0.0516 0.0118 0.0164 64 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0159 0.0325 0.0957 0.1233 0.1765 0.0846 0.0460 0.0908 0.1605 0.5440 0.0681 0.0503 0.0402 0.0159 0.1765 0.0846 0.0460 702-AH 0.0179 0.0845 0.1500 0.2312 0.6000 0.1767 0.1194 0.1467 0.5821 0.6756 0.1398 0.0993 0.0866 0.0179 0.4286 0.1643 0.0954 703-AH 0.0524 0.1180 0.1562 0.2222 0.6250 0.1872 0.1210 0.1042 0.5726 0.6460 0.1624 0.1435 0.0742 0.0524 0.3182 0.1615 0.0595 704-AH 0.0000 0.0408 0.0695 0.1246 0.4894 0.1035 0.1097 0.0838 0.4894 1.0606 0.0244 0.0001 0.0777 0.0000 0.1840 0.0649 0.0472 705-AH 0.0000 0.2350 0.3214 0.4444 0.6000 0.3245 0.1446 0.2094 0.6000 0.4455 0.2234 0.0003 0.1147 0.0000 0.6000 0.3245 0.1446 706-AH 0.0000 0.0122 0.0339 0.3442 0.8000 0.2119 0.3022 0.3319 0.8000 1.4261 0.0385 0.0002 0.2517 0.0000 0.8000 0.2119 0.3022 707-AH 0.0000 0.1119 0.1667 0.4444 1.0000 0.3333 0.3285 0.3325 1.0000 0.9855 0.1656 0.0003 0.2649 0.0000 0.8000 0.2222 0.1927 708-AH 0.0000 0.0093 0.0305 0.3289 1.0000 0.2017 0.2877 0.3196 1.0000 1.4262 0.0151 0.0000 0.2211 0.0000 0.8000 0.1533 0.2138 709-AH 0.0000 0.0388 0.3068 0.4056 0.8000 0.2923 0.2445 0.3668 0.8000 0.8363 0.0365 0.0000 0.1922 0.0000 0.8000 0.2923 0.2445 710-AH 0.0000 0.0412 0.4000 0.8480 0.9286 0.4571 0.3619 0.8068 0.9286 0.7916 0.0967 0.0001 0.3205 0.0000 0.9286 0.4571 0.3619 711-AH 0.0124 0.0323 0.3000 0.6538 0.8750 0.3318 0.3016 0.6216 0.8626 0.9091 0.1510 0.0507 0.2679 0.0124 0.8750 0.3318 0.3016 712-AH 0.0000 0.0000 0.0086 0.0095 0.8333 0.0547 0.1946 0.0095 0.8333 3.5600 0.0015 0.0000 0.0890 0.0000 0.0196 0.0067 0.0057 713-AH 0.0000 0.0073 0.0135 0.0406 0.1724 0.0333 0.0500 0.0332 0.1724 1.5036 0.0041 0.0000 0.0342 0.0000 0.0532 0.0165 0.0167 714-AH 0.0000 0.0000 0.5833 0.6478 0.8421 0.4267 0.3079 0.6478 0.8421 0.7215 0.0249 0.0000 0.2749 0.0000 0.8421 0.4267 0.3079 715-AH 0.0000 0.0018 0.0687 0.1127 0.3333 0.0727 0.0706 0.1109 0.3333 0.9717 0.0074 0.0000 0.0542 0.0000 0.1667 0.0650 0.0549 716-AH 0.0000 0.3754 0.4828 0.6678 1.0000 0.5247 0.2322 0.2924 1.0000 0.4425 0.3650 0.0003 0.1770 0.0000 1.0000 0.5247 0.2322 717-AH 0.0586 0.2013 0.4127 0.5377 0.9000 0.3962 0.2319 0.3364 0.8414 0.5852 0.3135 0.2275 0.1943 0.0586 0.9000 0.3962 0.2319 718-AH 0.0000 0.1573 0.3514 0.4783 0.7222 0.3373 0.2043 0.3210 0.7222 0.6058 0.1308 0.0001 0.1768 0.0000 0.7222 0.3373 0.2043 719-AH 0.0000 0.0028 0.0821 0.2146 0.4194 0.1153 0.1199 0.2119 0.4194 1.0396 0.0100 0.0000 0.1017 0.0000 0.4194 0.1153 0.1199 720-AH 0.0208 0.4113 0.7000 0.8136 0.9000 0.5807 0.2917 0.4023 0.8792 0.5023 0.4162 0.1669 0.2447 0.0208 0.9000 0.5807 0.2917 721-AH 0.0000 0.0418 0.0966 0.1353 0.3774 0.1139 0.1015 0.0936 0.3774 0.8915 0.0229 0.0001 0.0704 0.0000 0.1714 0.0828 0.0538 722-AH 0.0000 0.0097 0.0196 0.0400 0.4000 0.0511 0.0950 0.0303 0.4000 1.8605 0.0185 0.0003 0.0548 0.0000 0.0588 0.0194 0.0141 723-AH 0.0000 0.0227 0.1029 0.1131 0.2500 0.0848 0.0620 0.0904 0.2500 0.7304 0.0268 0.0001 0.0489 0.0000 0.2400 0.0800 0.0557 724-AH 0.2754 0.7108 0.7778 0.9030 0.9524 0.7778 0.1463 0.1921 0.6769 0.1881 0.7605 0.7360 0.1089 0.5128 0.9524 0.7926 0.1191 725-AH 0.0000 0.0000 0.0000 0.1710 0.8000 0.1551 0.2726 0.1710 0.8000 1.7569 0.0005 0.0000 0.2189 0.0000 0.3654 0.0278 0.0781 726-AH 0.0000 0.0000 0.0000 0.0119 0.4375 0.0342 0.1008 0.0119 0.4375 2.9458 0.0004 0.0000 0.0511 0.0000 0.0140 0.0045 0.0057 727-AH 0.0000 0.0000 0.0133 0.2107 0.3548 0.0978 0.1201 0.2107 0.3548 1.2283 0.0014 0.0000 0.1070 0.0000 0.3548 0.0978 0.1201 728-AH 0.0000 0.0000 0.0000 0.0349 0.4000 0.0318 0.0707 0.0349 0.4000 2.2242 0.0006 0.0000 0.0382 0.0000 0.0840 0.0162 0.0241 729-AH 0.0000 0.0000 0.0000 0.0000 0.0271 0.0041 0.0091 0.0000 0.0271 2.2430 0.0000 0.0000 0.0067 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0830 0.2353 0.0442 0.0717 0.0830 0.2353 1.6220 0.0002 0.0000 0.0591 0.0000 0.1765 0.0328 0.0558 731-AH 0.0266 0.2613 0.6122 0.8304 1.0000 0.5514 0.3227 0.5691 0.9734 0.5851 0.3853 0.1775 0.2779 0.0266 1.0000 0.5514 0.3227 732-AH 0.0000 0.0284 0.0341 0.0632 0.3171 0.0753 0.0859 0.0347 0.3171 1.1403 0.0325 0.0002 0.0632 0.0000 0.0828 0.0361 0.0185 733-AH 0.0000 0.0910 0.3889 0.5197 0.7333 0.3270 0.2278 0.4288 0.7333 0.6966 0.0439 0.0000 0.1953 0.0000 0.7333 0.3270 0.2278 734-AH 0.1525 0.8000 0.8889 0.9231 1.0000 0.7882 0.2414 0.1231 0.8475 0.3063 0.7308 0.6399 0.1840 0.6154 1.0000 0.8970 0.0902 735-AH 0.0000 0.0000 0.0314 0.1287 0.3061 0.0760 0.1027 0.1287 0.3061 1.3514 0.0012 0.0000 0.0843 0.0000 0.3061 0.0760 0.1027 736-AH 0.0000 0.0000 0.0262 0.0363 0.1089 0.0250 0.0235 0.0363 0.1089 0.9409 0.0026 0.0000 0.0179 0.0000 0.0598 0.0225 0.0187 737-AH 0.0000 0.0000 0.0751 0.1507 0.3208 0.0865 0.0857 0.1507 0.3208 0.9914 0.0071 0.0000 0.0702 0.0000 0.3208 0.0865 0.0857 738-AH 0.0000 0.0000 0.0427 0.1127 0.4516 0.0789 0.1096 0.1127 0.4516 1.3885 0.0016 0.0000 0.0810 0.0000 0.2745 0.0608 0.0806 739-AH 0.0244 0.3868 0.6190 0.8000 0.9286 0.5711 0.2633 0.4132 0.9042 0.4610 0.4683 0.2757 0.2216 0.0244 0.9286 0.5711 0.2633 740-AH 0.0000 0.2078 0.4426 0.6585 0.9032 0.4420 0.2529 0.4508 0.9032 0.5721 0.1691 0.0001 0.2148 0.0000 0.9032 0.4420 0.2529 741-AH 0.0531 0.3903 0.6154 0.7818 1.0000 0.5794 0.2811 0.3915 0.9469 0.4851 0.4883 0.3584 0.2310 0.0531 1.0000 0.5794 0.2811 742-AH 0.0000 0.0000 0.0714 0.1333 1.0000 0.1524 0.2576 0.1333 1.0000 1.6909 0.0036 0.0000 0.1744 0.0000 0.3333 0.0731 0.0998 743-AH 0.0000 0.0000 0.0000 0.0356 0.6667 0.0400 0.1160 0.0356 0.6667 2.9006 0.0001 0.0000 0.0577 0.0000 0.0855 0.0071 0.0197 744-AH 0.0000 0.0789 0.4783 0.6823 0.8462 0.4078 0.3023 0.6034 0.8462 0.7413 0.1536 0.0002 0.2755 0.0000 0.8462 0.4078 0.3023 745-AH 0.0000 0.3153 0.5606 0.7531 0.8824 0.5123 0.2848 0.4377 0.8824 0.5560 0.1510 0.0001 0.2474 0.0000 0.8824 0.5123 0.2848 746-AH 0.0000 0.4431 0.5789 0.6703 0.7750 0.5045 0.2347 0.2272 0.7750 0.4653 0.1203 0.0001 0.1771 0.2976 0.7750 0.5885 0.1158 747-AH 0.0000 0.0095 0.0939 0.1589 0.2321 0.0975 0.0754 0.1493 0.2321 0.7738 0.0106 0.0000 0.0653 0.0000 0.2321 0.0975 0.0754 748-AH 0.0000 0.0006 0.0571 0.1780 0.2727 0.0903 0.0978 0.1775 0.2727 1.0825 0.0068 0.0000 0.0838 0.0000 0.2727 0.0903 0.0978 749-AH 0.0000 0.0000 0.0000 0.0287 0.5882 0.0440 0.1203 0.0287 0.5882 2.7340 0.0001 0.0000 0.0657 0.0000 0.0575 0.0052 0.0160 750-AH 0.0000 0.0000 0.0000 0.0177 0.1786 0.0157 0.0329 0.0177 0.1786 2.0953 0.0003 0.0000 0.0185 0.0000 0.0398 0.0068 0.0104 65 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0132 0.0241 0.0935 0.1088 0.1429 0.0743 0.0447 0.0847 0.1296 0.6011 0.0569 0.0396 0.0402 0.0132 0.1429 0.0743 0.0447 702-AH 0.0000 0.0613 0.0880 0.1264 0.2683 0.0967 0.0589 0.0651 0.2683 0.6094 0.0643 0.0003 0.0445 0.0000 0.2222 0.0917 0.0516 703-AH 0.0493 0.1157 0.1538 0.2222 0.6000 0.1793 0.1150 0.1065 0.5507 0.6413 0.1544 0.1344 0.0730 0.0493 0.3182 0.1554 0.0611 704-AH 0.0000 0.0085 0.0508 0.1029 0.2762 0.0746 0.0776 0.0944 0.2762 1.0401 0.0080 0.0000 0.0575 0.0000 0.2044 0.0568 0.0526 705-AH 0.0000 0.2205 0.3103 0.4066 0.5000 0.2971 0.1365 0.1861 0.5000 0.4594 0.1585 0.0002 0.1085 0.0000 0.5000 0.2971 0.1365 706-AH 0.0000 0.0107 0.0141 0.1450 0.5556 0.1052 0.1586 0.1344 0.5556 1.5078 0.0242 0.0002 0.1187 0.0000 0.2500 0.0551 0.0752 707-AH 0.0000 0.0863 0.1556 0.2371 0.6250 0.1978 0.1558 0.1508 0.6250 0.7877 0.1196 0.0003 0.1119 0.0000 0.4167 0.1599 0.0961 708-AH 0.0000 0.0079 0.0206 0.2650 0.7500 0.1342 0.1926 0.2571 0.7500 1.4352 0.0092 0.0000 0.1526 0.0000 0.5000 0.1161 0.1624 709-AH 0.0000 0.0000 0.2061 0.3633 0.7027 0.2346 0.2187 0.3633 0.7027 0.9320 0.0091 0.0000 0.1834 0.0000 0.7027 0.2346 0.2187 710-AH 0.0000 0.0412 0.3651 0.8399 0.9167 0.4247 0.3622 0.7987 0.9167 0.8528 0.0709 0.0001 0.3265 0.0000 0.9167 0.4247 0.3622 711-AH 0.0000 0.0156 0.1667 0.5000 0.7500 0.2524 0.2525 0.4844 0.7500 1.0002 0.0255 0.0000 0.2222 0.0000 0.7500 0.2524 0.2525 712-AH 0.0000 0.0000 0.0000 0.0000 0.6429 0.0210 0.1087 0.0000 0.6429 5.1859 0.0000 0.0000 0.0374 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0132 0.0488 0.0071 0.0112 0.0132 0.0488 1.5822 0.0002 0.0000 0.0085 0.0000 0.0280 0.0058 0.0086 714-AH 0.0000 0.0000 0.3400 0.6071 0.8095 0.3537 0.2849 0.6071 0.8095 0.8055 0.0204 0.0000 0.2570 0.0000 0.8095 0.3537 0.2849 715-AH 0.0000 0.0000 0.0678 0.1078 0.2581 0.0643 0.0604 0.1078 0.2581 0.9402 0.0039 0.0000 0.0496 0.0000 0.2581 0.0643 0.0604 716-AH 0.0000 0.2648 0.4474 0.6397 0.9286 0.4437 0.2655 0.3749 0.9286 0.5984 0.1639 0.0001 0.2127 0.0000 0.9286 0.4437 0.2655 717-AH 0.0337 0.1283 0.3731 0.5049 0.7778 0.3466 0.2150 0.3766 0.7441 0.6202 0.2587 0.1672 0.1880 0.0337 0.7778 0.3466 0.2150 718-AH 0.0000 0.1245 0.2078 0.3787 0.4571 0.2333 0.1420 0.2542 0.4571 0.6085 0.0947 0.0001 0.1200 0.0000 0.4571 0.2333 0.1420 719-AH 0.0000 0.0000 0.0450 0.1940 0.4194 0.0955 0.1137 0.1940 0.4194 1.1912 0.0066 0.0000 0.0937 0.0000 0.4194 0.0955 0.1137 720-AH 0.0088 0.3222 0.5556 0.8000 0.9000 0.5307 0.3059 0.4778 0.8912 0.5765 0.3463 0.1093 0.2613 0.0088 0.9000 0.5307 0.3059 721-AH 0.0000 0.0350 0.0882 0.1337 0.3774 0.1036 0.1046 0.0987 0.3774 1.0099 0.0159 0.0000 0.0730 0.0000 0.1714 0.0712 0.0533 722-AH 0.0000 0.0000 0.0060 0.0201 0.2273 0.0197 0.0427 0.0201 0.2273 2.1695 0.0005 0.0000 0.0233 0.0000 0.0439 0.0090 0.0125 723-AH 0.0000 0.0099 0.0849 0.1020 0.2000 0.0666 0.0580 0.0921 0.2000 0.8709 0.0105 0.0000 0.0503 0.0000 0.2000 0.0666 0.0580 724-AH 0.1923 0.6007 0.7143 0.7718 0.8889 0.6727 0.1573 0.1712 0.6966 0.2338 0.6466 0.6065 0.1154 0.3529 0.8889 0.6993 0.1158 725-AH 0.0000 0.0000 0.0000 0.1685 0.6667 0.1193 0.2157 0.1685 0.6667 1.8077 0.0003 0.0000 0.1708 0.0000 0.4167 0.0432 0.1064 726-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0241 0.0808 0.0000 0.4000 3.3484 0.0000 0.0000 0.0414 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.1758 0.2979 0.0824 0.1052 0.1758 0.2979 1.2760 0.0008 0.0000 0.0944 0.0000 0.2979 0.0824 0.1052 728-AH 0.0000 0.0000 0.0000 0.0155 0.0840 0.0123 0.0236 0.0155 0.0840 1.9144 0.0001 0.0000 0.0170 0.0000 0.0240 0.0035 0.0075 729-AH 0.0000 0.0000 0.0000 0.0000 0.0249 0.0038 0.0084 0.0000 0.0249 2.2414 0.0000 0.0000 0.0062 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0804 0.1695 0.0357 0.0559 0.0804 0.1695 1.5641 0.0002 0.0000 0.0478 0.0000 0.1695 0.0357 0.0559 731-AH 0.0000 0.0572 0.2544 0.5955 0.9737 0.3389 0.2873 0.5383 0.9737 0.8477 0.0831 0.0001 0.2404 0.0000 0.9737 0.3389 0.2873 732-AH 0.0000 0.0264 0.0312 0.0450 0.2642 0.0532 0.0653 0.0187 0.2642 1.2279 0.0164 0.0001 0.0422 0.0000 0.0614 0.0280 0.0144 733-AH 0.0000 0.0910 0.2600 0.4409 0.6667 0.2650 0.1949 0.3499 0.6667 0.7354 0.0369 0.0000 0.1629 0.0000 0.6667 0.2650 0.1949 734-AH 0.1525 0.5238 0.8462 0.9091 1.0000 0.7267 0.2625 0.3853 0.8475 0.3613 0.6583 0.5658 0.2209 0.1525 1.0000 0.7267 0.2625 735-AH 0.0000 0.0000 0.0000 0.0583 0.1644 0.0318 0.0530 0.0583 0.1644 1.6661 0.0002 0.0000 0.0436 0.0000 0.1375 0.0279 0.0484 736-AH 0.0000 0.0000 0.0212 0.0298 0.0653 0.0194 0.0169 0.0298 0.0653 0.8723 0.0018 0.0000 0.0137 0.0000 0.0653 0.0194 0.0169 737-AH 0.0000 0.0000 0.0566 0.1351 0.2299 0.0667 0.0764 0.1351 0.2299 1.1452 0.0012 0.0000 0.0663 0.0000 0.2299 0.0667 0.0764 738-AH 0.0000 0.0000 0.0283 0.0652 0.4231 0.0524 0.0843 0.0652 0.4231 1.6077 0.0012 0.0000 0.0532 0.0000 0.1466 0.0358 0.0447 739-AH 0.0000 0.3020 0.4167 0.7121 0.7895 0.4563 0.2468 0.4101 0.7895 0.5408 0.2858 0.0003 0.2131 0.0000 0.7895 0.4563 0.2468 740-AH 0.0000 0.1850 0.3509 0.4964 0.8462 0.3607 0.2220 0.3115 0.8462 0.6155 0.1366 0.0001 0.1780 0.0000 0.8462 0.3607 0.2220 741-AH 0.0531 0.3640 0.5263 0.6719 0.8462 0.5033 0.2386 0.3079 0.7930 0.4741 0.4205 0.3019 0.1937 0.0531 0.8462 0.5033 0.2386 742-AH 0.0000 0.0000 0.0714 0.1333 1.0000 0.1524 0.2576 0.1333 1.0000 1.6909 0.0036 0.0000 0.1744 0.0000 0.3333 0.0731 0.0998 743-AH 0.0000 0.0000 0.0000 0.0305 0.5714 0.0351 0.0999 0.0305 0.5714 2.8452 0.0001 0.0000 0.0511 0.0000 0.0497 0.0037 0.0116 744-AH 0.0000 0.0420 0.3171 0.5652 0.6842 0.3262 0.2591 0.5233 0.6842 0.7943 0.1108 0.0002 0.2389 0.0000 0.6842 0.3262 0.2591 745-AH 0.0000 0.2190 0.5606 0.7531 0.8824 0.4904 0.2952 0.5341 0.8824 0.6020 0.1399 0.0001 0.2609 0.0000 0.8824 0.4904 0.2952 746-AH 0.0000 0.1685 0.3451 0.4973 0.7143 0.3396 0.2098 0.3288 0.7143 0.6178 0.0791 0.0001 0.1677 0.0000 0.7143 0.3396 0.2098 747-AH 0.0000 0.0000 0.0939 0.1387 0.1861 0.0806 0.0683 0.1387 0.1861 0.8473 0.0046 0.0000 0.0606 0.0000 0.1861 0.0806 0.0683 748-AH 0.0000 0.0006 0.0571 0.1780 0.2727 0.0903 0.0978 0.1775 0.2727 1.0825 0.0068 0.0000 0.0838 0.0000 0.2727 0.0903 0.0978 749-AH 0.0000 0.0000 0.0000 0.0000 0.2815 0.0261 0.0691 0.0000 0.2815 2.6435 0.0001 0.0000 0.0418 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0788 0.0083 0.0182 0.0000 0.0788 2.2084 0.0001 0.0000 0.0127 0.0000 0.0000 0.0000 0.0000 66 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0132 0.0200 0.0935 0.1059 0.1324 0.0713 0.0434 0.0858 0.1191 0.6091 0.0539 0.0371 0.0399 0.0132 0.1324 0.0713 0.0434 702-AH 0.0000 0.0254 0.0505 0.0676 0.1667 0.0477 0.0355 0.0422 0.1667 0.7447 0.0079 0.0000 0.0262 0.0000 0.0909 0.0442 0.0293 703-AH 0.0330 0.0995 0.1400 0.1808 0.3182 0.1399 0.0603 0.0813 0.2852 0.4312 0.1262 0.1108 0.0467 0.0330 0.2333 0.1347 0.0525 704-AH 0.0000 0.0000 0.0000 0.0477 0.2464 0.0310 0.0598 0.0477 0.2464 1.9281 0.0002 0.0000 0.0426 0.0000 0.0618 0.0118 0.0225 705-AH 0.0000 0.1532 0.2727 0.3187 0.3913 0.2382 0.1087 0.1655 0.3913 0.4564 0.1294 0.0002 0.0906 0.0000 0.3913 0.2382 0.1087 706-AH 0.0000 0.0065 0.0123 0.0407 0.4615 0.0570 0.1111 0.0342 0.4615 1.9508 0.0048 0.0000 0.0690 0.0000 0.0594 0.0168 0.0168 707-AH 0.0000 0.0853 0.1463 0.2137 0.5455 0.1570 0.1002 0.1285 0.5455 0.6382 0.1039 0.0003 0.0706 0.0000 0.3000 0.1456 0.0751 708-AH 0.0000 0.0079 0.0206 0.1444 0.7500 0.1168 0.1806 0.1365 0.7500 1.5469 0.0083 0.0000 0.1375 0.0000 0.3158 0.0560 0.0893 709-AH 0.0000 0.0000 0.1593 0.3494 0.6905 0.1930 0.2067 0.3494 0.6905 1.0714 0.0073 0.0000 0.1666 0.0000 0.6905 0.1930 0.2067 710-AH 0.0000 0.0373 0.2805 0.7629 0.9167 0.3533 0.3456 0.7256 0.9167 0.9781 0.0564 0.0001 0.3010 0.0000 0.9167 0.3533 0.3456 711-AH 0.0000 0.0000 0.0296 0.3480 0.5556 0.1577 0.2114 0.3480 0.5556 1.3408 0.0044 0.0000 0.1904 0.0000 0.5556 0.1577 0.2114 712-AH 0.0000 0.0000 0.0000 0.0000 0.6429 0.0208 0.1086 0.0000 0.6429 5.2263 0.0000 0.0000 0.0371 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0057 0.0213 0.0032 0.0060 0.0057 0.0213 1.8658 0.0001 0.0000 0.0048 0.0000 0.0141 0.0022 0.0046 714-AH 0.0000 0.0000 0.1940 0.4971 0.6897 0.2661 0.2386 0.4971 0.6897 0.8965 0.0125 0.0000 0.2169 0.0000 0.6897 0.2661 0.2386 715-AH 0.0000 0.0000 0.0412 0.1062 0.1413 0.0538 0.0498 0.1062 0.1413 0.9268 0.0033 0.0000 0.0456 0.0000 0.1413 0.0538 0.0498 716-AH 0.0000 0.1508 0.4000 0.4571 0.6667 0.3419 0.1903 0.3063 0.6667 0.5565 0.1319 0.0001 0.1608 0.0000 0.6667 0.3419 0.1903 717-AH 0.0263 0.0638 0.2373 0.4228 0.6000 0.2636 0.1800 0.3591 0.5737 0.6826 0.1796 0.1025 0.1596 0.0263 0.6000 0.2636 0.1800 718-AH 0.0000 0.0000 0.0541 0.1022 0.3030 0.0769 0.0887 0.1022 0.3030 1.1540 0.0033 0.0000 0.0671 0.0000 0.1887 0.0562 0.0589 719-AH 0.0000 0.0000 0.0312 0.1404 0.3654 0.0720 0.0917 0.1404 0.3654 1.2742 0.0043 0.0000 0.0730 0.0000 0.2941 0.0634 0.0774 720-AH 0.0000 0.1370 0.5000 0.7024 0.8571 0.4497 0.2923 0.5654 0.8571 0.6499 0.2331 0.0003 0.2535 0.0000 0.8571 0.4497 0.2923 721-AH 0.0000 0.0216 0.0398 0.0777 0.3231 0.0684 0.0861 0.0562 0.3231 1.2583 0.0084 0.0000 0.0593 0.0000 0.1591 0.0456 0.0429 722-AH 0.0000 0.0000 0.0000 0.0123 0.1000 0.0123 0.0243 0.0123 0.1000 1.9837 0.0002 0.0000 0.0155 0.0000 0.0273 0.0045 0.0074 723-AH 0.0000 0.0000 0.0377 0.0881 0.1084 0.0409 0.0431 0.0881 0.1084 1.0536 0.0010 0.0000 0.0400 0.0000 0.1084 0.0409 0.0431 724-AH 0.1368 0.5746 0.6744 0.7125 0.8108 0.6201 0.1455 0.1379 0.6741 0.2346 0.5934 0.5465 0.1046 0.4643 0.8108 0.6565 0.0828 725-AH 0.0000 0.0000 0.0000 0.1161 0.5800 0.1016 0.1860 0.1161 0.5800 1.8302 0.0002 0.0000 0.1460 0.0000 0.2566 0.0239 0.0645 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0937 0.2857 0.0607 0.0857 0.0937 0.2857 1.4125 0.0007 0.0000 0.0699 0.0000 0.2297 0.0422 0.0626 728-AH 0.0000 0.0000 0.0000 0.0000 0.0538 0.0060 0.0146 0.0000 0.0538 2.4510 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0223 0.0006 0.0038 0.0000 0.0223 5.9161 0.0000 0.0000 0.0012 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0704 0.1154 0.0294 0.0443 0.0704 0.1154 1.5086 0.0002 0.0000 0.0394 0.0000 0.1154 0.0294 0.0443 731-AH 0.0000 0.0000 0.1343 0.4950 0.9737 0.2483 0.2969 0.4950 0.9737 1.1958 0.0064 0.0000 0.2488 0.0000 0.9737 0.2483 0.2969 732-AH 0.0000 0.0202 0.0234 0.0311 0.1667 0.0311 0.0338 0.0108 0.1667 1.0895 0.0052 0.0000 0.0210 0.0202 0.0410 0.0259 0.0051 733-AH 0.0000 0.0000 0.2188 0.3723 0.6667 0.2170 0.2047 0.3723 0.6667 0.9436 0.0066 0.0000 0.1786 0.0000 0.6667 0.2170 0.2047 734-AH 0.1525 0.4355 0.8182 0.8750 1.0000 0.6917 0.2607 0.4395 0.8475 0.3768 0.6203 0.5232 0.2195 0.1525 1.0000 0.6917 0.2607 735-AH 0.0000 0.0000 0.0000 0.0000 0.1023 0.0118 0.0276 0.0000 0.1023 2.3273 0.0000 0.0000 0.0196 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0191 0.0424 0.0085 0.0137 0.0191 0.0424 1.6081 0.0001 0.0000 0.0117 0.0000 0.0424 0.0085 0.0137 737-AH 0.0000 0.0000 0.0000 0.1047 0.1793 0.0479 0.0608 0.1047 0.1793 1.2695 0.0005 0.0000 0.0548 0.0000 0.1793 0.0479 0.0608 738-AH 0.0000 0.0000 0.0000 0.0391 0.4231 0.0373 0.0821 0.0391 0.4231 2.2002 0.0003 0.0000 0.0482 0.0000 0.0769 0.0132 0.0230 739-AH 0.0000 0.2023 0.2769 0.5455 0.6923 0.3575 0.2081 0.3431 0.6923 0.5820 0.2207 0.0003 0.1864 0.0000 0.6923 0.3575 0.2081 740-AH 0.0000 0.0922 0.2155 0.3066 0.6667 0.2349 0.1836 0.2143 0.6667 0.7815 0.0537 0.0001 0.1465 0.0000 0.6094 0.2099 0.1564 741-AH 0.0531 0.2637 0.3529 0.5000 0.8000 0.3730 0.1815 0.2363 0.7469 0.4866 0.3214 0.2551 0.1408 0.0531 0.8000 0.3730 0.1815 742-AH 0.0000 0.0000 0.0714 0.1333 1.0000 0.1524 0.2576 0.1333 1.0000 1.6909 0.0036 0.0000 0.1744 0.0000 0.3333 0.0731 0.0998 743-AH 0.0000 0.0000 0.0000 0.0000 0.5625 0.0320 0.0985 0.0000 0.5625 3.0747 0.0001 0.0000 0.0502 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0260 0.2105 0.4848 0.6296 0.2643 0.2315 0.4589 0.6296 0.8758 0.0449 0.0001 0.2160 0.0000 0.6296 0.2643 0.2315 745-AH 0.0000 0.1211 0.5116 0.7458 0.8824 0.4665 0.3055 0.6247 0.8824 0.6550 0.1254 0.0001 0.2706 0.0000 0.8824 0.4665 0.3055 746-AH 0.0000 0.0170 0.2327 0.3895 0.6714 0.2338 0.2020 0.3726 0.6714 0.8639 0.0192 0.0000 0.1701 0.0000 0.6714 0.2338 0.2020 747-AH 0.0000 0.0000 0.0676 0.1103 0.1557 0.0641 0.0594 0.1103 0.1557 0.9273 0.0025 0.0000 0.0519 0.0000 0.1557 0.0641 0.0594 748-AH 0.0000 0.0006 0.0571 0.1780 0.2727 0.0903 0.0978 0.1775 0.2727 1.0825 0.0068 0.0000 0.0838 0.0000 0.2727 0.0903 0.0978 749-AH 0.0000 0.0000 0.0000 0.0000 0.1510 0.0061 0.0273 0.0000 0.1510 4.4926 0.0000 0.0000 0.0114 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0636 0.0023 0.0110 0.0000 0.0636 4.8647 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000 67 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0186 0.0800 0.1058 0.0372 0.0399 0.0800 0.1058 1.0725 0.0017 0.0000 0.0357 0.0000 0.1058 0.0372 0.0399 702-AH 0.0000 0.0000 0.0289 0.0406 0.0645 0.0248 0.0205 0.0406 0.0645 0.8285 0.0022 0.0000 0.0177 0.0000 0.0645 0.0248 0.0205 703-AH 0.0320 0.0579 0.0938 0.1225 0.2286 0.0967 0.0436 0.0646 0.1966 0.4507 0.0873 0.0782 0.0348 0.0320 0.1579 0.0929 0.0376 704-AH 0.0000 0.0000 0.0000 0.0000 0.1864 0.0187 0.0471 0.0000 0.1864 2.5136 0.0000 0.0000 0.0310 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0995 0.1786 0.2487 0.3448 0.1699 0.0962 0.1492 0.3448 0.5663 0.0670 0.0001 0.0766 0.0000 0.3448 0.1699 0.0962 706-AH 0.0000 0.0000 0.0099 0.0147 0.2121 0.0189 0.0391 0.0147 0.2121 2.0684 0.0006 0.0000 0.0216 0.0000 0.0306 0.0072 0.0091 707-AH 0.0000 0.0844 0.1406 0.1790 0.4667 0.1445 0.0896 0.0946 0.4667 0.6200 0.0962 0.0003 0.0640 0.0000 0.2963 0.1350 0.0709 708-AH 0.0000 0.0079 0.0206 0.1444 0.3684 0.0850 0.1125 0.1365 0.3684 1.3239 0.0075 0.0000 0.0926 0.0000 0.3182 0.0766 0.1026 709-AH 0.0000 0.0000 0.1264 0.1671 0.3778 0.1169 0.1274 0.1671 0.3778 1.0894 0.0027 0.0000 0.1037 0.0000 0.3778 0.1169 0.1274 710-AH 0.0000 0.0234 0.1312 0.4107 0.9167 0.2868 0.3195 0.3873 0.9167 1.1142 0.0289 0.0000 0.2620 0.0000 0.9167 0.2868 0.3195 711-AH 0.0000 0.0000 0.0000 0.0306 0.3529 0.0427 0.0876 0.0306 0.3529 2.0519 0.0002 0.0000 0.0604 0.0000 0.0478 0.0064 0.0135 712-AH 0.0000 0.0000 0.0000 0.0000 0.6429 0.0208 0.1086 0.0000 0.6429 5.2263 0.0000 0.0000 0.0371 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0213 0.0013 0.0046 0.0000 0.0213 3.4272 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0399 0.1905 0.5208 0.1262 0.1724 0.1905 0.5208 1.3666 0.0025 0.0000 0.1361 0.0000 0.4706 0.0908 0.1322 715-AH 0.0000 0.0000 0.0279 0.0652 0.1413 0.0379 0.0402 0.0652 0.1413 1.0624 0.0021 0.0000 0.0337 0.0000 0.1413 0.0379 0.0402 716-AH 0.0000 0.0000 0.1509 0.4204 0.5897 0.2109 0.2012 0.4204 0.5897 0.9541 0.0134 0.0000 0.1705 0.0000 0.5897 0.2109 0.2012 717-AH 0.0000 0.0191 0.1640 0.2623 0.4688 0.1687 0.1420 0.2431 0.4688 0.8422 0.0155 0.0000 0.1190 0.0000 0.4688 0.1687 0.1420 718-AH 0.0000 0.0000 0.0000 0.0767 0.2212 0.0393 0.0598 0.0767 0.2212 1.5235 0.0003 0.0000 0.0493 0.0000 0.1742 0.0339 0.0515 719-AH 0.0000 0.0000 0.0220 0.0517 0.3654 0.0468 0.0751 0.0517 0.3654 1.6042 0.0014 0.0000 0.0493 0.0000 0.1241 0.0219 0.0289 720-AH 0.0000 0.0527 0.2449 0.5113 0.8571 0.2920 0.2617 0.4586 0.8571 0.8964 0.1018 0.0002 0.2294 0.0000 0.8571 0.2920 0.2617 721-AH 0.0000 0.0000 0.0000 0.0494 0.2404 0.0343 0.0570 0.0494 0.2404 1.6625 0.0003 0.0000 0.0412 0.0000 0.1106 0.0201 0.0311 722-AH 0.0000 0.0000 0.0000 0.0000 0.0972 0.0055 0.0174 0.0000 0.0972 3.1529 0.0000 0.0000 0.0088 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0866 0.0048 0.0160 0.0000 0.0866 3.3291 0.0000 0.0000 0.0082 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.4751 0.5763 0.6296 0.6939 0.5161 0.1770 0.1545 0.6939 0.3429 0.3648 0.0003 0.1341 0.2754 0.6939 0.5670 0.1064 725-AH 0.0000 0.0000 0.0000 0.0000 0.2946 0.0373 0.0831 0.0000 0.2946 2.2286 0.0001 0.0000 0.0575 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0664 0.2564 0.0493 0.0754 0.0664 0.2564 1.5290 0.0004 0.0000 0.0592 0.0000 0.1407 0.0276 0.0450 728-AH 0.0000 0.0000 0.0000 0.0000 0.0323 0.0032 0.0083 0.0000 0.0323 2.5816 0.0000 0.0000 0.0055 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0404 0.0962 0.0200 0.0353 0.0404 0.0962 1.7644 0.0001 0.0000 0.0297 0.0000 0.0962 0.0200 0.0353 731-AH 0.0000 0.0000 0.0515 0.1295 0.8367 0.1284 0.2121 0.1295 0.8367 1.6523 0.0015 0.0000 0.1480 0.0000 0.2920 0.0508 0.0737 732-AH 0.0000 0.0000 0.0215 0.0282 0.0629 0.0190 0.0199 0.0282 0.0629 1.0497 0.0010 0.0000 0.0162 0.0000 0.0629 0.0190 0.0199 733-AH 0.0000 0.0000 0.0944 0.2569 0.5000 0.1522 0.1571 0.2569 0.5000 1.0319 0.0049 0.0000 0.1400 0.0000 0.5000 0.1522 0.1571 734-AH 0.1525 0.4355 0.8095 0.8480 0.8947 0.6705 0.2478 0.4125 0.7422 0.3695 0.6042 0.5139 0.2090 0.1525 0.8947 0.6705 0.2478 735-AH 0.0000 0.0000 0.0000 0.0000 0.0604 0.0017 0.0102 0.0000 0.0604 5.9161 0.0000 0.0000 0.0034 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0296 0.0022 0.0073 0.0000 0.0296 3.3371 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0836 0.1180 0.0324 0.0442 0.0836 0.1180 1.3636 0.0003 0.0000 0.0407 0.0000 0.1180 0.0324 0.0442 738-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0270 0.0755 0.0000 0.4000 2.7984 0.0001 0.0000 0.0417 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.1061 0.2593 0.3585 0.5526 0.2369 0.1640 0.2524 0.5526 0.6922 0.0441 0.0001 0.1444 0.0000 0.5526 0.2369 0.1640 740-AH 0.0000 0.0164 0.1447 0.2565 0.5696 0.1665 0.1579 0.2401 0.5696 0.9485 0.0148 0.0000 0.1219 0.0000 0.5696 0.1665 0.1579 741-AH 0.0531 0.1789 0.2333 0.3205 0.7500 0.2777 0.1609 0.1415 0.6969 0.5794 0.2347 0.1926 0.1182 0.0531 0.5185 0.2343 0.1067 742-AH 0.0000 0.0000 0.0127 0.0811 0.6000 0.0852 0.1432 0.0811 0.6000 1.6810 0.0014 0.0000 0.0993 0.0000 0.1111 0.0270 0.0384 743-AH 0.0000 0.0000 0.0000 0.0000 0.0960 0.0148 0.0331 0.0000 0.0960 2.2407 0.0000 0.0000 0.0245 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0226 0.0717 0.4202 0.5278 0.1882 0.1934 0.3976 0.5278 1.0274 0.0254 0.0001 0.1739 0.0000 0.5278 0.1882 0.1934 745-AH 0.0000 0.0158 0.4636 0.7283 0.8507 0.4321 0.3223 0.7126 0.8507 0.7458 0.0314 0.0000 0.2885 0.0000 0.8507 0.4321 0.3223 746-AH 0.0000 0.0000 0.0691 0.2929 0.5625 0.1554 0.1830 0.2929 0.5625 1.1777 0.0030 0.0000 0.1586 0.0000 0.5625 0.1554 0.1830 747-AH 0.0000 0.0000 0.0000 0.0903 0.1260 0.0393 0.0480 0.0903 0.1260 1.2215 0.0005 0.0000 0.0449 0.0000 0.1260 0.0393 0.0480 748-AH 0.0000 0.0000 0.0566 0.0938 0.2727 0.0696 0.0828 0.0938 0.2727 1.1903 0.0020 0.0000 0.0639 0.0000 0.2000 0.0513 0.0589 749-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 68 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0984 0.0122 0.0284 0.0000 0.0984 2.3337 0.0001 0.0000 0.0188 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0000 0.0201 0.0409 0.0085 0.0126 0.0201 0.0409 1.4732 0.0001 0.0000 0.0112 0.0000 0.0409 0.0085 0.0126 703-AH 0.0000 0.0424 0.0849 0.1165 0.1579 0.0830 0.0441 0.0741 0.1579 0.5311 0.0461 0.0002 0.0366 0.0000 0.1579 0.0830 0.0441 704-AH 0.0000 0.0000 0.0000 0.0000 0.1466 0.0145 0.0385 0.0000 0.1466 2.6578 0.0000 0.0000 0.0248 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0323 0.1499 0.2593 0.0742 0.0877 0.1499 0.2593 1.1819 0.0013 0.0000 0.0760 0.0000 0.2593 0.0742 0.0877 706-AH 0.0000 0.0000 0.0000 0.0000 0.0304 0.0026 0.0066 0.0000 0.0304 2.5300 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0703 0.1143 0.1552 0.2963 0.1205 0.0703 0.0848 0.2963 0.5835 0.0797 0.0003 0.0545 0.0000 0.2581 0.1154 0.0643 708-AH 0.0000 0.0000 0.0192 0.0885 0.2051 0.0495 0.0630 0.0885 0.2051 1.2727 0.0026 0.0000 0.0517 0.0000 0.2051 0.0495 0.0630 709-AH 0.0000 0.0000 0.0000 0.0890 0.2143 0.0363 0.0617 0.0890 0.2143 1.7008 0.0001 0.0000 0.0518 0.0000 0.2143 0.0363 0.0617 710-AH 0.0000 0.0000 0.0694 0.3909 0.8276 0.1974 0.2646 0.3909 0.8276 1.3404 0.0051 0.0000 0.2155 0.0000 0.8276 0.1974 0.2646 711-AH 0.0000 0.0000 0.0000 0.0000 0.1711 0.0114 0.0378 0.0000 0.1711 3.3278 0.0000 0.0000 0.0195 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.4762 0.0157 0.0805 0.0000 0.4762 5.1221 0.0000 0.0000 0.0278 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0291 0.4426 0.0485 0.1108 0.0291 0.4426 2.2814 0.0001 0.0000 0.0716 0.0000 0.0293 0.0021 0.0077 715-AH 0.0000 0.0000 0.0176 0.0606 0.1413 0.0325 0.0397 0.0606 0.1413 1.2217 0.0012 0.0000 0.0326 0.0000 0.1413 0.0325 0.0397 716-AH 0.0000 0.0000 0.1509 0.3961 0.5897 0.2047 0.1945 0.3961 0.5897 0.9501 0.0132 0.0000 0.1628 0.0000 0.5897 0.2047 0.1945 717-AH 0.0000 0.0000 0.0747 0.1188 0.2537 0.0873 0.0804 0.1188 0.2537 0.9218 0.0074 0.0000 0.0663 0.0000 0.2537 0.0873 0.0804 718-AH 0.0000 0.0000 0.0000 0.0000 0.1313 0.0196 0.0404 0.0000 0.1313 2.0647 0.0001 0.0000 0.0302 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0249 0.1802 0.0184 0.0382 0.0249 0.1802 2.0767 0.0001 0.0000 0.0252 0.0000 0.0528 0.0088 0.0167 720-AH 0.0000 0.0291 0.1074 0.2708 0.6190 0.1752 0.1852 0.2417 0.6190 1.0569 0.0320 0.0001 0.1550 0.0000 0.6190 0.1752 0.1852 721-AH 0.0000 0.0000 0.0000 0.0000 0.2295 0.0184 0.0486 0.0000 0.2295 2.6421 0.0000 0.0000 0.0305 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0000 0.0310 0.0009 0.0052 0.0000 0.0310 5.9161 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0129 0.0004 0.0022 0.0000 0.0129 5.9161 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.3939 0.5270 0.5648 0.6190 0.4430 0.1816 0.1709 0.6190 0.4099 0.3004 0.0003 0.1463 0.1507 0.6190 0.5007 0.1187 725-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0116 0.0332 0.0000 0.1250 2.8665 0.0000 0.0000 0.0205 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0343 0.1875 0.0271 0.0529 0.0343 0.1875 1.9528 0.0001 0.0000 0.0389 0.0000 0.0567 0.0070 0.0167 728-AH 0.0000 0.0000 0.0000 0.0000 0.0200 0.0011 0.0046 0.0000 0.0200 4.1233 0.0000 0.0000 0.0021 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0649 0.6235 0.0630 0.1359 0.0649 0.6235 2.1588 0.0003 0.0000 0.0845 0.0000 0.1465 0.0261 0.0465 732-AH 0.0000 0.0000 0.0000 0.0000 0.0553 0.0059 0.0140 0.0000 0.0553 2.3633 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0893 0.2311 0.3958 0.1227 0.1291 0.2311 0.3958 1.0519 0.0028 0.0000 0.1136 0.0000 0.3958 0.1227 0.1291 734-AH 0.0000 0.3914 0.7500 0.8421 0.8947 0.6145 0.2900 0.4507 0.8947 0.4719 0.2389 0.0001 0.2443 0.0000 0.8947 0.6145 0.2900 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0827 0.0046 0.0190 0.0000 0.0827 4.1227 0.0000 0.0000 0.0087 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0966 0.0108 0.0283 0.0000 0.0966 2.6235 0.0000 0.0000 0.0185 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.1935 0.2347 0.4615 0.1530 0.1436 0.2347 0.4615 0.9389 0.0103 0.0000 0.1261 0.0000 0.4615 0.1530 0.1436 740-AH 0.0000 0.0000 0.0000 0.1058 0.2737 0.0506 0.0792 0.1058 0.2737 1.5651 0.0003 0.0000 0.0665 0.0000 0.2213 0.0441 0.0701 741-AH 0.0000 0.1103 0.2208 0.2949 0.5484 0.2040 0.1265 0.1846 0.5484 0.6200 0.0648 0.0001 0.1008 0.0000 0.5484 0.2040 0.1265 742-AH 0.0000 0.0000 0.0127 0.0811 0.6000 0.0852 0.1432 0.0811 0.6000 1.6810 0.0014 0.0000 0.0993 0.0000 0.1111 0.0270 0.0384 743-AH 0.0000 0.0000 0.0000 0.0000 0.0960 0.0147 0.0330 0.0000 0.0960 2.2407 0.0000 0.0000 0.0244 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0500 0.2387 0.4118 0.1222 0.1512 0.2387 0.4118 1.2376 0.0020 0.0000 0.1314 0.0000 0.4118 0.1222 0.1512 745-AH 0.0000 0.0000 0.4483 0.7087 0.8286 0.4110 0.3174 0.7087 0.8286 0.7723 0.0233 0.0000 0.2870 0.0000 0.8286 0.4110 0.3174 746-AH 0.0000 0.0000 0.0000 0.2185 0.4921 0.1166 0.1626 0.2185 0.4921 1.3939 0.0007 0.0000 0.1373 0.0000 0.4921 0.1166 0.1626 747-AH 0.0000 0.0000 0.0000 0.0000 0.1003 0.0129 0.0322 0.0000 0.1003 2.4908 0.0000 0.0000 0.0222 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0566 0.0938 0.2727 0.0696 0.0828 0.0938 0.2727 1.1903 0.0020 0.0000 0.0639 0.0000 0.2000 0.0513 0.0589 749-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 69 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0461 0.0028 0.0101 0.0000 0.0461 3.5959 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.0000 0.0234 0.1471 0.0164 0.0327 0.0234 0.1471 1.9986 0.0001 0.0000 0.0234 0.0000 0.0524 0.0084 0.0170 704-AH 0.0000 0.0000 0.0000 0.0000 0.0634 0.0050 0.0165 0.0000 0.0634 3.3256 0.0000 0.0000 0.0091 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0173 0.1408 0.2593 0.0697 0.0836 0.1408 0.2593 1.1994 0.0012 0.0000 0.0734 0.0000 0.2593 0.0697 0.0836 706-AH 0.0000 0.0000 0.0000 0.0000 0.0200 0.0016 0.0048 0.0000 0.0200 3.0075 0.0000 0.0000 0.0028 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0547 0.0877 0.1334 0.2368 0.0960 0.0577 0.0786 0.2368 0.6010 0.0508 0.0002 0.0457 0.0000 0.2368 0.0960 0.0577 708-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.0871 0.0095 0.0268 0.0000 0.0871 2.8276 0.0000 0.0000 0.0168 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0325 0.0009 0.0055 0.0000 0.0325 5.9161 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.3056 0.0108 0.0518 0.0000 0.3056 4.7823 0.0000 0.0000 0.0192 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0769 0.0099 0.0233 0.0000 0.0769 2.3596 0.0000 0.0000 0.0164 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0673 0.0032 0.0123 0.0000 0.0673 3.8487 0.0000 0.0000 0.0059 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.1469 0.2935 0.4898 0.1584 0.1635 0.2935 0.4898 1.0326 0.0066 0.0000 0.1304 0.0000 0.4898 0.1584 0.1635 717-AH 0.0000 0.0000 0.0000 0.0624 0.2275 0.0451 0.0733 0.0624 0.2275 1.6267 0.0003 0.0000 0.0569 0.0000 0.1035 0.0146 0.0283 718-AH 0.0000 0.0000 0.0000 0.0000 0.1053 0.0114 0.0292 0.0000 0.1053 2.5673 0.0000 0.0000 0.0195 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0383 0.0024 0.0084 0.0000 0.0383 3.4180 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0318 0.3488 0.0355 0.0775 0.0318 0.3488 2.1826 0.0003 0.0000 0.0459 0.0000 0.0568 0.0112 0.0179 721-AH 0.0000 0.0000 0.0000 0.0000 0.0795 0.0053 0.0182 0.0000 0.0795 3.4071 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.2796 0.4731 0.4946 0.5422 0.3839 0.1709 0.2150 0.5422 0.4451 0.1999 0.0002 0.1420 0.0000 0.5422 0.3839 0.1709 725-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.1562 0.0180 0.0414 0.0000 0.1562 2.3004 0.0001 0.0000 0.0288 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.6235 0.0275 0.1074 0.0000 0.6235 3.9111 0.0000 0.0000 0.0471 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0424 0.0032 0.0107 0.0000 0.0424 3.3297 0.0000 0.0000 0.0059 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0665 0.1619 0.2593 0.0834 0.0859 0.1619 0.2593 1.0305 0.0018 0.0000 0.0783 0.0000 0.2593 0.0834 0.0859 734-AH 0.0000 0.0000 0.2879 0.7500 0.8182 0.3697 0.3436 0.7500 0.8182 0.9296 0.0114 0.0000 0.3210 0.0000 0.8182 0.3697 0.3436 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.1628 0.4030 0.0866 0.1127 0.1628 0.4030 1.3018 0.0009 0.0000 0.0977 0.0000 0.4030 0.0866 0.1127 740-AH 0.0000 0.0000 0.0000 0.0000 0.1927 0.0106 0.0382 0.0000 0.1927 3.5917 0.0000 0.0000 0.0194 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0873 0.3529 0.0587 0.1013 0.0873 0.3529 1.7257 0.0003 0.0000 0.0785 0.0000 0.1565 0.0222 0.0452 742-AH 0.0000 0.0000 0.0127 0.0811 0.6000 0.0852 0.1432 0.0811 0.6000 1.6810 0.0014 0.0000 0.0993 0.0000 0.1111 0.0270 0.0384 743-AH 0.0000 0.0000 0.0000 0.0000 0.0718 0.0090 0.0213 0.0000 0.0718 2.3730 0.0000 0.0000 0.0149 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0000 0.0317 0.2222 0.0306 0.0650 0.0317 0.2222 2.1242 0.0001 0.0000 0.0455 0.0000 0.0729 0.0090 0.0215 745-AH 0.0000 0.0000 0.4140 0.6588 0.7471 0.3560 0.2848 0.6588 0.7471 0.7998 0.0207 0.0000 0.2556 0.0000 0.7471 0.3560 0.2848 746-AH 0.0000 0.0000 0.0000 0.1759 0.3480 0.0710 0.1139 0.1759 0.3480 1.6046 0.0002 0.0000 0.0974 0.0000 0.3480 0.0710 0.1139 747-AH 0.0000 0.0000 0.0000 0.0000 0.0842 0.0047 0.0194 0.0000 0.0842 4.1223 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0566 0.0938 0.2727 0.0696 0.0828 0.0938 0.2727 1.1903 0.0020 0.0000 0.0639 0.0000 0.2000 0.0513 0.0589 749-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 70 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0332 0.0017 0.0069 0.0000 0.0332 4.1689 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.0000 0.0000 0.0438 0.0058 0.0118 0.0000 0.0438 2.0207 0.0001 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0000 0.0156 0.2593 0.0398 0.0759 0.0156 0.2593 1.9065 0.0001 0.0000 0.0596 0.0000 0.0157 0.0011 0.0041 706-AH 0.0000 0.0000 0.0000 0.0000 0.0147 0.0004 0.0025 0.0000 0.0147 5.9161 0.0000 0.0000 0.0008 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0472 0.0934 0.1587 0.0526 0.0511 0.0934 0.1587 0.9711 0.0027 0.0000 0.0443 0.0000 0.1587 0.0526 0.0511 708-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0325 0.0009 0.0055 0.0000 0.0325 5.9161 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.0385 0.0025 0.0090 0.0000 0.0385 3.6077 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0189 0.0011 0.0043 0.0000 0.0189 4.1227 0.0000 0.0000 0.0020 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0000 0.0868 0.3210 0.0502 0.0784 0.0868 0.3210 1.5596 0.0006 0.0000 0.0589 0.0000 0.1469 0.0358 0.0520 717-AH 0.0000 0.0000 0.0000 0.0000 0.1386 0.0115 0.0381 0.0000 0.1386 3.3153 0.0000 0.0000 0.0210 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0000 0.1524 0.0144 0.0360 0.0000 0.1524 2.5046 0.0001 0.0000 0.0222 0.0000 0.0000 0.0000 0.0000 721-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.0181 0.3902 0.4404 0.4706 0.2630 0.1957 0.4222 0.4706 0.7442 0.0217 0.0000 0.1818 0.0000 0.4706 0.2630 0.1957 725-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.0660 0.0019 0.0112 0.0000 0.0660 5.9161 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.1488 0.6897 0.1085 0.1984 0.1488 0.6897 1.8284 0.0002 0.0000 0.1558 0.0000 0.3448 0.0375 0.0917 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.0776 0.2339 0.0438 0.0684 0.0776 0.2339 1.5591 0.0003 0.0000 0.0560 0.0000 0.1790 0.0383 0.0607 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0706 0.2817 0.0411 0.0749 0.0706 0.2817 1.8222 0.0002 0.0000 0.0546 0.0000 0.1176 0.0213 0.0375 742-AH 0.0000 0.0000 0.0127 0.0811 0.6000 0.0852 0.1432 0.0811 0.6000 1.6810 0.0014 0.0000 0.0993 0.0000 0.1111 0.0270 0.0384 743-AH 0.0000 0.0000 0.0000 0.0000 0.0424 0.0012 0.0072 0.0000 0.0424 5.9161 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 745-AH 0.0000 0.0000 0.0000 0.0000 0.1951 0.0056 0.0330 0.0000 0.1951 5.9161 0.0000 0.0000 0.0108 0.0000 0.0000 0.0000 0.0000 746-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0566 0.0938 0.2727 0.0696 0.0828 0.0938 0.2727 1.1903 0.0020 0.0000 0.0639 0.0000 0.2000 0.0513 0.0589 749-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 71 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1257 0.1945 0.2000 0.6000 1.5475 0.0004 0.0000 0.1652 0.0000 0.4000 0.0970 0.1591 702-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8114 0.3141 0.2000 1.0000 0.3872 0.4183 0.0002 0.2371 0.6000 1.0000 0.9267 0.1337 703-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2629 0.1926 0.2000 0.6000 0.7329 0.0293 0.0000 0.1633 0.0000 0.6000 0.2629 0.1926 704-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.4229 0.2602 0.4000 1.0000 0.6153 0.0742 0.0001 0.2165 0.0000 1.0000 0.4229 0.2602 705-AH 0.2000 0.4000 0.4000 0.4000 0.8000 0.4571 0.1335 0.0000 0.6000 0.2920 0.4410 0.4264 0.0996 0.4000 0.4000 0.4000 0.0000 706-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.3371 0.3059 0.6000 0.8000 0.9074 0.0090 0.0000 0.2661 0.0000 0.8000 0.3371 0.3059 707-AH 0.4000 0.6000 0.6000 0.6000 0.8000 0.6286 0.0860 0.0000 0.4000 0.1368 0.6231 0.6176 0.0588 0.6000 0.6000 0.6000 0.0000 708-AH 0.0000 0.0000 0.0000 0.1500 0.8000 0.1314 0.2564 0.1500 0.8000 1.9510 0.0002 0.0000 0.1953 0.0000 0.2000 0.0143 0.0525 709-AH 0.0000 0.0500 0.6000 0.7500 1.0000 0.4629 0.3209 0.7000 1.0000 0.6934 0.0348 0.0000 0.2789 0.0000 1.0000 0.4629 0.3209 710-AH 0.0000 0.4000 0.8000 0.8000 1.0000 0.5771 0.3623 0.4000 1.0000 0.6277 0.0950 0.0001 0.3220 0.0000 1.0000 0.5771 0.3623 711-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5600 0.2558 0.4000 1.0000 0.4567 0.2900 0.0002 0.2034 0.0000 1.0000 0.5600 0.2558 712-AH 0.0000 0.6000 0.6000 0.6000 0.8000 0.5371 0.1864 0.0000 0.8000 0.3471 0.2268 0.0001 0.1234 0.6000 0.6000 0.6000 0.0000 713-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1829 0.1963 0.4000 0.6000 1.0733 0.0028 0.0000 0.1672 0.0000 0.6000 0.1829 0.1963 714-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.5029 0.2925 0.4000 1.0000 0.5818 0.1126 0.0001 0.2420 0.0000 1.0000 0.5029 0.2925 715-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1029 0.1562 0.2000 0.6000 1.5188 0.0004 0.0000 0.1293 0.0000 0.4000 0.0882 0.1320 716-AH 0.0000 0.2000 0.4000 0.8000 1.0000 0.5143 0.3440 0.6000 1.0000 0.6688 0.1853 0.0001 0.3069 0.0000 1.0000 0.5143 0.3440 717-AH 0.2000 0.8000 0.8000 1.0000 1.0000 0.8171 0.2294 0.2000 0.8000 0.2808 0.7724 0.7071 0.1776 0.6000 1.0000 0.8933 0.1363 718-AH 0.0000 0.2500 0.6000 0.8000 1.0000 0.5486 0.3004 0.5500 1.0000 0.5475 0.2734 0.0002 0.2446 0.0000 1.0000 0.5486 0.3004 719-AH 0.0000 0.0000 0.2000 0.3500 0.8000 0.1886 0.1997 0.3500 0.8000 1.0588 0.0047 0.0000 0.1509 0.0000 0.8000 0.1886 0.1997 720-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6229 0.2211 0.2000 1.0000 0.3549 0.3382 0.0002 0.1531 0.4000 1.0000 0.6750 0.1414 721-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1143 0.1556 0.2000 0.4000 1.3612 0.0006 0.0000 0.1371 0.0000 0.4000 0.1143 0.1556 722-AH 0.0000 0.2000 0.2000 0.3500 0.6000 0.2457 0.1197 0.1500 0.6000 0.4870 0.1373 0.0002 0.0908 0.0000 0.4000 0.2353 0.1041 723-AH 0.0000 0.2000 0.4000 0.4000 0.8000 0.2857 0.1768 0.2000 0.8000 0.6188 0.0544 0.0001 0.1469 0.0000 0.4000 0.2706 0.1548 724-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8400 0.1988 0.2000 0.6000 0.2367 0.8115 0.7763 0.1646 0.6000 1.0000 0.8813 0.1512 725-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6400 0.2820 0.2000 1.0000 0.4406 0.3301 0.0002 0.2217 0.4000 1.0000 0.7448 0.1682 726-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0514 0.1121 0.0000 0.4000 2.1802 0.0001 0.0000 0.0823 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.2000 0.3500 0.4000 0.1543 0.1686 0.3500 0.4000 1.0930 0.0019 0.0000 0.1499 0.0000 0.4000 0.1543 0.1686 728-AH 0.0000 0.4000 0.4000 0.4000 0.6000 0.3771 0.1352 0.0000 0.6000 0.3586 0.2726 0.0003 0.0924 0.4000 0.4000 0.4000 0.0000 729-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0971 0.1014 0.2000 0.2000 1.0440 0.0012 0.0000 0.0999 0.0000 0.2000 0.0971 0.1014 730-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0857 0.1309 0.2000 0.4000 1.5275 0.0003 0.0000 0.1127 0.0000 0.4000 0.0857 0.1309 731-AH 0.2000 0.4500 0.6000 1.0000 1.0000 0.6514 0.2759 0.5500 0.8000 0.4235 0.5807 0.4970 0.2247 0.2000 1.0000 0.6514 0.2759 732-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1200 0.1549 0.2000 0.4000 1.2910 0.0008 0.0000 0.1371 0.0000 0.4000 0.1200 0.1549 733-AH 0.0000 0.2000 0.2000 0.6000 1.0000 0.3829 0.3120 0.4000 1.0000 0.8149 0.0482 0.0000 0.2681 0.0000 1.0000 0.3829 0.3120 734-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8686 0.2166 0.2000 0.6000 0.2494 0.8321 0.7836 0.1727 0.6000 1.0000 0.9467 0.1042 735-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4400 0.3423 0.4000 1.0000 0.7780 0.0422 0.0000 0.2857 0.0000 1.0000 0.4400 0.3423 736-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0857 0.1115 0.2000 0.4000 1.3011 0.0005 0.0000 0.1029 0.0000 0.4000 0.0857 0.1115 737-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.1829 0.2189 0.4000 0.8000 1.1973 0.0021 0.0000 0.1776 0.0000 0.8000 0.1829 0.2189 738-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.2286 0.2996 0.4000 1.0000 1.3107 0.0022 0.0000 0.2351 0.0000 1.0000 0.2286 0.2996 739-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7771 0.3422 0.4000 1.0000 0.4403 0.3005 0.0001 0.2828 0.2000 1.0000 0.8500 0.2540 740-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6343 0.2589 0.4000 1.0000 0.4082 0.4408 0.0003 0.2106 0.0000 1.0000 0.6343 0.2589 741-AH 0.0000 0.4000 0.6000 1.0000 1.0000 0.6171 0.3408 0.6000 1.0000 0.5523 0.1376 0.0001 0.2616 0.0000 1.0000 0.6171 0.3408 742-AH 0.0000 0.2000 0.2000 0.2000 0.6000 0.1886 0.1278 0.0000 0.6000 0.6778 0.0302 0.0000 0.0754 0.2000 0.2000 0.2000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0171 0.0747 0.0000 0.4000 4.3574 0.0000 0.0000 0.0323 0.0000 0.0000 0.0000 0.0000 744-AH 0.2000 0.4000 0.8000 1.0000 1.0000 0.6914 0.3119 0.6000 0.8000 0.4511 0.5995 0.4924 0.2779 0.2000 1.0000 0.6914 0.3119 745-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6000 0.2567 0.4000 1.0000 0.4278 0.4115 0.0003 0.1943 0.0000 1.0000 0.6000 0.2567 746-AH 0.0000 0.6500 0.8000 1.0000 1.0000 0.7371 0.3172 0.3500 1.0000 0.4304 0.2210 0.0001 0.2305 0.2000 1.0000 0.8323 0.1796 747-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1886 0.1997 0.4000 0.6000 1.0588 0.0036 0.0000 0.1616 0.0000 0.6000 0.1886 0.1997 748-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0914 0.1011 0.2000 0.2000 1.1056 0.0009 0.0000 0.0993 0.0000 0.2000 0.0914 0.1011 749-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6229 0.2777 0.4000 1.0000 0.4458 0.2508 0.0001 0.2191 0.0000 1.0000 0.6229 0.2777 750-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2114 0.2166 0.4000 0.8000 1.0246 0.0065 0.0000 0.1649 0.0000 0.8000 0.2114 0.2166 72 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0943 0.1187 0.2000 0.3000 1.2587 0.0007 0.0000 0.1078 0.0000 0.3000 0.0943 0.1187 702-AH 0.1000 0.5000 0.6000 0.6000 0.7000 0.5371 0.1437 0.1000 0.6000 0.2675 0.5057 0.4500 0.1069 0.4000 0.7000 0.5806 0.0749 703-AH 0.0000 0.1000 0.2000 0.2000 0.6000 0.2057 0.1187 0.1000 0.6000 0.5769 0.1422 0.0003 0.0723 0.0000 0.3000 0.1710 0.0643 704-AH 0.0000 0.2250 0.4000 0.5000 0.6000 0.3457 0.1771 0.2750 0.6000 0.5124 0.1395 0.0001 0.1447 0.0000 0.6000 0.3457 0.1771 705-AH 0.1000 0.3000 0.3000 0.4000 0.6000 0.3371 0.1060 0.1000 0.5000 0.3143 0.3195 0.2987 0.0846 0.2000 0.5000 0.3364 0.0895 706-AH 0.0000 0.0000 0.2000 0.3000 0.5000 0.1943 0.1731 0.3000 0.5000 0.8910 0.0064 0.0000 0.1497 0.0000 0.5000 0.1943 0.1731 707-AH 0.2000 0.3000 0.3000 0.4000 0.5000 0.3343 0.0684 0.1000 0.3000 0.2045 0.3282 0.3226 0.0547 0.2000 0.5000 0.3343 0.0684 708-AH 0.0000 0.0000 0.0000 0.3000 0.6000 0.1257 0.1884 0.3000 0.6000 1.4987 0.0005 0.0000 0.1610 0.0000 0.6000 0.1257 0.1884 709-AH 0.0000 0.1000 0.5000 0.6000 0.7000 0.3829 0.2695 0.5000 0.7000 0.7040 0.0493 0.0000 0.2415 0.0000 0.7000 0.3829 0.2695 710-AH 0.0000 0.2000 0.6000 0.8000 0.9000 0.5200 0.3216 0.6000 0.9000 0.6184 0.1098 0.0001 0.2754 0.0000 0.9000 0.5200 0.3216 711-AH 0.0000 0.3250 0.5000 0.6000 0.7000 0.4571 0.2033 0.2750 0.7000 0.4448 0.2417 0.0002 0.1633 0.0000 0.7000 0.4571 0.2033 712-AH 0.0000 0.3000 0.3000 0.3000 0.5000 0.2886 0.0867 0.0000 0.5000 0.3004 0.2136 0.0003 0.0431 0.3000 0.3000 0.3000 0.0000 713-AH 0.0000 0.0250 0.1000 0.2000 0.3000 0.1257 0.1067 0.1750 0.3000 0.8485 0.0126 0.0000 0.0867 0.0000 0.3000 0.1257 0.1067 714-AH 0.0000 0.2000 0.6000 0.7000 0.9000 0.4943 0.3029 0.5000 0.9000 0.6127 0.1058 0.0001 0.2536 0.0000 0.9000 0.4943 0.3029 715-AH 0.0000 0.0000 0.1000 0.1000 0.4000 0.0943 0.0998 0.1000 0.4000 1.0588 0.0050 0.0000 0.0647 0.0000 0.2000 0.0645 0.0551 716-AH 0.1000 0.4000 0.4000 0.7000 1.0000 0.5057 0.2589 0.3000 0.9000 0.5119 0.4284 0.3393 0.2129 0.1000 1.0000 0.5057 0.2589 717-AH 0.2000 0.6000 0.7000 0.8000 1.0000 0.6857 0.1833 0.2000 0.8000 0.2674 0.6528 0.6033 0.1380 0.5000 1.0000 0.7152 0.1417 718-AH 0.0000 0.3000 0.5000 0.7000 0.9000 0.4686 0.2598 0.4000 0.9000 0.5545 0.2270 0.0002 0.2131 0.0000 0.9000 0.4686 0.2598 719-AH 0.0000 0.0000 0.1000 0.3000 0.5000 0.1629 0.1516 0.3000 0.5000 0.9311 0.0091 0.0000 0.1275 0.0000 0.5000 0.1629 0.1516 720-AH 0.0000 0.4000 0.7000 0.8000 0.9000 0.5829 0.2467 0.4000 0.9000 0.4233 0.3047 0.0002 0.2034 0.0000 0.9000 0.5829 0.2467 721-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1571 0.1399 0.2000 0.4000 0.8905 0.0090 0.0000 0.1184 0.0000 0.4000 0.1571 0.1399 722-AH 0.0000 0.1000 0.1000 0.2000 0.4000 0.1371 0.0877 0.1000 0.4000 0.6397 0.0758 0.0002 0.0645 0.0000 0.3000 0.1212 0.0600 723-AH 0.0000 0.1000 0.2000 0.2000 0.4000 0.1629 0.0942 0.1000 0.4000 0.5784 0.0557 0.0001 0.0731 0.0000 0.3000 0.1485 0.0755 724-AH 0.5000 0.7000 0.9000 1.0000 1.0000 0.8400 0.1649 0.3000 0.5000 0.1963 0.8228 0.8042 0.1451 0.5000 1.0000 0.8400 0.1649 725-AH 0.0000 0.5250 0.8000 0.8000 1.0000 0.6229 0.2891 0.2750 1.0000 0.4642 0.3035 0.0002 0.2284 0.3000 1.0000 0.7379 0.1449 726-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0543 0.1172 0.0000 0.4000 2.1586 0.0001 0.0000 0.0869 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.1000 0.3000 0.4000 0.1400 0.1355 0.3000 0.4000 0.9677 0.0064 0.0000 0.1189 0.0000 0.4000 0.1400 0.1355 728-AH 0.0000 0.2000 0.2000 0.2750 0.4000 0.2257 0.0919 0.0750 0.4000 0.4069 0.1642 0.0003 0.0668 0.1000 0.3000 0.2034 0.0499 729-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0800 0.0719 0.1000 0.3000 0.8993 0.0047 0.0000 0.0549 0.0000 0.2000 0.0735 0.0618 730-AH 0.0000 0.0000 0.0000 0.1750 0.5000 0.1029 0.1485 0.1750 0.5000 1.4437 0.0009 0.0000 0.1128 0.0000 0.4000 0.0788 0.1139 731-AH 0.2000 0.5000 0.6000 0.8000 1.0000 0.6629 0.2157 0.3000 0.8000 0.3254 0.6217 0.5694 0.1768 0.2000 1.0000 0.6629 0.2157 732-AH 0.0000 0.0000 0.1000 0.2000 0.5000 0.1229 0.1352 0.2000 0.5000 1.1007 0.0022 0.0000 0.1162 0.0000 0.5000 0.1229 0.1352 733-AH 0.0000 0.1250 0.3000 0.6000 0.8000 0.3800 0.2784 0.4750 0.8000 0.7327 0.1043 0.0001 0.2446 0.0000 0.8000 0.3800 0.2784 734-AH 0.5000 0.7000 0.8000 0.9000 1.0000 0.7914 0.1463 0.2000 0.5000 0.1848 0.7764 0.7594 0.1151 0.5000 1.0000 0.7914 0.1463 735-AH 0.0000 0.3000 0.5000 0.6000 0.9000 0.4571 0.2453 0.3000 0.9000 0.5366 0.1078 0.0001 0.1943 0.0000 0.9000 0.4571 0.2453 736-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0857 0.0648 0.1000 0.2000 0.7562 0.0079 0.0000 0.0490 0.0000 0.2000 0.0857 0.0648 737-AH 0.0000 0.1000 0.1000 0.3000 0.8000 0.2114 0.1745 0.2000 0.8000 0.8254 0.0798 0.0001 0.1350 0.0000 0.5000 0.1941 0.1434 738-AH 0.0000 0.0000 0.1000 0.3000 0.9000 0.1914 0.2418 0.3000 0.9000 1.2630 0.0055 0.0000 0.1840 0.0000 0.6000 0.1515 0.1822 739-AH 0.0000 0.7000 0.9000 0.9000 1.0000 0.7371 0.2840 0.2000 1.0000 0.3852 0.3771 0.0002 0.2098 0.4000 1.0000 0.8258 0.1413 740-AH 0.0000 0.5000 0.7000 0.8000 1.0000 0.6200 0.2506 0.3000 1.0000 0.4043 0.4244 0.0003 0.2080 0.1000 1.0000 0.6382 0.2296 741-AH 0.0000 0.5000 0.7000 0.7750 0.9000 0.5829 0.2491 0.2750 0.9000 0.4274 0.3819 0.0003 0.1930 0.1000 0.9000 0.6000 0.2309 742-AH 0.0000 0.1000 0.1000 0.1000 0.3000 0.1229 0.0877 0.0000 0.3000 0.7141 0.0333 0.0001 0.0638 0.1000 0.1000 0.1000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0200 0.1023 0.0000 0.6000 5.1163 0.0000 0.0000 0.0377 0.0000 0.0000 0.0000 0.0000 744-AH 0.1000 0.3000 0.7000 0.8000 0.9000 0.5486 0.2748 0.5000 0.8000 0.5009 0.4494 0.3308 0.2503 0.1000 0.9000 0.5486 0.2748 745-AH 0.0000 0.5000 0.6000 0.6750 1.0000 0.5629 0.2088 0.1750 1.0000 0.3709 0.4005 0.0003 0.1531 0.3000 0.9000 0.5781 0.1641 746-AH 0.0000 0.7000 0.8000 0.9000 1.0000 0.7257 0.2994 0.2000 1.0000 0.4125 0.2797 0.0001 0.2104 0.6000 1.0000 0.8400 0.1003 747-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.1743 0.1291 0.2000 0.5000 0.7409 0.0268 0.0000 0.1079 0.0000 0.5000 0.1743 0.1291 748-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.1029 0.0618 0.0000 0.2000 0.6005 0.0237 0.0001 0.0389 0.1000 0.1000 0.1000 0.0000 749-AH 0.0000 0.2250 0.4000 0.6000 0.9000 0.4314 0.2459 0.3750 0.9000 0.5699 0.1693 0.0001 0.2095 0.0000 0.9000 0.4314 0.2459 750-AH 0.0000 0.0250 0.1000 0.2000 0.5000 0.1400 0.1311 0.1750 0.5000 0.9361 0.0133 0.0000 0.1040 0.0000 0.4000 0.1294 0.1169 73 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0876 0.0754 0.1333 0.2000 0.8611 0.0049 0.0000 0.0673 0.0000 0.2000 0.0876 0.0754 702-AH 0.1333 0.4000 0.4000 0.4000 0.6000 0.3905 0.0917 0.0000 0.4667 0.2348 0.3757 0.3535 0.0539 0.4000 0.4000 0.4000 0.0000 703-AH 0.0000 0.1333 0.1333 0.2000 0.4000 0.1581 0.0794 0.0667 0.4000 0.5019 0.1137 0.0003 0.0544 0.0667 0.2667 0.1479 0.0471 704-AH 0.0000 0.2000 0.3333 0.4000 0.6667 0.2914 0.1665 0.2000 0.6667 0.5715 0.1153 0.0001 0.1345 0.0000 0.6667 0.2914 0.1665 705-AH 0.0667 0.2000 0.2667 0.4000 0.4667 0.2895 0.1047 0.2000 0.4000 0.3617 0.2678 0.2411 0.0871 0.0667 0.4667 0.2895 0.1047 706-AH 0.0000 0.0000 0.1333 0.2667 0.4000 0.1467 0.1331 0.2667 0.4000 0.9078 0.0053 0.0000 0.1166 0.0000 0.4000 0.1467 0.1331 707-AH 0.1333 0.2000 0.2000 0.2667 0.4667 0.2381 0.0632 0.0667 0.3333 0.2655 0.2312 0.2252 0.0495 0.1333 0.3333 0.2314 0.0499 708-AH 0.0000 0.0000 0.0000 0.2500 0.4000 0.1181 0.1483 0.2500 0.4000 1.2555 0.0010 0.0000 0.1341 0.0000 0.4000 0.1181 0.1483 709-AH 0.0000 0.1333 0.4000 0.5833 0.8000 0.3714 0.2760 0.4500 0.8000 0.7430 0.0479 0.0000 0.2465 0.0000 0.8000 0.3714 0.2760 710-AH 0.0000 0.1500 0.5333 0.8000 0.8667 0.4914 0.3266 0.6500 0.8667 0.6647 0.1011 0.0001 0.2855 0.0000 0.8667 0.4914 0.3266 711-AH 0.0667 0.2667 0.3333 0.5167 0.6000 0.3695 0.1620 0.2500 0.5333 0.4383 0.3238 0.2633 0.1328 0.0667 0.6000 0.3695 0.1620 712-AH 0.0000 0.2000 0.2000 0.2000 0.6000 0.2019 0.0878 0.0000 0.6000 0.4349 0.1477 0.0003 0.0340 0.2000 0.2000 0.2000 0.0000 713-AH 0.0000 0.0667 0.1333 0.1333 0.2000 0.1029 0.0729 0.0667 0.2000 0.7090 0.0142 0.0000 0.0636 0.0000 0.2000 0.1029 0.0729 714-AH 0.0000 0.1500 0.6000 0.7333 0.8667 0.4952 0.3013 0.5833 0.8667 0.6084 0.1028 0.0001 0.2596 0.0000 0.8667 0.4952 0.3013 715-AH 0.0000 0.0000 0.0667 0.0667 0.3333 0.0762 0.0827 0.0667 0.3333 1.0851 0.0053 0.0000 0.0571 0.0000 0.1333 0.0437 0.0368 716-AH 0.1333 0.4000 0.4667 0.6667 0.8667 0.5067 0.2014 0.2667 0.7333 0.3976 0.4586 0.3970 0.1585 0.1333 0.8667 0.5067 0.2014 717-AH 0.1333 0.5500 0.6000 0.6667 0.8667 0.6076 0.1582 0.1167 0.7333 0.2604 0.5778 0.5277 0.1078 0.4000 0.8000 0.6111 0.0944 718-AH 0.0667 0.2833 0.4667 0.6500 0.7333 0.4552 0.2172 0.3667 0.6667 0.4772 0.3862 0.2956 0.1838 0.0667 0.7333 0.4552 0.2172 719-AH 0.0000 0.0667 0.1333 0.2667 0.5333 0.1714 0.1511 0.2000 0.5333 0.8812 0.0245 0.0000 0.1235 0.0000 0.5333 0.1714 0.1511 720-AH 0.0000 0.4000 0.5333 0.6667 0.8000 0.4914 0.2200 0.2667 0.8000 0.4476 0.2547 0.0002 0.1750 0.0000 0.8000 0.4914 0.2200 721-AH 0.0000 0.0667 0.1333 0.2500 0.4667 0.1619 0.1326 0.1833 0.4667 0.8192 0.0244 0.0000 0.1067 0.0000 0.4667 0.1619 0.1326 722-AH 0.0000 0.0667 0.0667 0.1333 0.2667 0.0933 0.0587 0.0667 0.2667 0.6294 0.0528 0.0002 0.0442 0.0000 0.2000 0.0828 0.0409 723-AH 0.0000 0.0667 0.1333 0.1333 0.3333 0.1276 0.0782 0.0667 0.3333 0.6125 0.0442 0.0001 0.0536 0.0000 0.2000 0.1075 0.0562 724-AH 0.6000 0.6667 0.8667 0.9333 1.0000 0.8171 0.1458 0.2667 0.4000 0.1785 0.8037 0.7896 0.1290 0.6000 1.0000 0.8171 0.1458 725-AH 0.0000 0.4833 0.7333 0.8000 0.8667 0.5867 0.2873 0.3167 0.8667 0.4898 0.2745 0.0002 0.2339 0.0667 0.8667 0.6222 0.2548 726-AH 0.0000 0.0000 0.0000 0.0667 0.4000 0.0571 0.1168 0.0667 0.4000 2.0432 0.0002 0.0000 0.0816 0.0000 0.1333 0.0133 0.0323 727-AH 0.0000 0.0000 0.0667 0.2667 0.5333 0.1410 0.1471 0.2667 0.5333 1.0436 0.0061 0.0000 0.1272 0.0000 0.5333 0.1410 0.1471 728-AH 0.0667 0.1333 0.1333 0.2000 0.3333 0.1829 0.0764 0.0667 0.2667 0.4180 0.1676 0.1525 0.0624 0.0667 0.2667 0.1634 0.0567 729-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0838 0.0591 0.0667 0.2000 0.7047 0.0123 0.0000 0.0501 0.0000 0.2000 0.0838 0.0591 730-AH 0.0000 0.0000 0.0000 0.1333 0.4667 0.0895 0.1343 0.1333 0.4667 1.4997 0.0008 0.0000 0.1037 0.0000 0.3333 0.0687 0.1060 731-AH 0.1333 0.5500 0.6667 0.8000 1.0000 0.6762 0.1994 0.2500 0.8667 0.2949 0.6381 0.5783 0.1518 0.2667 1.0000 0.6922 0.1783 732-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.1067 0.1244 0.1333 0.4000 1.1663 0.0032 0.0000 0.0968 0.0000 0.3333 0.0792 0.0887 733-AH 0.0000 0.0833 0.3333 0.5333 0.7333 0.3429 0.2293 0.4500 0.7333 0.6688 0.0948 0.0001 0.2003 0.0000 0.7333 0.3429 0.2293 734-AH 0.3333 0.6000 0.8000 0.8667 0.8667 0.7124 0.1694 0.2667 0.5333 0.2378 0.6888 0.6611 0.1418 0.3333 0.8667 0.7124 0.1694 735-AH 0.0000 0.3333 0.4667 0.5333 0.6667 0.4057 0.1976 0.2000 0.6667 0.4871 0.1264 0.0001 0.1573 0.0667 0.6667 0.4581 0.1396 736-AH 0.0000 0.0667 0.0667 0.1167 0.1333 0.0705 0.0456 0.0500 0.1333 0.6466 0.0137 0.0000 0.0323 0.0000 0.1333 0.0705 0.0456 737-AH 0.0667 0.1333 0.2000 0.2667 0.7333 0.2095 0.1402 0.1333 0.6667 0.6690 0.1740 0.1457 0.1007 0.0667 0.4667 0.1941 0.1081 738-AH 0.0000 0.0000 0.0667 0.2500 0.6667 0.1619 0.1803 0.2500 0.6667 1.1134 0.0083 0.0000 0.1448 0.0000 0.5333 0.1471 0.1598 739-AH 0.0000 0.6667 0.6667 0.8000 0.8667 0.6343 0.2225 0.1333 0.8667 0.3508 0.4401 0.0003 0.1604 0.6000 0.8667 0.7333 0.0748 740-AH 0.0000 0.4667 0.6667 0.8667 0.9333 0.6076 0.2636 0.4000 0.9333 0.4338 0.4026 0.0003 0.2127 0.0000 0.9333 0.6076 0.2636 741-AH 0.0667 0.4000 0.5333 0.6500 0.8000 0.5067 0.1859 0.2500 0.7333 0.3669 0.4525 0.3539 0.1448 0.0667 0.8000 0.5067 0.1859 742-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0895 0.0604 0.0667 0.2000 0.6744 0.0318 0.0001 0.0479 0.0000 0.2000 0.0895 0.0604 743-AH 0.0000 0.0000 0.0000 0.0000 0.5333 0.0210 0.0911 0.0000 0.5333 4.3498 0.0000 0.0000 0.0371 0.0000 0.0000 0.0000 0.0000 744-AH 0.0667 0.2667 0.6000 0.6667 0.8000 0.4705 0.2452 0.4000 0.7333 0.5211 0.3743 0.2543 0.2204 0.0667 0.8000 0.4705 0.2452 745-AH 0.0000 0.4000 0.4667 0.6500 0.8667 0.5124 0.2180 0.2500 0.8667 0.4255 0.3565 0.0003 0.1677 0.1333 0.8667 0.5275 0.2019 746-AH 0.0000 0.6667 0.8667 0.9333 1.0000 0.7238 0.2991 0.2667 1.0000 0.4132 0.2781 0.0001 0.2117 0.6667 1.0000 0.8378 0.1016 747-AH 0.0000 0.0667 0.1333 0.2000 0.4667 0.1581 0.1110 0.1333 0.4667 0.7018 0.0400 0.0001 0.0902 0.0000 0.3333 0.1490 0.0986 748-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0876 0.0578 0.0667 0.2000 0.6595 0.0315 0.0001 0.0452 0.0000 0.2000 0.0876 0.0578 749-AH 0.0000 0.2000 0.3333 0.5833 0.8000 0.3638 0.2433 0.3833 0.8000 0.6686 0.1368 0.0001 0.2118 0.0000 0.8000 0.3638 0.2433 750-AH 0.0000 0.0667 0.0667 0.1833 0.4000 0.1181 0.1061 0.1167 0.4000 0.8987 0.0186 0.0000 0.0825 0.0000 0.2667 0.1010 0.0819 74 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0757 0.0520 0.0500 0.1500 0.6865 0.0141 0.0000 0.0450 0.0000 0.1500 0.0757 0.0520 702-AH 0.1500 0.3000 0.3000 0.3500 0.4500 0.3071 0.0596 0.0500 0.3000 0.1940 0.3008 0.2935 0.0408 0.2500 0.4000 0.3183 0.0359 703-AH 0.0000 0.1000 0.1500 0.2000 0.3000 0.1514 0.0647 0.1000 0.3000 0.4274 0.1096 0.0003 0.0476 0.0000 0.3000 0.1514 0.0647 704-AH 0.0000 0.1625 0.2500 0.3375 0.6500 0.2586 0.1478 0.1750 0.6500 0.5715 0.1639 0.0003 0.1088 0.0000 0.4000 0.2364 0.1194 705-AH 0.1000 0.2125 0.3000 0.3500 0.4000 0.2771 0.0826 0.1375 0.3000 0.2979 0.2626 0.2448 0.0677 0.1000 0.4000 0.2771 0.0826 706-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1114 0.1015 0.2000 0.3000 0.9111 0.0045 0.0000 0.0889 0.0000 0.3000 0.1114 0.1015 707-AH 0.1000 0.1500 0.1500 0.2000 0.3500 0.1843 0.0539 0.0500 0.2500 0.2926 0.1777 0.1720 0.0440 0.1000 0.2500 0.1758 0.0417 708-AH 0.0000 0.0000 0.0000 0.2375 0.3500 0.1071 0.1301 0.2375 0.3500 1.2145 0.0010 0.0000 0.1196 0.0000 0.3500 0.1071 0.1301 709-AH 0.0000 0.1125 0.4000 0.5500 0.8000 0.3614 0.2725 0.4375 0.8000 0.7541 0.0591 0.0001 0.2368 0.0000 0.8000 0.3614 0.2725 710-AH 0.0000 0.1375 0.5000 0.8000 0.9000 0.4729 0.3297 0.6625 0.9000 0.6973 0.0948 0.0001 0.2822 0.0000 0.9000 0.4729 0.3297 711-AH 0.0500 0.2500 0.2500 0.4375 0.5000 0.3014 0.1337 0.1875 0.4500 0.4434 0.2631 0.2110 0.1131 0.0500 0.5000 0.3014 0.1337 712-AH 0.0000 0.1500 0.1500 0.1500 0.4500 0.1514 0.0658 0.0000 0.4500 0.4349 0.1117 0.0003 0.0255 0.1500 0.1500 0.1500 0.0000 713-AH 0.0000 0.0500 0.1000 0.1500 0.1500 0.0829 0.0568 0.1000 0.1500 0.6856 0.0121 0.0000 0.0491 0.0000 0.1500 0.0829 0.0568 714-AH 0.0000 0.1125 0.6000 0.6000 0.8000 0.4529 0.2805 0.4875 0.8000 0.6194 0.0929 0.0001 0.2420 0.0000 0.8000 0.4529 0.2805 715-AH 0.0000 0.0000 0.0500 0.1000 0.3000 0.0771 0.0780 0.1000 0.3000 1.0108 0.0067 0.0000 0.0611 0.0000 0.2500 0.0706 0.0687 716-AH 0.1000 0.4000 0.5000 0.6375 0.7000 0.4843 0.1444 0.2375 0.6000 0.2982 0.4569 0.4156 0.1162 0.1000 0.7000 0.4843 0.1444 717-AH 0.1500 0.5000 0.5500 0.6375 0.9000 0.5543 0.1457 0.1375 0.7500 0.2629 0.5279 0.4852 0.0989 0.4000 0.7000 0.5597 0.0790 718-AH 0.0500 0.4000 0.4000 0.5500 0.6500 0.4229 0.1677 0.1500 0.6000 0.3967 0.3710 0.2888 0.1292 0.2000 0.6500 0.4750 0.1143 719-AH 0.0000 0.0500 0.1500 0.2000 0.4500 0.1600 0.1276 0.1500 0.4500 0.7978 0.0303 0.0001 0.1051 0.0000 0.4000 0.1515 0.1190 720-AH 0.0000 0.3500 0.5000 0.5500 0.6000 0.4243 0.1742 0.2000 0.6000 0.4106 0.2237 0.0002 0.1366 0.0500 0.6000 0.4500 0.1425 721-AH 0.0000 0.1000 0.1000 0.2000 0.4500 0.1529 0.1163 0.1000 0.4500 0.7607 0.0481 0.0001 0.0895 0.0000 0.3500 0.1348 0.0923 722-AH 0.0000 0.0500 0.0500 0.1000 0.2000 0.0743 0.0491 0.0500 0.2000 0.6605 0.0418 0.0002 0.0376 0.0000 0.1500 0.0625 0.0311 723-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1086 0.0691 0.1000 0.2500 0.6366 0.0375 0.0001 0.0541 0.0000 0.2500 0.1086 0.0691 724-AH 0.5000 0.6625 0.8000 0.9375 0.9500 0.7943 0.1392 0.2750 0.4500 0.1753 0.7816 0.7681 0.1208 0.5000 0.9500 0.7943 0.1392 725-AH 0.0000 0.4500 0.6500 0.7000 0.8500 0.5286 0.2588 0.2500 0.8500 0.4895 0.2485 0.0002 0.2110 0.1000 0.8500 0.6117 0.1685 726-AH 0.0000 0.0000 0.0000 0.0500 0.4000 0.0600 0.1130 0.0500 0.4000 1.8830 0.0003 0.0000 0.0789 0.0000 0.1000 0.0167 0.0303 727-AH 0.0000 0.0000 0.0500 0.2875 0.4500 0.1471 0.1581 0.2875 0.4500 1.0744 0.0076 0.0000 0.1367 0.0000 0.4500 0.1471 0.1581 728-AH 0.0500 0.1000 0.1500 0.1875 0.4000 0.1500 0.0776 0.0875 0.3500 0.5177 0.1332 0.1183 0.0571 0.0500 0.3000 0.1426 0.0653 729-AH 0.0000 0.0500 0.0500 0.1000 0.2500 0.0757 0.0611 0.0500 0.2500 0.8068 0.0137 0.0000 0.0464 0.0000 0.1500 0.0652 0.0442 730-AH 0.0000 0.0000 0.0000 0.1000 0.3500 0.0757 0.1080 0.1000 0.3500 1.4269 0.0008 0.0000 0.0866 0.0000 0.2500 0.0591 0.0861 731-AH 0.1000 0.5000 0.6500 0.8000 1.0000 0.6543 0.2098 0.3000 0.9000 0.3207 0.6104 0.5372 0.1680 0.1000 1.0000 0.6543 0.2098 732-AH 0.0000 0.0000 0.1000 0.1375 0.3500 0.0971 0.1007 0.1375 0.3500 1.0365 0.0062 0.0000 0.0745 0.0000 0.3000 0.0897 0.0919 733-AH 0.0000 0.1125 0.4000 0.4875 0.6500 0.3200 0.2066 0.3750 0.6500 0.6456 0.0894 0.0001 0.1811 0.0000 0.6500 0.3200 0.2066 734-AH 0.3000 0.4750 0.7500 0.8000 0.8500 0.6700 0.1832 0.3250 0.5500 0.2734 0.6401 0.6048 0.1566 0.3000 0.8500 0.6700 0.1832 735-AH 0.0000 0.3000 0.4000 0.5000 0.6500 0.3814 0.1749 0.2000 0.6500 0.4586 0.2475 0.0003 0.1394 0.0500 0.6500 0.3926 0.1643 736-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0743 0.0460 0.0500 0.1500 0.6189 0.0273 0.0001 0.0392 0.0000 0.1500 0.0743 0.0460 737-AH 0.0500 0.1500 0.1500 0.2500 0.7000 0.2143 0.1304 0.1000 0.6500 0.6084 0.1845 0.1583 0.0918 0.0500 0.3500 0.1774 0.0717 738-AH 0.0000 0.0125 0.1000 0.2375 0.5500 0.1500 0.1485 0.2250 0.5500 0.9901 0.0132 0.0000 0.1171 0.0000 0.5500 0.1500 0.1485 739-AH 0.0000 0.5000 0.6000 0.7000 0.7500 0.5543 0.1934 0.2000 0.7500 0.3489 0.3907 0.0003 0.1439 0.3500 0.7500 0.6097 0.1179 740-AH 0.0000 0.4500 0.6000 0.7875 0.9500 0.5714 0.2515 0.3375 0.9500 0.4402 0.3770 0.0003 0.2008 0.0000 0.9500 0.5714 0.2515 741-AH 0.0500 0.3500 0.5000 0.5500 0.7500 0.4471 0.1475 0.2000 0.7000 0.3299 0.4032 0.3059 0.1147 0.0500 0.7500 0.4471 0.1475 742-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0686 0.0455 0.0500 0.1500 0.6637 0.0252 0.0001 0.0369 0.0000 0.1500 0.0686 0.0455 743-AH 0.0000 0.0000 0.0000 0.0000 0.4500 0.0229 0.0770 0.0000 0.4500 3.3698 0.0001 0.0000 0.0353 0.0000 0.0000 0.0000 0.0000 744-AH 0.0500 0.2000 0.5000 0.6000 0.6500 0.4071 0.2156 0.4000 0.6000 0.5296 0.3218 0.2162 0.1971 0.0500 0.6500 0.4071 0.2156 745-AH 0.0000 0.3125 0.5000 0.6375 0.9000 0.5057 0.2252 0.3250 0.9000 0.4453 0.3458 0.0003 0.1773 0.0000 0.9000 0.5057 0.2252 746-AH 0.0000 0.7000 0.8000 0.8875 0.9500 0.7029 0.2923 0.1875 0.9500 0.4159 0.2673 0.0001 0.2020 0.6000 0.9500 0.8150 0.0939 747-AH 0.0000 0.1000 0.1500 0.2500 0.4500 0.1643 0.1011 0.1500 0.4500 0.6157 0.0852 0.0002 0.0780 0.0000 0.4500 0.1643 0.1011 748-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0700 0.0424 0.0500 0.1500 0.6051 0.0324 0.0001 0.0349 0.0000 0.1500 0.0700 0.0424 749-AH 0.0000 0.1500 0.2500 0.4875 0.8000 0.3100 0.2216 0.3375 0.8000 0.7147 0.1457 0.0002 0.1891 0.0000 0.8000 0.3100 0.2216 750-AH 0.0000 0.0500 0.0500 0.1500 0.3500 0.1014 0.0927 0.1000 0.3500 0.9143 0.0203 0.0001 0.0706 0.0000 0.2500 0.0864 0.0710 75 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0667 0.0667 0.1000 0.1667 0.0771 0.0402 0.0333 0.1667 0.5216 0.0358 0.0001 0.0323 0.0333 0.1333 0.0817 0.0308 702-AH 0.1000 0.2000 0.2333 0.2583 0.3333 0.2276 0.0488 0.0583 0.2333 0.2145 0.2217 0.2147 0.0345 0.1333 0.3333 0.2314 0.0441 703-AH 0.0000 0.1000 0.1333 0.2000 0.2333 0.1390 0.0580 0.1000 0.2333 0.4172 0.1008 0.0003 0.0481 0.0000 0.2333 0.1390 0.0580 704-AH 0.0000 0.1167 0.2000 0.3000 0.6000 0.2200 0.1336 0.1833 0.6000 0.6074 0.1391 0.0003 0.1006 0.0000 0.5000 0.2088 0.1179 705-AH 0.0667 0.2000 0.2667 0.3000 0.3333 0.2419 0.0638 0.1000 0.2667 0.2639 0.2309 0.2154 0.0512 0.0667 0.3333 0.2419 0.0638 706-AH 0.0000 0.0000 0.1000 0.1333 0.2000 0.0790 0.0705 0.1333 0.2000 0.8921 0.0045 0.0000 0.0616 0.0000 0.2000 0.0790 0.0705 707-AH 0.0667 0.1000 0.1333 0.1667 0.2667 0.1419 0.0513 0.0667 0.2000 0.3619 0.1336 0.1263 0.0441 0.0667 0.2333 0.1382 0.0472 708-AH 0.0000 0.0000 0.0000 0.1583 0.2333 0.0800 0.0971 0.1583 0.2333 1.2135 0.0008 0.0000 0.0876 0.0000 0.2333 0.0800 0.0971 709-AH 0.0000 0.1083 0.3333 0.4583 0.7000 0.3181 0.2237 0.3500 0.7000 0.7031 0.0543 0.0001 0.1823 0.0000 0.7000 0.3181 0.2237 710-AH 0.0000 0.1167 0.4000 0.6000 0.8000 0.3838 0.2756 0.4833 0.8000 0.7181 0.0783 0.0001 0.2328 0.0000 0.8000 0.3838 0.2756 711-AH 0.0667 0.1667 0.2333 0.3333 0.3333 0.2324 0.0869 0.1667 0.2667 0.3739 0.2131 0.1898 0.0753 0.0667 0.3333 0.2324 0.0869 712-AH 0.0000 0.1000 0.1000 0.1000 0.3333 0.1029 0.0488 0.0000 0.3333 0.4740 0.0762 0.0003 0.0203 0.1000 0.1000 0.1000 0.0000 713-AH 0.0000 0.0333 0.0667 0.1000 0.1667 0.0667 0.0457 0.0667 0.1667 0.6860 0.0128 0.0000 0.0343 0.0000 0.1667 0.0667 0.0457 714-AH 0.0000 0.1000 0.5000 0.5667 0.6667 0.3867 0.2393 0.4667 0.6667 0.6189 0.0796 0.0001 0.2088 0.0000 0.6667 0.3867 0.2393 715-AH 0.0000 0.0333 0.0667 0.1000 0.2333 0.0743 0.0637 0.0667 0.2333 0.8575 0.0104 0.0000 0.0500 0.0000 0.1667 0.0657 0.0543 716-AH 0.0667 0.3667 0.4333 0.4667 0.5667 0.4114 0.1093 0.1000 0.5000 0.2658 0.3879 0.3426 0.0816 0.2333 0.5667 0.4303 0.0788 717-AH 0.1333 0.4000 0.4667 0.5250 0.7000 0.4533 0.1250 0.1250 0.5667 0.2758 0.4314 0.3994 0.0907 0.3333 0.7000 0.4727 0.0991 718-AH 0.0333 0.3083 0.4000 0.4583 0.5000 0.3600 0.1262 0.1500 0.4667 0.3506 0.3198 0.2419 0.0971 0.1333 0.5000 0.3788 0.1027 719-AH 0.0000 0.0333 0.1000 0.2250 0.4000 0.1333 0.1088 0.1917 0.4000 0.8157 0.0314 0.0001 0.0933 0.0000 0.4000 0.1333 0.1088 720-AH 0.0000 0.2667 0.3667 0.4000 0.4333 0.3162 0.1208 0.1333 0.4333 0.3821 0.1724 0.0002 0.0949 0.1333 0.4333 0.3448 0.0783 721-AH 0.0000 0.0667 0.1333 0.1917 0.4000 0.1429 0.1012 0.1250 0.4000 0.7081 0.0571 0.0001 0.0781 0.0000 0.3667 0.1353 0.0921 722-AH 0.0333 0.0333 0.0333 0.0667 0.1667 0.0562 0.0341 0.0333 0.1333 0.6065 0.0490 0.0442 0.0261 0.0333 0.1000 0.0479 0.0206 723-AH 0.0000 0.0667 0.1000 0.1333 0.2333 0.0962 0.0547 0.0667 0.2333 0.5686 0.0347 0.0001 0.0427 0.0000 0.2333 0.0962 0.0547 724-AH 0.3333 0.6667 0.7333 0.7667 0.8000 0.6981 0.0960 0.1000 0.4667 0.1375 0.6900 0.6795 0.0709 0.5333 0.8000 0.7088 0.0731 725-AH 0.0000 0.3000 0.4667 0.5000 0.7000 0.4010 0.2009 0.2000 0.7000 0.5010 0.1913 0.0002 0.1568 0.0333 0.7000 0.4253 0.1795 726-AH 0.0000 0.0000 0.0000 0.0333 0.2667 0.0429 0.0769 0.0333 0.2667 1.7953 0.0004 0.0000 0.0547 0.0000 0.0667 0.0133 0.0225 727-AH 0.0000 0.0000 0.0667 0.2333 0.3333 0.1190 0.1240 0.2333 0.3333 1.0417 0.0066 0.0000 0.1116 0.0000 0.3333 0.1190 0.1240 728-AH 0.0333 0.0667 0.1000 0.1333 0.2667 0.1076 0.0555 0.0667 0.2333 0.5155 0.0943 0.0821 0.0468 0.0333 0.2000 0.1029 0.0488 729-AH 0.0000 0.0333 0.0667 0.0667 0.2000 0.0600 0.0497 0.0333 0.2000 0.8284 0.0139 0.0001 0.0358 0.0000 0.1000 0.0462 0.0306 730-AH 0.0000 0.0000 0.0000 0.1000 0.2333 0.0581 0.0794 0.1000 0.2333 1.3659 0.0007 0.0000 0.0673 0.0000 0.2333 0.0581 0.0794 731-AH 0.0667 0.4333 0.5667 0.8000 0.9667 0.5933 0.2178 0.3667 0.9000 0.3671 0.5386 0.4444 0.1836 0.0667 0.9667 0.5933 0.2178 732-AH 0.0000 0.0083 0.0667 0.1250 0.3000 0.0867 0.0933 0.1167 0.3000 1.0766 0.0084 0.0000 0.0750 0.0000 0.3000 0.0867 0.0933 733-AH 0.0000 0.0917 0.3333 0.3917 0.4667 0.2600 0.1627 0.3000 0.4667 0.6256 0.0736 0.0001 0.1398 0.0000 0.4667 0.2600 0.1627 734-AH 0.2000 0.3917 0.5333 0.6333 0.6667 0.5038 0.1470 0.2417 0.4667 0.2918 0.4769 0.4439 0.1205 0.2000 0.6667 0.5038 0.1470 735-AH 0.0000 0.2333 0.3333 0.3917 0.5333 0.2981 0.1379 0.1583 0.5333 0.4626 0.1924 0.0003 0.1090 0.0000 0.5333 0.2981 0.1379 736-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0676 0.0366 0.0667 0.1333 0.5411 0.0256 0.0001 0.0279 0.0000 0.1333 0.0676 0.0366 737-AH 0.0333 0.1333 0.1667 0.2583 0.5333 0.2038 0.1090 0.1250 0.5000 0.5348 0.1777 0.1511 0.0829 0.0333 0.4333 0.1941 0.0941 738-AH 0.0000 0.0333 0.1333 0.2000 0.4333 0.1429 0.1269 0.1667 0.4333 0.8886 0.0204 0.0000 0.1023 0.0000 0.4333 0.1429 0.1269 739-AH 0.0000 0.3750 0.4667 0.5583 0.6333 0.4410 0.1526 0.1833 0.6333 0.3460 0.3134 0.0003 0.1136 0.1333 0.6333 0.4646 0.1202 740-AH 0.0000 0.3750 0.5667 0.6667 0.9000 0.5152 0.2179 0.2917 0.9000 0.4229 0.3458 0.0003 0.1770 0.0000 0.9000 0.5152 0.2179 741-AH 0.0333 0.3333 0.3667 0.4250 0.5333 0.3562 0.1041 0.0917 0.5000 0.2922 0.3287 0.2636 0.0728 0.2000 0.5333 0.3737 0.0767 742-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0543 0.0303 0.0333 0.1000 0.5589 0.0316 0.0002 0.0266 0.0000 0.1000 0.0543 0.0303 743-AH 0.0000 0.0000 0.0000 0.0333 0.3000 0.0257 0.0578 0.0333 0.3000 2.2471 0.0002 0.0000 0.0353 0.0000 0.0667 0.0115 0.0218 744-AH 0.0333 0.1750 0.3667 0.5000 0.5667 0.3381 0.1760 0.3250 0.5333 0.5207 0.2667 0.1684 0.1581 0.0333 0.5667 0.3381 0.1760 745-AH 0.0000 0.3083 0.4667 0.6917 0.8667 0.4848 0.2457 0.3833 0.8667 0.5068 0.3216 0.0003 0.2091 0.0000 0.8667 0.4848 0.2457 746-AH 0.0000 0.6417 0.7333 0.7667 0.8333 0.6286 0.2536 0.1250 0.8333 0.4035 0.3060 0.0002 0.1807 0.4667 0.8333 0.7256 0.0815 747-AH 0.0000 0.1083 0.1333 0.2000 0.3333 0.1581 0.0794 0.0917 0.3333 0.5019 0.0876 0.0002 0.0617 0.0000 0.3333 0.1581 0.0794 748-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0543 0.0292 0.0333 0.1000 0.5387 0.0390 0.0003 0.0259 0.0000 0.1000 0.0543 0.0292 749-AH 0.0000 0.1000 0.1667 0.4083 0.7000 0.2400 0.1854 0.3083 0.7000 0.7724 0.1098 0.0002 0.1558 0.0000 0.7000 0.2400 0.1854 750-AH 0.0000 0.0333 0.0667 0.1333 0.2333 0.0867 0.0687 0.1000 0.2333 0.7926 0.0278 0.0001 0.0590 0.0000 0.2333 0.0867 0.0687 76 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0100 0.0325 0.0800 0.0900 0.1000 0.0654 0.0287 0.0575 0.0900 0.4391 0.0567 0.0447 0.0255 0.0100 0.1000 0.0654 0.0287 702-AH 0.0500 0.0800 0.0900 0.1100 0.1400 0.0946 0.0228 0.0300 0.0900 0.2410 0.0916 0.0882 0.0178 0.0500 0.1400 0.0946 0.0228 703-AH 0.0300 0.0700 0.0800 0.0900 0.1000 0.0783 0.0152 0.0200 0.0700 0.1947 0.0764 0.0740 0.0123 0.0500 0.1000 0.0797 0.0129 704-AH 0.0100 0.0875 0.1300 0.2025 0.2700 0.1363 0.0765 0.1150 0.2600 0.5614 0.1064 0.0674 0.0605 0.0100 0.2700 0.1363 0.0765 705-AH 0.0200 0.0925 0.1000 0.1300 0.1400 0.1031 0.0275 0.0375 0.1200 0.2668 0.0981 0.0896 0.0197 0.0600 0.1400 0.1056 0.0238 706-AH 0.0000 0.0200 0.0300 0.0500 0.0700 0.0323 0.0214 0.0300 0.0700 0.6638 0.0103 0.0001 0.0189 0.0000 0.0700 0.0323 0.0214 707-AH 0.0300 0.0700 0.0800 0.0900 0.1000 0.0791 0.0212 0.0200 0.0700 0.2678 0.0752 0.0695 0.0155 0.0600 0.1000 0.0855 0.0121 708-AH 0.0000 0.0000 0.0100 0.0800 0.0800 0.0346 0.0353 0.0800 0.0800 1.0223 0.0019 0.0000 0.0330 0.0000 0.0800 0.0346 0.0353 709-AH 0.0000 0.1025 0.2200 0.2900 0.3400 0.1951 0.1159 0.1875 0.3400 0.5942 0.0588 0.0001 0.0975 0.0000 0.3400 0.1951 0.1159 710-AH 0.0000 0.0525 0.1900 0.2400 0.2600 0.1577 0.0944 0.1875 0.2600 0.5986 0.0484 0.0001 0.0803 0.0000 0.2600 0.1577 0.0944 711-AH 0.0300 0.0600 0.0800 0.1100 0.1400 0.0834 0.0289 0.0500 0.1100 0.3464 0.0779 0.0717 0.0241 0.0300 0.1400 0.0834 0.0289 712-AH 0.0100 0.0300 0.0300 0.0300 0.1100 0.0329 0.0149 0.0000 0.1000 0.4525 0.0309 0.0293 0.0070 0.0300 0.0300 0.0300 0.0000 713-AH 0.0000 0.0300 0.0300 0.0400 0.0500 0.0320 0.0137 0.0100 0.0500 0.4274 0.0167 0.0001 0.0098 0.0200 0.0500 0.0358 0.0089 714-AH 0.0000 0.0300 0.1900 0.2300 0.2700 0.1554 0.0987 0.2000 0.2700 0.6349 0.0351 0.0001 0.0860 0.0000 0.2700 0.1554 0.0987 715-AH 0.0000 0.0400 0.0600 0.1000 0.1300 0.0617 0.0355 0.0600 0.1300 0.5756 0.0335 0.0002 0.0309 0.0000 0.1300 0.0617 0.0355 716-AH 0.0500 0.1425 0.1700 0.2375 0.2600 0.1794 0.0525 0.0950 0.2100 0.2924 0.1706 0.1595 0.0422 0.0500 0.2600 0.1794 0.0525 717-AH 0.0800 0.1550 0.2500 0.2900 0.3200 0.2306 0.0682 0.1350 0.2400 0.2958 0.2189 0.2053 0.0594 0.0800 0.3200 0.2306 0.0682 718-AH 0.0600 0.1425 0.1700 0.1900 0.2200 0.1569 0.0393 0.0475 0.1600 0.2506 0.1507 0.1428 0.0297 0.0800 0.2200 0.1597 0.0361 719-AH 0.0000 0.0300 0.0600 0.1400 0.1900 0.0777 0.0619 0.1100 0.1900 0.7969 0.0289 0.0001 0.0547 0.0000 0.1900 0.0777 0.0619 720-AH 0.0100 0.1000 0.1200 0.1300 0.1500 0.1094 0.0346 0.0300 0.1400 0.3157 0.0995 0.0780 0.0254 0.0600 0.1500 0.1194 0.0208 721-AH 0.0000 0.0900 0.1200 0.1300 0.2300 0.1137 0.0495 0.0400 0.2300 0.4356 0.0806 0.0003 0.0346 0.0400 0.1800 0.1107 0.0307 722-AH 0.0100 0.0200 0.0300 0.0300 0.0700 0.0280 0.0143 0.0100 0.0600 0.5110 0.0248 0.0218 0.0106 0.0100 0.0400 0.0247 0.0095 723-AH 0.0000 0.0500 0.0800 0.0800 0.1000 0.0623 0.0293 0.0300 0.1000 0.4706 0.0244 0.0001 0.0237 0.0200 0.1000 0.0703 0.0197 724-AH 0.1300 0.3825 0.4500 0.4600 0.4700 0.4120 0.0802 0.0775 0.3400 0.1947 0.4010 0.3839 0.0606 0.2800 0.4700 0.4264 0.0546 725-AH 0.0000 0.1125 0.1400 0.1650 0.3200 0.1503 0.0916 0.0525 0.3200 0.6095 0.0921 0.0003 0.0661 0.0600 0.2100 0.1330 0.0287 726-AH 0.0000 0.0000 0.0000 0.0375 0.0900 0.0197 0.0285 0.0375 0.0900 1.4478 0.0005 0.0000 0.0231 0.0000 0.0900 0.0197 0.0285 727-AH 0.0000 0.0125 0.0600 0.1400 0.2100 0.0777 0.0691 0.1275 0.2100 0.8888 0.0211 0.0001 0.0625 0.0000 0.2100 0.0777 0.0691 728-AH 0.0100 0.0300 0.0500 0.0600 0.0900 0.0463 0.0222 0.0300 0.0800 0.4805 0.0399 0.0323 0.0181 0.0100 0.0900 0.0463 0.0222 729-AH 0.0000 0.0100 0.0200 0.0375 0.1000 0.0280 0.0278 0.0275 0.1000 0.9944 0.0095 0.0001 0.0217 0.0000 0.0700 0.0203 0.0183 730-AH 0.0000 0.0000 0.0000 0.0675 0.1100 0.0326 0.0421 0.0675 0.1100 1.2926 0.0005 0.0000 0.0375 0.0000 0.1100 0.0326 0.0421 731-AH 0.0300 0.2150 0.2700 0.3675 0.5400 0.2760 0.1091 0.1525 0.5100 0.3955 0.2470 0.1995 0.0808 0.0300 0.5400 0.2760 0.1091 732-AH 0.0100 0.0300 0.0400 0.0775 0.1600 0.0591 0.0443 0.0475 0.1500 0.7488 0.0464 0.0371 0.0349 0.0100 0.1200 0.0468 0.0289 733-AH 0.0000 0.0425 0.1600 0.2000 0.2100 0.1277 0.0775 0.1575 0.2100 0.6065 0.0386 0.0001 0.0662 0.0000 0.2100 0.1277 0.0775 734-AH 0.1000 0.1600 0.1900 0.1900 0.2000 0.1749 0.0266 0.0300 0.1000 0.1522 0.1725 0.1697 0.0219 0.1400 0.2000 0.1794 0.0195 735-AH 0.0000 0.0900 0.1600 0.2350 0.3000 0.1617 0.0869 0.1450 0.3000 0.5373 0.1027 0.0003 0.0720 0.0000 0.3000 0.1617 0.0869 736-AH 0.0100 0.0400 0.0500 0.0600 0.1000 0.0477 0.0225 0.0200 0.0900 0.4716 0.0411 0.0325 0.0169 0.0100 0.0800 0.0434 0.0182 737-AH 0.0500 0.0725 0.1300 0.2050 0.3100 0.1400 0.0730 0.1325 0.2600 0.5214 0.1223 0.1068 0.0606 0.0500 0.3100 0.1400 0.0730 738-AH 0.0000 0.0200 0.0600 0.1100 0.2600 0.0749 0.0599 0.0900 0.2600 0.7998 0.0354 0.0002 0.0478 0.0000 0.1900 0.0694 0.0512 739-AH 0.0700 0.1800 0.2100 0.2300 0.2700 0.2003 0.0515 0.0500 0.2000 0.2573 0.1921 0.1813 0.0408 0.1200 0.2700 0.2079 0.0422 740-AH 0.0300 0.2000 0.3200 0.3600 0.4800 0.2949 0.1162 0.1600 0.4500 0.3941 0.2599 0.2006 0.0942 0.0300 0.4800 0.2949 0.1162 741-AH 0.0100 0.1425 0.1700 0.1700 0.2000 0.1531 0.0395 0.0275 0.1900 0.2577 0.1420 0.1064 0.0275 0.1200 0.2000 0.1648 0.0200 742-AH 0.0000 0.0100 0.0200 0.0300 0.0300 0.0197 0.0098 0.0200 0.0300 0.4995 0.0145 0.0003 0.0089 0.0000 0.0300 0.0197 0.0098 743-AH 0.0000 0.0000 0.0100 0.0325 0.0900 0.0220 0.0330 0.0325 0.0900 1.4987 0.0007 0.0000 0.0270 0.0000 0.0800 0.0132 0.0231 744-AH 0.0300 0.0900 0.1600 0.2100 0.2300 0.1491 0.0633 0.1200 0.2000 0.4242 0.1323 0.1121 0.0553 0.0300 0.2300 0.1491 0.0633 745-AH 0.0500 0.3025 0.4600 0.6475 0.6700 0.4471 0.2122 0.3450 0.6200 0.4746 0.3700 0.2614 0.1856 0.0500 0.6700 0.4471 0.2122 746-AH 0.0200 0.3400 0.3700 0.4500 0.5500 0.3483 0.1448 0.1100 0.5300 0.4158 0.2785 0.1475 0.1007 0.2000 0.5500 0.3997 0.0736 747-AH 0.0000 0.0900 0.1200 0.2200 0.2800 0.1491 0.0768 0.1300 0.2800 0.5151 0.1004 0.0003 0.0682 0.0000 0.2800 0.1491 0.0768 748-AH 0.0100 0.0100 0.0300 0.0300 0.0300 0.0209 0.0101 0.0200 0.0200 0.4847 0.0182 0.0157 0.0099 0.0100 0.0300 0.0209 0.0101 749-AH 0.0000 0.0400 0.1000 0.1700 0.3400 0.1171 0.0895 0.1300 0.3400 0.7637 0.0680 0.0003 0.0733 0.0000 0.3400 0.1171 0.0895 750-AH 0.0100 0.0125 0.0300 0.0500 0.1000 0.0371 0.0255 0.0375 0.0900 0.6866 0.0288 0.0218 0.0205 0.0100 0.1000 0.0371 0.0255 77 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0050 0.0275 0.0500 0.0550 0.0600 0.0424 0.0147 0.0275 0.0550 0.3470 0.0386 0.0320 0.0127 0.0050 0.0600 0.0424 0.0147 702-AH 0.0250 0.0550 0.0650 0.0650 0.0750 0.0597 0.0114 0.0100 0.0500 0.1915 0.0583 0.0565 0.0086 0.0450 0.0750 0.0623 0.0075 703-AH 0.0300 0.0412 0.0450 0.0450 0.0500 0.0437 0.0043 0.0038 0.0200 0.0975 0.0435 0.0432 0.0031 0.0400 0.0500 0.0447 0.0028 704-AH 0.0100 0.0600 0.1000 0.1100 0.1900 0.0937 0.0433 0.0500 0.1800 0.4623 0.0808 0.0615 0.0340 0.0100 0.1700 0.0909 0.0406 705-AH 0.0100 0.0500 0.0500 0.0650 0.0700 0.0557 0.0131 0.0150 0.0600 0.2356 0.0533 0.0487 0.0105 0.0300 0.0700 0.0571 0.0106 706-AH 0.0000 0.0100 0.0200 0.0300 0.0350 0.0197 0.0108 0.0200 0.0350 0.5500 0.0120 0.0002 0.0094 0.0000 0.0350 0.0197 0.0108 707-AH 0.0150 0.0450 0.0450 0.0500 0.0500 0.0439 0.0099 0.0050 0.0350 0.2248 0.0421 0.0392 0.0064 0.0400 0.0500 0.0473 0.0031 708-AH 0.0000 0.0000 0.0200 0.0400 0.0400 0.0211 0.0182 0.0400 0.0400 0.8605 0.0019 0.0000 0.0167 0.0000 0.0400 0.0211 0.0182 709-AH 0.0000 0.0662 0.1450 0.1650 0.2000 0.1191 0.0663 0.0988 0.2000 0.5568 0.0466 0.0001 0.0560 0.0000 0.2000 0.1191 0.0663 710-AH 0.0000 0.0362 0.1050 0.1250 0.1300 0.0870 0.0455 0.0888 0.1300 0.5227 0.0375 0.0001 0.0381 0.0000 0.1300 0.0870 0.0455 711-AH 0.0200 0.0312 0.0450 0.0550 0.0700 0.0437 0.0125 0.0238 0.0500 0.2861 0.0419 0.0401 0.0103 0.0200 0.0700 0.0437 0.0125 712-AH 0.0050 0.0150 0.0150 0.0150 0.0550 0.0173 0.0089 0.0000 0.0500 0.5124 0.0160 0.0149 0.0048 0.0150 0.0150 0.0150 0.0000 713-AH 0.0000 0.0150 0.0200 0.0250 0.0300 0.0186 0.0064 0.0100 0.0300 0.3429 0.0125 0.0002 0.0048 0.0000 0.0300 0.0186 0.0064 714-AH 0.0000 0.0162 0.1100 0.1275 0.1400 0.0860 0.0527 0.1112 0.1400 0.6127 0.0219 0.0001 0.0458 0.0000 0.1400 0.0860 0.0527 715-AH 0.0000 0.0200 0.0450 0.0587 0.0700 0.0407 0.0226 0.0387 0.0700 0.5557 0.0230 0.0002 0.0200 0.0000 0.0700 0.0407 0.0226 716-AH 0.0400 0.0850 0.1200 0.1250 0.1300 0.1080 0.0255 0.0400 0.0900 0.2359 0.1042 0.0994 0.0213 0.0400 0.1300 0.1080 0.0255 717-AH 0.0500 0.1113 0.1500 0.1650 0.1950 0.1391 0.0365 0.0538 0.1450 0.2623 0.1336 0.1268 0.0296 0.0500 0.1950 0.1391 0.0365 718-AH 0.0300 0.0850 0.0900 0.0950 0.1300 0.0901 0.0207 0.0100 0.1000 0.2301 0.0871 0.0827 0.0133 0.0800 0.1050 0.0894 0.0065 719-AH 0.0050 0.0200 0.0500 0.0838 0.1050 0.0529 0.0308 0.0638 0.1000 0.5832 0.0414 0.0288 0.0261 0.0050 0.1050 0.0529 0.0308 720-AH 0.0200 0.0550 0.0650 0.0650 0.0800 0.0594 0.0141 0.0100 0.0600 0.2369 0.0572 0.0540 0.0100 0.0500 0.0750 0.0632 0.0060 721-AH 0.0000 0.0650 0.0800 0.0950 0.1450 0.0793 0.0310 0.0300 0.1450 0.3909 0.0573 0.0003 0.0226 0.0350 0.1300 0.0820 0.0229 722-AH 0.0050 0.0100 0.0150 0.0200 0.0350 0.0173 0.0073 0.0100 0.0300 0.4229 0.0157 0.0140 0.0059 0.0050 0.0300 0.0168 0.0067 723-AH 0.0000 0.0263 0.0400 0.0500 0.0550 0.0354 0.0162 0.0238 0.0550 0.4571 0.0150 0.0001 0.0129 0.0000 0.0550 0.0354 0.0162 724-AH 0.1350 0.2212 0.2400 0.2400 0.2400 0.2220 0.0315 0.0187 0.1050 0.1417 0.2194 0.2164 0.0242 0.2200 0.2400 0.2370 0.0060 725-AH 0.0000 0.0600 0.0700 0.1263 0.1700 0.0840 0.0506 0.0663 0.1700 0.6029 0.0528 0.0003 0.0395 0.0000 0.1700 0.0840 0.0506 726-AH 0.0000 0.0050 0.0100 0.0300 0.0450 0.0149 0.0141 0.0250 0.0450 0.9501 0.0028 0.0000 0.0118 0.0000 0.0450 0.0149 0.0141 727-AH 0.0000 0.0100 0.0400 0.0850 0.1250 0.0520 0.0429 0.0750 0.1250 0.8259 0.0215 0.0002 0.0382 0.0000 0.1250 0.0520 0.0429 728-AH 0.0100 0.0200 0.0300 0.0350 0.0550 0.0286 0.0128 0.0150 0.0450 0.4463 0.0255 0.0223 0.0104 0.0100 0.0550 0.0286 0.0128 729-AH 0.0000 0.0050 0.0100 0.0250 0.0500 0.0160 0.0153 0.0200 0.0500 0.9551 0.0058 0.0001 0.0126 0.0000 0.0500 0.0160 0.0153 730-AH 0.0000 0.0000 0.0000 0.0650 0.0750 0.0247 0.0308 0.0650 0.0750 1.2451 0.0006 0.0000 0.0277 0.0000 0.0750 0.0247 0.0308 731-AH 0.0150 0.1325 0.1650 0.1900 0.2750 0.1573 0.0557 0.0575 0.2600 0.3539 0.1416 0.1113 0.0408 0.0600 0.2750 0.1650 0.0470 732-AH 0.0150 0.0250 0.0350 0.0550 0.0900 0.0436 0.0216 0.0300 0.0750 0.4952 0.0386 0.0341 0.0184 0.0150 0.0900 0.0436 0.0216 733-AH 0.0000 0.0612 0.0850 0.1050 0.1100 0.0733 0.0401 0.0437 0.1100 0.5468 0.0245 0.0001 0.0329 0.0000 0.1100 0.0733 0.0401 734-AH 0.0700 0.0800 0.0950 0.0988 0.1000 0.0903 0.0095 0.0188 0.0300 0.1057 0.0898 0.0892 0.0085 0.0700 0.1000 0.0903 0.0095 735-AH 0.0000 0.0537 0.0950 0.1450 0.1750 0.0989 0.0522 0.0912 0.1750 0.5276 0.0630 0.0003 0.0434 0.0000 0.1750 0.0989 0.0522 736-AH 0.0050 0.0250 0.0300 0.0450 0.0650 0.0333 0.0145 0.0200 0.0600 0.4371 0.0293 0.0241 0.0117 0.0050 0.0650 0.0333 0.0145 737-AH 0.0250 0.0662 0.0900 0.1525 0.2150 0.1081 0.0546 0.0863 0.1900 0.5049 0.0936 0.0787 0.0461 0.0250 0.2150 0.1081 0.0546 738-AH 0.0000 0.0150 0.0450 0.0787 0.1350 0.0520 0.0381 0.0637 0.1350 0.7320 0.0299 0.0003 0.0319 0.0000 0.1350 0.0520 0.0381 739-AH 0.0450 0.1013 0.1250 0.1400 0.1450 0.1173 0.0242 0.0388 0.1000 0.2064 0.1142 0.1101 0.0195 0.0450 0.1450 0.1173 0.0242 740-AH 0.0150 0.1675 0.1950 0.2250 0.2600 0.1856 0.0582 0.0575 0.2450 0.3135 0.1684 0.1282 0.0431 0.1150 0.2600 0.1989 0.0389 741-AH 0.0050 0.0800 0.0850 0.0888 0.1000 0.0830 0.0163 0.0088 0.0950 0.1961 0.0782 0.0580 0.0091 0.0700 0.1000 0.0853 0.0091 742-AH 0.0000 0.0050 0.0100 0.0150 0.0150 0.0100 0.0050 0.0100 0.0150 0.5000 0.0075 0.0003 0.0046 0.0000 0.0150 0.0100 0.0050 743-AH 0.0000 0.0000 0.0050 0.0287 0.0700 0.0169 0.0251 0.0287 0.0700 1.4919 0.0008 0.0000 0.0209 0.0000 0.0700 0.0169 0.0251 744-AH 0.0200 0.0562 0.0900 0.1138 0.1250 0.0847 0.0302 0.0575 0.1050 0.3570 0.0780 0.0692 0.0261 0.0200 0.1250 0.0847 0.0302 745-AH 0.0250 0.1800 0.3300 0.3450 0.3550 0.2649 0.1067 0.1650 0.3300 0.4027 0.2261 0.1590 0.0905 0.0250 0.3550 0.2649 0.1067 746-AH 0.0100 0.1875 0.2300 0.2775 0.3450 0.2171 0.0916 0.0900 0.3350 0.4218 0.1768 0.0997 0.0670 0.1600 0.3450 0.2483 0.0525 747-AH 0.0000 0.0700 0.1200 0.1587 0.2000 0.1134 0.0569 0.0887 0.2000 0.5019 0.0768 0.0003 0.0503 0.0000 0.2000 0.1134 0.0569 748-AH 0.0050 0.0050 0.0150 0.0150 0.0150 0.0109 0.0049 0.0100 0.0100 0.4535 0.0096 0.0083 0.0047 0.0050 0.0150 0.0109 0.0049 749-AH 0.0050 0.0250 0.0700 0.1037 0.2100 0.0714 0.0508 0.0787 0.2050 0.7118 0.0516 0.0306 0.0403 0.0050 0.2100 0.0714 0.0508 750-AH 0.0100 0.0150 0.0200 0.0337 0.0700 0.0240 0.0141 0.0188 0.0600 0.5867 0.0206 0.0179 0.0111 0.0100 0.0500 0.0226 0.0118 78 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0120 0.0180 0.0200 0.0220 0.0300 0.0200 0.0040 0.0040 0.0180 0.2000 0.0196 0.0192 0.0030 0.0120 0.0280 0.0197 0.0037 702-AH 0.0160 0.0265 0.0300 0.0320 0.0360 0.0288 0.0052 0.0055 0.0200 0.1800 0.0283 0.0276 0.0041 0.0200 0.0360 0.0299 0.0039 703-AH 0.0160 0.0180 0.0180 0.0195 0.0220 0.0186 0.0015 0.0015 0.0060 0.0814 0.0186 0.0185 0.0012 0.0160 0.0200 0.0182 0.0009 704-AH 0.0200 0.0345 0.0500 0.0620 0.1000 0.0522 0.0205 0.0275 0.0800 0.3929 0.0484 0.0447 0.0160 0.0200 0.1000 0.0522 0.0205 705-AH 0.0040 0.0200 0.0240 0.0260 0.0280 0.0226 0.0053 0.0060 0.0240 0.2326 0.0217 0.0197 0.0043 0.0120 0.0280 0.0232 0.0042 706-AH 0.0020 0.0085 0.0120 0.0135 0.0180 0.0107 0.0033 0.0050 0.0160 0.3098 0.0100 0.0085 0.0026 0.0020 0.0180 0.0107 0.0033 707-AH 0.0060 0.0180 0.0200 0.0200 0.0200 0.0188 0.0025 0.0020 0.0140 0.1346 0.0185 0.0180 0.0015 0.0160 0.0200 0.0192 0.0012 708-AH 0.0000 0.0065 0.0160 0.0160 0.0160 0.0109 0.0063 0.0095 0.0160 0.5847 0.0036 0.0001 0.0056 0.0000 0.0160 0.0109 0.0063 709-AH 0.0000 0.0385 0.0680 0.0790 0.0860 0.0556 0.0289 0.0405 0.0860 0.5200 0.0283 0.0002 0.0244 0.0000 0.0860 0.0556 0.0289 710-AH 0.0000 0.0315 0.0480 0.0500 0.0520 0.0400 0.0165 0.0185 0.0520 0.4120 0.0204 0.0001 0.0133 0.0140 0.0520 0.0438 0.0113 711-AH 0.0120 0.0150 0.0200 0.0240 0.0320 0.0195 0.0049 0.0090 0.0200 0.2532 0.0189 0.0183 0.0040 0.0120 0.0320 0.0195 0.0049 712-AH 0.0060 0.0080 0.0080 0.0080 0.0240 0.0089 0.0041 0.0000 0.0180 0.4624 0.0083 0.0080 0.0023 0.0080 0.0080 0.0080 0.0000 713-AH 0.0020 0.0080 0.0100 0.0115 0.0160 0.0095 0.0028 0.0035 0.0140 0.2997 0.0089 0.0078 0.0021 0.0060 0.0160 0.0099 0.0022 714-AH 0.0000 0.0090 0.0460 0.0520 0.0600 0.0369 0.0222 0.0430 0.0600 0.6008 0.0125 0.0001 0.0190 0.0000 0.0600 0.0369 0.0222 715-AH 0.0000 0.0080 0.0240 0.0280 0.0300 0.0186 0.0098 0.0200 0.0300 0.5273 0.0112 0.0002 0.0088 0.0000 0.0300 0.0186 0.0098 716-AH 0.0160 0.0360 0.0500 0.0520 0.0520 0.0445 0.0098 0.0160 0.0360 0.2194 0.0431 0.0413 0.0081 0.0160 0.0520 0.0445 0.0098 717-AH 0.0360 0.0525 0.0680 0.0720 0.0840 0.0650 0.0127 0.0195 0.0480 0.1957 0.0637 0.0623 0.0103 0.0360 0.0840 0.0650 0.0127 718-AH 0.0140 0.0365 0.0400 0.0480 0.0620 0.0418 0.0112 0.0115 0.0480 0.2681 0.0400 0.0376 0.0081 0.0200 0.0620 0.0435 0.0093 719-AH 0.0020 0.0100 0.0280 0.0375 0.0440 0.0262 0.0132 0.0275 0.0420 0.5053 0.0212 0.0144 0.0111 0.0020 0.0440 0.0262 0.0132 720-AH 0.0140 0.0260 0.0260 0.0300 0.0320 0.0267 0.0041 0.0040 0.0180 0.1542 0.0263 0.0259 0.0030 0.0220 0.0320 0.0274 0.0030 721-AH 0.0060 0.0330 0.0400 0.0460 0.0620 0.0397 0.0122 0.0130 0.0560 0.3061 0.0372 0.0328 0.0088 0.0220 0.0620 0.0407 0.0108 722-AH 0.0040 0.0080 0.0080 0.0120 0.0160 0.0091 0.0029 0.0040 0.0120 0.3219 0.0086 0.0082 0.0024 0.0040 0.0160 0.0091 0.0029 723-AH 0.0000 0.0120 0.0180 0.0200 0.0220 0.0151 0.0066 0.0080 0.0220 0.4337 0.0071 0.0001 0.0051 0.0080 0.0220 0.0171 0.0038 724-AH 0.0600 0.0925 0.0960 0.0960 0.0960 0.0928 0.0069 0.0035 0.0360 0.0749 0.0925 0.0921 0.0044 0.0880 0.0960 0.0944 0.0030 725-AH 0.0000 0.0280 0.0280 0.0545 0.0780 0.0366 0.0221 0.0265 0.0780 0.6029 0.0239 0.0003 0.0177 0.0000 0.0780 0.0366 0.0221 726-AH 0.0000 0.0040 0.0100 0.0120 0.0180 0.0086 0.0056 0.0080 0.0180 0.6516 0.0033 0.0001 0.0048 0.0000 0.0180 0.0086 0.0056 727-AH 0.0020 0.0065 0.0200 0.0420 0.0500 0.0251 0.0179 0.0355 0.0480 0.7121 0.0163 0.0084 0.0162 0.0020 0.0500 0.0251 0.0179 728-AH 0.0040 0.0105 0.0140 0.0175 0.0280 0.0147 0.0058 0.0070 0.0240 0.3977 0.0135 0.0121 0.0044 0.0040 0.0260 0.0143 0.0054 729-AH 0.0000 0.0020 0.0040 0.0160 0.0260 0.0083 0.0083 0.0140 0.0260 0.9892 0.0030 0.0001 0.0073 0.0000 0.0260 0.0083 0.0083 730-AH 0.0000 0.0000 0.0000 0.0275 0.0300 0.0111 0.0129 0.0275 0.0300 1.1662 0.0004 0.0000 0.0116 0.0000 0.0300 0.0111 0.0129 731-AH 0.0180 0.0570 0.0780 0.0855 0.1120 0.0719 0.0217 0.0285 0.0940 0.3014 0.0677 0.0619 0.0169 0.0180 0.1120 0.0719 0.0217 732-AH 0.0120 0.0260 0.0280 0.0300 0.0480 0.0285 0.0072 0.0040 0.0360 0.2525 0.0275 0.0263 0.0049 0.0220 0.0340 0.0279 0.0030 733-AH 0.0000 0.0260 0.0420 0.0440 0.0440 0.0314 0.0163 0.0180 0.0440 0.5199 0.0122 0.0001 0.0136 0.0000 0.0440 0.0314 0.0163 734-AH 0.0280 0.0340 0.0380 0.0400 0.0400 0.0365 0.0037 0.0060 0.0120 0.1014 0.0363 0.0361 0.0032 0.0280 0.0400 0.0365 0.0037 735-AH 0.0000 0.0285 0.0480 0.0660 0.0940 0.0487 0.0246 0.0375 0.0940 0.5047 0.0319 0.0003 0.0197 0.0000 0.0940 0.0487 0.0246 736-AH 0.0040 0.0140 0.0220 0.0260 0.0340 0.0201 0.0082 0.0120 0.0300 0.4099 0.0180 0.0153 0.0067 0.0040 0.0340 0.0201 0.0082 737-AH 0.0140 0.0440 0.0680 0.1010 0.1180 0.0691 0.0314 0.0570 0.1040 0.4543 0.0610 0.0518 0.0277 0.0140 0.1180 0.0691 0.0314 738-AH 0.0060 0.0120 0.0300 0.0380 0.0580 0.0285 0.0164 0.0260 0.0520 0.5745 0.0230 0.0174 0.0142 0.0060 0.0580 0.0285 0.0164 739-AH 0.0220 0.0440 0.0500 0.0580 0.0580 0.0489 0.0091 0.0140 0.0360 0.1869 0.0479 0.0467 0.0076 0.0280 0.0580 0.0497 0.0080 740-AH 0.0240 0.0785 0.0960 0.1030 0.1180 0.0879 0.0224 0.0245 0.0940 0.2546 0.0836 0.0766 0.0165 0.0600 0.1180 0.0934 0.0135 741-AH 0.0280 0.0340 0.0340 0.0400 0.0400 0.0353 0.0038 0.0060 0.0120 0.1075 0.0351 0.0349 0.0031 0.0280 0.0400 0.0353 0.0038 742-AH 0.0000 0.0020 0.0060 0.0060 0.0060 0.0042 0.0021 0.0040 0.0060 0.4984 0.0032 0.0003 0.0020 0.0000 0.0060 0.0042 0.0021 743-AH 0.0000 0.0000 0.0020 0.0160 0.0300 0.0074 0.0108 0.0160 0.0300 1.4580 0.0006 0.0000 0.0092 0.0000 0.0300 0.0074 0.0108 744-AH 0.0080 0.0280 0.0420 0.0460 0.0500 0.0372 0.0117 0.0180 0.0420 0.3157 0.0346 0.0307 0.0100 0.0080 0.0500 0.0372 0.0117 745-AH 0.0200 0.0940 0.1360 0.1400 0.1440 0.1163 0.0381 0.0460 0.1240 0.3275 0.1050 0.0852 0.0304 0.0260 0.1440 0.1221 0.0309 746-AH 0.0200 0.0850 0.1060 0.1440 0.1500 0.1034 0.0400 0.0590 0.1300 0.3872 0.0918 0.0747 0.0310 0.0200 0.1500 0.1034 0.0400 747-AH 0.0000 0.0500 0.0860 0.1045 0.1220 0.0773 0.0332 0.0545 0.1220 0.4297 0.0549 0.0003 0.0284 0.0000 0.1220 0.0773 0.0332 748-AH 0.0020 0.0020 0.0060 0.0060 0.0060 0.0046 0.0018 0.0040 0.0040 0.3909 0.0041 0.0037 0.0016 0.0020 0.0060 0.0046 0.0018 749-AH 0.0020 0.0180 0.0340 0.0510 0.1000 0.0382 0.0252 0.0330 0.0980 0.6593 0.0277 0.0146 0.0200 0.0020 0.1000 0.0382 0.0252 750-AH 0.0040 0.0060 0.0100 0.0160 0.0320 0.0131 0.0078 0.0100 0.0280 0.5932 0.0110 0.0093 0.0064 0.0040 0.0280 0.0126 0.0072 79 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-DE-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0090 0.0100 0.0110 0.0110 0.0150 0.0111 0.0014 0.0010 0.0060 0.1283 0.0110 0.0109 0.0010 0.0090 0.0120 0.0106 0.0007 702-AH 0.0090 0.0150 0.0160 0.0180 0.0180 0.0156 0.0026 0.0030 0.0090 0.1647 0.0154 0.0151 0.0020 0.0110 0.0180 0.0158 0.0023 703-AH 0.0080 0.0090 0.0090 0.0100 0.0110 0.0095 0.0009 0.0010 0.0030 0.0971 0.0094 0.0094 0.0008 0.0080 0.0110 0.0095 0.0009 704-AH 0.0120 0.0273 0.0320 0.0370 0.0510 0.0323 0.0092 0.0097 0.0390 0.2846 0.0310 0.0294 0.0066 0.0170 0.0510 0.0329 0.0086 705-AH 0.0020 0.0100 0.0130 0.0140 0.0140 0.0116 0.0026 0.0040 0.0120 0.2234 0.0111 0.0101 0.0020 0.0060 0.0140 0.0119 0.0020 706-AH 0.0010 0.0060 0.0070 0.0070 0.0100 0.0065 0.0017 0.0010 0.0090 0.2612 0.0061 0.0055 0.0012 0.0050 0.0080 0.0064 0.0009 707-AH 0.0030 0.0090 0.0100 0.0100 0.0100 0.0094 0.0012 0.0010 0.0070 0.1319 0.0093 0.0090 0.0007 0.0080 0.0100 0.0096 0.0006 708-AH 0.0000 0.0070 0.0080 0.0080 0.0080 0.0062 0.0032 0.0010 0.0080 0.5097 0.0023 0.0001 0.0025 0.0070 0.0080 0.0079 0.0004 709-AH 0.0000 0.0212 0.0350 0.0408 0.0460 0.0294 0.0144 0.0195 0.0460 0.4909 0.0165 0.0002 0.0120 0.0000 0.0460 0.0294 0.0144 710-AH 0.0000 0.0212 0.0250 0.0250 0.0260 0.0213 0.0075 0.0038 0.0260 0.3517 0.0118 0.0001 0.0050 0.0190 0.0260 0.0240 0.0021 711-AH 0.0070 0.0090 0.0100 0.0120 0.0160 0.0104 0.0023 0.0030 0.0090 0.2232 0.0101 0.0099 0.0019 0.0070 0.0160 0.0104 0.0023 712-AH 0.0030 0.0040 0.0050 0.0050 0.0120 0.0054 0.0024 0.0010 0.0090 0.4361 0.0051 0.0049 0.0014 0.0030 0.0050 0.0046 0.0006 713-AH 0.0010 0.0050 0.0050 0.0068 0.0080 0.0054 0.0015 0.0018 0.0070 0.2691 0.0052 0.0047 0.0011 0.0040 0.0080 0.0056 0.0013 714-AH 0.0000 0.0055 0.0260 0.0270 0.0320 0.0194 0.0115 0.0215 0.0320 0.5919 0.0074 0.0001 0.0098 0.0000 0.0320 0.0194 0.0115 715-AH 0.0000 0.0048 0.0130 0.0140 0.0160 0.0104 0.0049 0.0093 0.0160 0.4770 0.0075 0.0003 0.0044 0.0000 0.0160 0.0104 0.0049 716-AH 0.0080 0.0180 0.0250 0.0260 0.0260 0.0227 0.0049 0.0080 0.0180 0.2167 0.0220 0.0210 0.0040 0.0080 0.0260 0.0227 0.0049 717-AH 0.0260 0.0297 0.0360 0.0380 0.0420 0.0348 0.0053 0.0082 0.0160 0.1511 0.0344 0.0339 0.0043 0.0260 0.0420 0.0348 0.0053 718-AH 0.0090 0.0190 0.0200 0.0240 0.0310 0.0214 0.0056 0.0050 0.0220 0.2640 0.0206 0.0196 0.0043 0.0170 0.0310 0.0225 0.0045 719-AH 0.0010 0.0088 0.0180 0.0200 0.0230 0.0153 0.0066 0.0112 0.0220 0.4287 0.0130 0.0091 0.0056 0.0010 0.0230 0.0153 0.0066 720-AH 0.0080 0.0130 0.0140 0.0150 0.0160 0.0139 0.0018 0.0020 0.0080 0.1289 0.0138 0.0137 0.0013 0.0120 0.0160 0.0142 0.0013 721-AH 0.0050 0.0210 0.0230 0.0260 0.0320 0.0221 0.0063 0.0050 0.0270 0.2852 0.0209 0.0192 0.0046 0.0160 0.0320 0.0243 0.0040 722-AH 0.0030 0.0040 0.0050 0.0060 0.0080 0.0051 0.0013 0.0020 0.0050 0.2588 0.0050 0.0048 0.0012 0.0030 0.0080 0.0051 0.0013 723-AH 0.0000 0.0080 0.0090 0.0100 0.0120 0.0080 0.0033 0.0020 0.0120 0.4070 0.0041 0.0001 0.0022 0.0060 0.0120 0.0091 0.0015 724-AH 0.0300 0.0465 0.0480 0.0480 0.0480 0.0467 0.0033 0.0015 0.0180 0.0711 0.0465 0.0463 0.0020 0.0460 0.0480 0.0479 0.0005 725-AH 0.0000 0.0140 0.0140 0.0310 0.0390 0.0198 0.0117 0.0170 0.0390 0.5895 0.0130 0.0003 0.0099 0.0000 0.0390 0.0198 0.0117 726-AH 0.0000 0.0033 0.0060 0.0070 0.0090 0.0053 0.0027 0.0038 0.0090 0.5139 0.0034 0.0002 0.0023 0.0000 0.0090 0.0053 0.0027 727-AH 0.0010 0.0050 0.0110 0.0220 0.0250 0.0136 0.0090 0.0170 0.0240 0.6608 0.0095 0.0051 0.0082 0.0010 0.0250 0.0136 0.0090 728-AH 0.0020 0.0063 0.0070 0.0100 0.0160 0.0084 0.0036 0.0037 0.0140 0.4245 0.0076 0.0068 0.0027 0.0020 0.0150 0.0079 0.0031 729-AH 0.0000 0.0010 0.0020 0.0100 0.0200 0.0061 0.0069 0.0090 0.0200 1.1389 0.0019 0.0001 0.0060 0.0000 0.0200 0.0061 0.0069 730-AH 0.0000 0.0000 0.0000 0.0138 0.0150 0.0057 0.0065 0.0138 0.0150 1.1393 0.0003 0.0000 0.0059 0.0000 0.0150 0.0057 0.0065 731-AH 0.0230 0.0302 0.0400 0.0490 0.0570 0.0398 0.0099 0.0187 0.0340 0.2478 0.0386 0.0374 0.0084 0.0230 0.0570 0.0398 0.0099 732-AH 0.0090 0.0170 0.0190 0.0210 0.0260 0.0186 0.0042 0.0040 0.0170 0.2263 0.0180 0.0174 0.0032 0.0120 0.0260 0.0194 0.0033 733-AH 0.0000 0.0130 0.0210 0.0220 0.0220 0.0160 0.0082 0.0090 0.0220 0.5113 0.0078 0.0001 0.0069 0.0000 0.0220 0.0160 0.0082 734-AH 0.0140 0.0170 0.0190 0.0200 0.0200 0.0183 0.0018 0.0030 0.0060 0.0989 0.0182 0.0181 0.0015 0.0140 0.0200 0.0183 0.0018 735-AH 0.0000 0.0150 0.0300 0.0400 0.0530 0.0282 0.0143 0.0250 0.0530 0.5078 0.0191 0.0003 0.0118 0.0000 0.0530 0.0282 0.0143 736-AH 0.0020 0.0080 0.0140 0.0170 0.0200 0.0125 0.0053 0.0090 0.0180 0.4220 0.0109 0.0087 0.0044 0.0020 0.0200 0.0125 0.0053 737-AH 0.0090 0.0315 0.0450 0.0628 0.0710 0.0452 0.0175 0.0313 0.0620 0.3884 0.0410 0.0355 0.0155 0.0090 0.0710 0.0452 0.0175 738-AH 0.0050 0.0102 0.0180 0.0230 0.0290 0.0168 0.0077 0.0128 0.0240 0.4585 0.0149 0.0130 0.0068 0.0050 0.0290 0.0168 0.0077 739-AH 0.0140 0.0220 0.0250 0.0290 0.0290 0.0252 0.0040 0.0070 0.0150 0.1584 0.0249 0.0245 0.0033 0.0140 0.0290 0.0252 0.0040 740-AH 0.0220 0.0425 0.0510 0.0538 0.0620 0.0479 0.0098 0.0113 0.0400 0.2037 0.0467 0.0451 0.0072 0.0370 0.0620 0.0502 0.0065 741-AH 0.0140 0.0170 0.0170 0.0200 0.0200 0.0177 0.0019 0.0030 0.0060 0.1090 0.0176 0.0174 0.0016 0.0140 0.0200 0.0177 0.0019 742-AH 0.0000 0.0010 0.0030 0.0030 0.0030 0.0021 0.0010 0.0020 0.0030 0.4686 0.0017 0.0003 0.0009 0.0000 0.0030 0.0021 0.0010 743-AH 0.0000 0.0010 0.0010 0.0080 0.0150 0.0039 0.0054 0.0070 0.0150 1.3685 0.0007 0.0000 0.0046 0.0000 0.0150 0.0039 0.0054 744-AH 0.0050 0.0190 0.0220 0.0238 0.0250 0.0203 0.0049 0.0048 0.0200 0.2434 0.0193 0.0175 0.0034 0.0130 0.0250 0.0212 0.0032 745-AH 0.0110 0.0507 0.0680 0.0710 0.0720 0.0598 0.0183 0.0203 0.0610 0.3062 0.0547 0.0457 0.0139 0.0460 0.0720 0.0656 0.0084 746-AH 0.0180 0.0435 0.0560 0.0730 0.0760 0.0553 0.0184 0.0295 0.0580 0.3328 0.0514 0.0463 0.0148 0.0180 0.0760 0.0553 0.0184 747-AH 0.0000 0.0330 0.0590 0.0647 0.0780 0.0511 0.0198 0.0317 0.0780 0.3877 0.0383 0.0003 0.0166 0.0000 0.0780 0.0511 0.0198 748-AH 0.0010 0.0013 0.0030 0.0030 0.0030 0.0023 0.0009 0.0017 0.0020 0.3745 0.0021 0.0019 0.0008 0.0010 0.0030 0.0023 0.0009 749-AH 0.0060 0.0123 0.0200 0.0305 0.0510 0.0231 0.0126 0.0182 0.0450 0.5463 0.0197 0.0164 0.0102 0.0060 0.0510 0.0231 0.0126 750-AH 0.0020 0.0050 0.0070 0.0120 0.0170 0.0085 0.0043 0.0070 0.0150 0.5011 0.0074 0.0062 0.0038 0.0020 0.0170 0.0085 0.0043 80 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Ad−Hoc TEL Monolingual French Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% karlsruhe [Experiment INDEXBL; MAP 27.20%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; MAP 25.83%; Not Pooled] 90% inesc [Experiment RUN12; MAP 25.11%; Not Pooled] opentext [Experiment OTFR09TDE; MAP 24.12%; Not Pooled] celi [Experiment CACAO_FRBNF_ML; MAP 23.61%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) 1 karlsruhe [Experiment INDEXBL; MAP 27.20%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; MAP 25.83%; Not Pooled] 0.8 inesc [Experiment RUN12; MAP 25.11%; Not Pooled] opentext [Experiment OTFR09TDE; MAP 24.12%; Not Pooled] celi [Experiment CACAO_FRBNF_ML; MAP 23.61%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Monolingual French Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 1 karlsruhe [Experiment INDEXBL; MAP 27.20%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; MAP 25.83%; Not Pooled] 0.8 inesc [Experiment RUN12; MAP 25.11%; Not Pooled] opentext [Experiment OTFR09TDE; MAP 24.12%; Not Pooled] celi [Experiment CACAO_FRBNF_ML; MAP 23.61%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 81 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Ad−Hoc TEL Monolingual French Task − Box Plot of the Topics karlsruhe [Experiment INDEXBL; MAP 27.20%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; MAP 25.83%; Not Pooled] chemnitz [Experiment CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17; MAP 25.40%; Not Pooled] inesc [Experiment RUN12; MAP 25.11%; Not Pooled] inesc [Experiment RUN11; MAP 25.02%; Not Pooled] karlsruhe [Experiment INDEXALL; MAP 24.94%; Pooled] karlsruhe [Experiment INDEXALLESA; MAP 24.91%; Pooled] inesc [Experiment RUN6; MAP 24.74%; Pooled] chemnitz [Experiment CUT_17_MONO_FR_TE_PORTER_NO_FB; MAP 24.70%; Pooled] opentext [Experiment OTFR09TDE; MAP 24.12%; Not Pooled] opentext [Experiment OTFR09TD; MAP 24.03%; Not Pooled] chemnitz [Experiment CUT_18_MONO_FR_LU_PORTER_NO_FB; MAP 23.99%; Pooled] opentext [Experiment OTFR09T; MAP 23.92%; Pooled] celi [Experiment CACAO_FRBNF_ML; MAP 23.61%; Not Pooled] inesc [Experiment RUN5; MAP 23.58%; Pooled] celi [Experiment CACAO_FRBNF_SEMVECTEXP; MAP 23.49%; Not Pooled] celi [Experiment CACAO_FRBNF_BASE; MAP 23.26%; Not Pooled] Experiments celi [Experiment CACAO_FRBNF_ALLTEXP; MAP 23.23%; Not Pooled] celi [Experiment CACAO_FRBNF_TOPDOCSEXP; MAP 22.71%; Not Pooled] cheshire [Experiment MOFRT2FB; MAP 20.70%; Pooled] trinity−dcu [Experiment TCDDCU_FR1F; MAP 18.31%; Pooled] trinity−dcu [Experiment TCDDCU_FR1; MAP 17.83%; Pooled] trinity [Experiment TCDFRRUN4; MAP 17.54%; Pooled] trinity [Experiment TCDFRRUN2; MAP 17.45%; Pooled] trinity−dcu [Experiment TCDDCUFR3; MAP 17.23%; Not Pooled] trinity [Experiment TCDFRRUN3; MAP 17.23%; Not Pooled] trinity−dcu [Experiment TCDDCUFR4; MAP 17.14%; Not Pooled] opentext [Experiment OTFR09TDZ; MAP 16.85%; Pooled] cheshire [Experiment MOFRT2FB3; MAP 16.84%; Pooled] weimar [Experiment CLESA169283LDFRINFR; MAP 16.33%; Not Pooled] cheshire [Experiment MOFRT2FBX; MAP 14.56%; Not Pooled] trinity [Experiment TCDFRRUN1; MAP 14.51%; Not Pooled] weimar [Experiment COMBINEDFRINFR; MAP 14.45%; Pooled] weimar [Experiment CLESA169283FRINFR; MAP 14.19%; Pooled] weimar [Experiment BASELINEFRINFR; MAP 10.97%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Average Precision 82 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 10.2455/TUKEY_T_TEST.8BC35D8D9A2846C9AB73F6284B59B8F1 Ad−Hoc TEL Monolingual French Task − Tukey T test with "top group" highlighted INDEXBL CUT_19_MONO_MERGED_FR_17_18 RUN11 CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 RUN12 RUN6 CUT_17_MONO_FR_TE_PORTER_NO_FB INDEXALLESA CUT_18_MONO_FR_LU_PORTER_NO_FB INDEXALL OTFR09TD RUN5 CACAO_FRBNF_ML CACAO_FRBNF_SEMVECTEXP OTFR09TDE Experiments CACAO_FRBNF_ALLTEXP CACAO_FRBNF_BASE CACAO_FRBNF_TOPDOCSEXP OTFR09T MOFRT2FB TCDDCU_FR1F TCDDCU_FR1 OTFR09TDZ MOFRT2FB3 TCDFRRUN4 TCDFRRUN2 CLESA169283LDFRINFR TCDFRRUN3 TCDDCUFR3 TCDDCUFR4 MOFRT2FBX COMBINEDFRINFR CLESA169283FRINFR TCDFRRUN1 BASELINEFRINFR 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 arcsin(sqrt(Average Precsion)) 83 84 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Ad−Hoc TEL Monolingual French Task Top 5 Participants − Retrieved documents vs Mean Precision 100% karlsruhe [Experiment INDEXBL; R−Prec 29.17%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; R−Prec 28.61%; Not Pooled] 90% inesc [Experiment RUN12; R−Prec 27.64%; Not Pooled] opentext [Experiment OTFR09TDE; R−Prec 26.36%; Not Pooled] celi [Experiment CACAO_FRBNF_ML; R−Prec 27.35%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) 1 karlsruhe [Experiment INDEXBL; R−Prec 29.17%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; R−Prec 28.61%; Not Pooled] 0.8 inesc [Experiment RUN12; R−Prec 27.64%; Not Pooled] opentext [Experiment OTFR09TDE; R−Prec 26.36%; Not Pooled] celi [Experiment CACAO_FRBNF_ML; R−Prec 27.35%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Monolingual French Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 1 karlsruhe [Experiment INDEXBL; R−Prec 29.17%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; R−Prec 28.61%; Not Pooled] 0.8 inesc [Experiment RUN12; R−Prec 27.64%; Not Pooled] opentext [Experiment OTFR09TDE; R−Prec 26.36%; Not Pooled] celi [Experiment CACAO_FRBNF_ML; R−Prec 27.35%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 85 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Ad−Hoc TEL Monolingual French Task − Box Plot of the Topics karlsruhe [Experiment INDEXBL; R−Prec 29.17%; Not Pooled] chemnitz [Experiment CUT_19_MONO_MERGED_FR_17_18; R−Prec 28.61%; Not Pooled] chemnitz [Experiment CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17; R−Prec 28.18%; Not Pooled] chemnitz [Experiment CUT_17_MONO_FR_TE_PORTER_NO_FB; R−Prec 27.95%; Pooled] celi [Experiment CACAO_FRBNF_SEMVECTEXP; R−Prec 27.73%; Not Pooled] inesc [Experiment RUN12; R−Prec 27.64%; Not Pooled] opentext [Experiment OTFR09TD; R−Prec 27.48%; Not Pooled] inesc [Experiment RUN6; R−Prec 27.41%; Pooled] celi [Experiment CACAO_FRBNF_ML; R−Prec 27.35%; Not Pooled] karlsruhe [Experiment INDEXALLESA; R−Prec 27.16%; Pooled] celi [Experiment CACAO_FRBNF_BASE; R−Prec 27.12%; Not Pooled] chemnitz [Experiment CUT_18_MONO_FR_LU_PORTER_NO_FB; R−Prec 27.06%; Pooled] celi [Experiment CACAO_FRBNF_ALLTEXP; R−Prec 26.84%; Not Pooled] karlsruhe [Experiment INDEXALL; R−Prec 26.84%; Pooled] opentext [Experiment OTFR09T; R−Prec 26.36%; Pooled] opentext [Experiment OTFR09TDE; R−Prec 26.36%; Not Pooled] inesc [Experiment RUN11; R−Prec 26.14%; Not Pooled] Experiments inesc [Experiment RUN5; R−Prec 26.02%; Pooled] celi [Experiment CACAO_FRBNF_TOPDOCSEXP; R−Prec 26.02%; Not Pooled] cheshire [Experiment MOFRT2FB; R−Prec 23.85%; Pooled] trinity−dcu [Experiment TCDDCU_FR1F; R−Prec 23.55%; Pooled] trinity−dcu [Experiment TCDDCU_FR1; R−Prec 22.69%; Pooled] trinity [Experiment TCDFRRUN4; R−Prec 20.51%; Pooled] trinity [Experiment TCDFRRUN2; R−Prec 20.40%; Pooled] trinity−dcu [Experiment TCDDCUFR3; R−Prec 19.36%; Not Pooled] trinity [Experiment TCDFRRUN3; R−Prec 19.36%; Not Pooled] cheshire [Experiment MOFRT2FB3; R−Prec 19.06%; Pooled] trinity−dcu [Experiment TCDDCUFR4; R−Prec 18.94%; Not Pooled] weimar [Experiment CLESA169283LDFRINFR; R−Prec 18.86%; Not Pooled] weimar [Experiment COMBINEDFRINFR; R−Prec 18.17%; Pooled] weimar [Experiment CLESA169283FRINFR; R−Prec 17.41%; Pooled] opentext [Experiment OTFR09TDZ; R−Prec 17.28%; Pooled] cheshire [Experiment MOFRT2FBX; R−Prec 16.89%; Not Pooled] trinity [Experiment TCDFRRUN1; R−Prec 15.48%; Not Pooled] weimar [Experiment BASELINEFRINFR; R−Prec 14.77%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% R−Precision 86 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Ad−Hoc TEL Monolingual French Task − Tukey T test with "top group" highlighted INDEXBL CACAO_FRBNF_SEMVECTEXP CUT_19_MONO_MERGED_FR_17_18 RUN6 CACAO_FRBNF_ML CACAO_FRBNF_BASE RUN12 CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 CUT_17_MONO_FR_TE_PORTER_NO_FB INDEXALLESA OTFR09TD CUT_18_MONO_FR_LU_PORTER_NO_FB RUN5 CACAO_FRBNF_ALLTEXP INDEXALL Experiments RUN11 CACAO_FRBNF_TOPDOCSEXP OTFR09TDE OTFR09T TCDDCU_FR1F MOFRT2FB TCDDCU_FR1 TCDFRRUN4 TCDFRRUN2 MOFRT2FB3 OTFR09TDZ CLESA169283LDFRINFR COMBINEDFRINFR CLESA169283FRINFR TCDDCUFR4 TCDFRRUN3 TCDDCUFR3 MOFRT2FBX BASELINEFRINFR TCDFRRUN1 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 arcsin(sqrt(R−Precision)) 87 88 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 6.00 19.00 59.00 62.00 65.00 45.94 22.82 43.00 59.00 0.50 35.80 22.83 19.96 6.00 65.00 45.94 22.82 702-AH 0.00 1.00 2.00 2.00 2.00 1.63 0.55 1.00 2.00 0.34 1.13 0.00 0.49 0.00 2.00 1.63 0.55 703-AH 32.00 55.25 59.00 63.00 86.00 57.23 10.89 7.75 54.00 0.19 56.17 55.03 7.22 45.00 63.00 57.53 5.79 704-AH 0.00 9.00 9.00 10.00 11.00 8.51 2.59 1.00 11.00 0.30 5.59 0.00 1.84 8.00 11.00 9.64 0.68 705-AH 10.00 86.00 88.00 89.00 92.00 82.40 16.21 3.00 82.00 0.20 78.84 68.58 10.05 82.00 92.00 88.45 2.25 706-AH 22.00 35.50 53.00 69.75 78.00 52.00 17.03 34.25 56.00 0.33 49.11 46.15 15.03 22.00 78.00 52.00 17.03 707-AH 8.00 15.25 28.00 40.50 57.00 28.54 13.58 25.25 49.00 0.48 25.07 21.59 11.87 8.00 57.00 28.54 13.58 708-AH 4.00 33.25 38.00 44.00 45.00 35.63 11.35 10.75 41.00 0.32 31.93 23.85 8.28 21.00 45.00 38.41 6.89 709-AH 0.00 44.25 51.00 52.00 53.00 44.54 13.57 7.75 53.00 0.30 26.74 0.00 9.08 36.00 53.00 49.47 3.87 710-AH 0.00 3.00 5.00 7.00 7.00 4.77 2.21 4.00 7.00 0.46 3.01 0.00 1.93 0.00 7.00 4.77 2.21 711-AH 0.00 3.00 4.00 5.00 7.00 4.14 1.42 2.00 7.00 0.34 2.82 0.00 1.08 0.00 7.00 4.14 1.42 712-AH 4.00 5.00 5.00 5.00 6.00 5.06 0.42 0.00 2.00 0.08 5.04 5.02 0.22 5.00 5.00 5.00 0.00 713-AH 10.00 30.00 32.00 37.00 44.00 31.91 6.49 7.00 34.00 0.20 31.05 29.78 4.60 20.00 44.00 32.56 5.33 714-AH 0.00 9.00 17.00 22.00 23.00 14.54 8.53 13.00 23.00 0.59 0.98 0.00 7.00 0.00 23.00 14.54 8.53 715-AH 0.00 2.00 3.00 4.00 8.00 3.31 1.94 2.00 8.00 0.58 2.05 0.00 1.46 0.00 7.00 3.18 1.78 716-AH 32.00 33.00 33.00 33.00 33.00 32.83 0.38 0.00 1.00 0.01 32.83 32.82 0.28 33.00 33.00 33.00 0.00 717-AH 9.00 12.25 18.00 19.00 20.00 16.31 3.43 6.75 11.00 0.21 15.91 15.45 2.96 9.00 20.00 16.31 3.43 718-AH 0.00 10.25 20.00 23.00 27.00 16.69 8.91 12.75 27.00 0.53 1.62 0.00 7.40 0.00 27.00 16.69 8.91 719-AH 0.00 8.25 10.00 12.00 18.00 10.09 4.22 3.75 18.00 0.42 4.59 0.00 3.13 4.00 17.00 10.47 3.29 720-AH 30.00 33.00 34.00 35.00 37.00 34.20 1.75 2.00 7.00 0.05 34.16 34.11 1.38 30.00 37.00 34.20 1.75 721-AH 2.00 35.00 37.00 39.00 39.00 35.34 6.49 4.00 37.00 0.18 33.32 24.26 3.36 30.00 39.00 36.84 2.11 722-AH 1.00 3.00 3.00 4.00 5.00 3.34 1.06 1.00 4.00 0.32 3.16 2.95 0.87 2.00 5.00 3.41 0.99 723-AH 0.00 2.00 2.00 2.00 2.00 1.83 0.51 0.00 2.00 0.28 0.96 0.00 0.30 2.00 2.00 2.00 0.00 724-AH 11.00 17.00 18.00 18.00 18.00 17.23 1.65 1.00 7.00 0.10 17.13 17.01 0.93 16.00 18.00 17.61 0.56 725-AH 14.00 18.00 19.00 20.00 21.00 18.57 1.96 2.00 7.00 0.11 18.46 18.34 1.52 15.00 21.00 18.85 1.64 726-AH 8.00 13.25 16.00 16.00 17.00 14.34 2.42 2.75 9.00 0.17 14.11 13.84 1.99 10.00 17.00 14.53 2.19 727-AH 0.00 10.25 19.00 19.00 19.00 14.77 6.47 8.75 19.00 0.44 4.44 0.00 5.40 0.00 19.00 14.77 6.47 728-AH 5.00 18.00 27.00 27.00 28.00 22.29 7.29 9.00 23.00 0.33 20.49 17.82 6.02 5.00 28.00 22.29 7.29 729-AH 5.00 7.25 11.00 11.00 12.00 9.34 2.13 3.75 7.00 0.23 9.07 8.77 1.86 5.00 12.00 9.34 2.13 730-AH 14.00 41.00 46.00 49.75 52.00 43.43 9.14 8.75 38.00 0.21 42.12 40.22 6.72 30.00 52.00 45.50 6.09 731-AH 5.00 15.00 17.00 19.00 20.00 16.14 3.27 4.00 15.00 0.20 15.70 15.04 2.54 10.00 20.00 16.47 2.68 732-AH 16.00 22.00 26.00 30.00 34.00 25.89 5.15 8.00 18.00 0.20 25.36 24.81 4.19 16.00 34.00 25.89 5.15 733-AH 1.00 4.25 5.00 5.00 6.00 4.43 1.24 0.75 5.00 0.28 4.13 3.62 0.91 4.00 6.00 4.90 0.40 734-AH 11.00 14.00 15.00 16.00 19.00 15.20 2.32 2.00 8.00 0.15 15.02 14.85 1.78 11.00 19.00 15.20 2.32 735-AH 0.00 6.25 13.00 19.00 30.00 13.00 7.67 12.75 30.00 0.59 7.31 0.00 6.74 0.00 30.00 13.00 7.67 736-AH 13.00 21.25 23.00 24.75 26.00 22.14 3.70 3.50 13.00 0.17 21.79 21.37 2.83 16.00 26.00 22.94 2.70 737-AH 15.00 38.50 52.00 57.00 69.00 47.20 15.80 18.50 54.00 0.33 43.72 39.20 12.78 15.00 69.00 47.20 15.80 738-AH 22.00 51.25 87.00 95.50 102.00 74.14 24.77 44.25 80.00 0.33 68.85 62.11 22.07 22.00 102.00 74.14 24.77 739-AH 6.00 14.00 18.00 19.75 20.00 16.40 3.69 5.75 14.00 0.22 15.90 15.24 3.17 6.00 20.00 16.40 3.69 740-AH 6.00 40.00 47.00 49.00 52.00 39.86 15.19 9.00 46.00 0.38 34.55 26.11 11.87 37.00 52.00 47.14 3.50 741-AH 7.00 18.00 21.00 23.00 23.00 19.17 4.87 5.00 16.00 0.25 18.33 17.18 3.77 12.00 23.00 20.58 2.96 742-AH 3.00 13.25 15.00 18.00 20.00 14.57 4.69 4.75 17.00 0.32 13.51 11.94 3.61 8.00 20.00 15.81 3.30 743-AH 0.00 1.25 2.00 3.00 3.00 1.97 0.86 1.75 3.00 0.43 0.97 0.00 0.61 0.00 3.00 1.97 0.86 744-AH 1.00 18.25 30.00 31.00 31.00 23.37 10.67 12.75 30.00 0.46 18.62 10.64 9.17 1.00 31.00 23.37 10.67 745-AH 25.00 51.00 57.00 61.75 63.00 54.49 8.69 10.75 38.00 0.16 53.62 52.48 6.39 42.00 63.00 56.06 5.89 746-AH 16.00 32.25 51.00 57.00 59.00 45.23 13.89 24.75 43.00 0.31 42.68 39.67 12.58 16.00 59.00 45.23 13.89 747-AH 7.00 12.00 32.00 36.00 47.00 27.71 13.39 24.00 40.00 0.48 23.46 18.68 11.29 7.00 47.00 27.71 13.39 748-AH 1.00 13.00 15.00 15.00 15.00 13.66 2.75 2.00 14.00 0.20 12.91 10.09 1.78 12.00 15.00 14.34 1.12 749-AH 11.00 28.75 44.00 47.00 59.00 40.31 11.71 18.25 48.00 0.29 38.17 35.32 9.43 11.00 59.00 40.31 11.71 750-AH 7.00 16.25 37.00 62.00 67.00 39.00 21.69 45.75 60.00 0.56 32.07 25.26 19.71 7.00 67.00 39.00 21.69 89 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0015 0.1290 0.2851 0.4827 0.5350 0.2871 0.1906 0.3536 0.5334 0.6640 0.1266 0.0099 0.1664 0.0015 0.5350 0.2871 0.1906 702-AH 0.0000 0.0009 0.0039 0.0454 0.1909 0.0366 0.0577 0.0445 0.1909 1.5784 0.0064 0.0003 0.0430 0.0000 0.0827 0.0152 0.0226 703-AH 0.0177 0.2750 0.3835 0.4258 0.4967 0.3238 0.1518 0.1508 0.4790 0.4687 0.2420 0.1186 0.1201 0.1910 0.4967 0.3847 0.0742 704-AH 0.0000 0.0251 0.0773 0.1099 0.2124 0.0736 0.0510 0.0848 0.2124 0.6926 0.0429 0.0003 0.0430 0.0000 0.2124 0.0736 0.0510 705-AH 0.0902 0.4538 0.5043 0.5942 0.6308 0.4898 0.1333 0.1404 0.5406 0.2723 0.4603 0.4061 0.0985 0.2685 0.6308 0.5129 0.0959 706-AH 0.1143 0.2066 0.2209 0.2945 0.5132 0.2487 0.0852 0.0879 0.3988 0.3424 0.2358 0.2239 0.0657 0.1143 0.3856 0.2409 0.0727 707-AH 0.0032 0.0321 0.0681 0.1486 0.2638 0.0942 0.0823 0.1165 0.2607 0.8737 0.0536 0.0202 0.0682 0.0032 0.2638 0.0942 0.0823 708-AH 0.0003 0.1346 0.1813 0.2341 0.3515 0.1787 0.0785 0.0995 0.3512 0.4393 0.1395 0.0084 0.0637 0.0003 0.3515 0.1787 0.0785 709-AH 0.0000 0.3382 0.5291 0.6022 0.6684 0.4595 0.1901 0.2640 0.6684 0.4137 0.2543 0.0003 0.1530 0.0000 0.6684 0.4595 0.1901 710-AH 0.0000 0.0089 0.0148 0.0322 0.0952 0.0250 0.0279 0.0233 0.0952 1.1151 0.0118 0.0003 0.0208 0.0000 0.0520 0.0163 0.0138 711-AH 0.0000 0.0112 0.0149 0.0223 0.0313 0.0162 0.0076 0.0111 0.0313 0.4665 0.0123 0.0003 0.0060 0.0000 0.0313 0.0162 0.0076 712-AH 0.2039 0.7302 0.8333 0.8333 0.8333 0.7444 0.1652 0.1032 0.6295 0.2219 0.7137 0.6605 0.1073 0.6361 0.8333 0.7906 0.0641 713-AH 0.0499 0.2045 0.2769 0.4448 0.5038 0.3025 0.1429 0.2403 0.4538 0.4723 0.2587 0.2037 0.1248 0.0499 0.5038 0.3025 0.1429 714-AH 0.0000 0.0417 0.0991 0.1308 0.2210 0.0909 0.0662 0.0891 0.2210 0.7280 0.0153 0.0000 0.0533 0.0000 0.2210 0.0909 0.0662 715-AH 0.0000 0.0013 0.0028 0.0073 0.1377 0.0089 0.0231 0.0059 0.1377 2.6026 0.0028 0.0003 0.0094 0.0000 0.0153 0.0045 0.0042 716-AH 0.2119 0.6045 0.6888 0.7296 0.8157 0.6536 0.1317 0.1252 0.6038 0.2016 0.6354 0.6081 0.0948 0.4939 0.8157 0.6851 0.0802 717-AH 0.0156 0.0611 0.1428 0.1801 0.2903 0.1329 0.0717 0.1190 0.2747 0.5397 0.1107 0.0858 0.0616 0.0156 0.2903 0.1329 0.0717 718-AH 0.0000 0.0318 0.0545 0.0828 0.1159 0.0553 0.0350 0.0510 0.1159 0.6328 0.0138 0.0001 0.0288 0.0000 0.1159 0.0553 0.0350 719-AH 0.0000 0.0160 0.0373 0.0784 0.2133 0.0603 0.0605 0.0625 0.2133 1.0039 0.0254 0.0002 0.0476 0.0000 0.1647 0.0475 0.0451 720-AH 0.1517 0.6344 0.7279 0.7740 0.7932 0.6684 0.1564 0.1396 0.6414 0.2341 0.6375 0.5813 0.1080 0.5328 0.7932 0.7097 0.0757 721-AH 0.0195 0.3081 0.4870 0.5891 0.6643 0.4181 0.2079 0.2810 0.6449 0.4972 0.3217 0.1743 0.1769 0.0195 0.6643 0.4181 0.2079 722-AH 0.0003 0.0054 0.0571 0.1308 0.3224 0.0807 0.0840 0.1254 0.3222 1.0408 0.0303 0.0045 0.0673 0.0003 0.2252 0.0736 0.0738 723-AH 0.0000 0.0028 0.0049 0.0310 0.5029 0.0656 0.1428 0.0282 0.5029 2.1763 0.0082 0.0002 0.0914 0.0000 0.0417 0.0085 0.0106 724-AH 0.1961 0.4074 0.4454 0.4738 0.5276 0.4208 0.0785 0.0665 0.3316 0.1866 0.4119 0.4008 0.0579 0.3100 0.5276 0.4384 0.0546 725-AH 0.0880 0.2577 0.3170 0.4292 0.5482 0.3256 0.1072 0.1715 0.4602 0.3292 0.3065 0.2839 0.0852 0.0880 0.5482 0.3256 0.1072 726-AH 0.1867 0.2527 0.3162 0.3640 0.3884 0.3047 0.0643 0.1113 0.2017 0.2111 0.2975 0.2898 0.0551 0.1867 0.3884 0.3047 0.0643 727-AH 0.0000 0.0130 0.0691 0.0989 0.2967 0.0791 0.0734 0.0859 0.2967 0.9277 0.0234 0.0001 0.0564 0.0000 0.2233 0.0727 0.0638 728-AH 0.0147 0.0992 0.2187 0.2838 0.3847 0.1993 0.1097 0.1846 0.3701 0.5502 0.1550 0.0958 0.0955 0.0147 0.3847 0.1993 0.1097 729-AH 0.0049 0.0346 0.0669 0.0926 0.2089 0.0726 0.0520 0.0580 0.2040 0.7168 0.0532 0.0322 0.0386 0.0049 0.1753 0.0643 0.0406 730-AH 0.0364 0.1337 0.1929 0.2415 0.2924 0.1893 0.0702 0.1078 0.2560 0.3710 0.1732 0.1519 0.0619 0.0364 0.2924 0.1893 0.0702 731-AH 0.0613 0.0857 0.1098 0.1243 0.1730 0.1084 0.0272 0.0386 0.1118 0.2507 0.1050 0.1016 0.0218 0.0613 0.1730 0.1084 0.0272 732-AH 0.0194 0.0349 0.0801 0.0945 0.1341 0.0724 0.0349 0.0596 0.1148 0.4819 0.0624 0.0517 0.0293 0.0194 0.1341 0.0724 0.0349 733-AH 0.0044 0.0171 0.0340 0.0775 0.3098 0.0594 0.0693 0.0604 0.3055 1.1666 0.0372 0.0239 0.0452 0.0044 0.1582 0.0447 0.0348 734-AH 0.0275 0.0765 0.0986 0.1185 0.2015 0.0995 0.0408 0.0420 0.1740 0.4100 0.0908 0.0812 0.0302 0.0275 0.1745 0.0936 0.0338 735-AH 0.0000 0.0265 0.0664 0.0742 0.1005 0.0527 0.0321 0.0476 0.1005 0.6095 0.0244 0.0003 0.0272 0.0000 0.1005 0.0527 0.0321 736-AH 0.0140 0.0675 0.1087 0.1425 0.2288 0.1110 0.0520 0.0751 0.2148 0.4681 0.0951 0.0731 0.0402 0.0140 0.2288 0.1110 0.0520 737-AH 0.0236 0.0558 0.0844 0.1391 0.2278 0.0983 0.0536 0.0833 0.2042 0.5451 0.0839 0.0698 0.0443 0.0236 0.2278 0.0983 0.0536 738-AH 0.0146 0.0921 0.2412 0.4852 0.5317 0.2753 0.1948 0.3931 0.5171 0.7077 0.1843 0.0967 0.1797 0.0146 0.5317 0.2753 0.1948 739-AH 0.0679 0.3633 0.4086 0.5166 0.6959 0.3912 0.1876 0.1533 0.6280 0.4795 0.3205 0.2256 0.1384 0.1767 0.6959 0.4577 0.1268 740-AH 0.0019 0.0945 0.1958 0.2240 0.3706 0.1714 0.1006 0.1295 0.3687 0.5867 0.0964 0.0167 0.0767 0.0019 0.3706 0.1714 0.1006 741-AH 0.0043 0.0276 0.0456 0.0737 0.1575 0.0553 0.0400 0.0461 0.1531 0.7236 0.0398 0.0229 0.0311 0.0043 0.1373 0.0523 0.0364 742-AH 0.0007 0.2299 0.5002 0.6115 0.7217 0.4089 0.2372 0.3816 0.7210 0.5802 0.2014 0.0118 0.1981 0.0007 0.7217 0.4089 0.2372 743-AH 0.0000 0.0119 0.0377 0.0617 0.3514 0.0579 0.0815 0.0498 0.3514 1.4079 0.0203 0.0002 0.0467 0.0000 0.0863 0.0353 0.0263 744-AH 0.0009 0.0653 0.3259 0.4788 0.7257 0.3036 0.2140 0.4135 0.7248 0.7048 0.1050 0.0055 0.1838 0.0009 0.7257 0.3036 0.2140 745-AH 0.0216 0.1501 0.2448 0.2682 0.3899 0.2187 0.0848 0.1181 0.3683 0.3878 0.1917 0.1428 0.0674 0.0216 0.3899 0.2187 0.0848 746-AH 0.0048 0.1486 0.2550 0.3988 0.5653 0.2695 0.1468 0.2501 0.5605 0.5448 0.2039 0.0805 0.1276 0.0048 0.5653 0.2695 0.1468 747-AH 0.0027 0.0058 0.0194 0.0909 0.2183 0.0482 0.0625 0.0852 0.2156 1.2978 0.0207 0.0106 0.0516 0.0027 0.2183 0.0482 0.0625 748-AH 0.0333 0.1707 0.2188 0.2493 0.3306 0.2024 0.0699 0.0786 0.2972 0.3455 0.1841 0.1543 0.0531 0.0597 0.3306 0.2122 0.0588 749-AH 0.0185 0.0840 0.1712 0.2525 0.3539 0.1737 0.1010 0.1685 0.3354 0.5817 0.1282 0.0746 0.0853 0.0185 0.3539 0.1737 0.1010 750-AH 0.0035 0.0250 0.0594 0.1493 0.2047 0.0863 0.0664 0.1243 0.2012 0.7700 0.0539 0.0255 0.0584 0.0035 0.2047 0.0863 0.0664 90 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0137 0.1781 0.3699 0.5342 0.6164 0.3366 0.2052 0.3562 0.6027 0.6096 0.2271 0.0948 0.1814 0.0137 0.6164 0.3366 0.2052 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.0465 0.3372 0.4884 0.5233 0.5814 0.4000 0.1769 0.1860 0.5349 0.4423 0.3229 0.2056 0.1450 0.0930 0.5814 0.4578 0.1120 704-AH 0.0000 0.0000 0.0909 0.1818 0.2727 0.1039 0.0990 0.1818 0.2727 0.9525 0.0053 0.0000 0.0801 0.0000 0.2727 0.1039 0.0990 705-AH 0.1087 0.4511 0.5000 0.5842 0.6522 0.4901 0.1241 0.1332 0.5435 0.2531 0.4650 0.4212 0.0809 0.4239 0.6522 0.5217 0.0685 706-AH 0.1852 0.2407 0.3086 0.3765 0.5556 0.3143 0.0854 0.1358 0.3704 0.2717 0.3037 0.2937 0.0664 0.1852 0.5556 0.3143 0.0854 707-AH 0.0000 0.0590 0.1250 0.1944 0.4167 0.1524 0.1188 0.1354 0.4167 0.7798 0.0882 0.0003 0.0940 0.0000 0.3333 0.1276 0.0900 708-AH 0.0000 0.1389 0.2444 0.2889 0.4000 0.2248 0.1173 0.1500 0.4000 0.5219 0.1516 0.0003 0.1002 0.0000 0.4000 0.2248 0.1173 709-AH 0.0000 0.4151 0.4906 0.5660 0.6415 0.4415 0.1736 0.1509 0.6415 0.3932 0.2345 0.0002 0.1274 0.2075 0.6415 0.4930 0.0995 710-AH 0.0000 0.0000 0.0000 0.0682 0.1818 0.0260 0.0471 0.0682 0.1818 1.8150 0.0001 0.0000 0.0386 0.0000 0.0909 0.0214 0.0391 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.1667 0.6667 0.8333 0.8333 0.8333 0.7286 0.1719 0.1667 0.6667 0.2359 0.6971 0.6434 0.1317 0.5000 0.8333 0.7708 0.1015 713-AH 0.0638 0.3191 0.4043 0.5957 0.6596 0.4109 0.1815 0.2766 0.5957 0.4416 0.3566 0.2840 0.1507 0.0638 0.6596 0.4109 0.1815 714-AH 0.0000 0.0726 0.1935 0.2581 0.4194 0.1760 0.1223 0.1855 0.4194 0.6947 0.0270 0.0000 0.1021 0.0000 0.4194 0.1760 0.1223 715-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0071 0.0294 0.0000 0.1250 4.1213 0.0000 0.0000 0.0135 0.0000 0.0000 0.0000 0.0000 716-AH 0.1212 0.5758 0.6061 0.6667 0.7273 0.5853 0.1260 0.0909 0.6061 0.2152 0.5629 0.5199 0.0837 0.4848 0.7273 0.6174 0.0647 717-AH 0.0476 0.0952 0.1905 0.2381 0.3810 0.1891 0.0883 0.1429 0.3333 0.4670 0.1662 0.1417 0.0725 0.0476 0.3810 0.1891 0.0883 718-AH 0.0000 0.0000 0.1071 0.1429 0.1786 0.0796 0.0677 0.1429 0.1786 0.8506 0.0056 0.0000 0.0610 0.0000 0.1786 0.0796 0.0677 719-AH 0.0000 0.0435 0.1304 0.1739 0.3043 0.1217 0.0881 0.1304 0.3043 0.7237 0.0382 0.0001 0.0785 0.0000 0.3043 0.1217 0.0881 720-AH 0.0541 0.6486 0.7297 0.7770 0.8108 0.6687 0.1765 0.1284 0.7568 0.2640 0.6174 0.4790 0.1176 0.4865 0.8108 0.7162 0.0804 721-AH 0.0000 0.3141 0.5641 0.5897 0.6923 0.4410 0.2102 0.2756 0.6923 0.4767 0.2705 0.0003 0.1796 0.0000 0.6923 0.4410 0.2102 722-AH 0.0000 0.0000 0.1667 0.1667 0.3333 0.1048 0.1076 0.1667 0.3333 1.0271 0.0021 0.0000 0.0958 0.0000 0.3333 0.1048 0.1076 723-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0429 0.1420 0.0000 0.5000 3.3137 0.0000 0.0000 0.0784 0.0000 0.0000 0.0000 0.0000 724-AH 0.1667 0.3889 0.4444 0.4444 0.6111 0.4095 0.0963 0.0556 0.4444 0.2352 0.3955 0.3772 0.0717 0.3333 0.5000 0.4253 0.0520 725-AH 0.0909 0.3182 0.4091 0.4091 0.5000 0.3623 0.0912 0.0909 0.4091 0.2518 0.3472 0.3244 0.0743 0.1818 0.5000 0.3703 0.0792 726-AH 0.2353 0.3529 0.3529 0.4118 0.5294 0.3697 0.0678 0.0588 0.2941 0.1833 0.3636 0.3573 0.0528 0.2941 0.4706 0.3681 0.0480 727-AH 0.0000 0.0000 0.0000 0.1053 0.3158 0.0586 0.0742 0.1053 0.3158 1.2649 0.0009 0.0000 0.0614 0.0000 0.1579 0.0511 0.0601 728-AH 0.0357 0.1786 0.1786 0.3214 0.5357 0.2408 0.1303 0.1429 0.5000 0.5411 0.2051 0.1624 0.1017 0.0357 0.5357 0.2408 0.1303 729-AH 0.0000 0.0000 0.0769 0.1538 0.2308 0.0945 0.0857 0.1538 0.2308 0.9065 0.0064 0.0000 0.0715 0.0000 0.2308 0.0945 0.0857 730-AH 0.1296 0.2037 0.2778 0.3333 0.3889 0.2677 0.0767 0.1296 0.2593 0.2863 0.2561 0.2439 0.0681 0.1296 0.3889 0.2677 0.0767 731-AH 0.0435 0.1304 0.1304 0.1739 0.2174 0.1416 0.0487 0.0435 0.1739 0.3440 0.1311 0.1174 0.0395 0.0870 0.2174 0.1508 0.0398 732-AH 0.0000 0.0588 0.1176 0.1691 0.2647 0.1134 0.0710 0.1103 0.2647 0.6261 0.0484 0.0001 0.0564 0.0000 0.2647 0.1134 0.0710 733-AH 0.0000 0.0000 0.0000 0.1667 0.3333 0.0714 0.1013 0.1667 0.3333 1.4188 0.0004 0.0000 0.0898 0.0000 0.3333 0.0714 0.1013 734-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1071 0.0655 0.1000 0.2500 0.6110 0.0724 0.0003 0.0527 0.0000 0.2500 0.1071 0.0655 735-AH 0.0000 0.0637 0.0980 0.1373 0.2157 0.0980 0.0571 0.0735 0.2157 0.5821 0.0339 0.0001 0.0415 0.0000 0.2157 0.0980 0.0571 736-AH 0.0000 0.1034 0.2069 0.2414 0.2759 0.1655 0.0860 0.1379 0.2759 0.5197 0.1069 0.0003 0.0733 0.0000 0.2759 0.1655 0.0860 737-AH 0.0854 0.1341 0.1707 0.2073 0.3293 0.1774 0.0595 0.0732 0.2439 0.3354 0.1683 0.1599 0.0476 0.0854 0.2561 0.1681 0.0472 738-AH 0.0417 0.1646 0.3167 0.4917 0.5500 0.3167 0.1754 0.3271 0.5083 0.5539 0.2521 0.1790 0.1557 0.0417 0.5500 0.3167 0.1754 739-AH 0.0500 0.3625 0.4000 0.4500 0.6500 0.3843 0.1748 0.0875 0.6000 0.4549 0.3061 0.1879 0.1233 0.3000 0.5500 0.4260 0.0614 740-AH 0.0000 0.1713 0.2407 0.2917 0.4815 0.2138 0.1109 0.1204 0.4815 0.5187 0.1297 0.0003 0.0828 0.0000 0.3889 0.2059 0.1021 741-AH 0.0000 0.0104 0.0833 0.1250 0.1667 0.0762 0.0576 0.1146 0.1667 0.7560 0.0089 0.0000 0.0471 0.0000 0.1667 0.0762 0.0576 742-AH 0.0000 0.2955 0.5000 0.5909 0.6364 0.4156 0.2203 0.2955 0.6364 0.5300 0.1213 0.0001 0.1818 0.0000 0.6364 0.4156 0.2203 743-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0286 0.0947 0.0000 0.3333 3.3137 0.0000 0.0000 0.0522 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.1129 0.3548 0.4758 0.6774 0.3051 0.2045 0.3629 0.6774 0.6704 0.0530 0.0001 0.1720 0.0000 0.6774 0.3051 0.2045 745-AH 0.0476 0.1905 0.2698 0.3611 0.4286 0.2658 0.1052 0.1706 0.3810 0.3957 0.2378 0.1991 0.0849 0.0476 0.4286 0.2658 0.1052 746-AH 0.0167 0.2250 0.3500 0.4833 0.5500 0.3552 0.1437 0.2583 0.5333 0.4045 0.3078 0.1996 0.1216 0.0167 0.5500 0.3552 0.1437 747-AH 0.0000 0.0159 0.0317 0.1230 0.3016 0.0735 0.0914 0.1071 0.3016 1.2445 0.0082 0.0000 0.0738 0.0000 0.2381 0.0601 0.0753 748-AH 0.0000 0.1333 0.2667 0.2667 0.4667 0.2210 0.1141 0.1333 0.4667 0.5163 0.1177 0.0002 0.0927 0.0000 0.4667 0.2210 0.1141 749-AH 0.0508 0.1525 0.2034 0.3390 0.4576 0.2334 0.1273 0.1864 0.4068 0.5454 0.1906 0.1434 0.1093 0.0508 0.4576 0.2334 0.1273 750-AH 0.0000 0.0843 0.1348 0.2360 0.3371 0.1596 0.0911 0.1517 0.3371 0.5710 0.1052 0.0003 0.0777 0.0000 0.3371 0.1596 0.0911 91 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0071 0.1515 0.3556 0.5700 0.6114 0.3404 0.2232 0.4186 0.6042 0.6557 0.1944 0.0483 0.1949 0.0071 0.6114 0.3404 0.2232 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.1103 0.3147 0.4478 0.4839 0.5393 0.3879 0.1426 0.1692 0.4290 0.3676 0.3478 0.2920 0.1178 0.1103 0.5393 0.3879 0.1426 704-AH 0.0000 0.0000 0.0579 0.1240 0.2397 0.0685 0.0688 0.1240 0.2397 1.0053 0.0039 0.0000 0.0570 0.0000 0.2397 0.0685 0.0688 705-AH 0.1065 0.4887 0.5566 0.6340 0.6951 0.5401 0.1341 0.1453 0.5886 0.2483 0.5133 0.4641 0.0923 0.2981 0.6951 0.5643 0.0921 706-AH 0.1774 0.2885 0.3086 0.3760 0.5981 0.3320 0.0877 0.0874 0.4207 0.2640 0.3213 0.3106 0.0633 0.1774 0.4164 0.3169 0.0634 707-AH 0.0168 0.0855 0.1304 0.2090 0.3497 0.1475 0.0956 0.1235 0.3329 0.6477 0.1117 0.0741 0.0777 0.0168 0.3497 0.1475 0.0956 708-AH 0.0000 0.1022 0.1788 0.2409 0.3674 0.1755 0.0929 0.1386 0.3674 0.5293 0.1201 0.0003 0.0777 0.0000 0.3674 0.1755 0.0929 709-AH 0.0000 0.3464 0.4728 0.5475 0.6650 0.4212 0.1791 0.2011 0.6650 0.4253 0.2192 0.0002 0.1394 0.0940 0.6650 0.4595 0.1321 710-AH 0.0000 0.0000 0.0000 0.0124 0.0909 0.0182 0.0342 0.0124 0.0909 1.8832 0.0001 0.0000 0.0271 0.0000 0.0165 0.0006 0.0032 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.1667 0.7222 0.8333 0.8333 0.8333 0.7349 0.1759 0.1111 0.6667 0.2393 0.6988 0.6336 0.1190 0.6111 0.8333 0.7912 0.0653 713-AH 0.0534 0.2817 0.3522 0.5151 0.6048 0.3633 0.1671 0.2334 0.5514 0.4598 0.3095 0.2366 0.1402 0.0534 0.6048 0.3633 0.1671 714-AH 0.0000 0.0525 0.1290 0.1673 0.2664 0.1163 0.0815 0.1147 0.2664 0.7009 0.0194 0.0000 0.0668 0.0000 0.2664 0.1163 0.0815 715-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0054 0.0233 0.0000 0.1250 4.3574 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000 716-AH 0.1157 0.5556 0.6263 0.6899 0.7952 0.6023 0.1417 0.1343 0.6795 0.2353 0.5755 0.5250 0.0983 0.5124 0.7952 0.6372 0.0819 717-AH 0.0045 0.0703 0.1519 0.1882 0.2721 0.1340 0.0768 0.1179 0.2676 0.5731 0.1009 0.0532 0.0635 0.0045 0.2721 0.1340 0.0768 718-AH 0.0000 0.0000 0.0548 0.0928 0.1161 0.0479 0.0440 0.0928 0.1161 0.9191 0.0034 0.0000 0.0403 0.0000 0.1161 0.0479 0.0440 719-AH 0.0000 0.0246 0.0737 0.1371 0.2533 0.0855 0.0661 0.1125 0.2533 0.7736 0.0328 0.0001 0.0580 0.0000 0.2533 0.0855 0.0661 720-AH 0.1176 0.6233 0.7151 0.7595 0.7918 0.6584 0.1710 0.1362 0.6742 0.2597 0.6167 0.5344 0.1152 0.4763 0.7918 0.7046 0.0783 721-AH 0.0000 0.2692 0.5227 0.5830 0.6266 0.4178 0.2111 0.3138 0.6266 0.5051 0.2440 0.0003 0.1810 0.0000 0.6266 0.4178 0.2111 722-AH 0.0000 0.0000 0.0556 0.1389 0.2778 0.0770 0.0866 0.1389 0.2778 1.1244 0.0017 0.0000 0.0728 0.0000 0.2778 0.0770 0.0866 723-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0429 0.1420 0.0000 0.5000 3.3137 0.0000 0.0000 0.0784 0.0000 0.0000 0.0000 0.0000 724-AH 0.1667 0.3125 0.3611 0.4074 0.4877 0.3565 0.0783 0.0949 0.3210 0.2197 0.3465 0.3343 0.0604 0.1728 0.4877 0.3621 0.0721 725-AH 0.0620 0.2577 0.3058 0.4143 0.5103 0.3204 0.1104 0.1565 0.4483 0.3446 0.2968 0.2625 0.0883 0.0620 0.5103 0.3204 0.1104 726-AH 0.1869 0.2673 0.3287 0.3555 0.4464 0.3152 0.0631 0.0882 0.2595 0.2003 0.3087 0.3017 0.0513 0.1869 0.4464 0.3152 0.0631 727-AH 0.0000 0.0000 0.0111 0.0575 0.2493 0.0329 0.0506 0.0575 0.2493 1.5354 0.0011 0.0000 0.0360 0.0000 0.1108 0.0266 0.0342 728-AH 0.0140 0.1011 0.1365 0.1990 0.4082 0.1653 0.1075 0.0979 0.3941 0.6504 0.1309 0.0903 0.0814 0.0140 0.3418 0.1357 0.0717 729-AH 0.0000 0.0000 0.0237 0.0799 0.2249 0.0495 0.0606 0.0799 0.2249 1.2227 0.0042 0.0000 0.0463 0.0000 0.1302 0.0389 0.0431 730-AH 0.0971 0.1752 0.2325 0.2602 0.3224 0.2139 0.0588 0.0850 0.2253 0.2749 0.2048 0.1943 0.0502 0.0971 0.3224 0.2139 0.0588 731-AH 0.0435 0.0855 0.0945 0.1167 0.1834 0.0982 0.0319 0.0312 0.1399 0.3246 0.0929 0.0873 0.0235 0.0435 0.1304 0.0933 0.0253 732-AH 0.0000 0.0283 0.0571 0.0813 0.1436 0.0603 0.0402 0.0530 0.1436 0.6671 0.0252 0.0001 0.0319 0.0000 0.1436 0.0603 0.0402 733-AH 0.0000 0.0000 0.0000 0.1111 0.3056 0.0492 0.0774 0.1111 0.3056 1.5735 0.0003 0.0000 0.0619 0.0000 0.2500 0.0417 0.0642 734-AH 0.0000 0.0431 0.0600 0.0900 0.1675 0.0691 0.0456 0.0469 0.1675 0.6597 0.0443 0.0003 0.0353 0.0000 0.1325 0.0567 0.0311 735-AH 0.0000 0.0558 0.0927 0.0964 0.1419 0.0774 0.0404 0.0406 0.1419 0.5219 0.0347 0.0001 0.0325 0.0000 0.1419 0.0774 0.0404 736-AH 0.0000 0.0600 0.1189 0.1656 0.2331 0.1134 0.0666 0.1055 0.2331 0.5875 0.0643 0.0003 0.0547 0.0000 0.2331 0.1134 0.0666 737-AH 0.0608 0.1099 0.1365 0.2034 0.2702 0.1535 0.0576 0.0935 0.2094 0.3754 0.1437 0.1345 0.0466 0.0608 0.2702 0.1535 0.0576 738-AH 0.0960 0.2395 0.3301 0.5777 0.6581 0.3977 0.1807 0.3382 0.5620 0.4543 0.3521 0.3025 0.1651 0.0960 0.6581 0.3977 0.1807 739-AH 0.0500 0.3019 0.3975 0.4413 0.6450 0.3583 0.1764 0.1394 0.5950 0.4922 0.2836 0.1798 0.1343 0.1625 0.6450 0.4221 0.1148 740-AH 0.0051 0.1310 0.1759 0.2214 0.4050 0.1679 0.0918 0.0904 0.3999 0.5469 0.1165 0.0403 0.0684 0.0051 0.3460 0.1610 0.0833 741-AH 0.0000 0.0048 0.0521 0.0638 0.1562 0.0505 0.0493 0.0590 0.1562 0.9748 0.0069 0.0000 0.0371 0.0000 0.1510 0.0474 0.0464 742-AH 0.0000 0.2603 0.5000 0.5971 0.6839 0.4114 0.2267 0.3368 0.6839 0.5511 0.1813 0.0002 0.1898 0.0000 0.6839 0.4114 0.2267 743-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0254 0.0856 0.0000 0.3333 3.3698 0.0000 0.0000 0.0464 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0866 0.3018 0.4394 0.7180 0.2739 0.1928 0.3528 0.7180 0.7041 0.0471 0.0001 0.1601 0.0000 0.7180 0.2739 0.1928 745-AH 0.0393 0.1231 0.1955 0.2651 0.4009 0.2119 0.1018 0.1419 0.3616 0.4803 0.1863 0.1583 0.0822 0.0393 0.4009 0.2119 0.1018 746-AH 0.0500 0.1851 0.3036 0.4265 0.5114 0.3079 0.1270 0.2414 0.4614 0.4126 0.2754 0.2336 0.1061 0.0500 0.5114 0.3079 0.1270 747-AH 0.0000 0.0154 0.0207 0.0995 0.2152 0.0566 0.0695 0.0842 0.2152 1.2282 0.0150 0.0001 0.0576 0.0000 0.2152 0.0566 0.0695 748-AH 0.0000 0.0767 0.1378 0.2100 0.3333 0.1459 0.0850 0.1333 0.3333 0.5824 0.0775 0.0002 0.0670 0.0000 0.3333 0.1459 0.0850 749-AH 0.0230 0.1084 0.1551 0.2820 0.3832 0.1872 0.1046 0.1735 0.3602 0.5588 0.1491 0.1050 0.0903 0.0230 0.3832 0.1872 0.1046 750-AH 0.0278 0.0909 0.1430 0.2119 0.2487 0.1438 0.0720 0.1210 0.2209 0.5007 0.1214 0.0960 0.0604 0.0278 0.2487 0.1438 0.0720 92 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0270 0.6731 1.0000 1.0000 1.0000 0.7771 0.3840 0.3269 0.9730 0.4941 0.5174 0.1734 0.3184 0.4286 1.0000 0.9567 0.1333 702-AH 0.0000 0.0018 0.0043 0.0860 0.3333 0.0517 0.0794 0.0842 0.3333 1.5367 0.0097 0.0003 0.0604 0.0000 0.2000 0.0434 0.0634 703-AH 0.0756 0.7083 1.0000 1.0000 1.0000 0.8085 0.3295 0.2917 0.9244 0.4076 0.6728 0.4496 0.2655 0.4909 1.0000 0.9455 0.1342 704-AH 0.0000 0.0534 0.2000 0.5000 1.0000 0.2850 0.2609 0.4466 1.0000 0.9154 0.1368 0.0003 0.2122 0.0000 1.0000 0.2850 0.2609 705-AH 0.5652 1.0000 1.0000 1.0000 1.0000 0.9495 0.1193 0.0000 0.4348 0.1256 0.9405 0.9294 0.0837 1.0000 1.0000 1.0000 0.0000 706-AH 0.6250 1.0000 1.0000 1.0000 1.0000 0.9766 0.0826 0.0000 0.3750 0.0846 0.9724 0.9670 0.0427 1.0000 1.0000 1.0000 0.0000 707-AH 0.0329 0.2356 0.8571 1.0000 1.0000 0.6554 0.3821 0.7644 0.9671 0.5829 0.4669 0.2419 0.3498 0.0329 1.0000 0.6554 0.3821 708-AH 0.0042 0.4625 1.0000 1.0000 1.0000 0.7623 0.3312 0.5375 0.9958 0.4344 0.6024 0.1171 0.2988 0.0042 1.0000 0.7623 0.3312 709-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9031 0.2724 0.0000 1.0000 0.3016 0.5663 0.0003 0.1660 1.0000 1.0000 1.0000 0.0000 710-AH 0.0000 0.0267 0.0351 0.0929 1.0000 0.1824 0.3190 0.0662 1.0000 1.7494 0.0480 0.0003 0.2242 0.0000 0.1818 0.0422 0.0358 711-AH 0.0000 0.0257 0.0500 0.0714 0.1250 0.0501 0.0276 0.0458 0.1250 0.5510 0.0349 0.0003 0.0230 0.0000 0.1250 0.0501 0.0276 712-AH 0.4444 1.0000 1.0000 1.0000 1.0000 0.9841 0.0939 0.0000 0.5556 0.0954 0.9771 0.9655 0.0308 1.0000 1.0000 1.0000 0.0000 713-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9379 0.1564 0.0000 0.6667 0.1667 0.9187 0.8886 0.1029 1.0000 1.0000 1.0000 0.0000 714-AH 0.0000 0.1705 0.3333 0.5000 1.0000 0.3194 0.2285 0.3295 1.0000 0.7154 0.0443 0.0000 0.1778 0.0000 0.7143 0.2994 0.1984 715-AH 0.0000 0.0045 0.0084 0.0391 1.0000 0.0507 0.1692 0.0346 1.0000 3.3348 0.0103 0.0003 0.0650 0.0000 0.0667 0.0174 0.0205 716-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9865 0.0557 0.0000 0.2500 0.0565 0.9847 0.9826 0.0254 1.0000 1.0000 1.0000 0.0000 717-AH 0.0500 0.2500 0.4000 0.6500 1.0000 0.4754 0.3072 0.4000 0.9500 0.6463 0.3752 0.2761 0.2459 0.0500 1.0000 0.4754 0.3072 718-AH 0.0000 0.0697 0.1667 0.4531 1.0000 0.3390 0.3805 0.3834 1.0000 1.1224 0.0456 0.0001 0.3114 0.0000 1.0000 0.3390 0.3805 719-AH 0.0000 0.1227 0.2500 0.4214 1.0000 0.3495 0.3231 0.2987 1.0000 0.9244 0.1421 0.0002 0.2553 0.0000 0.7500 0.2411 0.1932 720-AH 0.2264 1.0000 1.0000 1.0000 1.0000 0.9747 0.1316 0.0000 0.7736 0.1350 0.9552 0.9081 0.0477 1.0000 1.0000 1.0000 0.0000 721-AH 0.0556 0.5493 1.0000 1.0000 1.0000 0.7485 0.3163 0.4507 0.9444 0.4225 0.6295 0.4248 0.2760 0.0556 1.0000 0.7485 0.3163 722-AH 0.0016 0.0217 0.2000 0.5000 1.0000 0.3272 0.3587 0.4783 0.9984 1.0962 0.1132 0.0192 0.2903 0.0016 1.0000 0.3272 0.3587 723-AH 0.0000 0.0037 0.0061 0.0346 1.0000 0.1252 0.2855 0.0309 1.0000 2.2795 0.0115 0.0002 0.1832 0.0000 0.0435 0.0107 0.0120 724-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9059 0.1844 0.0000 0.6000 0.2035 0.8817 0.8502 0.1453 1.0000 1.0000 1.0000 0.0000 725-AH 0.3214 0.6667 1.0000 1.0000 1.0000 0.8349 0.2220 0.3333 0.6786 0.2659 0.7995 0.7571 0.1981 0.3214 1.0000 0.8349 0.2220 726-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8667 0.1683 0.2500 0.5000 0.1942 0.8486 0.8284 0.1524 0.5000 1.0000 0.8667 0.1683 727-AH 0.0000 0.0524 0.1233 0.2096 0.5000 0.1456 0.1327 0.1572 0.5000 0.9119 0.0481 0.0001 0.0982 0.0000 0.2500 0.1129 0.0805 728-AH 0.0633 0.2883 0.3846 0.5000 1.0000 0.4151 0.2204 0.2117 0.9367 0.5310 0.3587 0.2888 0.1497 0.0633 0.5500 0.3603 0.1307 729-AH 0.0151 0.0793 0.1429 0.2431 1.0000 0.2178 0.2565 0.1638 0.9849 1.1776 0.1351 0.0800 0.1550 0.0151 0.3333 0.1445 0.0861 730-AH 0.2045 0.5000 0.6667 1.0000 1.0000 0.7037 0.2660 0.5000 0.7955 0.3780 0.6443 0.5740 0.2228 0.2045 1.0000 0.7037 0.2660 731-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9476 0.1500 0.0000 0.5000 0.1583 0.9315 0.9091 0.0928 1.0000 1.0000 1.0000 0.0000 732-AH 0.0403 0.1149 0.2000 0.2857 1.0000 0.2407 0.1878 0.1708 0.9597 0.7801 0.1841 0.1359 0.1277 0.0403 0.5000 0.2184 0.1355 733-AH 0.0088 0.0360 0.0769 0.3333 1.0000 0.1987 0.2511 0.2973 0.9912 1.2639 0.0956 0.0461 0.1848 0.0088 0.5000 0.1501 0.1563 734-AH 0.0882 0.1986 0.3333 0.5000 1.0000 0.4345 0.3120 0.3014 0.9118 0.7181 0.3396 0.2665 0.2487 0.0882 0.5000 0.2931 0.1377 735-AH 0.0000 0.2056 1.0000 1.0000 1.0000 0.6562 0.4174 0.7944 1.0000 0.6361 0.3081 0.0003 0.3930 0.0000 1.0000 0.6562 0.4174 736-AH 0.0588 0.2238 0.3333 0.5000 1.0000 0.3786 0.2245 0.2762 0.9412 0.5928 0.3186 0.2601 0.1715 0.0588 0.6667 0.3410 0.1671 737-AH 0.1852 0.2893 0.5000 1.0000 1.0000 0.5755 0.3284 0.7107 0.8148 0.5706 0.4847 0.4083 0.2963 0.1852 1.0000 0.5755 0.3284 738-AH 0.3333 0.7000 1.0000 1.0000 1.0000 0.8572 0.2191 0.3000 0.6667 0.2556 0.8216 0.7767 0.1829 0.3333 1.0000 0.8572 0.2191 739-AH 0.3810 1.0000 1.0000 1.0000 1.0000 0.9823 0.1046 0.0000 0.6190 0.1065 0.9728 0.9556 0.0344 1.0000 1.0000 1.0000 0.0000 740-AH 0.0250 0.2662 0.5000 0.9643 1.0000 0.5533 0.3558 0.6981 0.9750 0.6430 0.3628 0.1490 0.3098 0.0250 1.0000 0.5533 0.3558 741-AH 0.0136 0.0553 0.1429 0.3125 1.0000 0.2457 0.2684 0.2572 0.9864 1.0921 0.1408 0.0759 0.1982 0.0136 0.5000 0.1645 0.1412 742-AH 0.0076 1.0000 1.0000 1.0000 1.0000 0.8442 0.3507 0.0000 0.9924 0.4154 0.5528 0.0840 0.2582 1.0000 1.0000 1.0000 0.0000 743-AH 0.0000 0.0177 0.1000 0.1667 1.0000 0.1560 0.2322 0.1489 1.0000 1.4879 0.0484 0.0002 0.1295 0.0000 0.2500 0.0925 0.0720 744-AH 0.0078 1.0000 1.0000 1.0000 1.0000 0.7873 0.4014 0.0000 0.9922 0.5098 0.4071 0.0492 0.3282 1.0000 1.0000 1.0000 0.0000 745-AH 0.1667 1.0000 1.0000 1.0000 1.0000 0.8969 0.2437 0.0000 0.8333 0.2717 0.8355 0.7202 0.1708 1.0000 1.0000 1.0000 0.0000 746-AH 0.0500 0.5000 0.6667 1.0000 1.0000 0.6956 0.2738 0.5000 0.9500 0.3936 0.6071 0.4230 0.2270 0.0500 1.0000 0.6956 0.2738 747-AH 0.0203 0.0484 0.0952 0.6250 1.0000 0.3138 0.3797 0.5766 0.9797 1.2099 0.1373 0.0705 0.3242 0.0203 1.0000 0.3138 0.3797 748-AH 0.0778 0.2668 0.3333 0.4861 1.0000 0.3616 0.1659 0.2193 0.9222 0.4589 0.3257 0.2850 0.1220 0.0778 0.5385 0.3429 0.1251 749-AH 0.1250 0.6667 1.0000 1.0000 1.0000 0.7830 0.3199 0.3333 0.8750 0.4085 0.6633 0.4811 0.2613 0.6000 1.0000 0.9134 0.1465 750-AH 0.0279 0.3333 0.5000 1.0000 1.0000 0.6163 0.3713 0.6667 0.9721 0.6025 0.4658 0.2751 0.3508 0.0279 1.0000 0.6163 0.3713 93 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.4900 0.6800 0.7816 0.9000 0.5695 0.3021 0.2916 0.9000 0.5305 0.1204 0.0001 0.2414 0.1795 0.9000 0.6868 0.1661 702-AH 0.0000 0.0018 0.0043 0.0860 0.3333 0.0517 0.0794 0.0842 0.3333 1.5367 0.0097 0.0003 0.0604 0.0000 0.2000 0.0434 0.0634 703-AH 0.0602 0.6310 0.7209 0.8917 1.0000 0.6571 0.2945 0.2607 0.9398 0.4482 0.5083 0.2767 0.2164 0.4909 1.0000 0.7785 0.1275 704-AH 0.0000 0.0427 0.1379 0.2768 0.6667 0.1704 0.1516 0.2341 0.6667 0.8895 0.0724 0.0002 0.1186 0.0000 0.4286 0.1558 0.1264 705-AH 0.2821 0.6962 0.8333 0.9091 1.0000 0.7986 0.1663 0.2129 0.7179 0.2082 0.7775 0.7491 0.1308 0.5556 1.0000 0.8138 0.1420 706-AH 0.3548 0.6429 0.7000 0.7647 0.9000 0.6911 0.1140 0.1218 0.5452 0.1650 0.6804 0.6674 0.0821 0.5217 0.9000 0.7099 0.0862 707-AH 0.0150 0.0658 0.1818 0.6237 0.8000 0.3274 0.2953 0.5578 0.7850 0.9019 0.1651 0.0679 0.2742 0.0150 0.8000 0.3274 0.2953 708-AH 0.0000 0.1927 0.3333 0.4926 0.8333 0.3561 0.2206 0.2999 0.8333 0.6195 0.1744 0.0002 0.1799 0.0000 0.8333 0.3561 0.2206 709-AH 0.0000 0.8045 1.0000 1.0000 1.0000 0.8281 0.3069 0.1955 1.0000 0.3707 0.4259 0.0002 0.2211 0.6429 1.0000 0.9424 0.1058 710-AH 0.0000 0.0086 0.0309 0.0534 0.1818 0.0370 0.0387 0.0448 0.1818 1.0483 0.0159 0.0002 0.0269 0.0000 0.0714 0.0294 0.0230 711-AH 0.0000 0.0257 0.0500 0.0714 0.1250 0.0501 0.0276 0.0458 0.1250 0.5510 0.0349 0.0003 0.0230 0.0000 0.1250 0.0501 0.0276 712-AH 0.4444 1.0000 1.0000 1.0000 1.0000 0.9841 0.0939 0.0000 0.5556 0.0954 0.9771 0.9655 0.0308 1.0000 1.0000 1.0000 0.0000 713-AH 0.0896 0.5531 0.6486 0.7708 0.8750 0.6037 0.2156 0.2177 0.7854 0.3572 0.5408 0.4335 0.1632 0.2273 0.8750 0.6346 0.1792 714-AH 0.0000 0.1268 0.2500 0.3077 0.7143 0.2302 0.1658 0.1809 0.7143 0.7201 0.0322 0.0000 0.1289 0.0000 0.4483 0.2160 0.1449 715-AH 0.0000 0.0045 0.0084 0.0391 1.0000 0.0507 0.1692 0.0346 1.0000 3.3348 0.0103 0.0003 0.0650 0.0000 0.0667 0.0174 0.0205 716-AH 0.6667 0.8489 1.0000 1.0000 1.0000 0.9286 0.1068 0.1511 0.3333 0.1150 0.9221 0.9150 0.0939 0.6667 1.0000 0.9286 0.1068 717-AH 0.0388 0.1254 0.3333 0.4286 0.7500 0.3173 0.1812 0.3032 0.7112 0.5711 0.2601 0.1996 0.1471 0.0388 0.7500 0.3173 0.1812 718-AH 0.0000 0.0687 0.1404 0.2000 0.3125 0.1387 0.0922 0.1313 0.3125 0.6646 0.0289 0.0001 0.0729 0.0000 0.3125 0.1387 0.0922 719-AH 0.0000 0.0420 0.1429 0.2964 0.7500 0.2013 0.1903 0.2544 0.7500 0.9451 0.0765 0.0002 0.1455 0.0000 0.5000 0.1681 0.1361 720-AH 0.2264 1.0000 1.0000 1.0000 1.0000 0.9488 0.1516 0.0000 0.7736 0.1597 0.9260 0.8776 0.0820 1.0000 1.0000 1.0000 0.0000 721-AH 0.0000 0.4511 0.6429 0.8309 1.0000 0.6074 0.2963 0.3797 1.0000 0.4878 0.3762 0.0003 0.2357 0.0000 1.0000 0.6074 0.2963 722-AH 0.0016 0.0217 0.2000 0.5000 1.0000 0.3272 0.3587 0.4783 0.9984 1.0962 0.1132 0.0192 0.2903 0.0016 1.0000 0.3272 0.3587 723-AH 0.0000 0.0037 0.0061 0.0346 1.0000 0.1252 0.2855 0.0309 1.0000 2.2795 0.0115 0.0002 0.1832 0.0000 0.0435 0.0107 0.0120 724-AH 0.3636 0.6667 0.8000 1.0000 1.0000 0.8081 0.2063 0.3333 0.6364 0.2553 0.7776 0.7417 0.1755 0.3636 1.0000 0.8081 0.2063 725-AH 0.1136 0.5000 0.5714 1.0000 1.0000 0.6642 0.2544 0.5000 0.8864 0.3831 0.6086 0.5347 0.2237 0.1136 1.0000 0.6642 0.2544 726-AH 0.4286 0.6667 0.7500 0.8250 1.0000 0.7582 0.1551 0.1583 0.5714 0.2045 0.7421 0.7251 0.1148 0.5000 1.0000 0.7679 0.1463 727-AH 0.0000 0.0524 0.1233 0.2096 0.4815 0.1394 0.1185 0.1572 0.4815 0.8501 0.0472 0.0001 0.0920 0.0000 0.4000 0.1294 0.1041 728-AH 0.0633 0.2399 0.3492 0.4252 0.5500 0.3369 0.1288 0.1854 0.4867 0.3822 0.3043 0.2573 0.1031 0.0633 0.5500 0.3369 0.1288 729-AH 0.0151 0.0772 0.1343 0.2193 0.7500 0.1763 0.1665 0.1421 0.7349 0.9446 0.1202 0.0739 0.1060 0.0151 0.3333 0.1415 0.0875 730-AH 0.1667 0.3889 0.4615 0.5000 0.5833 0.4193 0.1108 0.1111 0.4167 0.2642 0.4006 0.3767 0.0872 0.2326 0.5833 0.4416 0.0864 731-AH 0.0652 0.1364 0.1875 0.2500 0.6000 0.2071 0.1095 0.1136 0.5348 0.5288 0.1843 0.1647 0.0770 0.0652 0.3846 0.1885 0.0776 732-AH 0.0403 0.0877 0.1475 0.1918 0.3077 0.1539 0.0769 0.1041 0.2674 0.4995 0.1327 0.1101 0.0603 0.0403 0.3077 0.1539 0.0769 733-AH 0.0088 0.0360 0.0769 0.3333 1.0000 0.1987 0.2511 0.2973 0.9912 1.2639 0.0956 0.0461 0.1848 0.0088 0.5000 0.1501 0.1563 734-AH 0.0600 0.1459 0.1765 0.2320 0.5000 0.2025 0.0978 0.0862 0.4400 0.4830 0.1825 0.1641 0.0723 0.0600 0.3333 0.1752 0.0607 735-AH 0.0000 0.0292 0.0500 0.1844 0.6000 0.1171 0.1385 0.1552 0.6000 1.1824 0.0146 0.0000 0.1079 0.0000 0.4000 0.1029 0.1117 736-AH 0.0300 0.1718 0.3077 0.3750 0.7500 0.3047 0.1623 0.2032 0.7200 0.5327 0.2539 0.1869 0.1245 0.0300 0.6000 0.2916 0.1447 737-AH 0.1136 0.1704 0.2500 0.3913 0.6000 0.2797 0.1363 0.2209 0.4864 0.4874 0.2506 0.2260 0.1126 0.1136 0.6000 0.2797 0.1363 738-AH 0.0332 0.1872 0.7500 0.9821 1.0000 0.5980 0.3749 0.7950 0.9668 0.6268 0.4128 0.2132 0.3443 0.0332 1.0000 0.5980 0.3749 739-AH 0.0496 1.0000 1.0000 1.0000 1.0000 0.8135 0.3663 0.0000 0.9504 0.4503 0.5905 0.2565 0.2877 1.0000 1.0000 1.0000 0.0000 740-AH 0.0111 0.2278 0.3529 0.5000 0.8571 0.3645 0.2296 0.2722 0.8460 0.6300 0.2358 0.0810 0.1857 0.0111 0.8571 0.3645 0.2296 741-AH 0.0099 0.0469 0.1042 0.1460 0.7500 0.1638 0.1941 0.0991 0.7401 1.1846 0.0949 0.0538 0.1308 0.0099 0.2727 0.0911 0.0574 742-AH 0.0035 0.8636 1.0000 1.0000 1.0000 0.8103 0.3750 0.1364 0.9965 0.4628 0.4364 0.0428 0.2823 0.7273 1.0000 0.9757 0.0739 743-AH 0.0000 0.0177 0.1000 0.1667 1.0000 0.1560 0.2322 0.1489 1.0000 1.4879 0.0484 0.0002 0.1295 0.0000 0.2500 0.0925 0.0720 744-AH 0.0000 0.1344 0.7500 1.0000 1.0000 0.6221 0.4141 0.8656 1.0000 0.6656 0.2049 0.0003 0.3636 0.0000 1.0000 0.6221 0.4141 745-AH 0.0371 0.2244 0.3182 0.4562 0.7778 0.3425 0.1709 0.2318 0.7407 0.4990 0.2907 0.2171 0.1286 0.0371 0.7778 0.3425 0.1709 746-AH 0.0163 0.3774 0.5385 0.6667 1.0000 0.5346 0.2174 0.2893 0.9837 0.4066 0.4535 0.2363 0.1690 0.0163 1.0000 0.5346 0.2174 747-AH 0.0099 0.0235 0.0431 0.2364 1.0000 0.1717 0.2796 0.2128 0.9901 1.6287 0.0595 0.0311 0.2065 0.0099 0.4667 0.0979 0.1411 748-AH 0.0000 0.2533 0.3333 0.4405 1.0000 0.3446 0.1744 0.1872 1.0000 0.5060 0.2368 0.0003 0.1236 0.0000 0.5385 0.3254 0.1339 749-AH 0.0500 0.2292 0.4000 0.5288 0.7273 0.3784 0.2001 0.2997 0.6773 0.5288 0.2957 0.1903 0.1619 0.0500 0.7273 0.3784 0.2001 750-AH 0.0000 0.0838 0.2000 0.3627 0.6190 0.2274 0.1534 0.2789 0.6190 0.6744 0.1257 0.0003 0.1283 0.0000 0.6190 0.2274 0.1534 94 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.1550 0.5349 0.6741 0.7241 0.4295 0.2730 0.5191 0.7241 0.6358 0.0698 0.0001 0.2428 0.0000 0.7241 0.4295 0.2730 702-AH 0.0000 0.0018 0.0043 0.0860 0.3333 0.0517 0.0794 0.0842 0.3333 1.5367 0.0097 0.0003 0.0604 0.0000 0.2000 0.0434 0.0634 703-AH 0.0408 0.5464 0.6486 0.7358 0.9000 0.5677 0.2590 0.1894 0.8592 0.4563 0.4319 0.2241 0.1927 0.3830 0.9000 0.6738 0.1158 704-AH 0.0000 0.0421 0.1020 0.1969 0.6000 0.1431 0.1363 0.1548 0.6000 0.9524 0.0614 0.0002 0.1022 0.0000 0.4286 0.1297 0.1124 705-AH 0.0000 0.6363 0.7037 0.7600 0.8636 0.6577 0.1851 0.1237 0.8636 0.2814 0.4711 0.0003 0.1184 0.5366 0.8636 0.7070 0.0829 706-AH 0.0963 0.5862 0.6296 0.6767 0.7805 0.5820 0.1626 0.0905 0.6842 0.2794 0.5443 0.4763 0.1132 0.5484 0.7805 0.6480 0.0584 707-AH 0.0000 0.0190 0.0976 0.2016 0.5577 0.1641 0.1943 0.1825 0.5577 1.1843 0.0145 0.0000 0.1551 0.0000 0.4571 0.1035 0.1323 708-AH 0.0000 0.1474 0.2571 0.4110 0.8182 0.2831 0.1883 0.2636 0.8182 0.6649 0.1351 0.0002 0.1529 0.0000 0.6923 0.2674 0.1661 709-AH 0.0000 0.5804 0.8125 0.9821 1.0000 0.7216 0.3020 0.4017 1.0000 0.4186 0.3676 0.0002 0.2337 0.0000 1.0000 0.7216 0.3020 710-AH 0.0000 0.0041 0.0167 0.0310 0.1500 0.0234 0.0291 0.0269 0.1500 1.2425 0.0036 0.0000 0.0197 0.0000 0.0638 0.0181 0.0172 711-AH 0.0000 0.0167 0.0309 0.0432 0.0870 0.0320 0.0206 0.0266 0.0870 0.6440 0.0216 0.0003 0.0158 0.0000 0.0769 0.0304 0.0185 712-AH 0.0909 1.0000 1.0000 1.0000 1.0000 0.9415 0.1870 0.0000 0.9091 0.1986 0.8945 0.7434 0.1037 1.0000 1.0000 1.0000 0.0000 713-AH 0.0155 0.5292 0.6250 0.6815 0.8333 0.5456 0.2172 0.1523 0.8178 0.3982 0.4494 0.2284 0.1607 0.3953 0.8333 0.6343 0.0939 714-AH 0.0000 0.0424 0.2000 0.3033 0.4483 0.1916 0.1449 0.2609 0.4483 0.7563 0.0221 0.0000 0.1240 0.0000 0.4483 0.1916 0.1449 715-AH 0.0000 0.0041 0.0067 0.0107 0.0667 0.0147 0.0197 0.0066 0.0667 1.3445 0.0038 0.0001 0.0143 0.0000 0.0164 0.0061 0.0041 716-AH 0.2419 0.7778 0.8889 1.0000 1.0000 0.8696 0.1492 0.2222 0.7581 0.1715 0.8500 0.8148 0.1047 0.7000 1.0000 0.8880 0.1031 717-AH 0.0388 0.1122 0.2083 0.3468 0.7143 0.2388 0.1466 0.2346 0.6755 0.6141 0.1975 0.1598 0.1176 0.0388 0.5000 0.2248 0.1229 718-AH 0.0000 0.0511 0.1200 0.1396 0.1622 0.0956 0.0556 0.0885 0.1622 0.5816 0.0219 0.0001 0.0482 0.0000 0.1622 0.0956 0.0556 719-AH 0.0000 0.0184 0.0980 0.1994 0.4545 0.1217 0.1278 0.1810 0.4545 1.0500 0.0346 0.0001 0.1018 0.0000 0.4545 0.1217 0.1278 720-AH 0.2222 0.8974 0.9583 1.0000 1.0000 0.9006 0.1849 0.1026 0.7778 0.2053 0.8646 0.7913 0.1119 0.7500 1.0000 0.9483 0.0684 721-AH 0.0000 0.4183 0.6429 0.7473 1.0000 0.5700 0.2740 0.3290 1.0000 0.4806 0.3563 0.0003 0.2166 0.0000 1.0000 0.5700 0.2740 722-AH 0.0000 0.0092 0.0444 0.1429 0.6667 0.1152 0.1635 0.1336 0.6667 1.4193 0.0380 0.0003 0.1104 0.0000 0.3333 0.0818 0.0908 723-AH 0.0000 0.0037 0.0061 0.0346 1.0000 0.1252 0.2855 0.0309 1.0000 2.2795 0.0115 0.0002 0.1832 0.0000 0.0435 0.0107 0.0120 724-AH 0.1220 0.4714 0.5714 0.7143 0.8000 0.5842 0.1713 0.2429 0.6780 0.2932 0.5522 0.5043 0.1397 0.1220 0.8000 0.5842 0.1713 725-AH 0.1136 0.4511 0.5333 0.7443 1.0000 0.5836 0.1977 0.2932 0.8864 0.3387 0.5454 0.4925 0.1647 0.1136 1.0000 0.5836 0.1977 726-AH 0.2857 0.5000 0.6667 0.7411 0.8333 0.6167 0.1528 0.2411 0.5476 0.2477 0.5965 0.5744 0.1356 0.2857 0.8333 0.6167 0.1528 727-AH 0.0000 0.0330 0.1042 0.1483 0.4815 0.1149 0.1030 0.1153 0.4815 0.8963 0.0332 0.0001 0.0761 0.0000 0.2679 0.1042 0.0821 728-AH 0.0000 0.2292 0.3200 0.3870 0.5500 0.2978 0.1463 0.1578 0.5500 0.4913 0.1932 0.0003 0.1159 0.0000 0.5500 0.2978 0.1463 729-AH 0.0133 0.0728 0.1316 0.1870 0.7500 0.1658 0.1680 0.1142 0.7367 1.0135 0.1083 0.0634 0.1053 0.0133 0.3333 0.1304 0.0859 730-AH 0.0876 0.2269 0.3571 0.4400 0.5385 0.3407 0.1217 0.2131 0.4509 0.3572 0.3148 0.2837 0.1058 0.0876 0.5385 0.3407 0.1217 731-AH 0.0397 0.0666 0.1250 0.1579 0.3846 0.1303 0.0738 0.0913 0.3449 0.5668 0.1121 0.0962 0.0551 0.0397 0.2500 0.1228 0.0600 732-AH 0.0391 0.0825 0.1356 0.1805 0.2727 0.1387 0.0677 0.0980 0.2337 0.4881 0.1208 0.1020 0.0544 0.0391 0.2727 0.1387 0.0677 733-AH 0.0000 0.0213 0.0375 0.0762 0.6667 0.0854 0.1289 0.0549 0.6667 1.5104 0.0310 0.0002 0.0762 0.0000 0.1333 0.0433 0.0322 734-AH 0.0121 0.1420 0.1667 0.1923 0.5000 0.1870 0.0956 0.0503 0.4879 0.5112 0.1625 0.1191 0.0640 0.0833 0.2632 0.1671 0.0407 735-AH 0.0000 0.0000 0.0290 0.0813 0.2157 0.0476 0.0568 0.0813 0.2157 1.1911 0.0015 0.0000 0.0469 0.0000 0.1549 0.0427 0.0494 736-AH 0.0150 0.1485 0.2400 0.3176 0.5385 0.2337 0.1206 0.1691 0.5235 0.5161 0.1919 0.1272 0.0956 0.0150 0.5385 0.2337 0.1206 737-AH 0.0000 0.1083 0.1667 0.2508 0.4314 0.1711 0.1040 0.1425 0.4314 0.6079 0.0720 0.0001 0.0791 0.0000 0.4314 0.1711 0.1040 738-AH 0.0000 0.1587 0.5000 0.8538 1.0000 0.5243 0.3648 0.6951 1.0000 0.6958 0.2232 0.0002 0.3335 0.0000 1.0000 0.5243 0.3648 739-AH 0.0496 0.5877 1.0000 1.0000 1.0000 0.7838 0.3697 0.4123 0.9504 0.4717 0.5670 0.2528 0.3089 0.0496 1.0000 0.7838 0.3697 740-AH 0.0000 0.2077 0.2750 0.3650 0.7333 0.2744 0.1761 0.1573 0.7333 0.6416 0.0798 0.0001 0.1257 0.0000 0.4783 0.2469 0.1389 741-AH 0.0099 0.0412 0.0862 0.1154 0.1515 0.0775 0.0410 0.0742 0.1416 0.5293 0.0630 0.0456 0.0351 0.0099 0.1515 0.0775 0.0410 742-AH 0.0000 0.4135 1.0000 1.0000 1.0000 0.7185 0.3950 0.5865 1.0000 0.5497 0.3135 0.0003 0.3372 0.0000 1.0000 0.7185 0.3950 743-AH 0.0000 0.0177 0.1000 0.1667 1.0000 0.1560 0.2322 0.1489 1.0000 1.4879 0.0484 0.0002 0.1295 0.0000 0.2500 0.0925 0.0720 744-AH 0.0000 0.0472 0.5833 0.7587 1.0000 0.4799 0.3478 0.7115 1.0000 0.7247 0.0541 0.0000 0.2974 0.0000 1.0000 0.4799 0.3478 745-AH 0.0371 0.2232 0.3036 0.4130 0.6071 0.3057 0.1368 0.1898 0.5701 0.4473 0.2644 0.2032 0.1068 0.0371 0.6071 0.3057 0.1368 746-AH 0.0163 0.2865 0.4286 0.6074 0.9231 0.4590 0.2311 0.3209 0.9068 0.5035 0.3733 0.2073 0.1868 0.0163 0.9231 0.4590 0.2311 747-AH 0.0000 0.0000 0.0431 0.0590 0.3590 0.0755 0.1042 0.0590 0.3590 1.3806 0.0055 0.0000 0.0770 0.0000 0.0608 0.0274 0.0228 748-AH 0.0000 0.2533 0.3077 0.4286 0.5385 0.3236 0.1310 0.1753 0.5385 0.4048 0.2282 0.0003 0.1047 0.0000 0.5385 0.3236 0.1310 749-AH 0.0000 0.0712 0.2264 0.4458 0.6250 0.2698 0.1885 0.3747 0.6250 0.6985 0.1502 0.0003 0.1689 0.0000 0.6250 0.2698 0.1885 750-AH 0.0000 0.0000 0.1324 0.3107 0.3939 0.1516 0.1447 0.3107 0.3939 0.9547 0.0104 0.0000 0.1255 0.0000 0.3939 0.1516 0.1447 95 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.4533 0.6389 0.7188 0.3661 0.2859 0.6389 0.7188 0.7809 0.0213 0.0000 0.2608 0.0000 0.7188 0.3661 0.2859 702-AH 0.0000 0.0018 0.0043 0.0860 0.3333 0.0517 0.0794 0.0842 0.3333 1.5367 0.0097 0.0003 0.0604 0.0000 0.2000 0.0434 0.0634 703-AH 0.0394 0.4126 0.5893 0.6845 0.7941 0.5077 0.2369 0.2720 0.7548 0.4666 0.3895 0.2128 0.1874 0.0394 0.7941 0.5077 0.2369 704-AH 0.0000 0.0408 0.0678 0.1120 0.1739 0.0744 0.0461 0.0712 0.1739 0.6206 0.0396 0.0002 0.0391 0.0000 0.1739 0.0744 0.0461 705-AH 0.0000 0.5660 0.6364 0.6829 0.7857 0.5960 0.1669 0.1169 0.7857 0.2800 0.4284 0.0003 0.1084 0.4828 0.7857 0.6399 0.0768 706-AH 0.0000 0.2217 0.3375 0.4871 0.7805 0.3450 0.1804 0.2653 0.7805 0.5231 0.2307 0.0003 0.1516 0.0000 0.7805 0.3450 0.1804 707-AH 0.0000 0.0000 0.0381 0.1402 0.5577 0.1072 0.1582 0.1402 0.5577 1.4760 0.0027 0.0000 0.1154 0.0000 0.3288 0.0588 0.0801 708-AH 0.0000 0.1440 0.2258 0.2997 0.5600 0.2350 0.1379 0.1557 0.5600 0.5869 0.0959 0.0001 0.1109 0.0000 0.4286 0.2254 0.1277 709-AH 0.0000 0.4614 0.6667 0.8000 1.0000 0.5945 0.2620 0.3386 1.0000 0.4406 0.3072 0.0002 0.2149 0.0000 1.0000 0.5945 0.2620 710-AH 0.0000 0.0000 0.0167 0.0307 0.0588 0.0172 0.0172 0.0307 0.0588 0.9993 0.0016 0.0000 0.0144 0.0000 0.0588 0.0172 0.0172 711-AH 0.0000 0.0100 0.0231 0.0305 0.0541 0.0219 0.0150 0.0205 0.0541 0.6866 0.0087 0.0001 0.0118 0.0000 0.0541 0.0219 0.0150 712-AH 0.0909 1.0000 1.0000 1.0000 1.0000 0.9415 0.1870 0.0000 0.9091 0.1986 0.8945 0.7434 0.1037 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.3799 0.5806 0.6593 0.7059 0.4842 0.2212 0.2794 0.7059 0.4568 0.3110 0.0003 0.1824 0.0000 0.7059 0.4842 0.2212 714-AH 0.0000 0.0000 0.1449 0.2170 0.4483 0.1513 0.1263 0.2170 0.4483 0.8347 0.0115 0.0000 0.0991 0.0000 0.4483 0.1513 0.1263 715-AH 0.0000 0.0000 0.0050 0.0070 0.0283 0.0048 0.0054 0.0070 0.0283 1.1163 0.0007 0.0000 0.0037 0.0000 0.0100 0.0041 0.0036 716-AH 0.2419 0.7623 0.8333 0.9167 1.0000 0.8141 0.1650 0.1544 0.7581 0.2027 0.7890 0.7475 0.1114 0.6400 1.0000 0.8466 0.0992 717-AH 0.0174 0.0923 0.1628 0.2348 0.5000 0.1740 0.1101 0.1425 0.4826 0.6329 0.1426 0.1091 0.0830 0.0174 0.4118 0.1644 0.0958 718-AH 0.0000 0.0399 0.0629 0.0966 0.1552 0.0661 0.0446 0.0567 0.1552 0.6752 0.0157 0.0001 0.0371 0.0000 0.1552 0.0661 0.0446 719-AH 0.0000 0.0149 0.0283 0.0798 0.3500 0.0580 0.0748 0.0650 0.3500 1.2887 0.0105 0.0001 0.0541 0.0000 0.1522 0.0441 0.0469 720-AH 0.1600 0.8774 0.9444 0.9583 1.0000 0.8637 0.2135 0.0809 0.8400 0.2472 0.8109 0.7043 0.1308 0.7778 1.0000 0.9329 0.0498 721-AH 0.0000 0.3790 0.5714 0.7473 0.8571 0.5289 0.2712 0.3683 0.8571 0.5127 0.3203 0.0003 0.2268 0.0000 0.8571 0.5289 0.2712 722-AH 0.0000 0.0092 0.0444 0.1429 0.6667 0.1152 0.1635 0.1336 0.6667 1.4193 0.0380 0.0003 0.1104 0.0000 0.3333 0.0818 0.0908 723-AH 0.0000 0.0037 0.0061 0.0346 1.0000 0.1252 0.2855 0.0309 1.0000 2.2795 0.0115 0.0002 0.1832 0.0000 0.0435 0.0107 0.0120 724-AH 0.1192 0.4454 0.5000 0.6500 0.7778 0.5152 0.1334 0.2046 0.6586 0.2589 0.4928 0.4580 0.1025 0.2647 0.7778 0.5268 0.1159 725-AH 0.0936 0.3662 0.4737 0.6273 0.9000 0.4989 0.2032 0.2611 0.8064 0.4072 0.4483 0.3782 0.1584 0.0936 0.9000 0.4989 0.2032 726-AH 0.1633 0.3763 0.5000 0.6667 0.7500 0.5001 0.1713 0.2904 0.5867 0.3425 0.4668 0.4287 0.1484 0.1633 0.7500 0.5001 0.1713 727-AH 0.0000 0.0184 0.0895 0.1483 0.4815 0.1092 0.1055 0.1299 0.4815 0.9659 0.0240 0.0001 0.0792 0.0000 0.2679 0.0983 0.0846 728-AH 0.0000 0.1603 0.3200 0.3870 0.5500 0.2733 0.1705 0.2266 0.5500 0.6237 0.0944 0.0001 0.1410 0.0000 0.5500 0.2733 0.1705 729-AH 0.0078 0.0603 0.1311 0.1650 0.2857 0.1253 0.0770 0.1047 0.2780 0.6149 0.0932 0.0548 0.0602 0.0078 0.2857 0.1253 0.0770 730-AH 0.0000 0.1634 0.3036 0.3685 0.5152 0.2669 0.1223 0.2051 0.5152 0.4582 0.1846 0.0003 0.1061 0.0000 0.5152 0.2669 0.1223 731-AH 0.0000 0.0483 0.1075 0.1347 0.2500 0.1009 0.0596 0.0864 0.2500 0.5908 0.0667 0.0003 0.0479 0.0000 0.2500 0.1009 0.0596 732-AH 0.0338 0.0568 0.1263 0.1618 0.2292 0.1202 0.0603 0.1049 0.1954 0.5019 0.1035 0.0866 0.0500 0.0338 0.2292 0.1202 0.0603 733-AH 0.0000 0.0213 0.0375 0.0762 0.6667 0.0854 0.1289 0.0549 0.6667 1.5104 0.0310 0.0002 0.0762 0.0000 0.1333 0.0433 0.0322 734-AH 0.0121 0.1273 0.1515 0.1765 0.2692 0.1465 0.0547 0.0492 0.2571 0.3735 0.1298 0.0970 0.0387 0.0606 0.1892 0.1505 0.0325 735-AH 0.0000 0.0000 0.0000 0.0441 0.0800 0.0218 0.0255 0.0441 0.0800 1.1668 0.0006 0.0000 0.0225 0.0000 0.0800 0.0218 0.0255 736-AH 0.0137 0.1102 0.1528 0.2292 0.2903 0.1608 0.0783 0.1190 0.2767 0.4866 0.1354 0.0970 0.0639 0.0137 0.2903 0.1608 0.0783 737-AH 0.0000 0.0709 0.1126 0.1434 0.3611 0.1221 0.0896 0.0725 0.3611 0.7338 0.0322 0.0001 0.0629 0.0000 0.2261 0.0977 0.0588 738-AH 0.0000 0.1184 0.3252 0.7746 0.9474 0.4291 0.3391 0.6563 0.9474 0.7903 0.1391 0.0001 0.3167 0.0000 0.9474 0.4291 0.3391 739-AH 0.0282 0.4140 0.8750 1.0000 1.0000 0.6712 0.3682 0.5860 0.9718 0.5486 0.4652 0.1921 0.3254 0.0282 1.0000 0.6712 0.3682 740-AH 0.0000 0.1017 0.2160 0.2945 0.6296 0.2115 0.1501 0.1928 0.6296 0.7096 0.0321 0.0000 0.1067 0.0000 0.5806 0.1992 0.1332 741-AH 0.0000 0.0405 0.0580 0.0907 0.1231 0.0610 0.0320 0.0501 0.1231 0.5248 0.0418 0.0003 0.0266 0.0000 0.1231 0.0610 0.0320 742-AH 0.0000 0.1847 0.8182 1.0000 1.0000 0.6543 0.4022 0.8153 1.0000 0.6146 0.1452 0.0001 0.3530 0.0000 1.0000 0.6543 0.4022 743-AH 0.0000 0.0177 0.1000 0.1667 1.0000 0.1560 0.2322 0.1489 1.0000 1.4879 0.0484 0.0002 0.1295 0.0000 0.2500 0.0925 0.0720 744-AH 0.0000 0.0266 0.4615 0.6000 1.0000 0.3905 0.2991 0.5734 1.0000 0.7658 0.0444 0.0000 0.2641 0.0000 1.0000 0.3905 0.2991 745-AH 0.0371 0.2232 0.2857 0.3969 0.5641 0.2916 0.1309 0.1737 0.5270 0.4489 0.2513 0.1908 0.1023 0.0371 0.5641 0.2916 0.1309 746-AH 0.0000 0.2372 0.4182 0.5804 0.7826 0.3909 0.2192 0.3432 0.7826 0.5608 0.2346 0.0003 0.1835 0.0000 0.7826 0.3909 0.2192 747-AH 0.0000 0.0000 0.0402 0.0497 0.3167 0.0597 0.0801 0.0497 0.3167 1.3425 0.0050 0.0000 0.0540 0.0000 0.1092 0.0308 0.0278 748-AH 0.0000 0.2135 0.2500 0.3281 0.5385 0.2706 0.1123 0.1147 0.5385 0.4151 0.1936 0.0003 0.0819 0.0778 0.5000 0.2707 0.0942 749-AH 0.0000 0.0494 0.1856 0.3696 0.5750 0.2308 0.1652 0.3201 0.5750 0.7160 0.1232 0.0003 0.1448 0.0000 0.5750 0.2308 0.1652 750-AH 0.0000 0.0000 0.0667 0.2213 0.3600 0.1109 0.1191 0.2213 0.3600 1.0743 0.0032 0.0000 0.1060 0.0000 0.3600 0.1109 0.1191 96 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.2583 0.6235 0.6809 0.3206 0.2740 0.6235 0.6809 0.8547 0.0184 0.0000 0.2531 0.0000 0.6809 0.3206 0.2740 702-AH 0.0000 0.0018 0.0043 0.0860 0.3333 0.0517 0.0794 0.0842 0.3333 1.5367 0.0097 0.0003 0.0604 0.0000 0.2000 0.0434 0.0634 703-AH 0.0000 0.2588 0.5147 0.6239 0.7222 0.4342 0.2286 0.3651 0.7222 0.5266 0.2556 0.0003 0.1969 0.0000 0.7222 0.4342 0.2286 704-AH 0.0000 0.0256 0.0497 0.0967 0.1515 0.0629 0.0431 0.0710 0.1515 0.6861 0.0322 0.0002 0.0377 0.0000 0.1515 0.0629 0.0431 705-AH 0.0000 0.5117 0.5942 0.6708 0.7255 0.5542 0.1611 0.1590 0.7255 0.2906 0.3972 0.0003 0.1101 0.2945 0.7255 0.5856 0.0986 706-AH 0.0000 0.1054 0.1498 0.3334 0.7500 0.2126 0.1681 0.2280 0.7500 0.7908 0.1023 0.0002 0.1310 0.0000 0.6250 0.1967 0.1418 707-AH 0.0000 0.0000 0.0000 0.1014 0.5577 0.0914 0.1513 0.1014 0.5577 1.6550 0.0010 0.0000 0.1062 0.0000 0.2439 0.0432 0.0654 708-AH 0.0000 0.1250 0.1881 0.2658 0.4286 0.2056 0.1227 0.1408 0.4286 0.5969 0.0853 0.0001 0.0946 0.0000 0.4286 0.2056 0.1227 709-AH 0.0000 0.4529 0.5116 0.7565 0.8519 0.5258 0.2527 0.3036 0.8519 0.4806 0.2070 0.0001 0.2061 0.0000 0.8519 0.5258 0.2527 710-AH 0.0000 0.0000 0.0056 0.0291 0.0515 0.0139 0.0158 0.0291 0.0515 1.1340 0.0009 0.0000 0.0138 0.0000 0.0515 0.0139 0.0158 711-AH 0.0000 0.0100 0.0231 0.0305 0.0541 0.0219 0.0150 0.0205 0.0541 0.6866 0.0087 0.0001 0.0118 0.0000 0.0541 0.0219 0.0150 712-AH 0.0682 1.0000 1.0000 1.0000 1.0000 0.9244 0.2343 0.0000 0.9318 0.2534 0.8381 0.5809 0.1339 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.1273 0.4318 0.6593 0.7059 0.3935 0.2596 0.5320 0.7059 0.6597 0.2182 0.0003 0.2401 0.0000 0.7059 0.3935 0.2596 714-AH 0.0000 0.0000 0.1135 0.1559 0.4483 0.1187 0.1084 0.1559 0.4483 0.9137 0.0096 0.0000 0.0770 0.0000 0.3824 0.1090 0.0934 715-AH 0.0000 0.0000 0.0000 0.0046 0.0114 0.0024 0.0038 0.0046 0.0114 1.6281 0.0001 0.0000 0.0032 0.0000 0.0114 0.0024 0.0038 716-AH 0.2155 0.6667 0.7619 0.8668 1.0000 0.7299 0.1832 0.2001 0.7845 0.2510 0.6965 0.6447 0.1297 0.5600 1.0000 0.7746 0.1122 717-AH 0.0103 0.0577 0.0947 0.1886 0.4091 0.1234 0.0865 0.1309 0.3988 0.7013 0.0938 0.0616 0.0679 0.0103 0.2903 0.1150 0.0719 718-AH 0.0000 0.0000 0.0459 0.0781 0.1333 0.0493 0.0397 0.0781 0.1333 0.8050 0.0052 0.0000 0.0320 0.0000 0.1333 0.0493 0.0397 719-AH 0.0000 0.0000 0.0139 0.0318 0.3030 0.0317 0.0594 0.0318 0.3030 1.8739 0.0010 0.0000 0.0366 0.0000 0.0655 0.0119 0.0158 720-AH 0.1600 0.8571 0.9444 0.9583 1.0000 0.8437 0.2191 0.1012 0.8400 0.2597 0.7896 0.6846 0.1451 0.7500 1.0000 0.9225 0.0604 721-AH 0.0000 0.3442 0.5714 0.7281 0.8500 0.5129 0.2645 0.3839 0.8500 0.5158 0.3101 0.0003 0.2231 0.0000 0.8500 0.5129 0.2645 722-AH 0.0000 0.0030 0.0117 0.0435 0.3333 0.0369 0.0622 0.0405 0.3333 1.6863 0.0045 0.0000 0.0382 0.0000 0.0882 0.0247 0.0294 723-AH 0.0000 0.0037 0.0061 0.0346 1.0000 0.1252 0.2855 0.0309 1.0000 2.2795 0.0115 0.0002 0.1832 0.0000 0.0435 0.0107 0.0120 724-AH 0.1192 0.3813 0.4706 0.5000 0.7273 0.4503 0.1087 0.1187 0.6081 0.2415 0.4339 0.4094 0.0795 0.2647 0.6111 0.4520 0.0821 725-AH 0.0616 0.3448 0.4500 0.6000 0.9000 0.4638 0.2037 0.2552 0.8384 0.4392 0.4065 0.3231 0.1611 0.0616 0.9000 0.4638 0.2037 726-AH 0.0860 0.2548 0.3889 0.4917 0.7000 0.3915 0.1628 0.2369 0.6140 0.4159 0.3537 0.3103 0.1338 0.0860 0.7000 0.3915 0.1628 727-AH 0.0000 0.0166 0.0895 0.1483 0.4815 0.1085 0.1059 0.1317 0.4815 0.9767 0.0232 0.0001 0.0798 0.0000 0.2679 0.0975 0.0850 728-AH 0.0000 0.1250 0.3200 0.3870 0.5357 0.2660 0.1731 0.2620 0.5357 0.6507 0.0593 0.0001 0.1457 0.0000 0.5357 0.2660 0.1731 729-AH 0.0000 0.0187 0.0566 0.1310 0.1887 0.0730 0.0559 0.1123 0.1887 0.7655 0.0406 0.0003 0.0509 0.0000 0.1887 0.0730 0.0559 730-AH 0.0000 0.1309 0.1862 0.2822 0.3966 0.2008 0.1007 0.1513 0.3966 0.5016 0.1365 0.0003 0.0845 0.0000 0.3966 0.2008 0.1007 731-AH 0.0000 0.0272 0.0658 0.0988 0.1389 0.0657 0.0373 0.0716 0.1389 0.5684 0.0446 0.0003 0.0323 0.0000 0.1389 0.0657 0.0373 732-AH 0.0251 0.0528 0.1064 0.1277 0.1918 0.0959 0.0449 0.0749 0.1667 0.4680 0.0838 0.0710 0.0386 0.0251 0.1918 0.0959 0.0449 733-AH 0.0000 0.0147 0.0282 0.0477 0.2000 0.0364 0.0392 0.0330 0.2000 1.0783 0.0101 0.0001 0.0251 0.0000 0.0938 0.0288 0.0222 734-AH 0.0119 0.1143 0.1406 0.1697 0.2182 0.1308 0.0490 0.0554 0.2063 0.3746 0.1158 0.0883 0.0377 0.0331 0.2182 0.1343 0.0451 735-AH 0.0000 0.0000 0.0000 0.0000 0.0523 0.0038 0.0116 0.0000 0.0523 3.0545 0.0000 0.0000 0.0067 0.0000 0.0000 0.0000 0.0000 736-AH 0.0130 0.0724 0.1120 0.1941 0.2708 0.1329 0.0802 0.1217 0.2578 0.6034 0.1033 0.0695 0.0678 0.0130 0.2708 0.1329 0.0802 737-AH 0.0000 0.0558 0.0912 0.1156 0.2661 0.0875 0.0646 0.0598 0.2661 0.7385 0.0127 0.0000 0.0474 0.0000 0.1966 0.0783 0.0534 738-AH 0.0000 0.0897 0.1742 0.6154 0.6944 0.3276 0.2758 0.5257 0.6944 0.8419 0.0502 0.0001 0.2576 0.0000 0.6944 0.3276 0.2758 739-AH 0.0000 0.3857 0.6667 1.0000 1.0000 0.6065 0.3686 0.6143 1.0000 0.6078 0.3026 0.0003 0.3212 0.0000 1.0000 0.6065 0.3686 740-AH 0.0000 0.0944 0.1949 0.2544 0.5366 0.1857 0.1247 0.1600 0.5366 0.6716 0.0292 0.0000 0.0925 0.0000 0.3860 0.1754 0.1104 741-AH 0.0000 0.0235 0.0382 0.0600 0.0917 0.0426 0.0277 0.0365 0.0917 0.6500 0.0162 0.0001 0.0217 0.0000 0.0917 0.0426 0.0277 742-AH 0.0000 0.1115 0.8182 1.0000 1.0000 0.5952 0.4034 0.8885 1.0000 0.6777 0.1056 0.0001 0.3659 0.0000 1.0000 0.5952 0.4034 743-AH 0.0000 0.0008 0.0089 0.0154 0.1176 0.0156 0.0236 0.0146 0.1176 1.5110 0.0021 0.0000 0.0142 0.0000 0.0290 0.0084 0.0078 744-AH 0.0000 0.0223 0.3415 0.5385 0.7826 0.3047 0.2463 0.5162 0.7826 0.8083 0.0359 0.0000 0.2148 0.0000 0.7826 0.3047 0.2463 745-AH 0.0000 0.1699 0.2626 0.3059 0.5098 0.2520 0.1217 0.1359 0.5098 0.4828 0.1707 0.0003 0.0945 0.0000 0.4643 0.2444 0.1148 746-AH 0.0000 0.2283 0.3429 0.5341 0.7429 0.3467 0.2161 0.3058 0.7429 0.6233 0.0973 0.0001 0.1792 0.0000 0.7429 0.3467 0.2161 747-AH 0.0000 0.0000 0.0394 0.0476 0.1985 0.0448 0.0519 0.0476 0.1985 1.1576 0.0029 0.0000 0.0358 0.0000 0.1143 0.0295 0.0290 748-AH 0.0000 0.2051 0.2400 0.2843 0.5385 0.2499 0.1093 0.0791 0.5385 0.4374 0.1784 0.0003 0.0767 0.1053 0.4000 0.2461 0.0748 749-AH 0.0000 0.0326 0.1706 0.3270 0.4643 0.2065 0.1545 0.2944 0.4643 0.7481 0.0692 0.0001 0.1371 0.0000 0.4643 0.2065 0.1545 750-AH 0.0000 0.0000 0.0446 0.1539 0.2727 0.0797 0.0951 0.1539 0.2727 1.1932 0.0017 0.0000 0.0802 0.0000 0.2727 0.0797 0.0951 97 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.2289 0.5615 0.6557 0.2906 0.2560 0.5615 0.6557 0.8807 0.0169 0.0000 0.2370 0.0000 0.6557 0.2906 0.2560 702-AH 0.0000 0.0018 0.0043 0.0860 0.3333 0.0517 0.0794 0.0842 0.3333 1.5367 0.0097 0.0003 0.0604 0.0000 0.2000 0.0434 0.0634 703-AH 0.0000 0.2159 0.5000 0.5658 0.6324 0.3860 0.2288 0.3499 0.6324 0.5928 0.1345 0.0001 0.2035 0.0000 0.6324 0.3860 0.2288 704-AH 0.0000 0.0228 0.0435 0.0612 0.1250 0.0446 0.0329 0.0384 0.1250 0.7376 0.0111 0.0001 0.0253 0.0000 0.1186 0.0422 0.0302 705-AH 0.0000 0.4379 0.5111 0.6356 0.6892 0.4880 0.1721 0.1977 0.6892 0.3527 0.3422 0.0003 0.1239 0.1513 0.6892 0.5154 0.1338 706-AH 0.0000 0.0000 0.0905 0.1793 0.7000 0.1216 0.1593 0.1793 0.7000 1.3102 0.0033 0.0000 0.1132 0.0000 0.3388 0.0914 0.1006 707-AH 0.0000 0.0000 0.0000 0.0898 0.2628 0.0476 0.0707 0.0898 0.2628 1.4846 0.0004 0.0000 0.0572 0.0000 0.2011 0.0413 0.0609 708-AH 0.0000 0.1157 0.1429 0.1634 0.2987 0.1341 0.0672 0.0477 0.2987 0.5009 0.0480 0.0001 0.0472 0.0823 0.2255 0.1464 0.0316 709-AH 0.0000 0.3404 0.4872 0.6391 0.8438 0.4669 0.2284 0.2987 0.8438 0.4891 0.1863 0.0001 0.1792 0.0000 0.8438 0.4669 0.2284 710-AH 0.0000 0.0000 0.0000 0.0173 0.0458 0.0097 0.0136 0.0173 0.0458 1.4004 0.0003 0.0000 0.0109 0.0000 0.0343 0.0087 0.0123 711-AH 0.0000 0.0000 0.0125 0.0200 0.0541 0.0135 0.0136 0.0200 0.0541 1.0111 0.0019 0.0000 0.0101 0.0000 0.0305 0.0110 0.0094 712-AH 0.0682 1.0000 1.0000 1.0000 1.0000 0.9244 0.2343 0.0000 0.9318 0.2534 0.8381 0.5809 0.1339 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0813 0.1961 0.6472 0.7059 0.3298 0.2790 0.5659 0.7059 0.8460 0.0798 0.0001 0.2602 0.0000 0.7059 0.3298 0.2790 714-AH 0.0000 0.0000 0.0676 0.1106 0.2807 0.0685 0.0780 0.1106 0.2807 1.1386 0.0024 0.0000 0.0617 0.0000 0.2462 0.0622 0.0697 715-AH 0.0000 0.0000 0.0000 0.0046 0.0114 0.0024 0.0038 0.0046 0.0114 1.6281 0.0001 0.0000 0.0032 0.0000 0.0114 0.0024 0.0038 716-AH 0.2155 0.6074 0.7200 0.8071 0.9091 0.6840 0.1710 0.1997 0.6936 0.2500 0.6538 0.6084 0.1257 0.5128 0.9091 0.7249 0.1087 717-AH 0.0000 0.0401 0.0688 0.1361 0.2821 0.0930 0.0749 0.0960 0.2821 0.8053 0.0449 0.0002 0.0613 0.0000 0.2558 0.0875 0.0683 718-AH 0.0000 0.0000 0.0420 0.0687 0.0921 0.0403 0.0300 0.0687 0.0921 0.7456 0.0046 0.0000 0.0241 0.0000 0.0921 0.0403 0.0300 719-AH 0.0000 0.0000 0.0000 0.0220 0.1429 0.0185 0.0340 0.0220 0.1429 1.8437 0.0003 0.0000 0.0231 0.0000 0.0296 0.0061 0.0100 720-AH 0.1600 0.7737 0.9130 0.9583 0.9630 0.8244 0.2235 0.1846 0.8030 0.2712 0.7697 0.6687 0.1591 0.6250 0.9630 0.8954 0.0940 721-AH 0.0000 0.2681 0.5714 0.6747 0.7586 0.4816 0.2514 0.4066 0.7586 0.5219 0.2906 0.0003 0.2183 0.0000 0.7586 0.4816 0.2514 722-AH 0.0000 0.0030 0.0117 0.0435 0.3333 0.0369 0.0622 0.0405 0.3333 1.6863 0.0045 0.0000 0.0382 0.0000 0.0882 0.0247 0.0294 723-AH 0.0000 0.0037 0.0061 0.0346 1.0000 0.1252 0.2855 0.0309 1.0000 2.2795 0.0115 0.0002 0.1832 0.0000 0.0435 0.0107 0.0120 724-AH 0.1192 0.3793 0.4400 0.4796 0.6111 0.4307 0.0960 0.1003 0.4919 0.2228 0.4169 0.3960 0.0695 0.2647 0.6111 0.4399 0.0804 725-AH 0.0375 0.2690 0.3421 0.4074 0.6111 0.3360 0.1394 0.1384 0.5736 0.4148 0.2935 0.2236 0.1041 0.0936 0.6111 0.3536 0.1227 726-AH 0.0000 0.1534 0.2368 0.3091 0.5625 0.2429 0.1238 0.1557 0.5625 0.5095 0.1671 0.0003 0.0929 0.0000 0.4091 0.2235 0.0975 727-AH 0.0000 0.0124 0.0810 0.1355 0.4815 0.1036 0.1073 0.1231 0.4815 1.0350 0.0120 0.0000 0.0801 0.0000 0.2679 0.0925 0.0860 728-AH 0.0000 0.1250 0.3200 0.3870 0.5357 0.2630 0.1758 0.2620 0.5357 0.6684 0.0466 0.0001 0.1483 0.0000 0.5357 0.2630 0.1758 729-AH 0.0000 0.0134 0.0405 0.1208 0.1887 0.0607 0.0570 0.1074 0.1887 0.9385 0.0117 0.0001 0.0507 0.0000 0.1887 0.0607 0.0570 730-AH 0.0000 0.1091 0.1463 0.2130 0.2903 0.1575 0.0793 0.1038 0.2903 0.5035 0.0859 0.0002 0.0660 0.0000 0.2903 0.1575 0.0793 731-AH 0.0000 0.0239 0.0528 0.0754 0.1364 0.0506 0.0341 0.0514 0.1364 0.6734 0.0224 0.0001 0.0288 0.0000 0.1364 0.0506 0.0341 732-AH 0.0000 0.0348 0.0697 0.0993 0.1405 0.0676 0.0362 0.0645 0.1405 0.5361 0.0383 0.0002 0.0305 0.0000 0.1405 0.0676 0.0362 733-AH 0.0000 0.0147 0.0282 0.0477 0.2000 0.0364 0.0392 0.0330 0.2000 1.0783 0.0101 0.0001 0.0251 0.0000 0.0938 0.0288 0.0222 734-AH 0.0119 0.0500 0.1176 0.1588 0.2182 0.1074 0.0594 0.1088 0.2063 0.5532 0.0861 0.0622 0.0528 0.0119 0.2182 0.1074 0.0594 735-AH 0.0000 0.0000 0.0000 0.0000 0.0523 0.0023 0.0098 0.0000 0.0523 4.3506 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0597 0.0895 0.1107 0.2679 0.0921 0.0599 0.0510 0.2679 0.6511 0.0483 0.0002 0.0441 0.0000 0.1765 0.0825 0.0464 737-AH 0.0000 0.0000 0.0751 0.0939 0.1798 0.0680 0.0529 0.0939 0.1798 0.7779 0.0067 0.0000 0.0418 0.0000 0.1798 0.0680 0.0529 738-AH 0.0000 0.0000 0.1718 0.4868 0.6526 0.2545 0.2321 0.4868 0.6526 0.9120 0.0118 0.0000 0.2175 0.0000 0.6526 0.2545 0.2321 739-AH 0.0000 0.0285 0.3158 0.4613 1.0000 0.3242 0.3103 0.4328 1.0000 0.9568 0.1016 0.0002 0.2490 0.0000 1.0000 0.3242 0.3103 740-AH 0.0000 0.0887 0.1795 0.2323 0.3506 0.1680 0.1043 0.1436 0.3506 0.6205 0.0272 0.0000 0.0811 0.0000 0.3506 0.1680 0.1043 741-AH 0.0000 0.0199 0.0328 0.0450 0.0872 0.0363 0.0245 0.0250 0.0872 0.6744 0.0141 0.0001 0.0182 0.0000 0.0822 0.0333 0.0219 742-AH 0.0000 0.0458 0.6111 0.9531 1.0000 0.5035 0.4077 0.9074 1.0000 0.8097 0.0510 0.0000 0.3685 0.0000 1.0000 0.5035 0.4077 743-AH 0.0000 0.0008 0.0089 0.0154 0.1176 0.0156 0.0236 0.0146 0.1176 1.5110 0.0021 0.0000 0.0142 0.0000 0.0290 0.0084 0.0078 744-AH 0.0000 0.0192 0.2982 0.4754 0.7826 0.2768 0.2380 0.4562 0.7826 0.8601 0.0260 0.0000 0.2062 0.0000 0.7826 0.2768 0.2380 745-AH 0.0000 0.1303 0.2388 0.2741 0.3929 0.2170 0.0970 0.1438 0.3929 0.4469 0.1501 0.0003 0.0773 0.0000 0.3929 0.2170 0.0970 746-AH 0.0000 0.1352 0.2727 0.4832 0.6327 0.3000 0.2041 0.3480 0.6327 0.6803 0.0816 0.0001 0.1747 0.0000 0.6327 0.3000 0.2041 747-AH 0.0000 0.0000 0.0320 0.0463 0.1416 0.0312 0.0391 0.0463 0.1416 1.2550 0.0008 0.0000 0.0303 0.0000 0.1084 0.0248 0.0298 748-AH 0.0000 0.1975 0.2162 0.2477 0.4706 0.2243 0.0971 0.0501 0.4706 0.4328 0.1597 0.0003 0.0645 0.1944 0.2963 0.2204 0.0232 749-AH 0.0000 0.0096 0.1694 0.2699 0.4247 0.1657 0.1326 0.2604 0.4247 0.8002 0.0154 0.0000 0.1099 0.0000 0.4247 0.1657 0.1326 750-AH 0.0000 0.0000 0.0000 0.1186 0.2027 0.0580 0.0737 0.1186 0.2027 1.2716 0.0007 0.0000 0.0639 0.0000 0.2027 0.0580 0.0737 98 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.1858 0.5609 0.6286 0.2709 0.2548 0.5609 0.6286 0.9406 0.0121 0.0000 0.2379 0.0000 0.6286 0.2709 0.2548 702-AH 0.0000 0.0000 0.0038 0.0208 0.1818 0.0231 0.0477 0.0208 0.1818 2.0661 0.0011 0.0000 0.0302 0.0000 0.0465 0.0075 0.0120 703-AH 0.0000 0.1224 0.3533 0.3898 0.5532 0.2711 0.1814 0.2674 0.5532 0.6693 0.0304 0.0000 0.1577 0.0000 0.5532 0.2711 0.1814 704-AH 0.0000 0.0173 0.0247 0.0499 0.1186 0.0331 0.0263 0.0326 0.1186 0.7931 0.0085 0.0001 0.0204 0.0000 0.0897 0.0306 0.0220 705-AH 0.0000 0.4017 0.4874 0.5793 0.6593 0.4456 0.1759 0.1776 0.6593 0.3947 0.3018 0.0003 0.1265 0.3314 0.6593 0.5071 0.0925 706-AH 0.0000 0.0000 0.0722 0.1296 0.4298 0.0895 0.1076 0.1296 0.4298 1.2029 0.0023 0.0000 0.0825 0.0000 0.2800 0.0794 0.0912 707-AH 0.0000 0.0000 0.0000 0.0000 0.1796 0.0083 0.0327 0.0000 0.1796 3.9164 0.0000 0.0000 0.0152 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0844 0.1340 0.1514 0.1942 0.1113 0.0627 0.0670 0.1942 0.5637 0.0249 0.0001 0.0503 0.0000 0.1942 0.1113 0.0627 709-AH 0.0000 0.2289 0.4714 0.5240 0.6610 0.3822 0.2144 0.2952 0.6610 0.5610 0.0889 0.0001 0.1789 0.0000 0.6610 0.3822 0.2144 710-AH 0.0000 0.0000 0.0000 0.0104 0.0458 0.0068 0.0114 0.0104 0.0458 1.6834 0.0002 0.0000 0.0085 0.0000 0.0215 0.0039 0.0063 711-AH 0.0000 0.0000 0.0000 0.0093 0.0175 0.0046 0.0058 0.0093 0.0175 1.2783 0.0002 0.0000 0.0052 0.0000 0.0175 0.0046 0.0058 712-AH 0.0400 0.7143 1.0000 1.0000 1.0000 0.8382 0.2635 0.2857 0.9600 0.3143 0.7283 0.4072 0.2034 0.4167 1.0000 0.8864 0.1785 713-AH 0.0000 0.0581 0.1961 0.5439 0.6852 0.2759 0.2570 0.4857 0.6852 0.9316 0.0505 0.0001 0.2306 0.0000 0.6852 0.2759 0.2570 714-AH 0.0000 0.0000 0.0000 0.0835 0.1727 0.0424 0.0614 0.0835 0.1727 1.4482 0.0004 0.0000 0.0520 0.0000 0.1727 0.0424 0.0614 715-AH 0.0000 0.0000 0.0000 0.0000 0.0114 0.0018 0.0038 0.0000 0.0114 2.0737 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000 716-AH 0.2143 0.5188 0.6486 0.7477 0.9091 0.6119 0.1640 0.2289 0.6948 0.2680 0.5843 0.5472 0.1331 0.2143 0.9091 0.6119 0.1640 717-AH 0.0000 0.0044 0.0565 0.1089 0.2453 0.0694 0.0664 0.1045 0.2453 0.9564 0.0076 0.0000 0.0548 0.0000 0.2453 0.0694 0.0664 718-AH 0.0000 0.0000 0.0341 0.0452 0.0791 0.0306 0.0241 0.0452 0.0791 0.7860 0.0031 0.0000 0.0195 0.0000 0.0791 0.0306 0.0241 719-AH 0.0000 0.0000 0.0000 0.0000 0.1027 0.0087 0.0231 0.0000 0.1027 2.6398 0.0000 0.0000 0.0145 0.0000 0.0000 0.0000 0.0000 720-AH 0.1600 0.6788 0.8889 0.9583 0.9630 0.7827 0.2346 0.2796 0.8030 0.2997 0.7261 0.6326 0.1864 0.3898 0.9630 0.8371 0.1569 721-AH 0.0000 0.2627 0.5333 0.5714 0.7027 0.4264 0.2181 0.3087 0.7027 0.5113 0.2602 0.0003 0.1859 0.0000 0.7027 0.4264 0.2181 722-AH 0.0000 0.0000 0.0000 0.0068 0.3333 0.0163 0.0576 0.0068 0.3333 3.5300 0.0002 0.0000 0.0246 0.0000 0.0095 0.0020 0.0032 723-AH 0.0000 0.0023 0.0035 0.0053 0.0400 0.0067 0.0100 0.0030 0.0400 1.4994 0.0023 0.0001 0.0062 0.0000 0.0081 0.0033 0.0019 724-AH 0.1192 0.3556 0.3824 0.4400 0.6111 0.3863 0.0945 0.0844 0.4919 0.2447 0.3720 0.3522 0.0654 0.2340 0.5500 0.3938 0.0676 725-AH 0.0227 0.1771 0.2464 0.3012 0.5185 0.2378 0.1053 0.1240 0.4959 0.4428 0.2002 0.1345 0.0783 0.0227 0.3784 0.2296 0.0947 726-AH 0.0000 0.0318 0.1014 0.1372 0.3143 0.1117 0.0911 0.1054 0.3143 0.8154 0.0335 0.0001 0.0699 0.0000 0.2683 0.0997 0.0788 727-AH 0.0000 0.0000 0.0810 0.1355 0.4815 0.0997 0.1051 0.1355 0.4815 1.0545 0.0078 0.0000 0.0766 0.0000 0.2679 0.0884 0.0827 728-AH 0.0000 0.0505 0.3200 0.3870 0.5294 0.2506 0.1800 0.3365 0.5294 0.7182 0.0339 0.0000 0.1572 0.0000 0.5294 0.2506 0.1800 729-AH 0.0000 0.0021 0.0308 0.1080 0.1887 0.0557 0.0574 0.1060 0.1887 1.0310 0.0057 0.0000 0.0509 0.0000 0.1887 0.0557 0.0574 730-AH 0.0000 0.0868 0.1122 0.1579 0.2340 0.1188 0.0675 0.0711 0.2340 0.5679 0.0334 0.0001 0.0526 0.0000 0.2340 0.1188 0.0675 731-AH 0.0000 0.0188 0.0394 0.0570 0.1085 0.0414 0.0317 0.0382 0.1085 0.7666 0.0102 0.0001 0.0263 0.0000 0.1085 0.0414 0.0317 732-AH 0.0000 0.0281 0.0474 0.0768 0.1090 0.0483 0.0325 0.0487 0.1090 0.6732 0.0099 0.0000 0.0270 0.0000 0.1090 0.0483 0.0325 733-AH 0.0000 0.0097 0.0211 0.0360 0.1111 0.0277 0.0251 0.0263 0.1111 0.9067 0.0083 0.0001 0.0187 0.0000 0.0714 0.0253 0.0208 734-AH 0.0000 0.0359 0.0694 0.1132 0.2182 0.0792 0.0597 0.0773 0.2182 0.7536 0.0392 0.0002 0.0506 0.0000 0.2182 0.0792 0.0597 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0266 0.0528 0.0677 0.2088 0.0583 0.0482 0.0411 0.2088 0.8268 0.0137 0.0001 0.0322 0.0000 0.1161 0.0494 0.0321 737-AH 0.0000 0.0000 0.0590 0.0787 0.1190 0.0455 0.0401 0.0787 0.1190 0.8817 0.0021 0.0000 0.0364 0.0000 0.1190 0.0455 0.0401 738-AH 0.0000 0.0000 0.1718 0.3967 0.4768 0.2009 0.1896 0.3967 0.4768 0.9437 0.0049 0.0000 0.1761 0.0000 0.4768 0.2009 0.1896 739-AH 0.0000 0.0255 0.2105 0.3124 0.7647 0.2308 0.2312 0.2869 0.7647 1.0019 0.0613 0.0001 0.1793 0.0000 0.7222 0.2151 0.2149 740-AH 0.0000 0.0605 0.1447 0.2069 0.3028 0.1373 0.0914 0.1464 0.3028 0.6652 0.0227 0.0000 0.0762 0.0000 0.3028 0.1373 0.0914 741-AH 0.0000 0.0199 0.0295 0.0407 0.0872 0.0324 0.0227 0.0208 0.0872 0.7018 0.0087 0.0001 0.0167 0.0000 0.0636 0.0279 0.0179 742-AH 0.0000 0.0069 0.1250 0.4879 0.8750 0.2501 0.2795 0.4810 0.8750 1.1177 0.0165 0.0000 0.2442 0.0000 0.8750 0.2501 0.2795 743-AH 0.0000 0.0008 0.0089 0.0154 0.1176 0.0156 0.0236 0.0146 0.1176 1.5110 0.0021 0.0000 0.0142 0.0000 0.0290 0.0084 0.0078 744-AH 0.0000 0.0053 0.2346 0.3746 0.7600 0.2294 0.2072 0.3693 0.7600 0.9033 0.0179 0.0000 0.1750 0.0000 0.7600 0.2294 0.2072 745-AH 0.0000 0.1066 0.1594 0.2182 0.3451 0.1650 0.0810 0.1116 0.3451 0.4912 0.0918 0.0002 0.0685 0.0000 0.3451 0.1650 0.0810 746-AH 0.0000 0.0000 0.2135 0.4066 0.5000 0.2222 0.1811 0.4066 0.5000 0.8150 0.0148 0.0000 0.1583 0.0000 0.5000 0.2222 0.1811 747-AH 0.0000 0.0000 0.0000 0.0000 0.1319 0.0159 0.0324 0.0000 0.1319 2.0411 0.0001 0.0000 0.0245 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.1950 0.2105 0.2477 0.3913 0.2047 0.0798 0.0527 0.3913 0.3898 0.1472 0.0003 0.0540 0.1500 0.3158 0.2270 0.0431 749-AH 0.0000 0.0096 0.0899 0.2059 0.3140 0.1160 0.1042 0.1964 0.3140 0.8983 0.0114 0.0000 0.0871 0.0000 0.3140 0.1160 0.1042 750-AH 0.0000 0.0000 0.0000 0.0937 0.1425 0.0375 0.0513 0.0937 0.1425 1.3698 0.0003 0.0000 0.0471 0.0000 0.1425 0.0375 0.0513 99 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.1126 0.4919 0.5778 0.2396 0.2399 0.4919 0.5778 1.0010 0.0083 0.0000 0.2269 0.0000 0.5778 0.2396 0.2399 702-AH 0.0000 0.0000 0.0038 0.0208 0.1818 0.0231 0.0477 0.0208 0.1818 2.0661 0.0011 0.0000 0.0302 0.0000 0.0465 0.0075 0.0120 703-AH 0.0000 0.0000 0.0000 0.1813 0.4755 0.0815 0.1361 0.1813 0.4755 1.6697 0.0002 0.0000 0.1123 0.0000 0.3836 0.0699 0.1193 704-AH 0.0000 0.0127 0.0246 0.0444 0.0860 0.0268 0.0213 0.0316 0.0860 0.7934 0.0059 0.0000 0.0170 0.0000 0.0860 0.0268 0.0213 705-AH 0.0000 0.3297 0.4359 0.4990 0.6226 0.3833 0.1971 0.1694 0.6226 0.5141 0.0912 0.0001 0.1527 0.0881 0.6226 0.4472 0.1264 706-AH 0.0000 0.0000 0.0000 0.1168 0.1939 0.0503 0.0663 0.1168 0.1939 1.3193 0.0004 0.0000 0.0603 0.0000 0.1939 0.0503 0.0663 707-AH 0.0000 0.0000 0.0000 0.0000 0.0894 0.0044 0.0184 0.0000 0.0894 4.1782 0.0000 0.0000 0.0083 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0624 0.1123 0.1333 0.1902 0.0901 0.0565 0.0709 0.1902 0.6268 0.0134 0.0000 0.0473 0.0000 0.1902 0.0901 0.0565 709-AH 0.0000 0.2124 0.3486 0.4445 0.6610 0.3041 0.1803 0.2321 0.6610 0.5929 0.0569 0.0001 0.1464 0.0000 0.6610 0.3041 0.1803 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0093 0.0175 0.0046 0.0058 0.0093 0.0175 1.2783 0.0002 0.0000 0.0052 0.0000 0.0175 0.0046 0.0058 712-AH 0.0000 0.7143 1.0000 1.0000 1.0000 0.7918 0.3210 0.2857 1.0000 0.4054 0.3803 0.0002 0.2427 0.4167 1.0000 0.8916 0.1633 713-AH 0.0000 0.0000 0.0000 0.1684 0.6852 0.1399 0.2228 0.1684 0.6852 1.5926 0.0012 0.0000 0.1744 0.0000 0.3929 0.0488 0.0909 714-AH 0.0000 0.0000 0.0000 0.0427 0.1058 0.0198 0.0336 0.0427 0.1058 1.7007 0.0001 0.0000 0.0282 0.0000 0.1058 0.0198 0.0336 715-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0016 0.0036 0.0000 0.0100 2.2345 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000 716-AH 0.0790 0.4934 0.5333 0.6441 0.7273 0.5301 0.1471 0.1507 0.6482 0.2775 0.4973 0.4340 0.1021 0.3117 0.7273 0.5640 0.0976 717-AH 0.0000 0.0000 0.0333 0.0812 0.1807 0.0460 0.0459 0.0812 0.1807 0.9977 0.0046 0.0000 0.0363 0.0000 0.1807 0.0460 0.0459 718-AH 0.0000 0.0000 0.0276 0.0409 0.0673 0.0217 0.0216 0.0409 0.0673 0.9977 0.0009 0.0000 0.0198 0.0000 0.0673 0.0217 0.0216 719-AH 0.0000 0.0000 0.0000 0.0000 0.0320 0.0028 0.0082 0.0000 0.0320 2.9567 0.0000 0.0000 0.0049 0.0000 0.0000 0.0000 0.0000 720-AH 0.1238 0.6083 0.7879 0.9304 0.9630 0.7171 0.2511 0.3222 0.8392 0.3502 0.6497 0.5465 0.2044 0.2114 0.9630 0.7345 0.2324 721-AH 0.0000 0.2351 0.4828 0.5437 0.5957 0.3885 0.2028 0.3086 0.5957 0.5219 0.2327 0.0003 0.1747 0.0000 0.5957 0.3885 0.2028 722-AH 0.0000 0.0000 0.0000 0.0000 0.0435 0.0030 0.0087 0.0000 0.0435 2.8730 0.0000 0.0000 0.0050 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0023 0.0035 0.0053 0.0400 0.0067 0.0100 0.0030 0.0400 1.4994 0.0023 0.0001 0.0062 0.0000 0.0081 0.0033 0.0019 724-AH 0.0000 0.2902 0.3514 0.3824 0.4375 0.3147 0.1064 0.0922 0.4375 0.3382 0.1784 0.0002 0.0745 0.1781 0.4375 0.3466 0.0549 725-AH 0.0000 0.0862 0.1584 0.2519 0.3200 0.1605 0.1009 0.1657 0.3200 0.6288 0.0412 0.0001 0.0866 0.0000 0.3200 0.1605 0.1009 726-AH 0.0000 0.0209 0.0916 0.1297 0.2264 0.0925 0.0733 0.1088 0.2264 0.7928 0.0124 0.0000 0.0598 0.0000 0.2264 0.0925 0.0733 727-AH 0.0000 0.0000 0.0810 0.1355 0.2679 0.0928 0.0871 0.1355 0.2679 0.9376 0.0062 0.0000 0.0697 0.0000 0.2679 0.0928 0.0871 728-AH 0.0000 0.0000 0.2800 0.3670 0.5128 0.2269 0.1705 0.3670 0.5128 0.7512 0.0157 0.0000 0.1497 0.0000 0.5128 0.2269 0.1705 729-AH 0.0000 0.0000 0.0168 0.0796 0.1887 0.0402 0.0545 0.0796 0.1887 1.3541 0.0011 0.0000 0.0452 0.0000 0.1887 0.0402 0.0545 730-AH 0.0000 0.0590 0.0979 0.1235 0.1931 0.0918 0.0547 0.0645 0.1931 0.5959 0.0214 0.0001 0.0419 0.0000 0.1931 0.0918 0.0547 731-AH 0.0000 0.0000 0.0184 0.0424 0.0813 0.0237 0.0263 0.0424 0.0813 1.1106 0.0007 0.0000 0.0236 0.0000 0.0813 0.0237 0.0263 732-AH 0.0000 0.0000 0.0358 0.0613 0.0965 0.0349 0.0318 0.0613 0.0965 0.9110 0.0022 0.0000 0.0273 0.0000 0.0965 0.0349 0.0318 733-AH 0.0000 0.0022 0.0168 0.0321 0.0610 0.0196 0.0169 0.0299 0.0610 0.8657 0.0031 0.0000 0.0145 0.0000 0.0610 0.0196 0.0169 734-AH 0.0000 0.0177 0.0361 0.0930 0.1807 0.0525 0.0480 0.0753 0.1807 0.9151 0.0095 0.0000 0.0389 0.0000 0.1807 0.0525 0.0480 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0228 0.0329 0.0587 0.1489 0.0402 0.0353 0.0359 0.1489 0.8773 0.0067 0.0000 0.0251 0.0000 0.0729 0.0336 0.0233 737-AH 0.0000 0.0000 0.0000 0.0000 0.1144 0.0183 0.0352 0.0000 0.1144 1.9207 0.0001 0.0000 0.0283 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.1335 0.2602 0.3510 0.1304 0.1274 0.2602 0.3510 0.9764 0.0030 0.0000 0.1126 0.0000 0.3510 0.1304 0.1274 739-AH 0.0000 0.0184 0.1148 0.2398 0.5833 0.1528 0.1681 0.2214 0.5833 1.1004 0.0180 0.0000 0.1330 0.0000 0.5385 0.1401 0.1527 740-AH 0.0000 0.0500 0.1152 0.1737 0.2815 0.1133 0.0810 0.1237 0.2815 0.7153 0.0154 0.0000 0.0652 0.0000 0.2815 0.1133 0.0810 741-AH 0.0000 0.0192 0.0292 0.0362 0.0872 0.0283 0.0209 0.0170 0.0872 0.7386 0.0053 0.0000 0.0151 0.0000 0.0546 0.0251 0.0167 742-AH 0.0000 0.0000 0.0000 0.1602 0.6154 0.1303 0.2062 0.1602 0.6154 1.5823 0.0011 0.0000 0.1557 0.0000 0.2162 0.0424 0.0668 743-AH 0.0000 0.0000 0.0000 0.0043 0.0132 0.0026 0.0046 0.0043 0.0132 1.7608 0.0001 0.0000 0.0037 0.0000 0.0100 0.0013 0.0030 744-AH 0.0000 0.0000 0.1678 0.3356 0.6857 0.1855 0.1831 0.3356 0.6857 0.9870 0.0075 0.0000 0.1537 0.0000 0.6857 0.1855 0.1831 745-AH 0.0000 0.0848 0.1163 0.1859 0.3108 0.1317 0.0790 0.1011 0.3108 0.6002 0.0456 0.0001 0.0627 0.0000 0.3108 0.1317 0.0790 746-AH 0.0000 0.0000 0.1294 0.2933 0.4421 0.1545 0.1506 0.2933 0.4421 0.9750 0.0042 0.0000 0.1351 0.0000 0.4421 0.1545 0.1506 747-AH 0.0000 0.0000 0.0000 0.0000 0.0538 0.0044 0.0147 0.0000 0.0538 3.3179 0.0000 0.0000 0.0081 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.1245 0.2075 0.2239 0.3333 0.1833 0.0925 0.0994 0.3333 0.5047 0.0766 0.0001 0.0701 0.0000 0.3333 0.1833 0.0925 749-AH 0.0000 0.0000 0.0615 0.1565 0.3088 0.0817 0.0892 0.1565 0.3088 1.0916 0.0028 0.0000 0.0738 0.0000 0.3088 0.0817 0.0892 750-AH 0.0000 0.0000 0.0000 0.0000 0.0859 0.0134 0.0301 0.0000 0.0859 2.2387 0.0000 0.0000 0.0223 0.0000 0.0000 0.0000 0.0000 100 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0612 0.3027 0.5085 0.1445 0.1807 0.3027 0.5085 1.2509 0.0017 0.0000 0.1616 0.0000 0.5085 0.1445 0.1807 702-AH 0.0000 0.0000 0.0038 0.0208 0.1818 0.0231 0.0477 0.0208 0.1818 2.0661 0.0011 0.0000 0.0302 0.0000 0.0465 0.0075 0.0120 703-AH 0.0000 0.0000 0.0000 0.0000 0.4726 0.0187 0.0848 0.0000 0.4726 4.5257 0.0000 0.0000 0.0354 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0112 0.0194 0.0307 0.0698 0.0206 0.0169 0.0195 0.0698 0.8171 0.0040 0.0000 0.0126 0.0000 0.0535 0.0192 0.0147 705-AH 0.0000 0.2885 0.3957 0.4321 0.5827 0.3353 0.1698 0.1436 0.5827 0.5063 0.0818 0.0001 0.1328 0.0821 0.5827 0.3912 0.1057 706-AH 0.0000 0.0000 0.0000 0.0924 0.1590 0.0375 0.0552 0.0924 0.1590 1.4738 0.0002 0.0000 0.0493 0.0000 0.1590 0.0375 0.0552 707-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0000 0.0597 0.1174 0.1809 0.0675 0.0556 0.1174 0.1809 0.8238 0.0052 0.0000 0.0480 0.0000 0.1809 0.0675 0.0556 709-AH 0.0000 0.0892 0.2353 0.3532 0.5244 0.2352 0.1633 0.2639 0.5244 0.6945 0.0433 0.0001 0.1391 0.0000 0.5244 0.2352 0.1633 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0089 0.0011 0.0028 0.0000 0.0089 2.5068 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.7143 1.0000 1.0000 1.0000 0.7918 0.3210 0.2857 1.0000 0.4054 0.3803 0.0002 0.2427 0.4167 1.0000 0.8916 0.1633 713-AH 0.0000 0.0000 0.0000 0.0000 0.1429 0.0094 0.0337 0.0000 0.1429 3.5877 0.0000 0.0000 0.0172 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0011 0.0031 0.0000 0.0100 2.8308 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000 716-AH 0.0756 0.4737 0.5082 0.5838 0.6750 0.4857 0.1450 0.1102 0.5994 0.2985 0.4513 0.3901 0.1004 0.4091 0.6750 0.5415 0.0719 717-AH 0.0000 0.0000 0.0265 0.0440 0.1417 0.0340 0.0377 0.0440 0.1417 1.1082 0.0024 0.0000 0.0281 0.0000 0.1090 0.0309 0.0333 718-AH 0.0000 0.0000 0.0000 0.0323 0.0442 0.0150 0.0180 0.0323 0.0442 1.1993 0.0003 0.0000 0.0172 0.0000 0.0442 0.0150 0.0180 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0482 0.2235 0.4110 0.5915 0.9091 0.4249 0.2515 0.3680 0.8609 0.5918 0.3359 0.2386 0.1967 0.0482 0.9091 0.4249 0.2515 721-AH 0.0000 0.1401 0.3750 0.4211 0.5614 0.3141 0.1800 0.2809 0.5614 0.5731 0.0935 0.0001 0.1529 0.0000 0.5614 0.3141 0.1800 722-AH 0.0000 0.0000 0.0000 0.0000 0.0435 0.0030 0.0087 0.0000 0.0435 2.8730 0.0000 0.0000 0.0050 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0023 0.0035 0.0053 0.0400 0.0067 0.0100 0.0030 0.0400 1.4994 0.0023 0.0001 0.0062 0.0000 0.0081 0.0033 0.0019 724-AH 0.0000 0.1550 0.2830 0.3315 0.4054 0.2527 0.1103 0.1765 0.4054 0.4367 0.1381 0.0002 0.0902 0.0000 0.4054 0.2527 0.1103 725-AH 0.0000 0.0259 0.0575 0.1285 0.2093 0.0746 0.0647 0.1025 0.2093 0.8671 0.0156 0.0001 0.0533 0.0000 0.2093 0.0746 0.0647 726-AH 0.0000 0.0041 0.0586 0.0816 0.1346 0.0509 0.0436 0.0775 0.1346 0.8578 0.0062 0.0000 0.0383 0.0000 0.1346 0.0509 0.0436 727-AH 0.0000 0.0000 0.0810 0.1355 0.2623 0.0925 0.0864 0.1355 0.2623 0.9343 0.0062 0.0000 0.0692 0.0000 0.2623 0.0925 0.0864 728-AH 0.0000 0.0000 0.1558 0.3076 0.4035 0.1578 0.1424 0.3076 0.4035 0.9022 0.0071 0.0000 0.1224 0.0000 0.4035 0.1578 0.1424 729-AH 0.0000 0.0000 0.0131 0.0352 0.0909 0.0232 0.0310 0.0352 0.0909 1.3330 0.0007 0.0000 0.0249 0.0000 0.0873 0.0192 0.0268 730-AH 0.0000 0.0000 0.0699 0.0907 0.1528 0.0573 0.0508 0.0907 0.1528 0.8865 0.0030 0.0000 0.0439 0.0000 0.1528 0.0573 0.0508 731-AH 0.0000 0.0000 0.0000 0.0192 0.0273 0.0068 0.0103 0.0192 0.0273 1.5166 0.0001 0.0000 0.0093 0.0000 0.0273 0.0068 0.0103 732-AH 0.0000 0.0000 0.0000 0.0465 0.0943 0.0207 0.0274 0.0465 0.0943 1.3240 0.0003 0.0000 0.0248 0.0000 0.0943 0.0207 0.0274 733-AH 0.0000 0.0022 0.0168 0.0321 0.0610 0.0196 0.0169 0.0299 0.0610 0.8657 0.0031 0.0000 0.0145 0.0000 0.0610 0.0196 0.0169 734-AH 0.0000 0.0000 0.0000 0.0282 0.1301 0.0209 0.0354 0.0282 0.1301 1.6955 0.0003 0.0000 0.0254 0.0000 0.0702 0.0119 0.0197 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0270 0.1188 0.0197 0.0301 0.0270 0.1188 1.5260 0.0003 0.0000 0.0226 0.0000 0.0574 0.0141 0.0199 737-AH 0.0000 0.0000 0.0000 0.0000 0.0808 0.0102 0.0253 0.0000 0.0808 2.4923 0.0000 0.0000 0.0174 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0745 0.1252 0.0288 0.0500 0.0745 0.1252 1.7330 0.0001 0.0000 0.0428 0.0000 0.1252 0.0288 0.0500 739-AH 0.0000 0.0000 0.0627 0.1178 0.3810 0.0849 0.1110 0.1178 0.3810 1.3078 0.0017 0.0000 0.0813 0.0000 0.2623 0.0577 0.0678 740-AH 0.0000 0.0000 0.0804 0.1402 0.1915 0.0813 0.0667 0.1402 0.1915 0.8200 0.0059 0.0000 0.0567 0.0000 0.1915 0.0813 0.0667 741-AH 0.0000 0.0000 0.0260 0.0336 0.0503 0.0215 0.0169 0.0336 0.0503 0.7867 0.0020 0.0000 0.0147 0.0000 0.0503 0.0215 0.0169 742-AH 0.0000 0.0000 0.0000 0.0696 0.4000 0.0566 0.1087 0.0696 0.4000 1.9192 0.0002 0.0000 0.0799 0.0000 0.1200 0.0135 0.0339 743-AH 0.0000 0.0000 0.0000 0.0043 0.0132 0.0026 0.0046 0.0043 0.0132 1.7608 0.0001 0.0000 0.0037 0.0000 0.0100 0.0013 0.0030 744-AH 0.0000 0.0000 0.1471 0.2545 0.6757 0.1540 0.1558 0.2545 0.6757 1.0112 0.0067 0.0000 0.1244 0.0000 0.3939 0.1387 0.1285 745-AH 0.0000 0.0646 0.0853 0.1349 0.2383 0.0947 0.0671 0.0703 0.2383 0.7085 0.0169 0.0000 0.0505 0.0000 0.2383 0.0947 0.0671 746-AH 0.0000 0.0000 0.0687 0.2112 0.3310 0.1108 0.1119 0.2112 0.3310 1.0103 0.0034 0.0000 0.0993 0.0000 0.3310 0.1108 0.1119 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.1245 0.2055 0.2208 0.3250 0.1815 0.0924 0.0963 0.3250 0.5093 0.0754 0.0001 0.0701 0.0000 0.3250 0.1815 0.0924 749-AH 0.0000 0.0000 0.0000 0.0000 0.1220 0.0209 0.0411 0.0000 0.1220 1.9691 0.0001 0.0000 0.0322 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 101 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0038 0.0208 0.1818 0.0231 0.0477 0.0208 0.1818 2.0661 0.0011 0.0000 0.0302 0.0000 0.0465 0.0075 0.0120 703-AH 0.0000 0.0000 0.0000 0.0000 0.3578 0.0155 0.0672 0.0000 0.3578 4.3419 0.0000 0.0000 0.0292 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0000 0.0187 0.0535 0.0104 0.0135 0.0187 0.0535 1.2984 0.0004 0.0000 0.0107 0.0000 0.0397 0.0092 0.0114 705-AH 0.0000 0.1802 0.3444 0.3617 0.4109 0.2698 0.1506 0.1814 0.4109 0.5583 0.0407 0.0000 0.1284 0.0000 0.4109 0.2698 0.1506 706-AH 0.0000 0.0000 0.0000 0.0000 0.1401 0.0160 0.0370 0.0000 0.1401 2.3157 0.0000 0.0000 0.0265 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0000 0.0000 0.0798 0.1340 0.0403 0.0482 0.0798 0.1340 1.1969 0.0006 0.0000 0.0437 0.0000 0.1340 0.0403 0.0482 709-AH 0.0000 0.0000 0.2279 0.3159 0.4615 0.1774 0.1558 0.3159 0.4615 0.8782 0.0076 0.0000 0.1428 0.0000 0.4615 0.1774 0.1558 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0071 0.0002 0.0012 0.0000 0.0071 5.9161 0.0000 0.0000 0.0004 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.1200 0.0105 0.0330 0.0000 0.1200 3.1297 0.0000 0.0000 0.0187 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0824 0.0042 0.0175 0.0000 0.0824 4.1510 0.0000 0.0000 0.0079 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0097 0.0003 0.0016 0.0000 0.0097 5.9161 0.0000 0.0000 0.0005 0.0000 0.0000 0.0000 0.0000 716-AH 0.0756 0.4047 0.4412 0.4704 0.6522 0.4170 0.1326 0.0657 0.5766 0.3180 0.3848 0.3301 0.0911 0.3793 0.5085 0.4464 0.0335 717-AH 0.0000 0.0000 0.0000 0.0242 0.1000 0.0131 0.0241 0.0242 0.1000 1.8357 0.0001 0.0000 0.0180 0.0000 0.0602 0.0086 0.0155 718-AH 0.0000 0.0000 0.0000 0.0000 0.0284 0.0008 0.0048 0.0000 0.0284 5.9161 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0449 0.0709 0.2125 0.0447 0.0463 0.0709 0.2125 1.0342 0.0025 0.0000 0.0346 0.0000 0.1130 0.0398 0.0364 721-AH 0.0000 0.0000 0.1979 0.3574 0.4405 0.1931 0.1598 0.3574 0.4405 0.8276 0.0106 0.0000 0.1400 0.0000 0.4405 0.1931 0.1598 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0023 0.0035 0.0053 0.0400 0.0067 0.0100 0.0030 0.0400 1.4994 0.0023 0.0001 0.0062 0.0000 0.0081 0.0033 0.0019 724-AH 0.0000 0.1039 0.2429 0.2537 0.3469 0.1918 0.0926 0.1497 0.3469 0.4827 0.0816 0.0001 0.0778 0.0000 0.3469 0.1918 0.0926 725-AH 0.0000 0.0000 0.0000 0.0316 0.0741 0.0164 0.0228 0.0316 0.0741 1.3904 0.0003 0.0000 0.0197 0.0000 0.0741 0.0164 0.0228 726-AH 0.0000 0.0000 0.0194 0.0450 0.0737 0.0218 0.0235 0.0450 0.0737 1.0812 0.0007 0.0000 0.0214 0.0000 0.0737 0.0218 0.0235 727-AH 0.0000 0.0000 0.0789 0.1312 0.2222 0.0783 0.0746 0.1312 0.2222 0.9524 0.0035 0.0000 0.0623 0.0000 0.2222 0.0783 0.0746 728-AH 0.0000 0.0000 0.0578 0.1970 0.2921 0.0959 0.1056 0.1970 0.2921 1.1013 0.0037 0.0000 0.0905 0.0000 0.2921 0.0959 0.1056 729-AH 0.0000 0.0000 0.0000 0.0000 0.0496 0.0020 0.0090 0.0000 0.0496 4.4944 0.0000 0.0000 0.0038 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0564 0.0838 0.0223 0.0319 0.0564 0.0838 1.4308 0.0002 0.0000 0.0293 0.0000 0.0838 0.0223 0.0319 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0508 0.0086 0.0176 0.0000 0.0508 2.0529 0.0001 0.0000 0.0137 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0089 0.0003 0.0015 0.0000 0.0089 5.9161 0.0000 0.0000 0.0005 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.0000 0.0933 0.0093 0.0221 0.0000 0.0933 2.3612 0.0001 0.0000 0.0149 0.0000 0.0000 0.0000 0.0000 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0428 0.0789 0.2278 0.0473 0.0549 0.0789 0.2278 1.1605 0.0013 0.0000 0.0442 0.0000 0.1242 0.0420 0.0457 740-AH 0.0000 0.0000 0.0000 0.0552 0.1124 0.0227 0.0358 0.0552 0.1124 1.5785 0.0002 0.0000 0.0311 0.0000 0.1124 0.0227 0.0358 741-AH 0.0000 0.0000 0.0000 0.0277 0.0429 0.0132 0.0152 0.0277 0.0429 1.1455 0.0004 0.0000 0.0144 0.0000 0.0429 0.0132 0.0152 742-AH 0.0000 0.0000 0.0000 0.0000 0.1198 0.0088 0.0241 0.0000 0.1198 2.7371 0.0000 0.0000 0.0146 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0043 0.0132 0.0026 0.0046 0.0043 0.0132 1.7608 0.0001 0.0000 0.0037 0.0000 0.0100 0.0013 0.0030 744-AH 0.0000 0.0000 0.0883 0.1491 0.5000 0.1072 0.1186 0.1491 0.5000 1.1071 0.0051 0.0000 0.0907 0.0000 0.3373 0.0956 0.0984 745-AH 0.0000 0.0000 0.0570 0.1155 0.1952 0.0553 0.0602 0.1155 0.1952 1.0890 0.0012 0.0000 0.0537 0.0000 0.1952 0.0553 0.0602 746-AH 0.0000 0.0000 0.0000 0.1080 0.1753 0.0508 0.0611 0.1080 0.1753 1.2034 0.0007 0.0000 0.0552 0.0000 0.1753 0.0508 0.0611 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.1613 0.1863 0.2500 0.1101 0.0884 0.1863 0.2500 0.8024 0.0072 0.0000 0.0813 0.0000 0.2500 0.1101 0.0884 749-AH 0.0000 0.0000 0.0000 0.0000 0.1040 0.0055 0.0226 0.0000 0.1040 4.1380 0.0000 0.0000 0.0103 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 102 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0038 0.0208 0.1818 0.0231 0.0477 0.0208 0.1818 2.0661 0.0011 0.0000 0.0302 0.0000 0.0465 0.0075 0.0120 703-AH 0.0000 0.0000 0.0000 0.0000 0.1115 0.0032 0.0189 0.0000 0.1115 5.9161 0.0000 0.0000 0.0062 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0000 0.0000 0.0159 0.0008 0.0034 0.0000 0.0159 4.1507 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0000 0.0000 0.1442 0.0071 0.0295 0.0000 0.1442 4.1831 0.0000 0.0000 0.0133 0.0000 0.0000 0.0000 0.0000 706-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0000 0.0000 0.0000 0.0491 0.0066 0.0164 0.0000 0.0491 2.4871 0.0000 0.0000 0.0113 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.1305 0.0055 0.0240 0.0000 0.1305 4.4075 0.0000 0.0000 0.0103 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0071 0.0002 0.0012 0.0000 0.0071 5.9161 0.0000 0.0000 0.0004 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.1200 0.0105 0.0330 0.0000 0.1200 3.1297 0.0000 0.0000 0.0187 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0097 0.0003 0.0016 0.0000 0.0097 5.9161 0.0000 0.0000 0.0005 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0845 0.2895 0.3227 0.5323 0.2259 0.1480 0.2382 0.5323 0.6552 0.0424 0.0001 0.1292 0.0000 0.5323 0.2259 0.1480 717-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0000 0.0450 0.0059 0.0146 0.0000 0.0450 2.4910 0.0000 0.0000 0.0100 0.0000 0.0000 0.0000 0.0000 721-AH 0.0000 0.0000 0.0000 0.1174 0.3679 0.0778 0.1309 0.1174 0.3679 1.6819 0.0002 0.0000 0.1067 0.0000 0.2708 0.0327 0.0722 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0023 0.0035 0.0053 0.0400 0.0067 0.0100 0.0030 0.0400 1.4994 0.0023 0.0001 0.0062 0.0000 0.0081 0.0033 0.0019 724-AH 0.0000 0.0000 0.1552 0.2278 0.2571 0.1219 0.1126 0.2278 0.2571 0.9236 0.0036 0.0000 0.1074 0.0000 0.2571 0.1219 0.1126 725-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0181 0.0005 0.0031 0.0000 0.0181 5.9161 0.0000 0.0000 0.0010 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0225 0.0523 0.1338 0.0290 0.0335 0.0523 0.1338 1.1558 0.0010 0.0000 0.0278 0.0000 0.0876 0.0259 0.0286 728-AH 0.0000 0.0000 0.0000 0.0000 0.0398 0.0021 0.0087 0.0000 0.0398 4.1352 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0364 0.0030 0.0100 0.0000 0.0364 3.3148 0.0000 0.0000 0.0055 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0089 0.0003 0.0015 0.0000 0.0089 5.9161 0.0000 0.0000 0.0005 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.0168 0.0404 0.0077 0.0136 0.0168 0.0404 1.7677 0.0001 0.0000 0.0114 0.0000 0.0404 0.0077 0.0136 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 742-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0043 0.0132 0.0026 0.0046 0.0043 0.0132 1.7608 0.0001 0.0000 0.0037 0.0000 0.0100 0.0013 0.0030 744-AH 0.0000 0.0000 0.0000 0.0729 0.1348 0.0360 0.0452 0.0729 0.1348 1.2558 0.0006 0.0000 0.0395 0.0000 0.1348 0.0360 0.0452 745-AH 0.0000 0.0000 0.0000 0.0000 0.0743 0.0040 0.0167 0.0000 0.0743 4.1270 0.0000 0.0000 0.0076 0.0000 0.0000 0.0000 0.0000 746-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.1562 0.1813 0.2083 0.1042 0.0846 0.1813 0.2083 0.8123 0.0055 0.0000 0.0783 0.0000 0.2083 0.1042 0.0846 749-AH 0.0000 0.0000 0.0000 0.0000 0.0650 0.0019 0.0110 0.0000 0.0650 5.9161 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 103 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5429 0.3238 0.4000 1.0000 0.5966 0.0704 0.0000 0.2694 0.0000 1.0000 0.5429 0.3238 702-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0171 0.0568 0.0000 0.2000 3.3137 0.0000 0.0000 0.0313 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.5000 0.8000 1.0000 1.0000 0.7029 0.3831 0.5000 1.0000 0.5450 0.1151 0.0001 0.3158 0.0000 1.0000 0.7029 0.3831 704-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1143 0.1396 0.2000 0.6000 1.2217 0.0013 0.0000 0.1176 0.0000 0.4000 0.1000 0.1128 705-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.7943 0.2543 0.4000 0.8000 0.3202 0.7375 0.6552 0.2132 0.2000 1.0000 0.7943 0.2543 706-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.6686 0.1811 0.2000 0.6000 0.2709 0.6432 0.6167 0.1544 0.4000 1.0000 0.6686 0.1811 707-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.3086 0.2843 0.4000 0.8000 0.9212 0.0183 0.0000 0.2384 0.0000 0.8000 0.3086 0.2843 708-AH 0.0000 0.2000 0.4000 0.8000 0.8000 0.4000 0.2870 0.6000 0.8000 0.7174 0.1136 0.0001 0.2400 0.0000 0.8000 0.4000 0.2870 709-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8400 0.3098 0.2000 1.0000 0.3689 0.3371 0.0001 0.2286 0.6000 1.0000 0.9533 0.1137 710-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0812 0.0000 0.2000 2.0292 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.8171 0.2443 0.4000 0.8000 0.2990 0.7644 0.6829 0.2090 0.2000 1.0000 0.8171 0.2443 713-AH 0.0000 0.4000 0.4000 0.6000 0.8000 0.4857 0.2130 0.2000 0.8000 0.4386 0.3373 0.0003 0.1780 0.2000 0.8000 0.5000 0.1985 714-AH 0.0000 0.0000 0.2000 0.3500 0.6000 0.1829 0.1839 0.3500 0.6000 1.0056 0.0047 0.0000 0.1463 0.0000 0.6000 0.1829 0.1839 715-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0114 0.0471 0.0000 0.2000 4.1213 0.0000 0.0000 0.0216 0.0000 0.0000 0.0000 0.0000 716-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.8857 0.1556 0.2000 0.4000 0.1756 0.8706 0.8537 0.1371 0.6000 1.0000 0.8857 0.1556 717-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2171 0.2079 0.4000 0.6000 0.9575 0.0052 0.0000 0.1806 0.0000 0.6000 0.2171 0.2079 718-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0743 0.1291 0.2000 0.4000 1.7382 0.0002 0.0000 0.1061 0.0000 0.4000 0.0743 0.1291 719-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1829 0.1902 0.4000 0.6000 1.0400 0.0036 0.0000 0.1567 0.0000 0.6000 0.1829 0.1902 720-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.9086 0.1961 0.2000 1.0000 0.2158 0.6685 0.0003 0.1306 0.6000 1.0000 0.9353 0.1178 721-AH 0.0000 0.2000 0.4000 0.8000 1.0000 0.4629 0.3020 0.6000 1.0000 0.6526 0.1028 0.0001 0.2504 0.0000 1.0000 0.4629 0.3020 722-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1200 0.1208 0.2000 0.4000 1.0065 0.0022 0.0000 0.1097 0.0000 0.4000 0.1200 0.1208 723-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0343 0.0765 0.0000 0.2000 2.2306 0.0001 0.0000 0.0568 0.0000 0.0000 0.0000 0.0000 724-AH 0.2000 0.4000 0.6000 0.6000 0.8000 0.5714 0.1759 0.2000 0.6000 0.3077 0.5378 0.4941 0.1322 0.2000 0.8000 0.5714 0.1759 725-AH 0.2000 0.4000 0.4000 0.6000 1.0000 0.5143 0.2290 0.2000 0.8000 0.4453 0.4624 0.4102 0.1927 0.2000 0.8000 0.4848 0.2002 726-AH 0.2000 0.6000 0.6000 0.6000 0.8000 0.5886 0.1451 0.0000 0.6000 0.2465 0.5679 0.5419 0.0976 0.6000 0.6000 0.6000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0229 0.0942 0.0000 0.4000 4.1213 0.0000 0.0000 0.0431 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0914 0.1483 0.2000 0.4000 1.6217 0.0002 0.0000 0.1254 0.0000 0.4000 0.0914 0.1483 729-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0571 0.1501 0.0000 0.6000 2.6262 0.0001 0.0000 0.0947 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.4000 0.4000 0.6000 0.6000 0.3943 0.2141 0.2000 0.6000 0.5431 0.0727 0.0001 0.1574 0.2000 0.6000 0.4759 0.1244 731-AH 0.2000 0.2000 0.2000 0.4000 0.6000 0.2800 0.1106 0.2000 0.4000 0.3950 0.2617 0.2471 0.1006 0.2000 0.6000 0.2800 0.1106 732-AH 0.0000 0.0000 0.0000 0.1500 0.4000 0.0571 0.1037 0.1500 0.4000 1.8150 0.0001 0.0000 0.0849 0.0000 0.2000 0.0471 0.0861 733-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0857 0.1216 0.2000 0.4000 1.4188 0.0004 0.0000 0.1078 0.0000 0.4000 0.0857 0.1216 734-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1200 0.1106 0.2000 0.4000 0.9218 0.0029 0.0000 0.1029 0.0000 0.4000 0.1200 0.1106 735-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3486 0.2241 0.4000 0.6000 0.6429 0.0485 0.0000 0.1904 0.0000 0.6000 0.3486 0.2241 736-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2000 0.1940 0.4000 0.6000 0.9701 0.0049 0.0000 0.1600 0.0000 0.6000 0.2000 0.1940 737-AH 0.0000 0.0500 0.2000 0.5500 0.8000 0.3086 0.2759 0.5000 0.8000 0.8940 0.0239 0.0000 0.2331 0.0000 0.8000 0.3086 0.2759 738-AH 0.2000 0.4000 0.6000 0.9500 1.0000 0.6400 0.2902 0.5500 0.8000 0.4535 0.5627 0.4784 0.2583 0.2000 1.0000 0.6400 0.2902 739-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7600 0.3247 0.4000 1.0000 0.4272 0.4999 0.0003 0.2629 0.2000 1.0000 0.7824 0.3010 740-AH 0.0000 0.0500 0.4000 0.6000 0.8000 0.3657 0.2765 0.5500 0.8000 0.7560 0.0285 0.0000 0.2354 0.0000 0.8000 0.3657 0.2765 741-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1086 0.1772 0.2000 0.6000 1.6320 0.0003 0.0000 0.1427 0.0000 0.4000 0.0788 0.1317 742-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7486 0.3543 0.4000 1.0000 0.4733 0.2181 0.0001 0.2932 0.2000 1.0000 0.8452 0.2406 743-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0343 0.0765 0.0000 0.2000 2.2306 0.0001 0.0000 0.0568 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.2000 0.6000 0.9500 1.0000 0.5657 0.3773 0.7500 1.0000 0.6669 0.0697 0.0000 0.3269 0.0000 1.0000 0.5657 0.3773 745-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.5371 0.1800 0.2000 0.8000 0.3351 0.3863 0.0003 0.1398 0.2000 0.8000 0.5529 0.1562 746-AH 0.0000 0.4000 0.4000 0.6000 1.0000 0.4743 0.2525 0.2000 1.0000 0.5323 0.1874 0.0001 0.2064 0.2000 0.8000 0.5032 0.1991 747-AH 0.0000 0.0000 0.0000 0.3500 1.0000 0.1943 0.3124 0.3500 1.0000 1.6081 0.0005 0.0000 0.2442 0.0000 0.8000 0.1455 0.2463 748-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1600 0.1355 0.2000 0.4000 0.8467 0.0074 0.0000 0.1097 0.0000 0.4000 0.1600 0.1355 749-AH 0.0000 0.2500 0.6000 0.6000 0.8000 0.4400 0.2511 0.3500 0.8000 0.5707 0.0783 0.0001 0.2080 0.0000 0.8000 0.4400 0.2511 750-AH 0.0000 0.2000 0.2000 0.4000 1.0000 0.3143 0.2390 0.2000 1.0000 0.7606 0.0558 0.0001 0.1927 0.0000 0.6000 0.2788 0.1933 104 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.4250 0.6000 0.7000 0.9000 0.5286 0.2956 0.2750 0.9000 0.5593 0.0704 0.0000 0.2351 0.3000 0.9000 0.6607 0.1397 702-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0229 0.0426 0.0000 0.1000 1.8639 0.0001 0.0000 0.0353 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.5250 0.7000 0.8750 1.0000 0.6314 0.3017 0.3500 1.0000 0.4779 0.1871 0.0001 0.2351 0.2000 1.0000 0.7129 0.2078 704-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1057 0.0998 0.2000 0.3000 0.9444 0.0054 0.0000 0.0767 0.0000 0.3000 0.1057 0.0998 705-AH 0.3000 0.6000 0.8000 0.9000 1.0000 0.7600 0.2145 0.3000 0.7000 0.2822 0.7217 0.6724 0.1726 0.3000 1.0000 0.7600 0.2145 706-AH 0.3000 0.5250 0.6000 0.7000 0.9000 0.6200 0.1346 0.1750 0.6000 0.2171 0.6044 0.5870 0.1040 0.3000 0.9000 0.6200 0.1346 707-AH 0.0000 0.1000 0.4000 0.5000 0.8000 0.3371 0.2591 0.4000 0.8000 0.7684 0.0433 0.0000 0.2189 0.0000 0.8000 0.3371 0.2591 708-AH 0.0000 0.2000 0.3000 0.4000 0.8000 0.3171 0.1886 0.2000 0.8000 0.5948 0.2057 0.0003 0.1558 0.0000 0.7000 0.3029 0.1714 709-AH 0.0000 0.7000 0.9000 1.0000 1.0000 0.7571 0.2893 0.3000 1.0000 0.3821 0.3925 0.0002 0.2163 0.5000 1.0000 0.8452 0.1546 710-AH 0.0000 0.0000 0.0000 0.0750 0.1000 0.0257 0.0443 0.0750 0.1000 1.7245 0.0001 0.0000 0.0382 0.0000 0.1000 0.0257 0.0443 711-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0029 0.0169 0.0000 0.1000 5.9161 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000 712-AH 0.1000 0.5000 0.5000 0.5000 0.5000 0.4714 0.0860 0.0000 0.4000 0.1824 0.4564 0.4242 0.0490 0.5000 0.5000 0.5000 0.0000 713-AH 0.2000 0.4000 0.5000 0.6000 0.8000 0.5143 0.1785 0.2000 0.6000 0.3470 0.4809 0.4438 0.1478 0.2000 0.8000 0.5143 0.1785 714-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.1857 0.1353 0.2000 0.5000 0.7288 0.0223 0.0000 0.1094 0.0000 0.5000 0.1857 0.1353 715-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0057 0.0236 0.0000 0.1000 4.1213 0.0000 0.0000 0.0108 0.0000 0.0000 0.0000 0.0000 716-AH 0.4000 0.7000 0.8000 0.9000 1.0000 0.8114 0.1345 0.2000 0.6000 0.1658 0.7990 0.7843 0.1045 0.4000 1.0000 0.8114 0.1345 717-AH 0.0000 0.2000 0.3000 0.3000 0.6000 0.2400 0.1499 0.1000 0.6000 0.6246 0.0368 0.0000 0.1166 0.2000 0.4000 0.2808 0.0694 718-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0629 0.0731 0.1000 0.2000 1.1631 0.0010 0.0000 0.0647 0.0000 0.2000 0.0629 0.0731 719-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1429 0.1313 0.2000 0.4000 0.9188 0.0066 0.0000 0.1127 0.0000 0.4000 0.1429 0.1313 720-AH 0.0000 0.8250 0.9000 1.0000 1.0000 0.8629 0.1864 0.1750 1.0000 0.2161 0.6357 0.0003 0.1123 0.7000 1.0000 0.9000 0.0901 721-AH 0.0000 0.2000 0.5000 0.7000 1.0000 0.4600 0.2882 0.5000 1.0000 0.6265 0.1713 0.0001 0.2354 0.0000 1.0000 0.4600 0.2882 722-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0829 0.0785 0.1000 0.3000 0.9479 0.0037 0.0000 0.0616 0.0000 0.2000 0.0765 0.0699 723-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0200 0.0406 0.0000 0.1000 2.0292 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000 724-AH 0.2000 0.4000 0.5000 0.6000 0.7000 0.4571 0.1243 0.2000 0.5000 0.2720 0.4394 0.4204 0.1069 0.2000 0.7000 0.4571 0.1243 725-AH 0.1000 0.4000 0.5000 0.6000 0.9000 0.4943 0.2014 0.2000 0.8000 0.4074 0.4404 0.3630 0.1605 0.1000 0.9000 0.4943 0.2014 726-AH 0.3000 0.4000 0.5000 0.6000 0.7000 0.5086 0.1040 0.2000 0.4000 0.2044 0.4971 0.4843 0.0841 0.3000 0.7000 0.5086 0.1040 727-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0514 0.0781 0.1000 0.2000 1.5188 0.0003 0.0000 0.0676 0.0000 0.2000 0.0514 0.0781 728-AH 0.0000 0.1000 0.1000 0.2000 0.4000 0.1514 0.0919 0.1000 0.4000 0.6072 0.0653 0.0001 0.0759 0.0000 0.3000 0.1441 0.0824 729-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0771 0.1003 0.1000 0.3000 1.2996 0.0010 0.0000 0.0793 0.0000 0.2000 0.0484 0.0626 730-AH 0.1000 0.3000 0.3000 0.4000 0.5000 0.3400 0.0976 0.1000 0.4000 0.2871 0.3221 0.2966 0.0777 0.2000 0.5000 0.3545 0.0794 731-AH 0.1000 0.1000 0.2000 0.2000 0.3000 0.1771 0.0690 0.1000 0.2000 0.3893 0.1638 0.1511 0.0573 0.1000 0.3000 0.1771 0.0690 732-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0714 0.0667 0.1000 0.2000 0.9343 0.0027 0.0000 0.0571 0.0000 0.2000 0.0714 0.0667 733-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0543 0.0741 0.1000 0.2000 1.3656 0.0004 0.0000 0.0651 0.0000 0.2000 0.0543 0.0741 734-AH 0.0000 0.1000 0.1000 0.1750 0.4000 0.1314 0.1022 0.0750 0.4000 0.7779 0.0345 0.0001 0.0753 0.0000 0.2000 0.0967 0.0556 735-AH 0.0000 0.1000 0.3000 0.4000 0.6000 0.2657 0.1814 0.3000 0.6000 0.6827 0.0488 0.0001 0.1515 0.0000 0.6000 0.2657 0.1814 736-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.1914 0.1337 0.2000 0.5000 0.6982 0.0372 0.0001 0.1127 0.0000 0.5000 0.1914 0.1337 737-AH 0.0000 0.1000 0.2000 0.4000 0.8000 0.2714 0.2244 0.3000 0.8000 0.8266 0.0955 0.0001 0.1861 0.0000 0.8000 0.2714 0.2244 738-AH 0.1000 0.3000 0.6000 0.9750 1.0000 0.6086 0.3266 0.6750 0.9000 0.5367 0.4986 0.3789 0.2945 0.1000 1.0000 0.6086 0.3266 739-AH 0.1000 0.4000 0.7000 0.8000 1.0000 0.5771 0.2941 0.4000 0.9000 0.5097 0.4575 0.3076 0.2503 0.1000 1.0000 0.5771 0.2941 740-AH 0.0000 0.1250 0.3000 0.5000 0.7000 0.3343 0.2182 0.3750 0.7000 0.6528 0.0593 0.0001 0.1838 0.0000 0.7000 0.3343 0.2182 741-AH 0.0000 0.0000 0.1000 0.1000 0.4000 0.1000 0.1372 0.1000 0.4000 1.3720 0.0014 0.0000 0.0971 0.0000 0.2000 0.0500 0.0630 742-AH 0.0000 0.4250 0.8000 1.0000 1.0000 0.6600 0.3516 0.5750 1.0000 0.5328 0.1854 0.0001 0.2983 0.0000 1.0000 0.6600 0.3516 743-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0514 0.0507 0.1000 0.1000 0.9860 0.0011 0.0000 0.0500 0.0000 0.1000 0.0514 0.0507 744-AH 0.0000 0.2250 0.5000 0.7000 1.0000 0.4486 0.2924 0.4750 1.0000 0.6519 0.0754 0.0001 0.2472 0.0000 1.0000 0.4486 0.2924 745-AH 0.1000 0.3000 0.4000 0.4000 0.7000 0.3771 0.1308 0.1000 0.6000 0.3468 0.3504 0.3148 0.0929 0.2000 0.5000 0.3742 0.0855 746-AH 0.0000 0.4000 0.4000 0.5750 0.9000 0.4543 0.2187 0.1750 0.9000 0.4815 0.2396 0.0002 0.1618 0.2000 0.7000 0.4517 0.1326 747-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1571 0.2355 0.2000 0.8000 1.4987 0.0014 0.0000 0.1780 0.0000 0.5000 0.1000 0.1459 748-AH 0.0000 0.1000 0.2000 0.3750 0.4000 0.2314 0.1278 0.2750 0.4000 0.5523 0.1217 0.0002 0.1102 0.0000 0.4000 0.2314 0.1278 749-AH 0.1000 0.2250 0.5000 0.5000 0.7000 0.4029 0.1774 0.2750 0.6000 0.4403 0.3450 0.2711 0.1507 0.1000 0.7000 0.4029 0.1774 750-AH 0.0000 0.2000 0.3000 0.4000 0.5000 0.2771 0.1477 0.2000 0.5000 0.5329 0.1145 0.0001 0.1220 0.0000 0.5000 0.2771 0.1477 105 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.3667 0.6000 0.6667 0.8000 0.4838 0.2649 0.3000 0.8000 0.5475 0.0838 0.0001 0.2155 0.0000 0.8000 0.4838 0.2649 702-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0248 0.0430 0.0667 0.1333 1.7382 0.0001 0.0000 0.0354 0.0000 0.1333 0.0248 0.0430 703-AH 0.0000 0.5500 0.6667 0.8000 0.9333 0.6000 0.2828 0.2500 0.9333 0.4714 0.2968 0.0002 0.2133 0.4667 0.9333 0.7262 0.1313 704-AH 0.0000 0.0000 0.0667 0.1833 0.2000 0.0914 0.0794 0.1833 0.2000 0.8679 0.0063 0.0000 0.0702 0.0000 0.2000 0.0914 0.0794 705-AH 0.4667 0.6667 0.8000 0.8000 1.0000 0.7429 0.1383 0.1333 0.5333 0.1862 0.7288 0.7130 0.1105 0.5333 1.0000 0.7688 0.1136 706-AH 0.2667 0.5500 0.6667 0.6667 0.8000 0.6171 0.1192 0.1167 0.5333 0.1931 0.6034 0.5863 0.0937 0.4000 0.8000 0.6275 0.1040 707-AH 0.0000 0.0667 0.3333 0.5333 0.7333 0.3352 0.2406 0.4667 0.7333 0.7178 0.0704 0.0001 0.2040 0.0000 0.7333 0.3352 0.2406 708-AH 0.0000 0.1333 0.2667 0.4000 0.6667 0.2971 0.1667 0.2667 0.6667 0.5611 0.1916 0.0003 0.1342 0.0000 0.6667 0.2971 0.1667 709-AH 0.0000 0.6000 0.8000 0.8667 1.0000 0.6762 0.2677 0.2667 1.0000 0.3959 0.3471 0.0002 0.2014 0.4000 1.0000 0.7570 0.1476 710-AH 0.0000 0.0000 0.0000 0.0500 0.1333 0.0210 0.0388 0.0500 0.1333 1.8539 0.0001 0.0000 0.0311 0.0000 0.0667 0.0141 0.0277 711-AH 0.0000 0.0000 0.0000 0.0500 0.0667 0.0171 0.0296 0.0500 0.0667 1.7245 0.0001 0.0000 0.0255 0.0000 0.0667 0.0171 0.0296 712-AH 0.0667 0.3333 0.3333 0.3333 0.3333 0.3162 0.0568 0.0000 0.2667 0.1797 0.3062 0.2846 0.0304 0.3333 0.3333 0.3333 0.0000 713-AH 0.1333 0.5333 0.6000 0.6000 0.7333 0.5257 0.1623 0.0667 0.6000 0.3087 0.4888 0.4330 0.1184 0.5333 0.6667 0.5797 0.0423 714-AH 0.0000 0.0833 0.2000 0.2667 0.4000 0.1714 0.1135 0.1833 0.4000 0.6622 0.0273 0.0000 0.0936 0.0000 0.4000 0.1714 0.1135 715-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0038 0.0157 0.0000 0.0667 4.1213 0.0000 0.0000 0.0072 0.0000 0.0000 0.0000 0.0000 716-AH 0.2667 0.7333 0.7333 0.8667 0.9333 0.7638 0.1317 0.1333 0.6667 0.1724 0.7487 0.7261 0.0940 0.5333 0.9333 0.7784 0.1008 717-AH 0.0000 0.1333 0.2000 0.3167 0.4667 0.2171 0.1147 0.1833 0.4667 0.5283 0.1452 0.0003 0.0948 0.0000 0.4667 0.2171 0.1147 718-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0838 0.0861 0.1333 0.2667 1.0271 0.0023 0.0000 0.0758 0.0000 0.2667 0.0838 0.0861 719-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1390 0.1002 0.1333 0.3333 0.7203 0.0444 0.0001 0.0865 0.0000 0.3333 0.1390 0.1002 720-AH 0.0667 0.8167 0.9333 0.9333 1.0000 0.8438 0.1878 0.1167 0.9333 0.2226 0.7925 0.6257 0.1178 0.6667 1.0000 0.8938 0.0716 721-AH 0.0000 0.3333 0.6000 0.7167 0.8000 0.4876 0.2621 0.3833 0.8000 0.5375 0.2365 0.0002 0.2261 0.0000 0.8000 0.4876 0.2621 722-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0705 0.0625 0.1333 0.2667 0.8869 0.0053 0.0000 0.0471 0.0000 0.2667 0.0705 0.0625 723-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0133 0.0271 0.0000 0.0667 2.0292 0.0001 0.0000 0.0213 0.0000 0.0000 0.0000 0.0000 724-AH 0.2000 0.4000 0.4667 0.4667 0.6000 0.4267 0.1038 0.0667 0.4000 0.2432 0.4121 0.3948 0.0815 0.3333 0.5333 0.4543 0.0556 725-AH 0.0667 0.3500 0.4667 0.6000 0.6667 0.4457 0.1379 0.2500 0.6000 0.3095 0.4148 0.3595 0.1092 0.0667 0.6667 0.4457 0.1379 726-AH 0.2667 0.3333 0.4000 0.4667 0.5333 0.4038 0.0740 0.1333 0.2667 0.1832 0.3967 0.3890 0.0579 0.2667 0.5333 0.4038 0.0740 727-AH 0.0000 0.0000 0.0000 0.1333 0.2000 0.0552 0.0676 0.1333 0.2000 1.2240 0.0007 0.0000 0.0600 0.0000 0.2000 0.0552 0.0676 728-AH 0.0000 0.1333 0.2000 0.3167 0.4667 0.2057 0.1113 0.1833 0.4667 0.5410 0.1382 0.0003 0.0875 0.0000 0.4667 0.2057 0.1113 729-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0895 0.0791 0.1333 0.2667 0.8838 0.0062 0.0000 0.0680 0.0000 0.2667 0.0895 0.0791 730-AH 0.1333 0.3333 0.4000 0.4667 0.5333 0.3657 0.1040 0.1333 0.4000 0.2844 0.3470 0.3228 0.0830 0.2000 0.5333 0.3798 0.0890 731-AH 0.0667 0.1333 0.1333 0.2000 0.3333 0.1524 0.0596 0.0667 0.2667 0.3909 0.1408 0.1288 0.0468 0.0667 0.2667 0.1471 0.0513 732-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0857 0.0785 0.1333 0.2667 0.9158 0.0075 0.0000 0.0620 0.0000 0.2667 0.0857 0.0785 733-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0495 0.0545 0.0667 0.2000 1.0996 0.0014 0.0000 0.0453 0.0000 0.1333 0.0451 0.0485 734-AH 0.0000 0.0667 0.0667 0.1333 0.3333 0.1086 0.0826 0.0667 0.3333 0.7606 0.0454 0.0001 0.0665 0.0000 0.2000 0.0860 0.0550 735-AH 0.0000 0.0667 0.2000 0.3333 0.4000 0.2038 0.1313 0.2667 0.4000 0.6442 0.0497 0.0001 0.1144 0.0000 0.4000 0.2038 0.1313 736-AH 0.0000 0.0667 0.2000 0.2667 0.4667 0.1886 0.1237 0.2000 0.4667 0.6557 0.0471 0.0001 0.0950 0.0000 0.4667 0.1886 0.1237 737-AH 0.0000 0.1333 0.2667 0.3833 0.6000 0.2590 0.1549 0.2500 0.6000 0.5979 0.1325 0.0002 0.1221 0.0000 0.6000 0.2590 0.1549 738-AH 0.1333 0.2667 0.6667 0.9667 1.0000 0.6152 0.3411 0.7000 0.8667 0.5545 0.4959 0.3752 0.3111 0.1333 1.0000 0.6152 0.3411 739-AH 0.0667 0.3333 0.5333 0.6000 0.7333 0.4400 0.2146 0.2667 0.6667 0.4878 0.3493 0.2277 0.1783 0.0667 0.7333 0.4400 0.2146 740-AH 0.0000 0.1500 0.3333 0.4000 0.7333 0.2971 0.2015 0.2500 0.7333 0.6782 0.0533 0.0001 0.1650 0.0000 0.7333 0.2971 0.2015 741-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0857 0.0937 0.1333 0.2667 1.0930 0.0028 0.0000 0.0773 0.0000 0.2667 0.0857 0.0937 742-AH 0.0000 0.3333 0.6667 0.7333 0.8667 0.5410 0.2918 0.4000 0.8667 0.5395 0.1537 0.0001 0.2389 0.0000 0.8667 0.5410 0.2918 743-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0419 0.0327 0.0667 0.0667 0.7799 0.0025 0.0000 0.0311 0.0000 0.0667 0.0419 0.0327 744-AH 0.0000 0.1500 0.4667 0.6000 0.8000 0.4000 0.2597 0.4500 0.8000 0.6493 0.0672 0.0001 0.2210 0.0000 0.8000 0.4000 0.2597 745-AH 0.0667 0.2000 0.3333 0.4000 0.7333 0.3238 0.1456 0.2000 0.6667 0.4498 0.2903 0.2534 0.1165 0.0667 0.6000 0.3118 0.1289 746-AH 0.0000 0.3333 0.4000 0.5333 0.8000 0.4400 0.1866 0.2000 0.8000 0.4241 0.2411 0.0002 0.1402 0.2667 0.8000 0.4667 0.1555 747-AH 0.0000 0.0000 0.0000 0.1333 0.6000 0.1200 0.1792 0.1333 0.6000 1.4931 0.0012 0.0000 0.1387 0.0000 0.3333 0.0578 0.0938 748-AH 0.0000 0.1333 0.2667 0.2667 0.4667 0.2210 0.1141 0.1333 0.4667 0.5163 0.1177 0.0002 0.0927 0.0000 0.4667 0.2210 0.1141 749-AH 0.0667 0.2167 0.4000 0.4667 0.6000 0.3410 0.1532 0.2500 0.5333 0.4493 0.2883 0.2161 0.1213 0.0667 0.6000 0.3410 0.1532 750-AH 0.0000 0.1333 0.2667 0.3333 0.5333 0.2476 0.1269 0.2000 0.5333 0.5124 0.1653 0.0003 0.1001 0.0000 0.5333 0.2476 0.1269 106 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.3500 0.5500 0.6000 0.6500 0.4529 0.2464 0.2500 0.6500 0.5442 0.0787 0.0001 0.2043 0.0000 0.6500 0.4529 0.2464 702-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0186 0.0323 0.0500 0.1000 1.7382 0.0001 0.0000 0.0265 0.0000 0.1000 0.0186 0.0323 703-AH 0.0000 0.5625 0.6500 0.7500 0.9000 0.5600 0.2656 0.1875 0.9000 0.4743 0.2720 0.0002 0.2023 0.4500 0.9000 0.6821 0.1047 704-AH 0.0000 0.0125 0.1000 0.1500 0.1500 0.0886 0.0631 0.1375 0.1500 0.7126 0.0101 0.0000 0.0566 0.0000 0.1500 0.0886 0.0631 705-AH 0.4500 0.6000 0.7500 0.8000 0.8500 0.6943 0.1229 0.2000 0.4000 0.1771 0.6825 0.6696 0.1040 0.4500 0.8500 0.6943 0.1229 706-AH 0.2500 0.5500 0.6500 0.7000 0.7500 0.6186 0.1105 0.1500 0.5000 0.1787 0.6064 0.5903 0.0866 0.4000 0.7500 0.6294 0.0914 707-AH 0.0000 0.1000 0.2500 0.5500 0.6500 0.3086 0.2296 0.4500 0.6500 0.7441 0.0652 0.0001 0.2036 0.0000 0.6500 0.3086 0.2296 708-AH 0.0000 0.1500 0.3000 0.3500 0.6000 0.2714 0.1447 0.2000 0.6000 0.5329 0.1785 0.0003 0.1196 0.0000 0.6000 0.2714 0.1447 709-AH 0.0000 0.5500 0.7000 0.7875 0.9000 0.6171 0.2443 0.2375 0.9000 0.3959 0.3181 0.0002 0.1822 0.4000 0.9000 0.6903 0.1369 710-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0214 0.0349 0.0500 0.1500 1.6290 0.0002 0.0000 0.0282 0.0000 0.1000 0.0176 0.0272 711-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0186 0.0245 0.0500 0.0500 1.3199 0.0002 0.0000 0.0233 0.0000 0.0500 0.0186 0.0245 712-AH 0.0500 0.2500 0.2500 0.2500 0.2500 0.2371 0.0426 0.0000 0.2000 0.1797 0.2296 0.2134 0.0228 0.2500 0.2500 0.2500 0.0000 713-AH 0.1000 0.5000 0.5500 0.6000 0.7000 0.4943 0.1608 0.1000 0.6000 0.3253 0.4525 0.3848 0.1202 0.3500 0.7000 0.5586 0.0745 714-AH 0.0000 0.1000 0.2000 0.2500 0.4000 0.1743 0.1146 0.1500 0.4000 0.6578 0.0277 0.0000 0.0923 0.0000 0.4000 0.1743 0.1146 715-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0043 0.0142 0.0000 0.0500 3.3137 0.0000 0.0000 0.0078 0.0000 0.0000 0.0000 0.0000 716-AH 0.2000 0.6500 0.7000 0.8000 0.9000 0.7014 0.1406 0.1500 0.7000 0.2005 0.6821 0.6513 0.1016 0.4500 0.9000 0.7162 0.1120 717-AH 0.0500 0.1000 0.2000 0.2500 0.3500 0.1971 0.0899 0.1500 0.3000 0.4560 0.1738 0.1486 0.0750 0.0500 0.3500 0.1971 0.0899 718-AH 0.0000 0.0000 0.1000 0.1500 0.2500 0.0929 0.0940 0.1500 0.2500 1.0128 0.0024 0.0000 0.0820 0.0000 0.2500 0.0929 0.0940 719-AH 0.0000 0.0500 0.1000 0.2000 0.3500 0.1343 0.1027 0.1500 0.3500 0.7651 0.0407 0.0001 0.0924 0.0000 0.3500 0.1343 0.1027 720-AH 0.0500 0.8125 0.9000 0.9500 0.9500 0.8329 0.2072 0.1375 0.9000 0.2488 0.7686 0.5568 0.1340 0.6500 0.9500 0.8891 0.0840 721-AH 0.0000 0.3625 0.5500 0.7000 0.8500 0.4914 0.2522 0.3375 0.8500 0.5132 0.2997 0.0003 0.2093 0.0000 0.8500 0.4914 0.2522 722-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0557 0.0466 0.1000 0.2000 0.8365 0.0057 0.0000 0.0361 0.0000 0.2000 0.0557 0.0466 723-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0100 0.0203 0.0000 0.0500 2.0292 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000 724-AH 0.1500 0.3500 0.4000 0.4500 0.5500 0.3900 0.0930 0.1000 0.4000 0.2384 0.3769 0.3604 0.0697 0.2000 0.5500 0.3971 0.0843 725-AH 0.1000 0.3500 0.4000 0.4500 0.5500 0.3914 0.1011 0.1000 0.4500 0.2583 0.3738 0.3472 0.0789 0.2500 0.5500 0.4076 0.0782 726-AH 0.2000 0.3000 0.3500 0.3500 0.4500 0.3329 0.0593 0.0500 0.2500 0.1783 0.3273 0.3213 0.0463 0.2500 0.4000 0.3339 0.0436 727-AH 0.0000 0.0000 0.0500 0.1000 0.3500 0.0586 0.0752 0.1000 0.3500 1.2844 0.0011 0.0000 0.0589 0.0000 0.1500 0.0500 0.0564 728-AH 0.0500 0.1500 0.2000 0.2500 0.5500 0.2286 0.1262 0.1000 0.5000 0.5521 0.1931 0.1544 0.0927 0.0500 0.3500 0.1935 0.0824 729-AH 0.0000 0.0000 0.1000 0.1500 0.2000 0.0829 0.0737 0.1500 0.2000 0.8896 0.0058 0.0000 0.0633 0.0000 0.2000 0.0829 0.0737 730-AH 0.1500 0.3500 0.4000 0.4500 0.5000 0.3700 0.0994 0.1000 0.3500 0.2687 0.3531 0.3315 0.0789 0.2000 0.5000 0.3833 0.0854 731-AH 0.0500 0.1000 0.1500 0.2000 0.2500 0.1414 0.0549 0.1000 0.2000 0.3881 0.1296 0.1162 0.0446 0.0500 0.2500 0.1414 0.0549 732-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1000 0.0776 0.1000 0.2500 0.7765 0.0211 0.0001 0.0600 0.0000 0.2500 0.1000 0.0776 733-AH 0.0000 0.0000 0.0500 0.0500 0.1500 0.0400 0.0417 0.0500 0.1500 1.0414 0.0015 0.0000 0.0343 0.0000 0.1000 0.0368 0.0376 734-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1071 0.0655 0.1000 0.2500 0.6110 0.0724 0.0003 0.0527 0.0000 0.2500 0.1071 0.0655 735-AH 0.0000 0.1000 0.2000 0.2500 0.3500 0.1686 0.1022 0.1500 0.3500 0.6065 0.0436 0.0001 0.0884 0.0000 0.3500 0.1686 0.1022 736-AH 0.0000 0.1125 0.2000 0.3000 0.4000 0.1843 0.1136 0.1875 0.4000 0.6165 0.0466 0.0001 0.0942 0.0000 0.4000 0.1843 0.1136 737-AH 0.0000 0.1500 0.2000 0.3875 0.5000 0.2371 0.1347 0.2375 0.5000 0.5679 0.1558 0.0003 0.1118 0.0000 0.5000 0.2371 0.1347 738-AH 0.1000 0.2500 0.7000 0.8500 1.0000 0.5914 0.3309 0.6000 0.9000 0.5595 0.4704 0.3422 0.3012 0.1000 1.0000 0.5914 0.3309 739-AH 0.0500 0.3625 0.4000 0.4500 0.6500 0.3843 0.1748 0.0875 0.6000 0.4549 0.3061 0.1879 0.1233 0.3000 0.5500 0.4260 0.0614 740-AH 0.0000 0.1250 0.3000 0.4000 0.6500 0.2629 0.1767 0.2750 0.6500 0.6723 0.0484 0.0001 0.1439 0.0000 0.6500 0.2629 0.1767 741-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0814 0.0676 0.1000 0.2000 0.8303 0.0074 0.0000 0.0555 0.0000 0.2000 0.0814 0.0676 742-AH 0.0000 0.3125 0.5500 0.6500 0.7000 0.4471 0.2379 0.3375 0.7000 0.5321 0.1295 0.0001 0.1979 0.0000 0.7000 0.4471 0.2379 743-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0343 0.0265 0.0500 0.1000 0.7726 0.0028 0.0000 0.0235 0.0000 0.1000 0.0343 0.0265 744-AH 0.0000 0.1500 0.4500 0.5000 0.7500 0.3629 0.2296 0.3500 0.7500 0.6326 0.0619 0.0001 0.2002 0.0000 0.7500 0.3629 0.2296 745-AH 0.1000 0.2000 0.2500 0.4000 0.5500 0.2814 0.1164 0.2000 0.4500 0.4135 0.2579 0.2348 0.0988 0.1000 0.5500 0.2814 0.1164 746-AH 0.0500 0.3500 0.4000 0.5000 0.8000 0.4286 0.1686 0.1500 0.7500 0.3934 0.3817 0.2926 0.1282 0.3000 0.7000 0.4406 0.1316 747-AH 0.0000 0.0000 0.0500 0.1375 0.4500 0.1071 0.1486 0.1375 0.4500 1.3869 0.0018 0.0000 0.1192 0.0000 0.2500 0.0393 0.0599 748-AH 0.0000 0.2000 0.2000 0.2500 0.4000 0.2171 0.0977 0.0500 0.4000 0.4501 0.1195 0.0002 0.0710 0.1500 0.2500 0.2130 0.0310 749-AH 0.0500 0.2500 0.3000 0.4000 0.6000 0.3043 0.1395 0.1500 0.5500 0.4585 0.2626 0.2065 0.1028 0.0500 0.6000 0.3043 0.1395 750-AH 0.0000 0.1250 0.2500 0.3000 0.6000 0.2257 0.1209 0.1750 0.6000 0.5356 0.1506 0.0003 0.0907 0.0000 0.4000 0.2147 0.1034 107 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.3417 0.5000 0.6333 0.7000 0.4286 0.2411 0.2917 0.7000 0.5625 0.0949 0.0001 0.1948 0.0000 0.7000 0.4286 0.2411 702-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0143 0.0233 0.0333 0.0667 1.6290 0.0001 0.0000 0.0196 0.0000 0.0667 0.0143 0.0233 703-AH 0.0000 0.5083 0.6333 0.7000 0.8333 0.5314 0.2292 0.1917 0.8333 0.4313 0.3406 0.0003 0.1724 0.3000 0.8333 0.6241 0.1065 704-AH 0.0000 0.0083 0.0667 0.1000 0.1333 0.0657 0.0461 0.0917 0.1333 0.7012 0.0081 0.0000 0.0393 0.0000 0.1333 0.0657 0.0461 705-AH 0.3000 0.5750 0.6667 0.7000 0.7667 0.6324 0.1148 0.1250 0.4667 0.1815 0.6196 0.6034 0.0871 0.4333 0.7667 0.6515 0.0858 706-AH 0.3333 0.5667 0.6000 0.6333 0.7667 0.5762 0.0941 0.0667 0.4333 0.1634 0.5675 0.5573 0.0678 0.4667 0.7000 0.6011 0.0492 707-AH 0.0000 0.0667 0.1667 0.4000 0.5333 0.2438 0.1750 0.3333 0.5333 0.7179 0.1391 0.0003 0.1561 0.0000 0.5333 0.2438 0.1750 708-AH 0.0000 0.1667 0.2333 0.3667 0.5000 0.2562 0.1249 0.2000 0.5000 0.4876 0.1751 0.0003 0.1073 0.0000 0.5000 0.2562 0.1249 709-AH 0.0000 0.4667 0.5333 0.7333 0.8333 0.5467 0.2248 0.2667 0.8333 0.4112 0.2859 0.0002 0.1756 0.0667 0.8333 0.5798 0.1841 710-AH 0.0000 0.0000 0.0000 0.0333 0.1000 0.0200 0.0245 0.0333 0.1000 1.2261 0.0006 0.0000 0.0206 0.0000 0.0667 0.0176 0.0205 711-AH 0.0000 0.0000 0.0333 0.0333 0.0667 0.0248 0.0219 0.0333 0.0667 0.8847 0.0018 0.0000 0.0184 0.0000 0.0667 0.0248 0.0219 712-AH 0.0333 0.1667 0.1667 0.1667 0.1667 0.1581 0.0284 0.0000 0.1333 0.1797 0.1531 0.1423 0.0152 0.1667 0.1667 0.1667 0.0000 713-AH 0.1000 0.4333 0.5667 0.6250 0.6667 0.4848 0.1774 0.1917 0.5667 0.3659 0.4355 0.3631 0.1431 0.1667 0.6667 0.5081 0.1537 714-AH 0.0000 0.0750 0.2000 0.2583 0.4333 0.1724 0.1200 0.1833 0.4333 0.6964 0.0267 0.0000 0.0989 0.0000 0.4333 0.1724 0.1200 715-AH 0.0000 0.0000 0.0000 0.0250 0.0667 0.0105 0.0194 0.0250 0.0667 1.8539 0.0001 0.0000 0.0156 0.0000 0.0333 0.0071 0.0138 716-AH 0.1333 0.5750 0.6333 0.7000 0.7667 0.6171 0.1282 0.1250 0.6333 0.2077 0.5952 0.5532 0.0851 0.5333 0.7667 0.6500 0.0639 717-AH 0.0333 0.0750 0.1667 0.2250 0.3000 0.1590 0.0714 0.1500 0.2667 0.4492 0.1399 0.1184 0.0606 0.0333 0.3000 0.1590 0.0714 718-AH 0.0000 0.0333 0.1000 0.1333 0.1667 0.0838 0.0607 0.1000 0.1667 0.7243 0.0119 0.0000 0.0528 0.0000 0.1667 0.0838 0.0607 719-AH 0.0000 0.0333 0.1333 0.1667 0.3000 0.1057 0.0702 0.1333 0.3000 0.6644 0.0433 0.0001 0.0589 0.0000 0.3000 0.1057 0.0702 720-AH 0.0333 0.7000 0.8000 0.9000 0.9333 0.7562 0.2106 0.2000 0.9000 0.2785 0.6838 0.4434 0.1452 0.5333 0.9333 0.8115 0.1046 721-AH 0.0000 0.3333 0.5333 0.6667 0.7333 0.4714 0.2368 0.3333 0.7333 0.5024 0.2849 0.0003 0.1981 0.0000 0.7333 0.4714 0.2368 722-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0410 0.0334 0.0667 0.1333 0.8160 0.0046 0.0000 0.0278 0.0000 0.1333 0.0410 0.0334 723-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0076 0.0142 0.0000 0.0333 1.8639 0.0001 0.0000 0.0118 0.0000 0.0000 0.0000 0.0000 724-AH 0.1000 0.3083 0.3667 0.3667 0.4333 0.3419 0.0590 0.0583 0.3333 0.1727 0.3343 0.3212 0.0411 0.2333 0.4333 0.3490 0.0420 725-AH 0.1000 0.3000 0.3333 0.3667 0.4667 0.3295 0.0774 0.0667 0.3667 0.2350 0.3180 0.3019 0.0547 0.2333 0.4667 0.3495 0.0543 726-AH 0.1333 0.2333 0.2333 0.3000 0.3333 0.2505 0.0446 0.0667 0.2000 0.1779 0.2463 0.2416 0.0367 0.1333 0.3333 0.2505 0.0446 727-AH 0.0000 0.0000 0.0667 0.0667 0.4333 0.0610 0.0818 0.0667 0.4333 1.3428 0.0028 0.0000 0.0516 0.0000 0.1667 0.0500 0.0508 728-AH 0.0333 0.1667 0.2000 0.3000 0.5333 0.2400 0.1308 0.1333 0.5000 0.5450 0.2031 0.1584 0.1055 0.0333 0.5000 0.2314 0.1223 729-AH 0.0000 0.0333 0.1000 0.1333 0.1667 0.0800 0.0519 0.1000 0.1667 0.6487 0.0183 0.0001 0.0453 0.0000 0.1667 0.0800 0.0519 730-AH 0.1333 0.2667 0.3333 0.4000 0.4667 0.3324 0.0951 0.1333 0.3333 0.2862 0.3166 0.2982 0.0810 0.1333 0.4667 0.3324 0.0951 731-AH 0.0333 0.1000 0.1333 0.1333 0.2333 0.1229 0.0410 0.0333 0.2000 0.3341 0.1158 0.1074 0.0317 0.0667 0.1667 0.1172 0.0284 732-AH 0.0000 0.0667 0.1000 0.1667 0.2667 0.1057 0.0684 0.1000 0.2667 0.6466 0.0362 0.0001 0.0532 0.0000 0.2667 0.1057 0.0684 733-AH 0.0000 0.0000 0.0333 0.0667 0.1000 0.0381 0.0304 0.0667 0.1000 0.7981 0.0043 0.0000 0.0250 0.0000 0.1000 0.0381 0.0304 734-AH 0.0333 0.1000 0.1333 0.1667 0.2333 0.1238 0.0502 0.0667 0.2000 0.4055 0.1109 0.0942 0.0386 0.0333 0.2333 0.1238 0.0502 735-AH 0.0000 0.1000 0.1667 0.1667 0.3000 0.1381 0.0772 0.0667 0.3000 0.5589 0.0468 0.0001 0.0593 0.0000 0.2333 0.1250 0.0667 736-AH 0.0000 0.1000 0.2000 0.2333 0.2667 0.1667 0.0878 0.1333 0.2667 0.5269 0.1067 0.0003 0.0743 0.0000 0.2667 0.1667 0.0878 737-AH 0.1000 0.1667 0.2333 0.3250 0.4667 0.2419 0.0905 0.1583 0.3667 0.3742 0.2260 0.2110 0.0741 0.1000 0.4667 0.2419 0.0905 738-AH 0.1000 0.2083 0.5667 0.8333 0.9667 0.5514 0.3106 0.6250 0.8667 0.5633 0.4442 0.3379 0.2804 0.1000 0.9667 0.5514 0.3106 739-AH 0.0333 0.2667 0.3000 0.3667 0.4667 0.2857 0.1336 0.1000 0.4333 0.4678 0.2231 0.1298 0.0980 0.2000 0.4667 0.3379 0.0722 740-AH 0.0000 0.1750 0.2667 0.3333 0.5667 0.2476 0.1496 0.1583 0.5667 0.6040 0.0484 0.0001 0.1162 0.0000 0.5667 0.2476 0.1496 741-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0705 0.0470 0.0667 0.1333 0.6666 0.0133 0.0000 0.0401 0.0000 0.1333 0.0705 0.0470 742-AH 0.0000 0.2167 0.4000 0.4583 0.5333 0.3276 0.1787 0.2417 0.5333 0.5454 0.0972 0.0001 0.1481 0.0000 0.5333 0.3276 0.1787 743-AH 0.0000 0.0000 0.0333 0.0333 0.0667 0.0257 0.0182 0.0333 0.0667 0.7090 0.0034 0.0000 0.0147 0.0000 0.0667 0.0257 0.0182 744-AH 0.0000 0.1167 0.3333 0.4917 0.6667 0.3095 0.2083 0.3750 0.6667 0.6728 0.0536 0.0001 0.1744 0.0000 0.6667 0.3095 0.2083 745-AH 0.1000 0.1667 0.2667 0.3667 0.5667 0.2771 0.1217 0.2000 0.4667 0.4393 0.2496 0.2218 0.0977 0.1000 0.5667 0.2771 0.1217 746-AH 0.0333 0.3083 0.4000 0.5000 0.7000 0.4152 0.1566 0.1917 0.6667 0.3772 0.3693 0.2745 0.1251 0.0333 0.7000 0.4152 0.1566 747-AH 0.0000 0.0000 0.0333 0.1500 0.3667 0.0924 0.1224 0.1500 0.3667 1.3246 0.0026 0.0000 0.0996 0.0000 0.3667 0.0924 0.1224 748-AH 0.0000 0.1667 0.2000 0.2333 0.3000 0.1933 0.0753 0.0667 0.3000 0.3896 0.1351 0.0003 0.0545 0.1333 0.3000 0.2151 0.0462 749-AH 0.0333 0.1750 0.2667 0.4000 0.5333 0.2838 0.1417 0.2250 0.5000 0.4994 0.2394 0.1832 0.1186 0.0333 0.5333 0.2838 0.1417 750-AH 0.0000 0.1417 0.2000 0.3000 0.4667 0.2152 0.1175 0.1583 0.4667 0.5460 0.1409 0.0003 0.0936 0.0000 0.4667 0.2152 0.1175 108 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0200 0.1425 0.2900 0.5100 0.5400 0.3040 0.1929 0.3675 0.5200 0.6345 0.2028 0.0905 0.1710 0.0200 0.5400 0.3040 0.1929 702-AH 0.0000 0.0000 0.0000 0.0175 0.0200 0.0066 0.0087 0.0175 0.0200 1.3278 0.0002 0.0000 0.0079 0.0000 0.0200 0.0066 0.0087 703-AH 0.0400 0.3025 0.4500 0.4775 0.5200 0.3677 0.1608 0.1750 0.4800 0.4374 0.2987 0.1924 0.1316 0.0500 0.5200 0.3876 0.1427 704-AH 0.0000 0.0225 0.0400 0.0575 0.0800 0.0417 0.0187 0.0350 0.0800 0.4484 0.0304 0.0003 0.0149 0.0000 0.0800 0.0417 0.0187 705-AH 0.1000 0.4400 0.5000 0.5650 0.6200 0.4771 0.1220 0.1250 0.5200 0.2556 0.4513 0.4048 0.0816 0.4000 0.6200 0.5087 0.0648 706-AH 0.1600 0.2150 0.2500 0.3275 0.4600 0.2706 0.0739 0.1125 0.3000 0.2732 0.2614 0.2528 0.0578 0.1600 0.4600 0.2706 0.0739 707-AH 0.0000 0.0525 0.1000 0.1500 0.3200 0.1211 0.0892 0.0975 0.3200 0.7361 0.0730 0.0003 0.0689 0.0000 0.2700 0.0974 0.0626 708-AH 0.0000 0.1400 0.1800 0.2075 0.2300 0.1600 0.0580 0.0675 0.2300 0.3625 0.1165 0.0003 0.0457 0.0400 0.2300 0.1647 0.0517 709-AH 0.0000 0.2750 0.3600 0.3975 0.4700 0.3191 0.1264 0.1225 0.4700 0.3959 0.1734 0.0002 0.0949 0.1200 0.4700 0.3558 0.0760 710-AH 0.0000 0.0100 0.0200 0.0200 0.0500 0.0180 0.0121 0.0100 0.0500 0.6710 0.0064 0.0001 0.0093 0.0000 0.0300 0.0156 0.0095 711-AH 0.0000 0.0100 0.0200 0.0275 0.0400 0.0183 0.0101 0.0175 0.0400 0.5546 0.0113 0.0002 0.0082 0.0000 0.0400 0.0183 0.0101 712-AH 0.0400 0.0500 0.0500 0.0500 0.0600 0.0497 0.0045 0.0000 0.0200 0.0911 0.0495 0.0493 0.0022 0.0500 0.0500 0.0500 0.0000 713-AH 0.0600 0.1700 0.2000 0.3000 0.3700 0.2311 0.0950 0.1300 0.3100 0.4112 0.2089 0.1837 0.0835 0.0600 0.3700 0.2311 0.0950 714-AH 0.0000 0.0600 0.1100 0.1375 0.1800 0.0940 0.0592 0.0775 0.1800 0.6295 0.0167 0.0000 0.0487 0.0000 0.1800 0.0940 0.0592 715-AH 0.0000 0.0000 0.0000 0.0100 0.0200 0.0051 0.0078 0.0100 0.0200 1.5188 0.0001 0.0000 0.0068 0.0000 0.0200 0.0051 0.0078 716-AH 0.1600 0.3200 0.3200 0.3200 0.3300 0.3071 0.0382 0.0000 0.1700 0.1245 0.3041 0.3001 0.0251 0.3200 0.3200 0.3200 0.0000 717-AH 0.0200 0.0800 0.0900 0.1200 0.1500 0.0951 0.0269 0.0400 0.1300 0.2831 0.0905 0.0834 0.0219 0.0200 0.1500 0.0951 0.0269 718-AH 0.0000 0.0225 0.0700 0.0800 0.1300 0.0591 0.0395 0.0575 0.1300 0.6680 0.0094 0.0000 0.0326 0.0000 0.1300 0.0591 0.0395 719-AH 0.0000 0.0400 0.0500 0.0675 0.1300 0.0511 0.0315 0.0275 0.1300 0.6161 0.0280 0.0002 0.0242 0.0000 0.1000 0.0470 0.0271 720-AH 0.1100 0.2825 0.3000 0.3200 0.3200 0.2866 0.0520 0.0375 0.2100 0.1813 0.2794 0.2681 0.0320 0.2400 0.3200 0.3009 0.0192 721-AH 0.0100 0.2025 0.3400 0.3575 0.3700 0.2763 0.1208 0.1550 0.3600 0.4373 0.2107 0.0882 0.0984 0.0100 0.3700 0.2763 0.1208 722-AH 0.0000 0.0100 0.0200 0.0300 0.0400 0.0194 0.0124 0.0200 0.0400 0.6358 0.0048 0.0000 0.0099 0.0000 0.0400 0.0194 0.0124 723-AH 0.0000 0.0000 0.0000 0.0100 0.0200 0.0051 0.0070 0.0100 0.0200 1.3645 0.0002 0.0000 0.0062 0.0000 0.0200 0.0051 0.0070 724-AH 0.0500 0.1500 0.1700 0.1800 0.1800 0.1623 0.0281 0.0300 0.1300 0.1731 0.1587 0.1527 0.0203 0.1100 0.1800 0.1656 0.0205 725-AH 0.0600 0.1500 0.1500 0.1700 0.1800 0.1506 0.0290 0.0200 0.1200 0.1926 0.1469 0.1416 0.0194 0.1300 0.1800 0.1594 0.0146 726-AH 0.0700 0.0900 0.1000 0.1200 0.1300 0.1034 0.0170 0.0300 0.0600 0.1641 0.1021 0.1007 0.0150 0.0700 0.1300 0.1034 0.0170 727-AH 0.0000 0.0125 0.0700 0.0975 0.1800 0.0714 0.0657 0.0850 0.1800 0.9194 0.0112 0.0000 0.0558 0.0000 0.1800 0.0714 0.0657 728-AH 0.0500 0.0875 0.2100 0.2375 0.2600 0.1771 0.0754 0.1500 0.2100 0.4259 0.1551 0.1288 0.0655 0.0500 0.2600 0.1771 0.0754 729-AH 0.0000 0.0325 0.0500 0.0800 0.1000 0.0563 0.0304 0.0475 0.1000 0.5401 0.0383 0.0003 0.0259 0.0000 0.1000 0.0563 0.0304 730-AH 0.1000 0.1600 0.2000 0.2400 0.2800 0.1983 0.0514 0.0800 0.1800 0.2590 0.1911 0.1834 0.0440 0.1000 0.2800 0.1983 0.0514 731-AH 0.0200 0.0500 0.0800 0.0975 0.1200 0.0729 0.0243 0.0475 0.1000 0.3338 0.0682 0.0626 0.0205 0.0200 0.1200 0.0729 0.0243 732-AH 0.0200 0.0700 0.1100 0.1300 0.1500 0.0971 0.0388 0.0600 0.1300 0.3999 0.0856 0.0692 0.0327 0.0200 0.1500 0.0971 0.0388 733-AH 0.0000 0.0200 0.0200 0.0300 0.0500 0.0229 0.0123 0.0100 0.0500 0.5366 0.0117 0.0001 0.0097 0.0100 0.0400 0.0242 0.0096 734-AH 0.0300 0.0800 0.1000 0.1100 0.1500 0.0957 0.0270 0.0300 0.1200 0.2825 0.0911 0.0852 0.0209 0.0400 0.1500 0.0976 0.0249 735-AH 0.0000 0.0325 0.0500 0.0975 0.1300 0.0600 0.0374 0.0650 0.1300 0.6236 0.0257 0.0001 0.0314 0.0000 0.1300 0.0600 0.0374 736-AH 0.0300 0.0900 0.1100 0.1400 0.1900 0.1111 0.0383 0.0500 0.1600 0.3449 0.1033 0.0935 0.0303 0.0300 0.1900 0.1111 0.0383 737-AH 0.0900 0.1225 0.1600 0.1775 0.3100 0.1637 0.0525 0.0550 0.2200 0.3205 0.1566 0.1503 0.0385 0.0900 0.2600 0.1555 0.0411 738-AH 0.0500 0.1625 0.3300 0.5400 0.6300 0.3443 0.1944 0.3775 0.5800 0.5647 0.2729 0.1948 0.1738 0.0500 0.6300 0.3443 0.1944 739-AH 0.0400 0.0800 0.1300 0.1475 0.1900 0.1123 0.0433 0.0675 0.1500 0.3858 0.1024 0.0910 0.0385 0.0400 0.1900 0.1123 0.0433 740-AH 0.0100 0.1250 0.1900 0.2375 0.3000 0.1780 0.0847 0.1125 0.2900 0.4757 0.1373 0.0710 0.0657 0.0100 0.3000 0.1780 0.0847 741-AH 0.0000 0.0300 0.0700 0.0800 0.0900 0.0551 0.0280 0.0500 0.0900 0.5079 0.0315 0.0002 0.0250 0.0000 0.0900 0.0551 0.0280 742-AH 0.0000 0.0900 0.1300 0.1575 0.1800 0.1143 0.0573 0.0675 0.1800 0.5014 0.0590 0.0002 0.0464 0.0000 0.1800 0.1143 0.0573 743-AH 0.0000 0.0100 0.0100 0.0100 0.0200 0.0100 0.0059 0.0000 0.0200 0.5941 0.0034 0.0001 0.0034 0.0100 0.0100 0.0100 0.0000 744-AH 0.0000 0.0475 0.1900 0.2500 0.3000 0.1571 0.1030 0.2025 0.3000 0.6553 0.0364 0.0001 0.0890 0.0000 0.3000 0.1571 0.1030 745-AH 0.0300 0.2025 0.2500 0.2900 0.3500 0.2346 0.0839 0.0875 0.3200 0.3575 0.2093 0.1648 0.0642 0.0800 0.3500 0.2522 0.0628 746-AH 0.0200 0.1750 0.2800 0.3775 0.4200 0.2743 0.1081 0.2025 0.4000 0.3943 0.2393 0.1707 0.0882 0.0200 0.4200 0.2743 0.1081 747-AH 0.0000 0.0200 0.0300 0.0900 0.2200 0.0594 0.0674 0.0700 0.2200 1.1346 0.0164 0.0001 0.0540 0.0000 0.1900 0.0456 0.0518 748-AH 0.0000 0.1050 0.1500 0.1500 0.1500 0.1229 0.0395 0.0450 0.1500 0.3217 0.0899 0.0003 0.0296 0.0600 0.1500 0.1300 0.0272 749-AH 0.0300 0.1000 0.1800 0.2800 0.3300 0.1880 0.1030 0.1800 0.3000 0.5481 0.1510 0.1102 0.0922 0.0300 0.3300 0.1880 0.1030 750-AH 0.0000 0.0775 0.1400 0.2300 0.3000 0.1511 0.0865 0.1525 0.3000 0.5723 0.0994 0.0003 0.0739 0.0000 0.3000 0.1511 0.0865 109 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0100 0.0812 0.1950 0.2937 0.3100 0.1844 0.1132 0.2125 0.3000 0.6139 0.1248 0.0578 0.1012 0.0100 0.3100 0.1844 0.1132 702-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0039 0.0044 0.0100 0.0100 1.1373 0.0002 0.0000 0.0040 0.0000 0.0100 0.0039 0.0044 703-AH 0.0500 0.2100 0.2650 0.2800 0.3800 0.2293 0.0884 0.0700 0.3300 0.3854 0.2004 0.1571 0.0678 0.1650 0.3800 0.2653 0.0402 704-AH 0.0000 0.0212 0.0300 0.0387 0.0500 0.0297 0.0110 0.0175 0.0500 0.3717 0.0227 0.0003 0.0084 0.0000 0.0500 0.0297 0.0110 705-AH 0.0500 0.3275 0.3800 0.3900 0.4100 0.3441 0.0867 0.0625 0.3600 0.2518 0.3237 0.2799 0.0627 0.2850 0.4100 0.3748 0.0324 706-AH 0.0900 0.1450 0.1550 0.1850 0.2700 0.1686 0.0460 0.0400 0.1800 0.2730 0.1629 0.1575 0.0358 0.0900 0.2400 0.1568 0.0337 707-AH 0.0000 0.0450 0.0700 0.1250 0.2000 0.0817 0.0550 0.0800 0.2000 0.6731 0.0502 0.0003 0.0451 0.0000 0.2000 0.0817 0.0550 708-AH 0.0000 0.1150 0.1300 0.1400 0.1800 0.1174 0.0396 0.0250 0.1800 0.3371 0.0859 0.0003 0.0271 0.0950 0.1600 0.1282 0.0168 709-AH 0.0000 0.1900 0.2200 0.2550 0.2600 0.2014 0.0692 0.0650 0.2600 0.3438 0.1172 0.0002 0.0513 0.1000 0.2600 0.2136 0.0490 710-AH 0.0000 0.0050 0.0150 0.0250 0.0350 0.0151 0.0102 0.0200 0.0350 0.6723 0.0086 0.0002 0.0087 0.0000 0.0350 0.0151 0.0102 711-AH 0.0000 0.0100 0.0150 0.0187 0.0200 0.0137 0.0053 0.0087 0.0200 0.3889 0.0107 0.0003 0.0043 0.0000 0.0200 0.0137 0.0053 712-AH 0.0200 0.0250 0.0250 0.0250 0.0300 0.0251 0.0019 0.0000 0.0100 0.0760 0.0251 0.0250 0.0008 0.0250 0.0250 0.0250 0.0000 713-AH 0.0400 0.0962 0.1450 0.1625 0.1850 0.1310 0.0413 0.0663 0.1450 0.3151 0.1236 0.1149 0.0358 0.0400 0.1850 0.1310 0.0413 714-AH 0.0000 0.0337 0.0750 0.0850 0.1000 0.0613 0.0365 0.0513 0.1000 0.5954 0.0119 0.0000 0.0304 0.0000 0.1000 0.0613 0.0365 715-AH 0.0000 0.0000 0.0000 0.0087 0.0150 0.0036 0.0046 0.0087 0.0150 1.2961 0.0002 0.0000 0.0041 0.0000 0.0150 0.0036 0.0046 716-AH 0.1050 0.1600 0.1650 0.1650 0.1650 0.1607 0.0112 0.0050 0.0600 0.0696 0.1602 0.1597 0.0056 0.1550 0.1650 0.1632 0.0030 717-AH 0.0250 0.0450 0.0550 0.0738 0.0950 0.0591 0.0181 0.0288 0.0700 0.3065 0.0564 0.0537 0.0157 0.0250 0.0950 0.0591 0.0181 718-AH 0.0000 0.0350 0.0500 0.0637 0.0750 0.0439 0.0240 0.0287 0.0750 0.5468 0.0118 0.0001 0.0190 0.0000 0.0750 0.0439 0.0240 719-AH 0.0000 0.0200 0.0300 0.0400 0.0750 0.0316 0.0179 0.0200 0.0750 0.5668 0.0188 0.0002 0.0139 0.0000 0.0650 0.0303 0.0165 720-AH 0.1250 0.1500 0.1550 0.1600 0.1700 0.1533 0.0089 0.0100 0.0450 0.0581 0.1530 0.1528 0.0068 0.1400 0.1700 0.1541 0.0075 721-AH 0.0050 0.1450 0.1850 0.1887 0.1950 0.1524 0.0600 0.0437 0.1900 0.3938 0.1206 0.0544 0.0461 0.0900 0.1950 0.1742 0.0268 722-AH 0.0000 0.0050 0.0100 0.0150 0.0250 0.0110 0.0060 0.0100 0.0250 0.5490 0.0060 0.0001 0.0049 0.0000 0.0250 0.0110 0.0060 723-AH 0.0000 0.0000 0.0050 0.0050 0.0100 0.0036 0.0033 0.0050 0.0100 0.9343 0.0005 0.0000 0.0029 0.0000 0.0100 0.0036 0.0033 724-AH 0.0550 0.0850 0.0900 0.0900 0.0900 0.0853 0.0087 0.0050 0.0350 0.1015 0.0848 0.0841 0.0051 0.0800 0.0900 0.0877 0.0031 725-AH 0.0450 0.0800 0.0850 0.0900 0.0950 0.0816 0.0112 0.0100 0.0500 0.1369 0.0807 0.0795 0.0078 0.0650 0.0950 0.0836 0.0074 726-AH 0.0400 0.0500 0.0650 0.0700 0.0750 0.0616 0.0111 0.0200 0.0350 0.1803 0.0605 0.0594 0.0095 0.0400 0.0750 0.0616 0.0111 727-AH 0.0000 0.0250 0.0500 0.0900 0.0950 0.0536 0.0373 0.0650 0.0950 0.6972 0.0104 0.0000 0.0342 0.0000 0.0950 0.0536 0.0373 728-AH 0.0250 0.0775 0.1200 0.1300 0.1350 0.1004 0.0377 0.0525 0.1100 0.3758 0.0899 0.0756 0.0314 0.0250 0.1350 0.1004 0.0377 729-AH 0.0100 0.0250 0.0350 0.0500 0.0550 0.0357 0.0143 0.0250 0.0450 0.4005 0.0323 0.0281 0.0120 0.0100 0.0550 0.0357 0.0143 730-AH 0.0600 0.1212 0.1400 0.1600 0.1850 0.1394 0.0321 0.0387 0.1250 0.2306 0.1350 0.1295 0.0260 0.0900 0.1850 0.1442 0.0261 731-AH 0.0250 0.0362 0.0550 0.0637 0.0800 0.0514 0.0167 0.0275 0.0550 0.3247 0.0485 0.0455 0.0137 0.0250 0.0800 0.0514 0.0167 732-AH 0.0300 0.0550 0.0800 0.0900 0.1000 0.0723 0.0214 0.0350 0.0700 0.2965 0.0685 0.0639 0.0179 0.0300 0.1000 0.0723 0.0214 733-AH 0.0000 0.0100 0.0200 0.0250 0.0250 0.0176 0.0076 0.0150 0.0250 0.4330 0.0132 0.0003 0.0066 0.0000 0.0250 0.0176 0.0076 734-AH 0.0150 0.0463 0.0600 0.0700 0.0900 0.0570 0.0169 0.0237 0.0750 0.2972 0.0540 0.0500 0.0134 0.0150 0.0900 0.0570 0.0169 735-AH 0.0000 0.0250 0.0300 0.0587 0.0800 0.0396 0.0232 0.0337 0.0800 0.5874 0.0258 0.0003 0.0204 0.0000 0.0800 0.0396 0.0232 736-AH 0.0200 0.0612 0.0750 0.0800 0.1150 0.0717 0.0200 0.0187 0.0950 0.2794 0.0681 0.0631 0.0148 0.0450 0.0900 0.0735 0.0118 737-AH 0.0700 0.0913 0.1150 0.1375 0.1900 0.1169 0.0333 0.0462 0.1200 0.2853 0.1122 0.1077 0.0262 0.0700 0.1900 0.1169 0.0333 738-AH 0.0400 0.1513 0.2250 0.3725 0.4050 0.2446 0.1285 0.2212 0.3650 0.5256 0.2015 0.1532 0.1184 0.0400 0.4050 0.2446 0.1285 739-AH 0.0250 0.0400 0.0750 0.0850 0.0950 0.0650 0.0238 0.0450 0.0700 0.3665 0.0600 0.0547 0.0214 0.0250 0.0950 0.0650 0.0238 740-AH 0.0150 0.0950 0.1600 0.1788 0.2100 0.1369 0.0626 0.0838 0.1950 0.4577 0.1097 0.0698 0.0504 0.0150 0.2100 0.1369 0.0626 741-AH 0.0000 0.0288 0.0400 0.0537 0.0850 0.0401 0.0195 0.0250 0.0850 0.4866 0.0238 0.0002 0.0136 0.0000 0.0850 0.0401 0.0195 742-AH 0.0000 0.0513 0.0700 0.0850 0.1000 0.0629 0.0300 0.0338 0.1000 0.4778 0.0406 0.0003 0.0237 0.0050 0.1000 0.0647 0.0284 743-AH 0.0000 0.0050 0.0050 0.0100 0.0100 0.0069 0.0032 0.0050 0.0100 0.4708 0.0040 0.0001 0.0029 0.0000 0.0100 0.0069 0.0032 744-AH 0.0050 0.0288 0.1300 0.1400 0.1500 0.0943 0.0564 0.1113 0.1450 0.5983 0.0576 0.0204 0.0495 0.0050 0.1500 0.0943 0.0564 745-AH 0.0200 0.1513 0.1800 0.2050 0.2500 0.1703 0.0560 0.0537 0.2300 0.3289 0.1539 0.1208 0.0417 0.0750 0.2500 0.1792 0.0434 746-AH 0.0150 0.1462 0.1800 0.2350 0.2500 0.1751 0.0647 0.0888 0.2350 0.3691 0.1559 0.1189 0.0518 0.0150 0.2500 0.1751 0.0647 747-AH 0.0050 0.0200 0.0300 0.0575 0.1450 0.0446 0.0412 0.0375 0.1400 0.9244 0.0304 0.0204 0.0320 0.0050 0.1100 0.0327 0.0255 748-AH 0.0050 0.0600 0.0750 0.0750 0.0750 0.0664 0.0145 0.0150 0.0700 0.2187 0.0626 0.0492 0.0103 0.0450 0.0750 0.0682 0.0100 749-AH 0.0450 0.0562 0.1500 0.1850 0.2250 0.1329 0.0608 0.1288 0.1800 0.4580 0.1157 0.0974 0.0524 0.0450 0.2250 0.1329 0.0608 750-AH 0.0200 0.0525 0.1000 0.1625 0.2100 0.1077 0.0626 0.1100 0.1900 0.5810 0.0878 0.0683 0.0540 0.0200 0.2100 0.1077 0.0626 110 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0100 0.0360 0.1040 0.1240 0.1260 0.0839 0.0444 0.0880 0.1160 0.5291 0.0636 0.0384 0.0386 0.0100 0.1260 0.0839 0.0444 702-AH 0.0000 0.0000 0.0020 0.0040 0.0040 0.0022 0.0019 0.0040 0.0040 0.8365 0.0004 0.0000 0.0017 0.0000 0.0040 0.0022 0.0019 703-AH 0.0400 0.1040 0.1160 0.1260 0.1620 0.1061 0.0302 0.0220 0.1220 0.2846 0.1007 0.0941 0.0228 0.0740 0.1260 0.1157 0.0110 704-AH 0.0000 0.0140 0.0180 0.0180 0.0200 0.0156 0.0049 0.0040 0.0200 0.3122 0.0123 0.0003 0.0036 0.0100 0.0200 0.0167 0.0030 705-AH 0.0200 0.1680 0.1760 0.1780 0.1820 0.1585 0.0379 0.0100 0.1620 0.2392 0.1498 0.1292 0.0271 0.1580 0.1820 0.1754 0.0053 706-AH 0.0420 0.0700 0.0840 0.1135 0.1400 0.0893 0.0266 0.0435 0.0980 0.2976 0.0855 0.0818 0.0223 0.0420 0.1400 0.0893 0.0266 707-AH 0.0080 0.0260 0.0420 0.0740 0.0920 0.0458 0.0254 0.0480 0.0840 0.5546 0.0377 0.0292 0.0226 0.0080 0.0920 0.0458 0.0254 708-AH 0.0000 0.0575 0.0700 0.0800 0.0880 0.0655 0.0219 0.0225 0.0880 0.3343 0.0488 0.0003 0.0161 0.0380 0.0880 0.0709 0.0134 709-AH 0.0000 0.0860 0.1020 0.1040 0.1060 0.0875 0.0272 0.0180 0.1060 0.3107 0.0627 0.0003 0.0188 0.0640 0.1060 0.0971 0.0100 710-AH 0.0000 0.0040 0.0080 0.0115 0.0140 0.0079 0.0041 0.0075 0.0140 0.5217 0.0058 0.0003 0.0035 0.0000 0.0140 0.0079 0.0041 711-AH 0.0000 0.0060 0.0080 0.0080 0.0100 0.0072 0.0023 0.0020 0.0100 0.3245 0.0059 0.0003 0.0019 0.0040 0.0100 0.0074 0.0020 712-AH 0.0080 0.0100 0.0100 0.0100 0.0120 0.0101 0.0008 0.0000 0.0040 0.0823 0.0101 0.0100 0.0004 0.0100 0.0100 0.0100 0.0000 713-AH 0.0180 0.0580 0.0600 0.0740 0.0820 0.0606 0.0139 0.0160 0.0640 0.2297 0.0585 0.0555 0.0097 0.0340 0.0820 0.0618 0.0120 714-AH 0.0000 0.0165 0.0320 0.0420 0.0460 0.0281 0.0168 0.0255 0.0460 0.6005 0.0065 0.0000 0.0138 0.0000 0.0460 0.0281 0.0168 715-AH 0.0000 0.0020 0.0040 0.0040 0.0100 0.0038 0.0019 0.0020 0.0100 0.5108 0.0026 0.0002 0.0013 0.0000 0.0060 0.0036 0.0016 716-AH 0.0640 0.0660 0.0660 0.0660 0.0660 0.0656 0.0008 0.0000 0.0020 0.0124 0.0656 0.0656 0.0006 0.0660 0.0660 0.0660 0.0000 717-AH 0.0120 0.0240 0.0300 0.0355 0.0400 0.0297 0.0069 0.0115 0.0280 0.2321 0.0288 0.0276 0.0053 0.0120 0.0400 0.0297 0.0069 718-AH 0.0000 0.0205 0.0340 0.0395 0.0420 0.0281 0.0145 0.0190 0.0420 0.5150 0.0082 0.0001 0.0116 0.0000 0.0420 0.0281 0.0145 719-AH 0.0000 0.0140 0.0180 0.0220 0.0320 0.0174 0.0075 0.0080 0.0320 0.4333 0.0113 0.0002 0.0056 0.0080 0.0320 0.0184 0.0063 720-AH 0.0580 0.0620 0.0640 0.0675 0.0720 0.0649 0.0033 0.0055 0.0140 0.0503 0.0648 0.0648 0.0026 0.0580 0.0720 0.0649 0.0033 721-AH 0.0040 0.0685 0.0740 0.0780 0.0780 0.0687 0.0157 0.0095 0.0740 0.2286 0.0639 0.0463 0.0095 0.0600 0.0780 0.0735 0.0047 722-AH 0.0000 0.0040 0.0060 0.0060 0.0100 0.0057 0.0021 0.0020 0.0100 0.3714 0.0047 0.0003 0.0016 0.0040 0.0080 0.0055 0.0015 723-AH 0.0000 0.0020 0.0020 0.0040 0.0040 0.0025 0.0014 0.0020 0.0040 0.5572 0.0012 0.0001 0.0012 0.0000 0.0040 0.0025 0.0014 724-AH 0.0220 0.0340 0.0360 0.0360 0.0360 0.0343 0.0034 0.0020 0.0140 0.0982 0.0341 0.0338 0.0020 0.0320 0.0360 0.0352 0.0011 725-AH 0.0240 0.0340 0.0360 0.0380 0.0400 0.0353 0.0039 0.0040 0.0160 0.1101 0.0350 0.0348 0.0029 0.0300 0.0400 0.0359 0.0030 726-AH 0.0160 0.0220 0.0300 0.0320 0.0320 0.0274 0.0051 0.0100 0.0160 0.1848 0.0269 0.0263 0.0045 0.0160 0.0320 0.0274 0.0051 727-AH 0.0000 0.0130 0.0360 0.0380 0.0380 0.0275 0.0144 0.0250 0.0380 0.5237 0.0112 0.0001 0.0127 0.0000 0.0380 0.0275 0.0144 728-AH 0.0100 0.0330 0.0520 0.0540 0.0540 0.0432 0.0152 0.0210 0.0440 0.3514 0.0392 0.0335 0.0127 0.0100 0.0540 0.0432 0.0152 729-AH 0.0060 0.0120 0.0180 0.0220 0.0240 0.0170 0.0048 0.0100 0.0180 0.2849 0.0162 0.0153 0.0043 0.0060 0.0240 0.0170 0.0048 730-AH 0.0280 0.0705 0.0820 0.0880 0.0960 0.0766 0.0169 0.0175 0.0680 0.2207 0.0741 0.0708 0.0128 0.0500 0.0960 0.0804 0.0116 731-AH 0.0100 0.0225 0.0280 0.0360 0.0360 0.0286 0.0069 0.0135 0.0260 0.2419 0.0277 0.0265 0.0061 0.0100 0.0360 0.0286 0.0069 732-AH 0.0240 0.0330 0.0440 0.0515 0.0580 0.0426 0.0098 0.0185 0.0340 0.2295 0.0414 0.0402 0.0083 0.0240 0.0580 0.0426 0.0098 733-AH 0.0020 0.0080 0.0100 0.0100 0.0100 0.0085 0.0025 0.0020 0.0080 0.2924 0.0079 0.0070 0.0020 0.0060 0.0100 0.0094 0.0012 734-AH 0.0100 0.0260 0.0300 0.0300 0.0380 0.0282 0.0056 0.0040 0.0280 0.1981 0.0275 0.0265 0.0040 0.0220 0.0340 0.0285 0.0033 735-AH 0.0000 0.0120 0.0260 0.0340 0.0520 0.0219 0.0134 0.0220 0.0520 0.6126 0.0142 0.0003 0.0119 0.0000 0.0520 0.0219 0.0134 736-AH 0.0140 0.0340 0.0400 0.0440 0.0500 0.0381 0.0095 0.0100 0.0360 0.2490 0.0367 0.0348 0.0072 0.0200 0.0500 0.0388 0.0086 737-AH 0.0300 0.0595 0.0780 0.0875 0.1140 0.0726 0.0220 0.0280 0.0840 0.3025 0.0686 0.0638 0.0177 0.0300 0.1140 0.0726 0.0220 738-AH 0.0300 0.0945 0.1580 0.1770 0.1860 0.1306 0.0504 0.0825 0.1560 0.3862 0.1178 0.1012 0.0456 0.0300 0.1860 0.1306 0.0504 739-AH 0.0120 0.0240 0.0360 0.0380 0.0400 0.0309 0.0079 0.0140 0.0280 0.2560 0.0297 0.0283 0.0070 0.0120 0.0400 0.0309 0.0079 740-AH 0.0100 0.0630 0.0820 0.0940 0.1000 0.0721 0.0303 0.0310 0.0900 0.4205 0.0603 0.0425 0.0245 0.0200 0.1000 0.0820 0.0192 741-AH 0.0060 0.0185 0.0280 0.0320 0.0420 0.0263 0.0098 0.0135 0.0360 0.3719 0.0239 0.0206 0.0079 0.0060 0.0420 0.0263 0.0098 742-AH 0.0000 0.0225 0.0300 0.0360 0.0400 0.0273 0.0111 0.0135 0.0400 0.4055 0.0200 0.0003 0.0085 0.0040 0.0400 0.0281 0.0101 743-AH 0.0000 0.0020 0.0040 0.0040 0.0060 0.0036 0.0017 0.0020 0.0060 0.4629 0.0025 0.0002 0.0013 0.0000 0.0060 0.0036 0.0017 744-AH 0.0020 0.0205 0.0560 0.0620 0.0620 0.0435 0.0233 0.0415 0.0600 0.5351 0.0313 0.0158 0.0205 0.0020 0.0620 0.0435 0.0233 745-AH 0.0280 0.0860 0.0960 0.1125 0.1220 0.0930 0.0221 0.0265 0.0940 0.2372 0.0894 0.0840 0.0161 0.0600 0.1220 0.0967 0.0162 746-AH 0.0140 0.0640 0.0920 0.1075 0.1120 0.0822 0.0285 0.0435 0.0980 0.3474 0.0754 0.0655 0.0247 0.0140 0.1120 0.0822 0.0285 747-AH 0.0120 0.0145 0.0340 0.0420 0.0800 0.0346 0.0211 0.0275 0.0680 0.6091 0.0287 0.0238 0.0166 0.0120 0.0800 0.0346 0.0211 748-AH 0.0020 0.0260 0.0300 0.0300 0.0300 0.0271 0.0056 0.0040 0.0280 0.2079 0.0256 0.0201 0.0038 0.0240 0.0300 0.0288 0.0022 749-AH 0.0220 0.0390 0.0760 0.0900 0.1040 0.0687 0.0256 0.0510 0.0820 0.3718 0.0628 0.0560 0.0216 0.0220 0.1040 0.0687 0.0256 750-AH 0.0140 0.0305 0.0600 0.1010 0.1180 0.0619 0.0350 0.0705 0.1040 0.5649 0.0510 0.0405 0.0312 0.0140 0.1180 0.0619 0.0350 111 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-MONO-FR-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0060 0.0190 0.0590 0.0620 0.0650 0.0459 0.0228 0.0430 0.0590 0.4967 0.0358 0.0228 0.0200 0.0060 0.0650 0.0459 0.0228 702-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0016 0.0005 0.0010 0.0020 0.3358 0.0014 0.0003 0.0005 0.0000 0.0020 0.0016 0.0005 703-AH 0.0320 0.0553 0.0590 0.0630 0.0860 0.0572 0.0109 0.0078 0.0540 0.1902 0.0562 0.0550 0.0072 0.0450 0.0630 0.0575 0.0058 704-AH 0.0000 0.0090 0.0090 0.0100 0.0110 0.0085 0.0026 0.0010 0.0110 0.3046 0.0068 0.0003 0.0018 0.0080 0.0110 0.0096 0.0007 705-AH 0.0100 0.0860 0.0880 0.0890 0.0920 0.0824 0.0162 0.0030 0.0820 0.1968 0.0788 0.0686 0.0100 0.0820 0.0920 0.0884 0.0022 706-AH 0.0220 0.0355 0.0530 0.0697 0.0780 0.0520 0.0170 0.0342 0.0560 0.3276 0.0491 0.0461 0.0150 0.0220 0.0780 0.0520 0.0170 707-AH 0.0080 0.0152 0.0280 0.0405 0.0570 0.0285 0.0136 0.0253 0.0490 0.4759 0.0251 0.0216 0.0119 0.0080 0.0570 0.0285 0.0136 708-AH 0.0040 0.0333 0.0380 0.0440 0.0450 0.0356 0.0113 0.0107 0.0410 0.3185 0.0319 0.0238 0.0083 0.0210 0.0450 0.0384 0.0069 709-AH 0.0000 0.0443 0.0510 0.0520 0.0530 0.0445 0.0136 0.0078 0.0530 0.3046 0.0326 0.0003 0.0091 0.0360 0.0530 0.0495 0.0039 710-AH 0.0000 0.0030 0.0050 0.0070 0.0070 0.0048 0.0022 0.0040 0.0070 0.4633 0.0037 0.0003 0.0019 0.0000 0.0070 0.0048 0.0022 711-AH 0.0000 0.0030 0.0040 0.0050 0.0070 0.0041 0.0014 0.0020 0.0070 0.3421 0.0034 0.0003 0.0011 0.0020 0.0070 0.0043 0.0012 712-AH 0.0040 0.0050 0.0050 0.0050 0.0060 0.0051 0.0004 0.0000 0.0020 0.0823 0.0050 0.0050 0.0002 0.0050 0.0050 0.0050 0.0000 713-AH 0.0100 0.0300 0.0320 0.0370 0.0440 0.0319 0.0065 0.0070 0.0340 0.2033 0.0311 0.0298 0.0046 0.0200 0.0440 0.0326 0.0053 714-AH 0.0000 0.0090 0.0170 0.0220 0.0230 0.0145 0.0085 0.0130 0.0230 0.5866 0.0039 0.0000 0.0070 0.0000 0.0230 0.0145 0.0085 715-AH 0.0000 0.0020 0.0030 0.0040 0.0080 0.0033 0.0019 0.0020 0.0080 0.5844 0.0025 0.0003 0.0015 0.0000 0.0070 0.0032 0.0018 716-AH 0.0320 0.0330 0.0330 0.0330 0.0330 0.0328 0.0004 0.0000 0.0010 0.0116 0.0328 0.0328 0.0003 0.0330 0.0330 0.0330 0.0000 717-AH 0.0090 0.0123 0.0180 0.0190 0.0200 0.0163 0.0034 0.0067 0.0110 0.2101 0.0159 0.0154 0.0030 0.0090 0.0200 0.0163 0.0034 718-AH 0.0000 0.0102 0.0200 0.0230 0.0270 0.0167 0.0089 0.0128 0.0270 0.5342 0.0053 0.0001 0.0074 0.0000 0.0270 0.0167 0.0089 719-AH 0.0000 0.0083 0.0100 0.0120 0.0180 0.0101 0.0042 0.0037 0.0180 0.4188 0.0068 0.0002 0.0031 0.0040 0.0170 0.0105 0.0033 720-AH 0.0300 0.0330 0.0340 0.0350 0.0370 0.0342 0.0017 0.0020 0.0070 0.0510 0.0342 0.0341 0.0014 0.0300 0.0370 0.0342 0.0017 721-AH 0.0020 0.0350 0.0370 0.0390 0.0390 0.0353 0.0065 0.0040 0.0370 0.1835 0.0333 0.0243 0.0034 0.0300 0.0390 0.0368 0.0021 722-AH 0.0010 0.0030 0.0030 0.0040 0.0050 0.0033 0.0011 0.0010 0.0040 0.3158 0.0032 0.0029 0.0009 0.0020 0.0050 0.0034 0.0010 723-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0005 0.0000 0.0020 0.2809 0.0014 0.0002 0.0003 0.0020 0.0020 0.0020 0.0000 724-AH 0.0110 0.0170 0.0180 0.0180 0.0180 0.0172 0.0016 0.0010 0.0070 0.0956 0.0171 0.0170 0.0009 0.0160 0.0180 0.0176 0.0006 725-AH 0.0140 0.0180 0.0190 0.0200 0.0210 0.0186 0.0020 0.0020 0.0070 0.1055 0.0185 0.0183 0.0015 0.0150 0.0210 0.0188 0.0016 726-AH 0.0080 0.0133 0.0160 0.0160 0.0170 0.0143 0.0024 0.0028 0.0090 0.1691 0.0141 0.0138 0.0020 0.0100 0.0170 0.0145 0.0022 727-AH 0.0000 0.0102 0.0190 0.0190 0.0190 0.0148 0.0065 0.0087 0.0190 0.4378 0.0080 0.0001 0.0054 0.0000 0.0190 0.0148 0.0065 728-AH 0.0050 0.0180 0.0270 0.0270 0.0280 0.0223 0.0073 0.0090 0.0230 0.3270 0.0205 0.0178 0.0060 0.0050 0.0280 0.0223 0.0073 729-AH 0.0050 0.0073 0.0110 0.0110 0.0120 0.0093 0.0021 0.0037 0.0070 0.2277 0.0091 0.0088 0.0019 0.0050 0.0120 0.0093 0.0021 730-AH 0.0140 0.0410 0.0460 0.0498 0.0520 0.0434 0.0091 0.0087 0.0380 0.2105 0.0421 0.0402 0.0067 0.0300 0.0520 0.0455 0.0061 731-AH 0.0050 0.0150 0.0170 0.0190 0.0200 0.0161 0.0033 0.0040 0.0150 0.2028 0.0157 0.0150 0.0025 0.0100 0.0200 0.0165 0.0027 732-AH 0.0160 0.0220 0.0260 0.0300 0.0340 0.0259 0.0051 0.0080 0.0180 0.1989 0.0254 0.0248 0.0042 0.0160 0.0340 0.0259 0.0051 733-AH 0.0010 0.0043 0.0050 0.0050 0.0060 0.0044 0.0012 0.0007 0.0050 0.2808 0.0041 0.0036 0.0009 0.0040 0.0060 0.0049 0.0004 734-AH 0.0110 0.0140 0.0150 0.0160 0.0190 0.0152 0.0023 0.0020 0.0080 0.1529 0.0150 0.0148 0.0018 0.0110 0.0190 0.0152 0.0023 735-AH 0.0000 0.0063 0.0130 0.0190 0.0300 0.0130 0.0077 0.0127 0.0300 0.5903 0.0089 0.0003 0.0067 0.0000 0.0300 0.0130 0.0077 736-AH 0.0130 0.0212 0.0230 0.0248 0.0260 0.0221 0.0037 0.0035 0.0130 0.1669 0.0218 0.0214 0.0028 0.0160 0.0260 0.0229 0.0027 737-AH 0.0150 0.0385 0.0520 0.0570 0.0690 0.0472 0.0158 0.0185 0.0540 0.3347 0.0437 0.0392 0.0128 0.0150 0.0690 0.0472 0.0158 738-AH 0.0220 0.0513 0.0870 0.0955 0.1020 0.0741 0.0248 0.0442 0.0800 0.3341 0.0689 0.0621 0.0221 0.0220 0.1020 0.0741 0.0248 739-AH 0.0060 0.0140 0.0180 0.0197 0.0200 0.0164 0.0037 0.0057 0.0140 0.2249 0.0159 0.0152 0.0032 0.0060 0.0200 0.0164 0.0037 740-AH 0.0060 0.0400 0.0470 0.0490 0.0520 0.0399 0.0152 0.0090 0.0460 0.3812 0.0345 0.0261 0.0119 0.0370 0.0520 0.0471 0.0035 741-AH 0.0070 0.0180 0.0210 0.0230 0.0230 0.0192 0.0049 0.0050 0.0160 0.2538 0.0183 0.0172 0.0038 0.0120 0.0230 0.0206 0.0030 742-AH 0.0030 0.0133 0.0150 0.0180 0.0200 0.0146 0.0047 0.0047 0.0170 0.3216 0.0135 0.0119 0.0036 0.0080 0.0200 0.0158 0.0033 743-AH 0.0000 0.0013 0.0020 0.0030 0.0030 0.0020 0.0009 0.0017 0.0030 0.4347 0.0014 0.0002 0.0006 0.0000 0.0030 0.0020 0.0009 744-AH 0.0010 0.0182 0.0300 0.0310 0.0310 0.0234 0.0107 0.0128 0.0300 0.4564 0.0186 0.0106 0.0092 0.0010 0.0310 0.0234 0.0107 745-AH 0.0250 0.0510 0.0570 0.0617 0.0630 0.0545 0.0087 0.0108 0.0380 0.1595 0.0536 0.0525 0.0064 0.0420 0.0630 0.0561 0.0059 746-AH 0.0160 0.0323 0.0510 0.0570 0.0590 0.0452 0.0139 0.0247 0.0430 0.3071 0.0427 0.0397 0.0126 0.0160 0.0590 0.0452 0.0139 747-AH 0.0070 0.0120 0.0320 0.0360 0.0470 0.0277 0.0134 0.0240 0.0400 0.4831 0.0235 0.0187 0.0113 0.0070 0.0470 0.0277 0.0134 748-AH 0.0010 0.0130 0.0150 0.0150 0.0150 0.0137 0.0028 0.0020 0.0140 0.2017 0.0129 0.0101 0.0018 0.0120 0.0150 0.0143 0.0011 749-AH 0.0110 0.0288 0.0440 0.0470 0.0590 0.0403 0.0117 0.0182 0.0480 0.2904 0.0382 0.0353 0.0094 0.0110 0.0590 0.0403 0.0117 750-AH 0.0070 0.0163 0.0370 0.0620 0.0670 0.0390 0.0217 0.0457 0.0600 0.5561 0.0321 0.0253 0.0197 0.0070 0.0670 0.0390 0.0217 112 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Ad−Hoc TEL Bilingual English Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; MAP 40.46%; Pooled] hit [Experiment XTDD10T40; MAP 35.27%; Not Pooled] 90% trinity [Experiment TCDDEENRUN3; MAP 35.05%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; MAP 33.33%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; MAP 32.70%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) 1 chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; MAP 40.46%; Pooled] hit [Experiment XTDD10T40; MAP 35.27%; Not Pooled] 0.8 trinity [Experiment TCDDEENRUN3; MAP 35.05%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; MAP 33.33%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; MAP 32.70%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Bilingual English Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 1 chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; MAP 40.46%; Pooled] hit [Experiment XTDD10T40; MAP 35.27%; Not Pooled] 0.8 trinity [Experiment TCDDEENRUN3; MAP 35.05%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; MAP 33.33%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; MAP 32.70%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 113 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Ad−Hoc TEL Bilingual English Task − Box Plot of the Topics chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; MAP 40.46%; Pooled] chemnitz [Experiment CUT_14_BILI_MERGED_FR2EN_9_10; MAP 40.29%; Not Pooled] hit [Experiment XTDD10T40; MAP 35.27%; Not Pooled] hit [Experiment XTDD10T20; MAP 35.23%; Pooled] trinity [Experiment TCDDEENRUN3; MAP 35.05%; Not Pooled] trinity [Experiment TCDDEENRUN2; MAP 35.00%; Not Pooled] trinity [Experiment TCDFRENRUN3; MAP 35.00%; Not Pooled] trinity [Experiment TCDFRENRUN2; MAP 34.88%; Pooled] chemnitz [Experiment CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9; MAP 34.27%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; MAP 33.33%; Not Pooled] chemnitz [Experiment CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9; MAP 33.32%; Not Pooled] trinity−dcu [Experiment TCDDCU_FREN1F; MAP 33.23%; Pooled] karlsruhe [Experiment DE_INDEXBL; MAP 32.70%; Not Pooled] hit [Experiment XTD10T40; MAP 31.72%; Not Pooled] karlsruhe [Experiment DE_INDEXALLESA; MAP 31.38%; Pooled] karlsruhe [Experiment FR_INDEXBL; MAP 31.28%; Not Pooled] karlsruhe [Experiment DE_INDEXALL; MAP 30.71%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN3; MAP 29.47%; Not Pooled] karlsruhe [Experiment FR_INDEXALLESA; MAP 29.11%; Not Pooled] trinity−dcu [Experiment TCDDCU_FREN2F; MAP 25.51%; Not Pooled] Experiments cheshire [Experiment BIFRENT2FB; MAP 24.78%; Not Pooled] weimar [Experiment COMBINEDFRINEN; MAP 22.52%; Not Pooled] cheshire [Experiment BIDEENT2FB; MAP 22.38%; Pooled] qazviniau [Experiment IAUTELGE4; MAP 21.62%; Not Pooled] weimar [Experiment COMBINEDDEINEN; MAP 21.53%; Not Pooled] trinity−dcu [Experiment TCDDCU_FREN2; MAP 20.72%; Not Pooled] qazviniau [Experiment IAUTELGE2; MAP 17.71%; Not Pooled] celi [Experiment CACAO_DEBL_BASE; MAP 17.10%; Not Pooled] qazviniau [Experiment IAUTELGE1; MAP 16.98%; Pooled] celi [Experiment CACAO_DEBL_ML; MAP 16.69%; Not Pooled] cheshire [Experiment BIFRENT2FBX; MAP 16.66%; Not Pooled] cheshire [Experiment BIDEENT2FBX; MAP 15.98%; Not Pooled] qazviniau [Experiment IAUTELGE3; MAP 15.43%; Not Pooled] weimar [Experiment CLESA169283DEINEN; MAP 14.40%; Pooled] weimar [Experiment CLESA169283FRINEN; MAP 13.91%; Not Pooled] celi [Experiment CACAO_FRBL_ML; MAP 13.90%; Not Pooled] celi [Experiment CACAO_FRBL_BASE; MAP 13.83%; Not Pooled] celi [Experiment CACAO_ITBL_BASE; MAP 11.84%; Not Pooled] aeb [Experiment 2_GRAM_LANGUAGEMODELS; MAP 7.37%; Pooled] aeb [Experiment 3_GRAM_LANGUAGEMODELS; MAP 6.23%; Not Pooled] aeb [Experiment 2_GRAM_LANGUAGEMODELS_WORDNET; MAP 6.04%; Not Pooled] aeb [Experiment 3_GRAM_LANGUAGEMODELS_WORDNET; MAP 4.61%; Not Pooled] aeb [Experiment MAXENTROPY; MAP 4.25%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Average Precision 114 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 10.2455/TUKEY_T_TEST.4299EFBAF65F467381D2295398D624B9 Ad−Hoc TEL Bilingual English Task − Tukey T test with "top group" highlighted CUT_13_BILI_MERGED_DE2EN_9_10 CUT_14_BILI_MERGED_FR2EN_9_10 TCDDEENRUN3 TCDDEENRUN2 TCDFRENRUN3 XTDD10T40 TCDFRENRUN2 XTDD10T20 CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 TCDDCUDEEN1 CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 DE_INDEXBL TCDDCU_FREN1F FR_INDEXBL DE_INDEXALLESA XTD10T40 DE_INDEXALL FR_INDEXALLESA TCDDCUDEEN3 BIFRENT2FB Experiments TCDDCU_FREN2F COMBINEDFRINEN IAUTELGE4 COMBINEDDEINEN BIDEENT2FB TCDDCU_FREN2 IAUTELGE2 BIFRENT2FBX CACAO_DEBL_BASE CACAO_DEBL_ML IAUTELGE1 IAUTELGE3 BIDEENT2FBX CLESA169283DEINEN CLESA169283FRINEN CACAO_FRBL_ML CACAO_FRBL_BASE CACAO_ITBL_BASE 2_GRAM_LANGUAGEMODELS 3_GRAM_LANGUAGEMODELS 2_GRAM_LANGUAGEMODELS_WORDNET MAXENTROPY 3_GRAM_LANGUAGEMODELS_WORDNET 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 arcsin(sqrt(Average Precsion)) 115 116 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Ad−Hoc TEL Bilingual English Task Top 5 Participants − Retrieved documents vs Mean Precision 100% chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; R−Prec 41.70%; Pooled] hit [Experiment XTDD10T40; R−Prec 36.13%; Not Pooled] 90% trinity [Experiment TCDDEENRUN3; R−Prec 36.95%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; R−Prec 34.86%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; R−Prec 35.07%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) 1 chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; R−Prec 41.70%; Pooled] hit [Experiment XTDD10T40; R−Prec 36.13%; Not Pooled] 0.8 trinity [Experiment TCDDEENRUN3; R−Prec 36.95%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; R−Prec 34.86%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; R−Prec 35.07%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Bilingual English Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 1 chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; R−Prec 41.70%; Pooled] hit [Experiment XTDD10T40; R−Prec 36.13%; Not Pooled] 0.8 trinity [Experiment TCDDEENRUN3; R−Prec 36.95%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; R−Prec 34.86%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; R−Prec 35.07%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 117 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Ad−Hoc TEL Bilingual English Task − Box Plot of the Topics chemnitz [Experiment CUT_13_BILI_MERGED_DE2EN_9_10; R−Prec 41.70%; Pooled] chemnitz [Experiment CUT_14_BILI_MERGED_FR2EN_9_10; R−Prec 41.53%; Not Pooled] trinity [Experiment TCDDEENRUN2; R−Prec 37.37%; Not Pooled] trinity [Experiment TCDDEENRUN3; R−Prec 36.95%; Not Pooled] trinity [Experiment TCDFRENRUN2; R−Prec 36.90%; Pooled] trinity [Experiment TCDFRENRUN3; R−Prec 36.90%; Not Pooled] hit [Experiment XTDD10T20; R−Prec 36.14%; Pooled] hit [Experiment XTDD10T40; R−Prec 36.13%; Not Pooled] trinity−dcu [Experiment TCDDCU_FREN1F; R−Prec 35.67%; Pooled] chemnitz [Experiment CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9; R−Prec 35.53%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; R−Prec 35.07%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN1; R−Prec 34.86%; Not Pooled] karlsruhe [Experiment FR_INDEXBL; R−Prec 34.61%; Not Pooled] chemnitz [Experiment CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9; R−Prec 34.08%; Not Pooled] karlsruhe [Experiment DE_INDEXALLESA; R−Prec 34.03%; Pooled] karlsruhe [Experiment DE_INDEXALL; R−Prec 34.00%; Not Pooled] hit [Experiment XTD10T40; R−Prec 33.35%; Not Pooled] karlsruhe [Experiment FR_INDEXALLESA; R−Prec 33.30%; Not Pooled] trinity−dcu [Experiment TCDDCUDEEN3; R−Prec 30.75%; Not Pooled] cheshire [Experiment BIFRENT2FB; R−Prec 27.01%; Not Pooled] Experiments trinity−dcu [Experiment TCDDCU_FREN2F; R−Prec 26.90%; Not Pooled] weimar [Experiment COMBINEDFRINEN; R−Prec 24.68%; Not Pooled] weimar [Experiment COMBINEDDEINEN; R−Prec 24.50%; Not Pooled] cheshire [Experiment BIDEENT2FB; R−Prec 24.02%; Pooled] qazviniau [Experiment IAUTELGE4; R−Prec 23.97%; Not Pooled] trinity−dcu [Experiment TCDDCU_FREN2; R−Prec 23.31%; Not Pooled] qazviniau [Experiment IAUTELGE2; R−Prec 19.93%; Not Pooled] cheshire [Experiment BIDEENT2FBX; R−Prec 19.84%; Not Pooled] celi [Experiment CACAO_DEBL_BASE; R−Prec 19.23%; Not Pooled] cheshire [Experiment BIFRENT2FBX; R−Prec 19.13%; Not Pooled] celi [Experiment CACAO_DEBL_ML; R−Prec 19.10%; Not Pooled] qazviniau [Experiment IAUTELGE1; R−Prec 18.49%; Pooled] qazviniau [Experiment IAUTELGE3; R−Prec 18.06%; Not Pooled] celi [Experiment CACAO_FRBL_ML; R−Prec 17.77%; Not Pooled] celi [Experiment CACAO_FRBL_BASE; R−Prec 17.71%; Not Pooled] celi [Experiment CACAO_ITBL_BASE; R−Prec 15.95%; Not Pooled] weimar [Experiment CLESA169283DEINEN; R−Prec 15.50%; Pooled] weimar [Experiment CLESA169283FRINEN; R−Prec 14.88%; Not Pooled] aeb [Experiment 2_GRAM_LANGUAGEMODELS; R−Prec 9.59%; Pooled] aeb [Experiment 3_GRAM_LANGUAGEMODELS; R−Prec 8.22%; Not Pooled] aeb [Experiment 2_GRAM_LANGUAGEMODELS_WORDNET; R−Prec 8.18%; Not Pooled] aeb [Experiment 3_GRAM_LANGUAGEMODELS_WORDNET; R−Prec 6.49%; Not Pooled] aeb [Experiment MAXENTROPY; R−Prec 6.40%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% R−Precision 118 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Ad−Hoc TEL Bilingual English Task − Tukey T test with "top group" highlighted CUT_13_BILI_MERGED_DE2EN_9_10 CUT_14_BILI_MERGED_FR2EN_9_10 TCDDEENRUN2 TCDFRENRUN3 TCDFRENRUN2 TCDDEENRUN3 TCDDCU_FREN1F XTDD10T20 XTDD10T40 FR_INDEXBL DE_INDEXBL CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 DE_INDEXALL TCDDCUDEEN1 DE_INDEXALLESA FR_INDEXALLESA CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 XTD10T40 TCDDCUDEEN3 BIFRENT2FB Experiments TCDDCU_FREN2F IAUTELGE4 COMBINEDFRINEN COMBINEDDEINEN TCDDCU_FREN2 BIDEENT2FB IAUTELGE2 BIDEENT2FBX BIFRENT2FBX CACAO_DEBL_ML IAUTELGE3 CACAO_DEBL_BASE IAUTELGE1 CACAO_FRBL_ML CACAO_FRBL_BASE CACAO_ITBL_BASE CLESA169283FRINEN CLESA169283DEINEN 2_GRAM_LANGUAGEMODELS 3_GRAM_LANGUAGEMODELS 2_GRAM_LANGUAGEMODELS_WORDNET MAXENTROPY 3_GRAM_LANGUAGEMODELS_WORDNET 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 arcsin(sqrt(R−Precision)) 119 120 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.00 16.25 21.00 21.00 21.00 17.51 6.21 4.75 21.00 0.35 8.67 0.00 4.61 12.00 21.00 19.50 2.78 702-AH 0.00 25.00 25.00 26.00 29.00 22.70 7.02 1.00 29.00 0.31 15.52 0.00 4.71 24.00 27.00 25.29 0.68 703-AH 0.00 32.25 36.00 36.00 36.00 31.56 9.61 3.75 36.00 0.30 15.78 0.00 6.17 27.00 36.00 34.46 2.83 704-AH 1.00 35.25 46.00 49.75 54.00 39.00 15.82 14.50 53.00 0.41 30.04 10.24 12.19 31.00 54.00 45.31 6.65 705-AH 0.00 57.00 78.00 84.00 84.00 65.44 25.46 27.00 84.00 0.39 30.05 0.00 19.07 20.00 84.00 73.16 14.35 706-AH 3.00 63.00 97.00 101.00 107.00 79.12 33.74 38.00 104.00 0.43 61.22 28.64 26.45 7.00 107.00 82.80 29.92 707-AH 0.00 22.25 29.00 29.00 29.00 23.28 9.91 6.75 29.00 0.43 13.24 0.00 7.78 15.00 29.00 27.69 3.06 708-AH 2.00 6.00 51.00 65.25 67.00 40.51 27.26 59.25 65.00 0.67 24.41 10.67 25.08 2.00 67.00 40.51 27.26 709-AH 0.00 52.50 78.00 83.00 85.00 65.93 24.35 30.50 85.00 0.37 42.74 0.00 19.95 8.00 85.00 67.50 22.33 710-AH 0.00 12.00 25.00 34.25 42.00 22.77 13.30 22.25 42.00 0.58 4.14 0.00 11.18 0.00 42.00 22.77 13.30 711-AH 2.00 7.25 14.00 16.00 16.00 11.16 5.04 8.75 14.00 0.45 9.42 7.05 4.42 2.00 16.00 11.16 5.04 712-AH 0.00 7.00 10.00 10.00 10.00 8.47 2.22 3.00 10.00 0.26 6.16 0.00 1.86 5.00 10.00 8.67 1.80 713-AH 2.00 8.00 28.00 31.50 42.00 21.47 12.98 23.50 40.00 0.60 16.08 10.32 11.69 2.00 42.00 21.47 12.98 714-AH 0.00 14.00 25.00 30.00 44.00 21.86 11.94 16.00 44.00 0.55 9.69 0.00 10.19 0.00 44.00 21.86 11.94 715-AH 1.00 9.00 10.00 12.75 16.00 10.23 3.44 3.75 15.00 0.34 9.22 6.93 2.43 7.00 16.00 10.88 2.56 716-AH 13.00 16.00 20.00 21.00 21.00 18.53 2.91 5.00 8.00 0.16 18.29 18.04 2.66 13.00 21.00 18.53 2.91 717-AH 0.00 7.25 14.00 16.00 16.00 11.40 5.35 8.75 16.00 0.47 2.41 0.00 4.51 0.00 16.00 11.40 5.35 718-AH 13.00 24.00 35.00 44.00 48.00 32.05 11.69 20.00 35.00 0.36 29.52 26.63 10.14 13.00 48.00 32.05 11.69 719-AH 0.00 2.00 3.00 8.00 8.00 4.42 3.00 6.00 8.00 0.68 1.54 0.00 2.77 0.00 8.00 4.42 3.00 720-AH 4.00 46.00 52.00 53.00 53.00 45.67 13.22 7.00 49.00 0.29 41.08 29.76 9.20 38.00 53.00 49.87 5.11 721-AH 0.00 6.25 9.00 10.00 10.00 7.86 3.11 3.75 10.00 0.40 3.94 0.00 2.43 1.00 10.00 8.24 2.63 722-AH 0.00 14.25 23.00 25.00 31.00 19.77 8.85 10.75 31.00 0.45 9.31 0.00 7.28 0.00 31.00 19.77 8.85 723-AH 1.00 7.00 10.00 15.00 19.00 10.33 5.14 8.00 18.00 0.50 8.39 5.33 4.15 1.00 19.00 10.33 5.14 724-AH 15.00 20.00 21.00 21.00 21.00 20.00 1.94 1.00 6.00 0.10 19.89 19.77 1.35 19.00 21.00 20.66 0.67 725-AH 0.00 84.50 160.00 179.75 193.00 125.63 66.59 95.25 193.00 0.53 46.64 0.00 56.69 0.00 193.00 125.63 66.59 726-AH 6.00 26.25 35.00 38.75 54.00 31.95 11.07 12.50 48.00 0.35 29.17 24.82 8.61 11.00 54.00 33.22 9.66 727-AH 0.00 6.25 7.00 7.00 8.00 5.88 2.41 0.75 8.00 0.41 1.37 0.00 1.77 6.00 8.00 7.00 0.35 728-AH 1.00 10.50 18.00 19.00 20.00 14.67 5.79 8.50 19.00 0.39 12.46 8.26 4.81 1.00 20.00 14.67 5.79 729-AH 0.00 5.50 13.00 19.75 36.00 13.37 9.32 14.25 36.00 0.70 1.84 0.00 7.59 0.00 36.00 13.37 9.32 730-AH 1.00 27.25 38.00 79.00 89.00 46.44 25.99 51.75 88.00 0.56 35.60 13.74 21.95 1.00 89.00 46.44 25.99 731-AH 0.00 57.00 66.00 75.75 80.00 58.79 24.33 18.75 80.00 0.41 13.75 0.00 17.51 32.00 80.00 66.50 12.11 732-AH 3.00 11.25 14.00 18.00 24.00 13.72 5.93 6.75 21.00 0.43 11.85 9.36 4.72 3.00 24.00 13.72 5.93 733-AH 3.00 17.25 56.00 60.00 60.00 40.79 23.32 42.75 57.00 0.57 27.85 13.06 20.97 3.00 60.00 40.79 23.32 734-AH 11.00 38.25 39.00 41.00 44.00 36.16 9.63 2.75 33.00 0.27 33.94 30.21 6.49 35.00 44.00 40.00 1.85 735-AH 12.00 48.25 92.00 118.00 154.00 85.67 45.40 69.75 142.00 0.53 67.95 45.81 37.48 12.00 154.00 85.67 45.40 736-AH 0.00 12.00 16.00 29.75 47.00 19.88 12.75 17.75 47.00 0.64 11.70 0.00 10.55 0.00 47.00 19.88 12.75 737-AH 3.00 14.50 30.00 33.00 40.00 23.88 11.06 18.50 37.00 0.46 20.34 15.76 9.95 3.00 40.00 23.88 11.06 738-AH 1.00 40.00 73.00 78.50 97.00 59.33 23.35 38.50 96.00 0.39 50.79 23.24 20.21 1.00 97.00 59.33 23.35 739-AH 28.00 31.25 43.00 44.00 44.00 38.98 6.32 12.75 16.00 0.16 38.43 37.84 5.75 28.00 44.00 38.98 6.32 740-AH 2.00 7.50 12.00 16.50 20.00 11.70 4.84 9.00 18.00 0.41 10.45 8.84 3.78 2.00 20.00 11.70 4.84 741-AH 0.00 2.00 10.00 12.00 12.00 7.05 5.00 10.00 12.00 0.71 0.59 0.00 4.74 0.00 12.00 7.05 5.00 742-AH 0.00 4.00 7.00 12.00 13.00 7.47 4.69 8.00 13.00 0.63 1.51 0.00 4.17 0.00 13.00 7.47 4.69 743-AH 0.00 4.00 5.00 6.00 7.00 4.53 1.96 2.00 7.00 0.43 2.31 0.00 1.59 1.00 7.00 4.76 1.71 744-AH 2.00 5.50 22.00 22.00 22.00 15.53 8.04 16.50 20.00 0.52 12.18 8.16 7.17 2.00 22.00 15.53 8.04 745-AH 3.00 18.75 54.00 64.00 65.00 43.77 22.17 45.25 62.00 0.51 34.52 21.80 19.42 3.00 65.00 43.77 22.17 746-AH 3.00 10.00 18.00 22.75 32.00 16.98 8.15 12.75 29.00 0.48 14.46 11.36 6.96 3.00 32.00 16.98 8.15 747-AH 0.00 40.00 60.00 102.50 158.00 76.23 40.34 62.50 158.00 0.53 48.06 0.00 33.53 0.00 158.00 76.23 40.34 748-AH 0.00 2.00 13.00 13.00 13.00 9.40 5.50 11.00 13.00 0.58 1.32 0.00 4.83 0.00 13.00 9.40 5.50 749-AH 2.00 38.00 39.00 42.00 43.00 34.12 12.89 4.00 41.00 0.38 28.81 18.53 9.96 35.00 43.00 40.41 1.97 750-AH 1.00 5.25 12.00 19.00 24.00 12.35 7.49 13.75 23.00 0.61 8.98 4.90 6.64 1.00 24.00 12.35 7.49 121 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0661 0.2050 0.2945 0.4121 0.2009 0.1338 0.2284 0.4121 0.6661 0.0786 0.0002 0.1155 0.0000 0.4121 0.2009 0.1338 702-AH 0.0000 0.4449 0.7422 0.8322 0.8845 0.5976 0.2856 0.3873 0.8845 0.4779 0.3867 0.0004 0.2373 0.0000 0.8845 0.5976 0.2856 703-AH 0.0000 0.1825 0.3430 0.5075 0.6109 0.3438 0.1836 0.3250 0.6109 0.5340 0.1730 0.0002 0.1569 0.0000 0.6109 0.3438 0.1836 704-AH 0.0001 0.0338 0.0831 0.2017 0.6472 0.1339 0.1554 0.1678 0.6472 1.1601 0.0531 0.0014 0.1153 0.0001 0.3451 0.1002 0.0937 705-AH 0.0000 0.1901 0.2361 0.2940 0.5858 0.2494 0.1371 0.1039 0.5858 0.5496 0.1448 0.0002 0.0970 0.0549 0.4485 0.2257 0.0878 706-AH 0.0001 0.2782 0.5482 0.5746 0.7054 0.4250 0.2223 0.2964 0.7052 0.5231 0.2109 0.0033 0.1876 0.0001 0.7054 0.4250 0.2223 707-AH 0.0000 0.0801 0.4291 0.5933 0.6521 0.3521 0.2502 0.5132 0.6521 0.7106 0.0955 0.0003 0.2226 0.0000 0.6521 0.3521 0.2502 708-AH 0.0001 0.0048 0.1607 0.6607 0.7469 0.2942 0.2966 0.6559 0.7469 1.0080 0.0524 0.0011 0.2712 0.0001 0.7469 0.2942 0.2966 709-AH 0.0000 0.1656 0.3424 0.4301 0.4974 0.2941 0.1625 0.2645 0.4974 0.5524 0.1697 0.0004 0.1392 0.0000 0.4974 0.2941 0.1625 710-AH 0.0000 0.0051 0.0449 0.1223 0.1746 0.0606 0.0601 0.1172 0.1746 0.9922 0.0131 0.0001 0.0519 0.0000 0.1746 0.0606 0.0601 711-AH 0.0003 0.0311 0.1379 0.2255 0.4289 0.1450 0.1178 0.1944 0.4286 0.8119 0.0579 0.0037 0.0996 0.0003 0.4289 0.1450 0.1178 712-AH 0.0000 0.5341 0.9698 1.0000 1.0000 0.7247 0.3592 0.4659 1.0000 0.4957 0.3897 0.0004 0.2980 0.0000 1.0000 0.7247 0.3592 713-AH 0.0001 0.0139 0.0682 0.2090 0.4257 0.1262 0.1451 0.1951 0.4257 1.1498 0.0320 0.0013 0.1208 0.0001 0.4257 0.1262 0.1451 714-AH 0.0000 0.0148 0.2617 0.3740 0.5659 0.2141 0.1868 0.3592 0.5659 0.8726 0.0622 0.0002 0.1678 0.0000 0.5659 0.2141 0.1868 715-AH 0.0002 0.0254 0.2321 0.4176 0.4916 0.2321 0.1865 0.3923 0.4914 0.8036 0.0879 0.0030 0.1683 0.0002 0.4916 0.2321 0.1865 716-AH 0.0577 0.2498 0.4167 0.5254 0.7147 0.3900 0.1869 0.2756 0.6570 0.4792 0.3347 0.2686 0.1534 0.0577 0.7147 0.3900 0.1869 717-AH 0.0000 0.0788 0.1236 0.2039 0.6399 0.1614 0.1447 0.1251 0.6399 0.8966 0.0469 0.0001 0.1005 0.0000 0.3064 0.1295 0.0866 718-AH 0.0103 0.0564 0.2587 0.4111 0.5727 0.2495 0.1786 0.3547 0.5624 0.7159 0.1464 0.0556 0.1554 0.0103 0.5727 0.2495 0.1786 719-AH 0.0000 0.0063 0.0341 0.1654 0.4362 0.0967 0.1216 0.1592 0.4362 1.2568 0.0170 0.0001 0.0965 0.0000 0.3946 0.0886 0.1107 720-AH 0.0004 0.5176 0.8537 0.9529 0.9755 0.6803 0.3483 0.4353 0.9751 0.5119 0.3478 0.0073 0.2937 0.0004 0.9755 0.6803 0.3483 721-AH 0.0000 0.0796 0.1883 0.2394 0.3711 0.1659 0.1030 0.1598 0.3711 0.6209 0.0687 0.0002 0.0828 0.0000 0.3711 0.1659 0.1030 722-AH 0.0000 0.0389 0.0952 0.1878 0.3289 0.1163 0.0920 0.1489 0.3289 0.7907 0.0444 0.0002 0.0771 0.0000 0.3289 0.1163 0.0920 723-AH 0.0002 0.0309 0.0600 0.1188 0.1817 0.0707 0.0544 0.0880 0.1815 0.7694 0.0344 0.0025 0.0470 0.0002 0.1817 0.0707 0.0544 724-AH 0.0518 0.5272 0.6639 0.7716 0.8529 0.6453 0.1566 0.2444 0.8010 0.2427 0.6095 0.5018 0.1175 0.4117 0.8529 0.6594 0.1278 725-AH 0.0000 0.0750 0.4109 0.6367 0.7202 0.3914 0.2676 0.5617 0.7202 0.6837 0.0924 0.0002 0.2348 0.0000 0.7202 0.3914 0.2676 726-AH 0.0015 0.0545 0.0954 0.1759 0.3106 0.1189 0.0941 0.1214 0.3091 0.7910 0.0679 0.0171 0.0765 0.0015 0.3106 0.1189 0.0941 727-AH 0.0000 0.0341 0.0744 0.0982 0.2803 0.0807 0.0660 0.0642 0.2803 0.8186 0.0239 0.0001 0.0487 0.0000 0.1682 0.0656 0.0469 728-AH 0.0001 0.0476 0.1057 0.1696 0.2449 0.1092 0.0754 0.1221 0.2449 0.6904 0.0577 0.0028 0.0606 0.0001 0.2449 0.1092 0.0754 729-AH 0.0000 0.0047 0.0120 0.0264 0.1850 0.0248 0.0366 0.0217 0.1850 1.4762 0.0054 0.0001 0.0242 0.0000 0.0408 0.0124 0.0123 730-AH 0.0000 0.0299 0.0624 0.3088 0.8046 0.2135 0.2768 0.2789 0.8046 1.2964 0.0653 0.0009 0.2231 0.0000 0.6844 0.1380 0.1913 731-AH 0.0000 0.1080 0.2838 0.5028 0.7934 0.3129 0.2374 0.3948 0.7934 0.7589 0.0885 0.0001 0.2050 0.0000 0.7934 0.3129 0.2374 732-AH 0.0013 0.0105 0.0167 0.0316 0.1602 0.0316 0.0387 0.0211 0.1589 1.2242 0.0169 0.0081 0.0265 0.0013 0.0575 0.0172 0.0132 733-AH 0.0004 0.0598 0.1848 0.3904 0.7553 0.2441 0.2209 0.3306 0.7548 0.9048 0.1061 0.0068 0.1825 0.0004 0.7553 0.2441 0.2209 734-AH 0.0267 0.2052 0.5203 0.6356 0.7841 0.4368 0.2482 0.4304 0.7574 0.5683 0.3151 0.1624 0.2157 0.0267 0.7841 0.4368 0.2482 735-AH 0.0029 0.0451 0.0752 0.1278 0.2973 0.0920 0.0765 0.0827 0.2944 0.8318 0.0517 0.0161 0.0582 0.0029 0.2238 0.0820 0.0627 736-AH 0.0000 0.0126 0.0261 0.0979 0.2990 0.0612 0.0785 0.0853 0.2990 1.2824 0.0208 0.0004 0.0587 0.0000 0.2050 0.0444 0.0497 737-AH 0.0023 0.0220 0.0488 0.0596 0.2057 0.0482 0.0396 0.0376 0.2034 0.8200 0.0316 0.0146 0.0274 0.0023 0.1026 0.0417 0.0260 738-AH 0.0010 0.1960 0.3080 0.4537 0.5917 0.3074 0.1720 0.2577 0.5906 0.5594 0.1917 0.0257 0.1444 0.0010 0.5917 0.3074 0.1720 739-AH 0.0971 0.5136 0.6686 0.7868 0.8372 0.5974 0.2363 0.2732 0.7401 0.3955 0.5164 0.3871 0.1938 0.1626 0.8372 0.6487 0.1807 740-AH 0.0008 0.0090 0.0261 0.0877 0.3741 0.0591 0.0731 0.0787 0.3733 1.2361 0.0275 0.0102 0.0529 0.0008 0.1664 0.0476 0.0486 741-AH 0.0000 0.0003 0.1153 0.3436 0.5392 0.1587 0.1806 0.3433 0.5392 1.1381 0.0082 0.0001 0.1557 0.0000 0.5392 0.1587 0.1806 742-AH 0.0000 0.0049 0.1146 0.4503 0.5848 0.1972 0.2283 0.4454 0.5848 1.1573 0.0220 0.0001 0.1955 0.0000 0.5848 0.1972 0.2283 743-AH 0.0000 0.0173 0.0291 0.1249 0.3646 0.0893 0.1100 0.1076 0.3646 1.2320 0.0261 0.0002 0.0868 0.0000 0.2482 0.0561 0.0627 744-AH 0.0026 0.0183 0.3885 0.6600 0.7544 0.3576 0.2869 0.6418 0.7518 0.8023 0.1375 0.0205 0.2604 0.0026 0.7544 0.3576 0.2869 745-AH 0.0080 0.0292 0.1420 0.2431 0.3513 0.1443 0.1080 0.2139 0.3433 0.7489 0.0908 0.0453 0.0890 0.0080 0.3513 0.1443 0.1080 746-AH 0.0002 0.0101 0.0806 0.1523 0.3418 0.0915 0.0874 0.1422 0.3416 0.9549 0.0344 0.0026 0.0711 0.0002 0.3418 0.0915 0.0874 747-AH 0.0000 0.0200 0.0809 0.1689 0.5381 0.1171 0.1280 0.1489 0.5381 1.0938 0.0546 0.0004 0.0956 0.0000 0.2946 0.0965 0.0890 748-AH 0.0000 0.0072 0.0681 0.0915 0.2389 0.0618 0.0512 0.0844 0.2389 0.8288 0.0128 0.0001 0.0384 0.0000 0.1854 0.0576 0.0436 749-AH 0.0001 0.0982 0.3914 0.7613 0.8528 0.4181 0.3231 0.6630 0.8527 0.7727 0.1552 0.0026 0.2992 0.0001 0.8528 0.4181 0.3231 750-AH 0.0002 0.0031 0.0337 0.0917 0.1833 0.0524 0.0566 0.0885 0.1831 1.0805 0.0150 0.0021 0.0483 0.0002 0.1833 0.0524 0.0566 122 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0595 0.1905 0.3333 0.3810 0.1982 0.1302 0.2738 0.3810 0.6567 0.0406 0.0001 0.1098 0.0000 0.3810 0.1982 0.1302 702-AH 0.0000 0.3966 0.7586 0.8190 0.8621 0.5982 0.2865 0.4224 0.8621 0.4789 0.3852 0.0004 0.2415 0.0000 0.8621 0.5982 0.2865 703-AH 0.0000 0.1389 0.3333 0.4444 0.5000 0.2939 0.1630 0.3056 0.5000 0.5546 0.1291 0.0001 0.1420 0.0000 0.5000 0.2939 0.1630 704-AH 0.0000 0.0370 0.1111 0.2176 0.7037 0.1615 0.1666 0.1806 0.7037 1.0315 0.0344 0.0001 0.1236 0.0000 0.4815 0.1364 0.1234 705-AH 0.0000 0.2054 0.2262 0.3095 0.6429 0.2813 0.1586 0.1042 0.6429 0.5638 0.1657 0.0002 0.1212 0.1310 0.4524 0.2349 0.0697 706-AH 0.0000 0.3949 0.5888 0.6168 0.6822 0.4653 0.2230 0.2220 0.6822 0.4792 0.2324 0.0002 0.1812 0.0935 0.6822 0.5375 0.1399 707-AH 0.0000 0.0345 0.4828 0.6207 0.6552 0.3761 0.2611 0.5862 0.6552 0.6942 0.0607 0.0001 0.2367 0.0000 0.6552 0.3761 0.2611 708-AH 0.0000 0.0299 0.1791 0.6231 0.6866 0.3023 0.2727 0.5933 0.6866 0.9019 0.0618 0.0001 0.2556 0.0000 0.6866 0.3023 0.2727 709-AH 0.0000 0.3250 0.3889 0.4778 0.5444 0.3566 0.1549 0.1528 0.5444 0.4343 0.2355 0.0004 0.1212 0.1333 0.5444 0.3903 0.1176 710-AH 0.0000 0.0056 0.0889 0.1778 0.2667 0.1039 0.0960 0.1722 0.2667 0.9240 0.0097 0.0000 0.0842 0.0000 0.2667 0.1039 0.0960 711-AH 0.0000 0.0156 0.1875 0.3125 0.4375 0.1933 0.1554 0.2969 0.4375 0.8038 0.0175 0.0000 0.1339 0.0000 0.4375 0.1933 0.1554 712-AH 0.0000 0.5250 0.9000 1.0000 1.0000 0.7233 0.3497 0.4750 1.0000 0.4835 0.1674 0.0001 0.2810 0.0000 1.0000 0.7233 0.3497 713-AH 0.0000 0.0213 0.0638 0.2926 0.5532 0.1608 0.1785 0.2713 0.5532 1.1101 0.0144 0.0000 0.1525 0.0000 0.5532 0.1608 0.1785 714-AH 0.0000 0.0600 0.3000 0.4300 0.6000 0.2642 0.2049 0.3700 0.6000 0.7755 0.0926 0.0001 0.1823 0.0000 0.6000 0.2642 0.2049 715-AH 0.0000 0.0588 0.2353 0.4706 0.5294 0.2585 0.1985 0.4118 0.5294 0.7678 0.0320 0.0000 0.1825 0.0000 0.5294 0.2585 0.1985 716-AH 0.0476 0.2857 0.3333 0.5238 0.7143 0.3865 0.1705 0.2381 0.6667 0.4411 0.3405 0.2770 0.1396 0.0476 0.7143 0.3865 0.1705 717-AH 0.0000 0.0556 0.1667 0.2222 0.6667 0.1731 0.1441 0.1667 0.6667 0.8321 0.0518 0.0001 0.0963 0.0000 0.3333 0.1417 0.0871 718-AH 0.0204 0.1224 0.3265 0.4643 0.6122 0.3170 0.1930 0.3418 0.5918 0.6086 0.2321 0.1347 0.1663 0.0204 0.6122 0.3170 0.1930 719-AH 0.0000 0.0000 0.1111 0.1111 0.4444 0.1163 0.1136 0.1111 0.4444 0.9770 0.0066 0.0000 0.0803 0.0000 0.2222 0.0848 0.0750 720-AH 0.0000 0.5094 0.8491 0.9057 0.9434 0.6586 0.3300 0.3962 0.9434 0.5011 0.2600 0.0001 0.2691 0.0000 0.9434 0.6586 0.3300 721-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1326 0.1210 0.2000 0.4000 0.9124 0.0107 0.0000 0.0982 0.0000 0.4000 0.1326 0.1210 722-AH 0.0000 0.0513 0.1795 0.1987 0.4103 0.1556 0.1176 0.1474 0.4103 0.7553 0.0320 0.0001 0.0912 0.0000 0.4103 0.1556 0.1176 723-AH 0.0000 0.0526 0.1053 0.1579 0.2632 0.1126 0.0817 0.1053 0.2632 0.7254 0.0177 0.0000 0.0634 0.0000 0.2632 0.1126 0.0817 724-AH 0.0476 0.5714 0.6190 0.6667 0.8095 0.5936 0.1312 0.0952 0.7619 0.2210 0.5637 0.4655 0.0928 0.4762 0.8095 0.6362 0.0748 725-AH 0.0000 0.1297 0.4340 0.6179 0.6887 0.3992 0.2534 0.4882 0.6887 0.6348 0.1275 0.0001 0.2153 0.0000 0.6887 0.3992 0.2534 726-AH 0.0159 0.1151 0.2063 0.2659 0.4127 0.1993 0.1143 0.1508 0.3968 0.5732 0.1484 0.0822 0.0920 0.0159 0.4127 0.1993 0.1143 727-AH 0.0000 0.0000 0.0000 0.1250 0.2500 0.0727 0.0914 0.1250 0.2500 1.2579 0.0007 0.0000 0.0811 0.0000 0.2500 0.0727 0.0914 728-AH 0.0000 0.0500 0.1500 0.2500 0.3500 0.1512 0.1038 0.2000 0.3500 0.6866 0.0677 0.0001 0.0852 0.0000 0.3500 0.1512 0.1038 729-AH 0.0000 0.0000 0.0227 0.0909 0.1591 0.0476 0.0485 0.0909 0.1591 1.0205 0.0034 0.0000 0.0407 0.0000 0.1591 0.0476 0.0485 730-AH 0.0000 0.0778 0.1333 0.3361 0.8000 0.2457 0.2584 0.2583 0.8000 1.0514 0.1145 0.0004 0.2070 0.0000 0.7222 0.2047 0.2171 731-AH 0.0000 0.1355 0.3133 0.4940 0.7831 0.3289 0.2229 0.3584 0.7831 0.6775 0.0887 0.0001 0.1847 0.0000 0.7831 0.3289 0.2229 732-AH 0.0000 0.0000 0.0400 0.0800 0.2800 0.0540 0.0565 0.0800 0.2800 1.0470 0.0046 0.0000 0.0424 0.0000 0.1600 0.0486 0.0446 733-AH 0.0000 0.0656 0.2131 0.4385 0.6393 0.2596 0.2112 0.3730 0.6393 0.8135 0.1322 0.0004 0.1809 0.0000 0.6393 0.2596 0.2112 734-AH 0.0000 0.2102 0.5227 0.6591 0.7727 0.4466 0.2469 0.4489 0.7727 0.5529 0.2310 0.0002 0.2136 0.0000 0.7727 0.4466 0.2469 735-AH 0.0340 0.1117 0.1787 0.2245 0.4170 0.1739 0.0968 0.1128 0.3830 0.5569 0.1411 0.1038 0.0762 0.0340 0.2936 0.1620 0.0821 736-AH 0.0000 0.0377 0.0566 0.1651 0.3585 0.1005 0.0921 0.1274 0.3585 0.9169 0.0245 0.0001 0.0738 0.0000 0.3396 0.0943 0.0839 737-AH 0.0000 0.0444 0.0889 0.1333 0.3111 0.0889 0.0598 0.0889 0.3111 0.6726 0.0429 0.0001 0.0434 0.0000 0.2222 0.0836 0.0493 738-AH 0.0094 0.2665 0.4717 0.5943 0.6792 0.4072 0.2085 0.3278 0.6698 0.5121 0.2996 0.1125 0.1753 0.0094 0.6792 0.4072 0.2085 739-AH 0.1136 0.5682 0.6364 0.7500 0.7955 0.5930 0.2044 0.1818 0.6818 0.3446 0.5290 0.4200 0.1514 0.4545 0.7955 0.6658 0.0961 740-AH 0.0000 0.0435 0.0870 0.1304 0.3913 0.0870 0.0811 0.0870 0.3913 0.9322 0.0111 0.0000 0.0627 0.0000 0.2174 0.0797 0.0665 741-AH 0.0000 0.0000 0.0833 0.3125 0.5833 0.1609 0.2020 0.3125 0.5833 1.2558 0.0018 0.0000 0.1751 0.0000 0.5833 0.1609 0.2020 742-AH 0.0000 0.0000 0.1765 0.4706 0.5882 0.2175 0.2240 0.4706 0.5882 1.0299 0.0075 0.0000 0.2001 0.0000 0.5882 0.2175 0.2240 743-AH 0.0000 0.0000 0.0000 0.1250 0.5000 0.0901 0.1373 0.1250 0.5000 1.5233 0.0005 0.0000 0.1090 0.0000 0.2500 0.0493 0.0798 744-AH 0.0000 0.1023 0.3636 0.5455 0.7727 0.3436 0.2325 0.4432 0.7727 0.6767 0.1131 0.0001 0.2003 0.0000 0.7727 0.3436 0.2325 745-AH 0.0154 0.1115 0.1692 0.2423 0.3538 0.1732 0.0999 0.1308 0.3385 0.5771 0.1330 0.0839 0.0822 0.0154 0.3538 0.1732 0.0999 746-AH 0.0000 0.0571 0.1714 0.2286 0.4000 0.1508 0.1088 0.1714 0.4000 0.7211 0.0374 0.0001 0.0968 0.0000 0.4000 0.1508 0.1088 747-AH 0.0000 0.0757 0.1459 0.2378 0.5081 0.1751 0.1259 0.1622 0.5081 0.7192 0.1106 0.0004 0.0994 0.0000 0.3892 0.1589 0.1041 748-AH 0.0000 0.0000 0.0000 0.0577 0.2308 0.0250 0.0496 0.0577 0.2308 1.9793 0.0001 0.0000 0.0373 0.0000 0.0769 0.0169 0.0322 749-AH 0.0000 0.1395 0.3953 0.7151 0.7907 0.4127 0.3007 0.5756 0.7907 0.7286 0.0856 0.0001 0.2784 0.0000 0.7907 0.4127 0.3007 750-AH 0.0000 0.0000 0.0667 0.1667 0.2667 0.0930 0.0910 0.1667 0.2667 0.9784 0.0038 0.0000 0.0812 0.0000 0.2667 0.0930 0.0910 123 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0380 0.1927 0.2698 0.3447 0.1713 0.1158 0.2319 0.3447 0.6757 0.0461 0.0001 0.1014 0.0000 0.3447 0.1713 0.1158 702-AH 0.0000 0.3835 0.7420 0.8353 0.8847 0.5946 0.2892 0.4518 0.8847 0.4863 0.3817 0.0004 0.2442 0.0000 0.8847 0.5946 0.2892 703-AH 0.0000 0.1393 0.3125 0.4024 0.5046 0.2796 0.1510 0.2631 0.5046 0.5400 0.1560 0.0002 0.1315 0.0000 0.5046 0.2796 0.1510 704-AH 0.0000 0.0243 0.0936 0.1592 0.6643 0.1518 0.1851 0.1349 0.6643 1.2193 0.0442 0.0001 0.1364 0.0000 0.3172 0.0853 0.0798 705-AH 0.0000 0.1627 0.1743 0.2967 0.6600 0.2501 0.1682 0.1340 0.6600 0.6727 0.1426 0.0002 0.1274 0.0000 0.3482 0.1831 0.0725 706-AH 0.0088 0.4499 0.7048 0.7493 0.8076 0.5657 0.2616 0.2994 0.7988 0.4624 0.4087 0.1349 0.2134 0.0088 0.8076 0.5657 0.2616 707-AH 0.0000 0.0580 0.4304 0.5428 0.5945 0.3419 0.2305 0.4848 0.5945 0.6743 0.0909 0.0001 0.2061 0.0000 0.5945 0.3419 0.2305 708-AH 0.0000 0.0275 0.1700 0.6742 0.7291 0.3108 0.2926 0.6467 0.7291 0.9417 0.0977 0.0002 0.2697 0.0000 0.7291 0.3108 0.2926 709-AH 0.0000 0.3193 0.4002 0.4487 0.5083 0.3524 0.1335 0.1294 0.5083 0.3788 0.2573 0.0004 0.1046 0.1522 0.5083 0.3825 0.0977 710-AH 0.0000 0.0027 0.0657 0.1342 0.2800 0.0770 0.0757 0.1315 0.2800 0.9828 0.0095 0.0000 0.0628 0.0000 0.2800 0.0770 0.0757 711-AH 0.0000 0.0107 0.1406 0.2188 0.3594 0.1469 0.1166 0.2080 0.3594 0.7938 0.0145 0.0000 0.0954 0.0000 0.3594 0.1469 0.1166 712-AH 0.0000 0.5700 0.9700 1.0000 1.0000 0.7247 0.3580 0.4300 1.0000 0.4940 0.1656 0.0001 0.2897 0.0000 1.0000 0.7247 0.3580 713-AH 0.0000 0.0177 0.0751 0.2489 0.4685 0.1429 0.1558 0.2312 0.4685 1.0899 0.0237 0.0001 0.1294 0.0000 0.4685 0.1429 0.1558 714-AH 0.0000 0.0426 0.2700 0.4182 0.5704 0.2423 0.1964 0.3756 0.5704 0.8106 0.0806 0.0001 0.1751 0.0000 0.5704 0.2423 0.1964 715-AH 0.0000 0.0484 0.1903 0.4490 0.4948 0.2420 0.1887 0.4005 0.4948 0.7799 0.0493 0.0001 0.1729 0.0000 0.4948 0.2420 0.1887 716-AH 0.0091 0.2200 0.3311 0.4932 0.7007 0.3457 0.1939 0.2732 0.6916 0.5610 0.2649 0.1370 0.1591 0.0091 0.7007 0.3457 0.1939 717-AH 0.0000 0.0556 0.1420 0.1890 0.6358 0.1535 0.1385 0.1335 0.6358 0.9025 0.0450 0.0001 0.0929 0.0000 0.2994 0.1227 0.0808 718-AH 0.0225 0.0765 0.2928 0.4201 0.5639 0.2697 0.1785 0.3436 0.5414 0.6616 0.1853 0.1054 0.1562 0.0225 0.5639 0.2697 0.1785 719-AH 0.0000 0.0000 0.0741 0.1111 0.3704 0.0910 0.1025 0.1111 0.3704 1.1264 0.0050 0.0000 0.0767 0.0000 0.2593 0.0655 0.0662 720-AH 0.0445 0.5055 0.8715 0.9610 0.9744 0.7103 0.3123 0.4555 0.9299 0.4398 0.5709 0.3303 0.2624 0.0445 0.9744 0.7103 0.3123 721-AH 0.0000 0.0025 0.1000 0.1675 0.3500 0.1179 0.1061 0.1650 0.3500 0.8998 0.0114 0.0000 0.0831 0.0000 0.3500 0.1179 0.1061 722-AH 0.0000 0.0480 0.1289 0.1755 0.3393 0.1276 0.0958 0.1275 0.3393 0.7511 0.0407 0.0001 0.0772 0.0000 0.3393 0.1276 0.0958 723-AH 0.0000 0.0360 0.0776 0.1316 0.1773 0.0792 0.0566 0.0956 0.1773 0.7142 0.0181 0.0001 0.0471 0.0000 0.1773 0.0792 0.0566 724-AH 0.3560 0.5300 0.6213 0.7222 0.8367 0.6154 0.1261 0.1922 0.4807 0.2049 0.6016 0.5866 0.0991 0.3560 0.8367 0.6154 0.1261 725-AH 0.0000 0.3462 0.6710 0.8155 0.8807 0.5607 0.3063 0.4694 0.8807 0.5462 0.2606 0.0002 0.2596 0.0000 0.8807 0.5607 0.3063 726-AH 0.0048 0.1019 0.1522 0.2222 0.3696 0.1685 0.1051 0.1204 0.3648 0.6237 0.1191 0.0551 0.0855 0.0048 0.3696 0.1685 0.1051 727-AH 0.0000 0.0000 0.0000 0.0781 0.1875 0.0465 0.0624 0.0781 0.1875 1.3407 0.0007 0.0000 0.0526 0.0000 0.1875 0.0465 0.0624 728-AH 0.0200 0.0594 0.0850 0.1850 0.2975 0.1106 0.0763 0.1256 0.2775 0.6897 0.0855 0.0632 0.0633 0.0200 0.2975 0.1106 0.0763 729-AH 0.0000 0.0008 0.0274 0.0560 0.1322 0.0367 0.0388 0.0553 0.1322 1.0584 0.0040 0.0000 0.0319 0.0000 0.1322 0.0367 0.0388 730-AH 0.0036 0.0471 0.0900 0.5515 0.8623 0.2929 0.3200 0.5044 0.8588 1.0925 0.1285 0.0447 0.2762 0.0036 0.8623 0.2929 0.3200 731-AH 0.0000 0.1237 0.3439 0.4827 0.7889 0.3288 0.2276 0.3589 0.7889 0.6921 0.0853 0.0001 0.1896 0.0000 0.7889 0.3288 0.2276 732-AH 0.0000 0.0000 0.0272 0.0460 0.1792 0.0326 0.0405 0.0460 0.1792 1.2431 0.0027 0.0000 0.0292 0.0000 0.0768 0.0221 0.0231 733-AH 0.0032 0.0609 0.2024 0.3594 0.7146 0.2506 0.2058 0.2985 0.7114 0.8210 0.1478 0.0422 0.1662 0.0032 0.7146 0.2506 0.2058 734-AH 0.0315 0.2133 0.5124 0.6781 0.7634 0.4448 0.2533 0.4647 0.7319 0.5696 0.3193 0.1596 0.2249 0.0315 0.7634 0.4448 0.2533 735-AH 0.0405 0.1619 0.2571 0.3537 0.4780 0.2473 0.1220 0.1918 0.4374 0.4932 0.2038 0.1469 0.0983 0.0405 0.4780 0.2473 0.1220 736-AH 0.0000 0.0325 0.0516 0.1096 0.3129 0.0829 0.0797 0.0771 0.3129 0.9615 0.0284 0.0001 0.0605 0.0000 0.2036 0.0669 0.0555 737-AH 0.0000 0.0457 0.0602 0.0709 0.2632 0.0624 0.0427 0.0252 0.2632 0.6842 0.0448 0.0004 0.0228 0.0153 0.0849 0.0569 0.0168 738-AH 0.0089 0.2666 0.4540 0.5635 0.6322 0.4041 0.1861 0.2969 0.6233 0.4605 0.3137 0.1329 0.1598 0.0089 0.6322 0.4041 0.1861 739-AH 0.0837 0.5449 0.6581 0.7819 0.8120 0.6096 0.2096 0.2370 0.7283 0.3438 0.5371 0.3936 0.1556 0.3807 0.8120 0.6635 0.1282 740-AH 0.0000 0.0047 0.0378 0.0997 0.3781 0.0612 0.0726 0.0950 0.3781 1.1851 0.0105 0.0001 0.0529 0.0000 0.2098 0.0537 0.0537 741-AH 0.0000 0.0000 0.0833 0.2552 0.4861 0.1410 0.1692 0.2552 0.4861 1.1998 0.0020 0.0000 0.1478 0.0000 0.4861 0.1410 0.1692 742-AH 0.0000 0.0069 0.1765 0.4671 0.5675 0.2182 0.2126 0.4602 0.5675 0.9743 0.0177 0.0000 0.1874 0.0000 0.5675 0.2182 0.2126 743-AH 0.0000 0.0000 0.0000 0.1211 0.4062 0.0749 0.1171 0.1211 0.4062 1.5637 0.0005 0.0000 0.0904 0.0000 0.2344 0.0387 0.0622 744-AH 0.0000 0.0692 0.3079 0.5723 0.7128 0.3187 0.2382 0.5031 0.7128 0.7473 0.1054 0.0001 0.2085 0.0000 0.7128 0.3187 0.2382 745-AH 0.0057 0.0643 0.1195 0.2077 0.2930 0.1339 0.0882 0.1434 0.2873 0.6593 0.0997 0.0600 0.0759 0.0057 0.2930 0.1339 0.0882 746-AH 0.0000 0.0292 0.0996 0.1735 0.3298 0.1061 0.0866 0.1443 0.3298 0.8159 0.0254 0.0001 0.0736 0.0000 0.3298 0.1061 0.0866 747-AH 0.0000 0.1466 0.2016 0.3490 0.6547 0.2592 0.1586 0.2024 0.6547 0.6119 0.1799 0.0004 0.1247 0.0000 0.5784 0.2399 0.1349 748-AH 0.0000 0.0000 0.0000 0.0355 0.1420 0.0206 0.0379 0.0355 0.1420 1.8338 0.0002 0.0000 0.0280 0.0000 0.0592 0.0103 0.0190 749-AH 0.0000 0.1201 0.4511 0.7384 0.8383 0.4141 0.3098 0.6183 0.8383 0.7481 0.1269 0.0001 0.2867 0.0000 0.8383 0.4141 0.3098 750-AH 0.0000 0.0000 0.0311 0.1158 0.1767 0.0594 0.0579 0.1158 0.1767 0.9752 0.0047 0.0000 0.0526 0.0000 0.1767 0.0594 0.0579 124 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.1295 1.0000 1.0000 1.0000 0.7167 0.4366 0.8705 1.0000 0.6092 0.2640 0.0002 0.3953 0.0000 1.0000 0.7167 0.4366 702-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9619 0.1668 0.0000 1.0000 0.1734 0.7509 0.0004 0.0691 1.0000 1.0000 1.0000 0.0000 703-AH 0.0000 0.7455 1.0000 1.0000 1.0000 0.8024 0.3538 0.2545 1.0000 0.4410 0.4158 0.0002 0.2849 0.5000 1.0000 0.9608 0.1176 704-AH 0.0039 0.1146 0.5000 1.0000 1.0000 0.5141 0.4099 0.8854 0.9961 0.7972 0.2695 0.0563 0.3779 0.0039 1.0000 0.5141 0.4099 705-AH 0.0000 0.4545 0.5000 1.0000 1.0000 0.6129 0.2799 0.5455 1.0000 0.4567 0.3586 0.0002 0.2301 0.0000 1.0000 0.6129 0.2799 706-AH 0.0048 1.0000 1.0000 1.0000 1.0000 0.9037 0.2681 0.0000 0.9952 0.2967 0.6920 0.1001 0.1657 1.0000 1.0000 1.0000 0.0000 707-AH 0.0000 0.1470 1.0000 1.0000 1.0000 0.6626 0.4272 0.8530 1.0000 0.6448 0.2652 0.0004 0.3888 0.0000 1.0000 0.6626 0.4272 708-AH 0.0032 0.1250 0.5000 1.0000 1.0000 0.5083 0.4022 0.8750 0.9968 0.7913 0.2483 0.0387 0.3504 0.0032 1.0000 0.5083 0.4022 709-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7541 0.3283 0.5000 1.0000 0.4353 0.5063 0.0004 0.2912 0.0000 1.0000 0.7541 0.3283 710-AH 0.0000 0.0348 0.1667 0.3718 1.0000 0.2590 0.3062 0.3370 1.0000 1.1823 0.0514 0.0001 0.2275 0.0000 0.5000 0.1615 0.1500 711-AH 0.0031 0.0917 0.4286 1.0000 1.0000 0.4871 0.3786 0.9083 0.9969 0.7773 0.2186 0.0305 0.3221 0.0031 1.0000 0.4871 0.3786 712-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8440 0.3416 0.0000 1.0000 0.4047 0.5223 0.0004 0.2467 1.0000 1.0000 1.0000 0.0000 713-AH 0.0021 0.0585 1.0000 1.0000 1.0000 0.6297 0.4481 0.9415 0.9979 0.7115 0.2624 0.0279 0.4221 0.0021 1.0000 0.6297 0.4481 714-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7367 0.3886 0.5000 1.0000 0.5275 0.3422 0.0002 0.3430 0.0000 1.0000 0.7367 0.3886 715-AH 0.0026 0.1119 1.0000 1.0000 1.0000 0.6733 0.4309 0.8881 0.9974 0.6400 0.3211 0.0369 0.3951 0.0026 1.0000 0.6733 0.4309 716-AH 0.0818 0.8785 1.0000 1.0000 1.0000 0.8559 0.2799 0.1215 0.9182 0.3270 0.7665 0.5947 0.2072 0.8000 1.0000 0.9816 0.0481 717-AH 0.0000 0.6250 1.0000 1.0000 1.0000 0.7956 0.3695 0.3750 1.0000 0.4644 0.2237 0.0001 0.3043 0.0909 1.0000 0.9003 0.2412 718-AH 0.0938 0.2781 1.0000 1.0000 1.0000 0.6968 0.3706 0.7219 0.9062 0.5319 0.5434 0.3651 0.3410 0.0938 1.0000 0.6968 0.3706 719-AH 0.0000 0.0534 0.2500 1.0000 1.0000 0.4092 0.4044 0.9466 1.0000 0.9881 0.0852 0.0001 0.3551 0.0000 1.0000 0.4092 0.4044 720-AH 0.0058 1.0000 1.0000 1.0000 1.0000 0.8399 0.3489 0.0000 0.9942 0.4154 0.5686 0.0918 0.2606 1.0000 1.0000 1.0000 0.0000 721-AH 0.0000 0.1146 1.0000 1.0000 1.0000 0.6653 0.4367 0.8854 1.0000 0.6563 0.2435 0.0002 0.4087 0.0000 1.0000 0.6653 0.4367 722-AH 0.0000 0.1587 0.6000 1.0000 1.0000 0.5662 0.3930 0.8413 1.0000 0.6940 0.2254 0.0002 0.3499 0.0000 1.0000 0.5662 0.3930 723-AH 0.0037 0.1133 0.2500 0.4000 1.0000 0.3025 0.2746 0.2867 0.9963 0.9079 0.1607 0.0372 0.2017 0.0037 0.5000 0.2309 0.1640 724-AH 0.0909 1.0000 1.0000 1.0000 1.0000 0.9335 0.1699 0.0000 0.9091 0.1820 0.8961 0.7706 0.1082 1.0000 1.0000 1.0000 0.0000 725-AH 0.0000 0.5227 1.0000 1.0000 1.0000 0.7648 0.4111 0.4773 1.0000 0.5375 0.2889 0.0002 0.3500 0.0000 1.0000 0.7648 0.4111 726-AH 0.0417 0.3588 0.4815 0.8000 1.0000 0.5245 0.3198 0.4412 0.9583 0.6097 0.3905 0.2287 0.2609 0.0417 1.0000 0.5245 0.3198 727-AH 0.0000 0.0852 0.1136 0.2500 1.0000 0.2064 0.2239 0.1648 1.0000 1.0849 0.0509 0.0001 0.1545 0.0000 0.3333 0.1414 0.1074 728-AH 0.0017 0.1719 0.3333 0.5000 1.0000 0.3725 0.2800 0.3281 0.9983 0.7516 0.2319 0.0445 0.2218 0.0017 0.6667 0.3082 0.2024 729-AH 0.0000 0.0312 0.1250 0.3333 1.0000 0.2946 0.3843 0.3022 1.0000 1.3043 0.0385 0.0001 0.3120 0.0000 0.5000 0.1079 0.1279 730-AH 0.0022 0.1379 0.5000 1.0000 1.0000 0.5614 0.4028 0.8621 0.9978 0.7174 0.3355 0.0639 0.3743 0.0022 1.0000 0.5614 0.4028 731-AH 0.0000 0.6500 1.0000 1.0000 1.0000 0.7874 0.3783 0.3500 1.0000 0.4804 0.2570 0.0001 0.3071 0.1667 1.0000 0.9359 0.1796 732-AH 0.0113 0.0259 0.0588 0.1667 1.0000 0.2085 0.3094 0.1408 0.9887 1.4840 0.0863 0.0452 0.2170 0.0113 0.3333 0.0936 0.0935 733-AH 0.0141 0.4444 1.0000 1.0000 1.0000 0.7641 0.3580 0.5556 0.9859 0.4686 0.5615 0.1788 0.3182 0.0141 1.0000 0.7641 0.3580 734-AH 0.0579 0.7500 0.9167 1.0000 1.0000 0.8146 0.2676 0.2500 0.9421 0.3285 0.7181 0.4844 0.1962 0.5000 1.0000 0.9100 0.1184 735-AH 0.0870 0.2633 0.5000 1.0000 1.0000 0.5596 0.3564 0.7367 0.9130 0.6369 0.4284 0.3057 0.3200 0.0870 1.0000 0.5596 0.3564 736-AH 0.0000 0.1571 0.2857 0.9167 1.0000 0.4301 0.3712 0.7596 1.0000 0.8631 0.1949 0.0004 0.3189 0.0000 1.0000 0.4301 0.3712 737-AH 0.0194 0.1429 0.1538 0.2670 1.0000 0.2180 0.1885 0.1242 0.9806 0.8648 0.1612 0.1092 0.1291 0.0194 0.4000 0.1685 0.0932 738-AH 0.0681 0.7500 0.7800 0.9688 1.0000 0.7404 0.2761 0.2188 0.9319 0.3729 0.6290 0.4198 0.1867 0.5000 1.0000 0.8405 0.1206 739-AH 0.2941 1.0000 1.0000 1.0000 1.0000 0.9118 0.2156 0.0000 0.7059 0.2364 0.8685 0.7957 0.1436 1.0000 1.0000 1.0000 0.0000 740-AH 0.0066 0.0488 0.1111 0.4583 1.0000 0.3031 0.3686 0.4095 0.9934 1.2158 0.1338 0.0578 0.3037 0.0066 1.0000 0.3031 0.3686 741-AH 0.0000 0.0024 0.2500 1.0000 1.0000 0.4508 0.4614 0.9976 1.0000 1.0235 0.0232 0.0001 0.4418 0.0000 1.0000 0.4508 0.4614 742-AH 0.0000 0.0269 0.5000 1.0000 1.0000 0.5176 0.4655 0.9731 1.0000 0.8993 0.0777 0.0001 0.4479 0.0000 1.0000 0.5176 0.4655 743-AH 0.0000 0.0435 0.1000 0.8750 1.0000 0.3233 0.4114 0.8315 1.0000 1.2728 0.0786 0.0002 0.3545 0.0000 1.0000 0.3233 0.4114 744-AH 0.0294 0.1571 1.0000 1.0000 1.0000 0.7289 0.4181 0.8429 0.9706 0.5737 0.4692 0.1828 0.3783 0.0294 1.0000 0.7289 0.4181 745-AH 0.0540 0.1863 1.0000 1.0000 1.0000 0.6445 0.3937 0.8137 0.9460 0.6108 0.4767 0.3087 0.3759 0.0540 1.0000 0.6445 0.3937 746-AH 0.0034 0.0889 0.3077 0.4861 1.0000 0.3345 0.3020 0.3972 0.9966 0.9027 0.1700 0.0345 0.2274 0.0034 1.0000 0.3345 0.3020 747-AH 0.0000 0.2222 0.6538 1.0000 1.0000 0.6088 0.3530 0.7778 1.0000 0.5798 0.3834 0.0004 0.3104 0.0000 1.0000 0.6088 0.3530 748-AH 0.0000 0.0321 0.1019 0.1380 1.0000 0.1203 0.1564 0.1059 1.0000 1.3000 0.0257 0.0001 0.0785 0.0000 0.2500 0.0936 0.0668 749-AH 0.0023 0.5000 1.0000 1.0000 1.0000 0.7548 0.3855 0.5000 0.9977 0.5107 0.4368 0.0448 0.3308 0.0023 1.0000 0.7548 0.3855 750-AH 0.0066 0.0247 0.1884 0.3214 1.0000 0.2702 0.3318 0.2967 0.9934 1.2280 0.1029 0.0341 0.2452 0.0066 0.6667 0.1519 0.1591 125 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0976 0.5000 1.0000 1.0000 0.5049 0.3917 0.9024 1.0000 0.7757 0.1388 0.0001 0.3325 0.0000 1.0000 0.5049 0.3917 702-AH 0.0000 0.9605 1.0000 1.0000 1.0000 0.8388 0.3396 0.0395 1.0000 0.4049 0.5119 0.0004 0.2466 0.9474 1.0000 0.9984 0.0092 703-AH 0.0000 0.2406 1.0000 1.0000 1.0000 0.6924 0.3835 0.7594 1.0000 0.5539 0.3344 0.0002 0.3457 0.0000 1.0000 0.6924 0.3835 704-AH 0.0000 0.0502 0.1667 0.3422 1.0000 0.2509 0.2681 0.2920 1.0000 1.0684 0.0807 0.0001 0.2041 0.0000 0.6154 0.1973 0.1868 705-AH 0.0000 0.3346 0.4000 0.4934 0.9000 0.4431 0.1953 0.1588 0.9000 0.4406 0.2671 0.0002 0.1393 0.2857 0.6000 0.3955 0.0797 706-AH 0.0000 0.7200 0.7857 0.8696 0.9286 0.6655 0.3202 0.1496 0.9286 0.4812 0.1811 0.0001 0.2508 0.5938 0.9286 0.8220 0.0797 707-AH 0.0000 0.1176 0.7500 1.0000 1.0000 0.5910 0.4072 0.8824 1.0000 0.6890 0.1252 0.0001 0.3605 0.0000 1.0000 0.5910 0.4072 708-AH 0.0000 0.0000 0.2759 0.8702 1.0000 0.4028 0.3945 0.8702 1.0000 0.9794 0.0137 0.0000 0.3502 0.0000 1.0000 0.4028 0.3945 709-AH 0.0000 0.4334 0.5652 0.6250 0.8667 0.5115 0.2354 0.1916 0.8667 0.4601 0.2802 0.0002 0.1802 0.1944 0.8667 0.5721 0.1732 710-AH 0.0000 0.0211 0.1111 0.2459 0.4286 0.1434 0.1339 0.2249 0.4286 0.9337 0.0322 0.0001 0.1164 0.0000 0.4286 0.1434 0.1339 711-AH 0.0031 0.0479 0.4000 0.6667 1.0000 0.4162 0.3446 0.6188 0.9969 0.8281 0.1825 0.0292 0.2852 0.0031 1.0000 0.4162 0.3446 712-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8440 0.3416 0.0000 1.0000 0.4047 0.5223 0.0004 0.2467 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0149 0.1010 0.6250 1.0000 0.3168 0.3663 0.6101 1.0000 1.1562 0.0579 0.0001 0.3230 0.0000 1.0000 0.3168 0.3663 714-AH 0.0000 0.0820 0.7273 0.9380 1.0000 0.5234 0.4229 0.8561 1.0000 0.8078 0.1208 0.0001 0.4043 0.0000 1.0000 0.5234 0.4229 715-AH 0.0000 0.1119 0.7778 1.0000 1.0000 0.6172 0.4225 0.8881 1.0000 0.6846 0.2165 0.0002 0.3857 0.0000 1.0000 0.6172 0.4225 716-AH 0.0818 0.6000 0.8750 1.0000 1.0000 0.7165 0.3131 0.4000 0.9182 0.4370 0.6075 0.4470 0.2690 0.0818 1.0000 0.7165 0.3131 717-AH 0.0000 0.1173 0.5000 1.0000 1.0000 0.5206 0.4149 0.8827 1.0000 0.7971 0.1194 0.0001 0.3811 0.0000 1.0000 0.5206 0.4149 718-AH 0.0399 0.1535 0.7500 1.0000 1.0000 0.5917 0.3893 0.8465 0.9601 0.6580 0.3793 0.1781 0.3565 0.0399 1.0000 0.5917 0.3893 719-AH 0.0000 0.0534 0.2500 1.0000 1.0000 0.4092 0.4044 0.9466 1.0000 0.9881 0.0852 0.0001 0.3551 0.0000 1.0000 0.4092 0.4044 720-AH 0.0000 0.8665 1.0000 1.0000 1.0000 0.8254 0.3471 0.1335 1.0000 0.4206 0.4089 0.0002 0.2580 0.8000 1.0000 0.9831 0.0491 721-AH 0.0000 0.1146 1.0000 1.0000 1.0000 0.6653 0.4367 0.8854 1.0000 0.6563 0.2435 0.0002 0.4087 0.0000 1.0000 0.6653 0.4367 722-AH 0.0000 0.1200 0.3000 0.7024 1.0000 0.4128 0.3595 0.5824 1.0000 0.8708 0.1314 0.0001 0.3060 0.0000 1.0000 0.4128 0.3595 723-AH 0.0000 0.1093 0.2000 0.4000 1.0000 0.2774 0.2550 0.2907 1.0000 0.9195 0.0839 0.0001 0.1877 0.0000 0.5000 0.2232 0.1639 724-AH 0.0909 0.8083 1.0000 1.0000 1.0000 0.9124 0.1718 0.1917 0.9091 0.1883 0.8754 0.7555 0.1223 0.5833 1.0000 0.9319 0.1157 725-AH 0.0000 0.1816 0.9570 0.9699 1.0000 0.6900 0.4129 0.7884 1.0000 0.5984 0.1100 0.0001 0.3629 0.0000 1.0000 0.6900 0.4129 726-AH 0.0000 0.1590 0.3846 0.5781 0.9000 0.3608 0.2505 0.4191 0.9000 0.6942 0.1633 0.0002 0.2127 0.0000 0.9000 0.3608 0.2505 727-AH 0.0000 0.0852 0.1136 0.2500 1.0000 0.2064 0.2239 0.1648 1.0000 1.0849 0.0509 0.0001 0.1545 0.0000 0.3333 0.1414 0.1074 728-AH 0.0000 0.1070 0.1875 0.3646 0.7500 0.2549 0.2205 0.2576 0.7500 0.8650 0.1305 0.0004 0.1748 0.0000 0.7500 0.2549 0.2205 729-AH 0.0000 0.0118 0.0297 0.0489 0.7143 0.0762 0.1495 0.0371 0.7143 1.9624 0.0067 0.0000 0.0869 0.0000 0.0909 0.0260 0.0232 730-AH 0.0000 0.1144 0.1702 0.8512 1.0000 0.4040 0.3914 0.7368 1.0000 0.9687 0.1597 0.0002 0.3596 0.0000 1.0000 0.4040 0.3914 731-AH 0.0000 0.2086 0.7692 1.0000 1.0000 0.6159 0.4077 0.7914 1.0000 0.6620 0.1491 0.0001 0.3702 0.0000 1.0000 0.6159 0.4077 732-AH 0.0065 0.0207 0.0355 0.0823 0.5000 0.0793 0.1131 0.0616 0.4935 1.4264 0.0434 0.0290 0.0717 0.0065 0.1667 0.0482 0.0435 733-AH 0.0000 0.0842 0.4000 0.6738 1.0000 0.4045 0.3181 0.5896 1.0000 0.7865 0.0669 0.0001 0.2715 0.0000 1.0000 0.4045 0.3181 734-AH 0.0579 0.3340 0.8333 0.9417 1.0000 0.6818 0.3281 0.6077 0.9421 0.4813 0.5452 0.3526 0.2790 0.0579 1.0000 0.6818 0.3281 735-AH 0.0000 0.1270 0.2474 0.3760 0.6429 0.2483 0.1811 0.2490 0.6429 0.7293 0.0584 0.0001 0.1431 0.0000 0.6429 0.2483 0.1811 736-AH 0.0000 0.0239 0.0935 0.2141 1.0000 0.1747 0.2488 0.1902 1.0000 1.4242 0.0437 0.0001 0.1672 0.0000 0.2500 0.0918 0.0881 737-AH 0.0000 0.0508 0.0980 0.1509 0.6364 0.1159 0.1177 0.1001 0.6364 1.0160 0.0651 0.0004 0.0677 0.0000 0.1852 0.0931 0.0545 738-AH 0.0000 0.6909 0.7500 0.8065 0.9750 0.6524 0.2780 0.1156 0.9750 0.4262 0.4063 0.0004 0.1996 0.5769 0.9750 0.7691 0.0808 739-AH 0.2045 0.7917 1.0000 1.0000 1.0000 0.8357 0.2463 0.2083 0.7955 0.2947 0.7804 0.6971 0.1947 0.5556 1.0000 0.9093 0.1443 740-AH 0.0000 0.0208 0.0673 0.1944 1.0000 0.1446 0.2144 0.1736 1.0000 1.4821 0.0583 0.0004 0.1314 0.0000 0.4286 0.1029 0.0994 741-AH 0.0000 0.0024 0.0493 0.8000 1.0000 0.3353 0.4110 0.7976 1.0000 1.2257 0.0172 0.0001 0.3692 0.0000 1.0000 0.3353 0.4110 742-AH 0.0000 0.0203 0.5000 1.0000 1.0000 0.4778 0.4548 0.9797 1.0000 0.9519 0.0569 0.0001 0.4258 0.0000 1.0000 0.4778 0.4548 743-AH 0.0000 0.0435 0.1000 0.8750 1.0000 0.3233 0.4114 0.8315 1.0000 1.2728 0.0786 0.0002 0.3545 0.0000 1.0000 0.3233 0.4114 744-AH 0.0000 0.1174 1.0000 1.0000 1.0000 0.6378 0.4376 0.8826 1.0000 0.6861 0.1969 0.0001 0.4146 0.0000 1.0000 0.6378 0.4376 745-AH 0.0000 0.1429 0.2083 0.3796 1.0000 0.2908 0.2491 0.2367 1.0000 0.8568 0.1345 0.0002 0.1860 0.0000 0.5000 0.2157 0.1408 746-AH 0.0000 0.0482 0.2143 0.4333 1.0000 0.2675 0.2652 0.3852 1.0000 0.9915 0.0806 0.0001 0.2095 0.0000 1.0000 0.2675 0.2652 747-AH 0.0000 0.0758 0.3088 0.5747 0.8636 0.3396 0.2681 0.4989 0.8636 0.7893 0.1807 0.0004 0.2346 0.0000 0.8636 0.3396 0.2681 748-AH 0.0000 0.0321 0.1019 0.1317 0.5000 0.0994 0.0909 0.0996 0.5000 0.9145 0.0155 0.0000 0.0565 0.0000 0.1842 0.0839 0.0552 749-AH 0.0000 0.1725 0.7500 1.0000 1.0000 0.6153 0.4100 0.8275 1.0000 0.6664 0.2862 0.0004 0.3779 0.0000 1.0000 0.6153 0.4100 750-AH 0.0000 0.0132 0.1071 0.2478 0.3333 0.1388 0.1224 0.2346 0.3333 0.8817 0.0314 0.0001 0.1136 0.0000 0.3333 0.1388 0.1224 126 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0778 0.2083 0.5500 1.0000 0.3512 0.3226 0.4722 1.0000 0.9186 0.0949 0.0001 0.2793 0.0000 1.0000 0.3512 0.3226 702-AH 0.0000 0.8616 1.0000 1.0000 1.0000 0.8222 0.3492 0.1384 1.0000 0.4247 0.4096 0.0004 0.2586 0.6667 1.0000 0.9766 0.0683 703-AH 0.0000 0.2102 0.7273 1.0000 1.0000 0.6150 0.3806 0.7898 1.0000 0.6189 0.2032 0.0001 0.3467 0.0000 1.0000 0.6150 0.3806 704-AH 0.0000 0.0447 0.0840 0.2801 0.9167 0.1923 0.2364 0.2354 0.9167 1.2293 0.0489 0.0001 0.1769 0.0000 0.6000 0.1455 0.1650 705-AH 0.0000 0.2452 0.2931 0.4026 0.8929 0.3427 0.2299 0.1575 0.8929 0.6708 0.1031 0.0001 0.1632 0.1698 0.4545 0.2975 0.0712 706-AH 0.0000 0.5378 0.7353 0.7931 0.8800 0.6005 0.2936 0.2553 0.8800 0.4889 0.1387 0.0001 0.2322 0.2604 0.8800 0.7157 0.1397 707-AH 0.0000 0.1176 0.6190 0.8474 1.0000 0.5441 0.3775 0.7298 1.0000 0.6937 0.1180 0.0001 0.3298 0.0000 1.0000 0.5441 0.3775 708-AH 0.0000 0.0000 0.2661 0.8003 0.9706 0.3849 0.3773 0.8003 0.9706 0.9802 0.0112 0.0000 0.3367 0.0000 0.9706 0.3849 0.3773 709-AH 0.0000 0.4269 0.5263 0.5670 0.7826 0.4423 0.1932 0.1401 0.7826 0.4368 0.2461 0.0002 0.1513 0.2348 0.6129 0.5145 0.0878 710-AH 0.0000 0.0156 0.0784 0.2188 0.3600 0.1152 0.1112 0.2031 0.3600 0.9651 0.0169 0.0001 0.0990 0.0000 0.3600 0.1152 0.1112 711-AH 0.0000 0.0189 0.2500 0.4087 0.6667 0.2371 0.2272 0.3897 0.6667 0.9580 0.0425 0.0001 0.2028 0.0000 0.6667 0.2371 0.2272 712-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8424 0.3453 0.0000 1.0000 0.4100 0.5084 0.0004 0.2493 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0000 0.0616 0.4745 0.9091 0.2552 0.3257 0.4745 0.9091 1.2763 0.0117 0.0000 0.2788 0.0000 0.9091 0.2552 0.3257 714-AH 0.0000 0.0178 0.5000 0.8346 1.0000 0.4534 0.3980 0.8168 1.0000 0.8778 0.0515 0.0001 0.3716 0.0000 1.0000 0.4534 0.3980 715-AH 0.0000 0.0278 0.2667 0.8429 1.0000 0.4394 0.4152 0.8151 1.0000 0.9448 0.1038 0.0001 0.3924 0.0000 1.0000 0.4394 0.4152 716-AH 0.0625 0.3261 0.7500 1.0000 1.0000 0.6543 0.3309 0.6739 0.9375 0.5058 0.5309 0.3612 0.2999 0.0625 1.0000 0.6543 0.3309 717-AH 0.0000 0.0623 0.1140 0.3022 1.0000 0.2873 0.3491 0.2399 1.0000 1.2152 0.0591 0.0001 0.2738 0.0000 0.5714 0.1339 0.1323 718-AH 0.0386 0.1219 0.6000 0.7143 0.9091 0.4736 0.3060 0.5924 0.8705 0.6461 0.3084 0.1514 0.2765 0.0386 0.9091 0.4736 0.3060 719-AH 0.0000 0.0036 0.0588 0.1847 1.0000 0.1738 0.2784 0.1812 1.0000 1.6021 0.0111 0.0000 0.1924 0.0000 0.4000 0.0848 0.1125 720-AH 0.0000 0.8158 1.0000 1.0000 1.0000 0.7982 0.3638 0.1842 1.0000 0.4558 0.3251 0.0001 0.2867 0.6098 1.0000 0.9649 0.0912 721-AH 0.0000 0.1127 0.1667 0.3646 1.0000 0.2804 0.2834 0.2518 1.0000 1.0110 0.0817 0.0001 0.2081 0.0000 0.6000 0.1922 0.1458 722-AH 0.0000 0.0269 0.0820 0.2637 0.6923 0.1744 0.2001 0.2368 0.6923 1.1471 0.0421 0.0001 0.1571 0.0000 0.5263 0.1369 0.1496 723-AH 0.0000 0.0391 0.1020 0.1963 0.5000 0.1361 0.1263 0.1572 0.5000 0.9282 0.0440 0.0001 0.0967 0.0000 0.4000 0.1183 0.0990 724-AH 0.0629 0.7548 1.0000 1.0000 1.0000 0.8924 0.1812 0.2452 0.9371 0.2030 0.8481 0.6823 0.1351 0.5833 1.0000 0.9122 0.1282 725-AH 0.0000 0.1503 0.9464 0.9677 0.9836 0.6690 0.4079 0.8174 0.9836 0.6097 0.0886 0.0001 0.3603 0.0000 0.9836 0.6690 0.4079 726-AH 0.0000 0.0725 0.2281 0.4732 0.6957 0.2773 0.2203 0.4007 0.6957 0.7942 0.0849 0.0001 0.1890 0.0000 0.6957 0.2773 0.2203 727-AH 0.0000 0.0549 0.1111 0.1765 0.5000 0.1331 0.1188 0.1215 0.5000 0.8920 0.0369 0.0001 0.0854 0.0000 0.3333 0.1152 0.0880 728-AH 0.0000 0.0484 0.1343 0.3158 0.6667 0.1850 0.1634 0.2674 0.6667 0.8831 0.0562 0.0001 0.1333 0.0000 0.6667 0.1850 0.1634 729-AH 0.0000 0.0000 0.0164 0.0228 0.2113 0.0200 0.0333 0.0228 0.2113 1.6640 0.0018 0.0000 0.0160 0.0000 0.0427 0.0133 0.0115 730-AH 0.0000 0.0819 0.1314 0.6349 1.0000 0.3298 0.3653 0.5530 1.0000 1.1078 0.0574 0.0001 0.3077 0.0000 1.0000 0.3298 0.3653 731-AH 0.0000 0.1190 0.5667 0.9320 1.0000 0.5319 0.3893 0.8130 1.0000 0.7319 0.1242 0.0001 0.3477 0.0000 1.0000 0.5319 0.3893 732-AH 0.0000 0.0129 0.0278 0.0487 0.3158 0.0432 0.0555 0.0358 0.3158 1.2860 0.0126 0.0001 0.0343 0.0000 0.0978 0.0291 0.0238 733-AH 0.0000 0.0822 0.2719 0.5978 1.0000 0.3440 0.3055 0.5156 1.0000 0.8879 0.0376 0.0000 0.2629 0.0000 1.0000 0.3440 0.3055 734-AH 0.0579 0.3070 0.7500 0.9091 1.0000 0.6365 0.3295 0.6021 0.9421 0.5176 0.4988 0.3224 0.2866 0.0579 1.0000 0.6365 0.3295 735-AH 0.0000 0.0560 0.1742 0.2514 0.5859 0.1834 0.1550 0.1954 0.5859 0.8455 0.0203 0.0000 0.1202 0.0000 0.4068 0.1637 0.1294 736-AH 0.0000 0.0153 0.0276 0.1728 0.6875 0.1125 0.1665 0.1575 0.6875 1.4800 0.0130 0.0001 0.1186 0.0000 0.4074 0.0751 0.0951 737-AH 0.0000 0.0244 0.0958 0.1230 0.5294 0.0936 0.0903 0.0985 0.5294 0.9655 0.0271 0.0001 0.0573 0.0000 0.1735 0.0786 0.0528 738-AH 0.0000 0.4873 0.6765 0.7800 0.9750 0.5828 0.2805 0.2927 0.9750 0.4813 0.2396 0.0001 0.2185 0.0681 0.9750 0.6745 0.1727 739-AH 0.1620 0.6842 0.8947 1.0000 1.0000 0.7952 0.2775 0.3158 0.8380 0.3490 0.7095 0.5690 0.2164 0.3036 1.0000 0.8774 0.1664 740-AH 0.0000 0.0183 0.0545 0.1313 0.8889 0.1032 0.1498 0.1130 0.8889 1.4521 0.0271 0.0001 0.0918 0.0000 0.2632 0.0778 0.0766 741-AH 0.0000 0.0000 0.0493 0.7500 1.0000 0.3122 0.3940 0.7500 1.0000 1.2622 0.0086 0.0000 0.3399 0.0000 1.0000 0.3122 0.3940 742-AH 0.0000 0.0074 0.0231 1.0000 1.0000 0.3459 0.4426 0.9926 1.0000 1.2796 0.0155 0.0000 0.3986 0.0000 1.0000 0.3459 0.4426 743-AH 0.0000 0.0184 0.0444 0.2167 1.0000 0.1707 0.2701 0.1982 1.0000 1.5821 0.0199 0.0001 0.1918 0.0000 0.2727 0.0700 0.0816 744-AH 0.0000 0.0107 0.4615 1.0000 1.0000 0.5507 0.4449 0.9893 1.0000 0.8078 0.0460 0.0000 0.4148 0.0000 1.0000 0.5507 0.4449 745-AH 0.0000 0.0356 0.1910 0.2922 0.5909 0.1975 0.1596 0.2567 0.5909 0.8082 0.0257 0.0000 0.1248 0.0000 0.5909 0.1975 0.1596 746-AH 0.0000 0.0163 0.1860 0.3023 0.5833 0.1889 0.1723 0.2860 0.5833 0.9124 0.0406 0.0001 0.1455 0.0000 0.5833 0.1889 0.1723 747-AH 0.0000 0.0548 0.1190 0.3326 0.8605 0.2223 0.2341 0.2778 0.8605 1.0529 0.1125 0.0004 0.1867 0.0000 0.6852 0.1912 0.1902 748-AH 0.0000 0.0000 0.0988 0.1120 0.2727 0.0803 0.0634 0.1120 0.2727 0.7895 0.0078 0.0000 0.0507 0.0000 0.2727 0.0803 0.0634 749-AH 0.0000 0.1482 0.5581 0.9891 1.0000 0.5429 0.4120 0.8409 1.0000 0.7589 0.1215 0.0001 0.3833 0.0000 1.0000 0.5429 0.4120 750-AH 0.0000 0.0020 0.0656 0.2235 0.3333 0.1095 0.1114 0.2215 0.3333 1.0169 0.0090 0.0000 0.1003 0.0000 0.3333 0.1095 0.1114 127 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0591 0.1333 0.3458 0.6364 0.2063 0.1911 0.2867 0.6364 0.9263 0.0607 0.0001 0.1581 0.0000 0.6364 0.2063 0.1911 702-AH 0.0000 0.7232 1.0000 1.0000 1.0000 0.7632 0.3755 0.2768 1.0000 0.4920 0.1682 0.0001 0.2982 0.5385 1.0000 0.9321 0.1260 703-AH 0.0000 0.1941 0.4138 0.7219 1.0000 0.4631 0.3128 0.5278 1.0000 0.6754 0.1533 0.0001 0.2698 0.0000 1.0000 0.4631 0.3128 704-AH 0.0000 0.0447 0.0690 0.2437 0.8095 0.1649 0.2068 0.1990 0.8095 1.2543 0.0262 0.0001 0.1574 0.0000 0.5152 0.1334 0.1520 705-AH 0.0000 0.2430 0.2682 0.4026 0.8667 0.3266 0.2367 0.1596 0.8667 0.7248 0.0777 0.0001 0.1714 0.1188 0.4545 0.2865 0.0859 706-AH 0.0000 0.4434 0.7097 0.7556 0.7955 0.5647 0.2816 0.3122 0.7955 0.4987 0.1078 0.0001 0.2311 0.0000 0.7955 0.5647 0.2816 707-AH 0.0000 0.1061 0.6190 0.7857 1.0000 0.5137 0.3612 0.6796 1.0000 0.7032 0.0922 0.0001 0.3164 0.0000 1.0000 0.5137 0.3612 708-AH 0.0000 0.0000 0.2661 0.7822 0.9706 0.3742 0.3705 0.7822 0.9706 0.9902 0.0108 0.0000 0.3332 0.0000 0.9706 0.3742 0.3705 709-AH 0.0000 0.3628 0.4677 0.5546 0.6222 0.4068 0.1839 0.1918 0.6222 0.4522 0.1884 0.0001 0.1467 0.0891 0.6222 0.4466 0.1407 710-AH 0.0000 0.0000 0.0683 0.1782 0.2542 0.0926 0.0931 0.1782 0.2542 1.0054 0.0062 0.0000 0.0822 0.0000 0.2542 0.0926 0.0931 711-AH 0.0000 0.0110 0.0714 0.3718 0.6667 0.1936 0.2067 0.3608 0.6667 1.0676 0.0331 0.0001 0.1780 0.0000 0.6667 0.1936 0.2067 712-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8409 0.3488 0.0000 1.0000 0.4148 0.4790 0.0004 0.2516 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0000 0.0522 0.2847 0.7273 0.1707 0.2307 0.2847 0.7273 1.3512 0.0037 0.0000 0.1908 0.0000 0.6522 0.1439 0.2000 714-AH 0.0000 0.0000 0.3191 0.7139 0.9412 0.3539 0.3395 0.7139 0.9412 0.9593 0.0153 0.0000 0.3025 0.0000 0.9412 0.3539 0.3395 715-AH 0.0000 0.0230 0.2609 0.8000 1.0000 0.4053 0.3925 0.7770 1.0000 0.9685 0.0908 0.0001 0.3672 0.0000 1.0000 0.4053 0.3925 716-AH 0.0538 0.2917 0.7000 0.9167 1.0000 0.6139 0.3285 0.6250 0.9462 0.5352 0.4915 0.3318 0.3009 0.0538 1.0000 0.6139 0.3285 717-AH 0.0000 0.0434 0.0659 0.1164 1.0000 0.1481 0.2482 0.0729 1.0000 1.6761 0.0313 0.0001 0.1451 0.0000 0.2000 0.0673 0.0469 718-AH 0.0000 0.0862 0.4103 0.6471 0.8095 0.3833 0.2737 0.5608 0.8095 0.7142 0.0655 0.0001 0.2402 0.0000 0.8095 0.3833 0.2737 719-AH 0.0000 0.0000 0.0063 0.1765 0.7500 0.1291 0.2262 0.1765 0.7500 1.7517 0.0043 0.0000 0.1605 0.0000 0.2727 0.0540 0.0832 720-AH 0.0000 0.7951 1.0000 1.0000 1.0000 0.7958 0.3648 0.2049 1.0000 0.4584 0.3233 0.0001 0.2892 0.6098 1.0000 0.9627 0.0955 721-AH 0.0000 0.1063 0.1667 0.2308 1.0000 0.2174 0.2052 0.1244 1.0000 0.9436 0.0512 0.0001 0.1369 0.0000 0.3750 0.1486 0.0930 722-AH 0.0000 0.0178 0.0766 0.2330 0.5714 0.1396 0.1640 0.2151 0.5714 1.1745 0.0131 0.0000 0.1313 0.0000 0.4800 0.1186 0.1359 723-AH 0.0000 0.0313 0.0923 0.1429 0.2581 0.0934 0.0737 0.1116 0.2581 0.7892 0.0239 0.0001 0.0598 0.0000 0.2581 0.0934 0.0737 724-AH 0.0629 0.7015 0.8750 1.0000 1.0000 0.8170 0.1870 0.2985 0.9371 0.2288 0.7742 0.6337 0.1491 0.5833 1.0000 0.8350 0.1470 725-AH 0.0000 0.1503 0.8228 0.9601 0.9722 0.6044 0.3991 0.8098 0.9722 0.6603 0.0536 0.0000 0.3555 0.0000 0.9722 0.6044 0.3991 726-AH 0.0000 0.0533 0.1180 0.2492 0.6333 0.1784 0.1680 0.1960 0.6333 0.9420 0.0332 0.0001 0.1342 0.0000 0.5385 0.1675 0.1541 727-AH 0.0000 0.0412 0.1020 0.1529 0.2500 0.1030 0.0742 0.1117 0.2500 0.7200 0.0273 0.0001 0.0593 0.0000 0.2500 0.1030 0.0742 728-AH 0.0000 0.0398 0.1277 0.2249 0.4286 0.1544 0.1248 0.1852 0.4286 0.8082 0.0495 0.0001 0.1024 0.0000 0.4286 0.1544 0.1248 729-AH 0.0000 0.0000 0.0000 0.0218 0.2113 0.0158 0.0330 0.0218 0.2113 2.0874 0.0005 0.0000 0.0162 0.0000 0.0357 0.0112 0.0127 730-AH 0.0000 0.0574 0.1180 0.3774 1.0000 0.2789 0.3452 0.3201 1.0000 1.2377 0.0266 0.0000 0.2773 0.0000 0.8250 0.1657 0.2102 731-AH 0.0000 0.1026 0.3731 0.8065 1.0000 0.4531 0.3586 0.7039 1.0000 0.7914 0.1058 0.0001 0.3200 0.0000 1.0000 0.4531 0.3586 732-AH 0.0000 0.0129 0.0225 0.0407 0.1190 0.0309 0.0288 0.0278 0.1190 0.9322 0.0059 0.0000 0.0217 0.0000 0.0816 0.0258 0.0221 733-AH 0.0000 0.0000 0.1892 0.4946 0.9200 0.2854 0.3029 0.4946 0.9200 1.0614 0.0130 0.0000 0.2568 0.0000 0.9200 0.2854 0.3029 734-AH 0.0000 0.3046 0.6818 0.8646 1.0000 0.5729 0.3333 0.5600 1.0000 0.5818 0.1545 0.0001 0.2889 0.0000 1.0000 0.5729 0.3333 735-AH 0.0000 0.0000 0.1337 0.1949 0.5726 0.1327 0.1378 0.1949 0.5726 1.0390 0.0059 0.0000 0.0999 0.0000 0.3047 0.1112 0.0990 736-AH 0.0000 0.0000 0.0202 0.1071 0.5862 0.0760 0.1351 0.1071 0.5862 1.7779 0.0010 0.0000 0.0956 0.0000 0.2222 0.0462 0.0723 737-AH 0.0000 0.0195 0.0546 0.0994 0.3889 0.0680 0.0696 0.0799 0.3889 1.0241 0.0091 0.0000 0.0494 0.0000 0.1735 0.0604 0.0490 738-AH 0.0000 0.2758 0.5517 0.7575 0.9750 0.4902 0.2921 0.4817 0.9750 0.5959 0.1097 0.0001 0.2440 0.0000 0.9750 0.4902 0.2921 739-AH 0.1620 0.6811 0.8947 0.9474 1.0000 0.7751 0.2697 0.2663 0.8380 0.3479 0.6933 0.5604 0.2110 0.3036 1.0000 0.8547 0.1631 740-AH 0.0000 0.0172 0.0402 0.1129 0.8889 0.0909 0.1455 0.0957 0.8889 1.6013 0.0148 0.0001 0.0853 0.0000 0.2368 0.0672 0.0707 741-AH 0.0000 0.0000 0.0493 0.3561 0.8000 0.2355 0.3050 0.3561 0.8000 1.2953 0.0055 0.0000 0.2539 0.0000 0.8000 0.2355 0.3050 742-AH 0.0000 0.0000 0.0082 0.6667 1.0000 0.3003 0.4252 0.6667 1.0000 1.4160 0.0028 0.0000 0.3758 0.0000 1.0000 0.3003 0.4252 743-AH 0.0000 0.0176 0.0441 0.1681 0.7500 0.1206 0.1818 0.1504 0.7500 1.5079 0.0166 0.0001 0.1297 0.0000 0.2727 0.0617 0.0719 744-AH 0.0000 0.0023 0.4118 1.0000 1.0000 0.4942 0.4310 0.9977 1.0000 0.8721 0.0285 0.0000 0.3981 0.0000 1.0000 0.4942 0.4310 745-AH 0.0000 0.0097 0.1786 0.2580 0.3898 0.1641 0.1248 0.2483 0.3898 0.7604 0.0158 0.0000 0.1012 0.0000 0.3898 0.1641 0.1248 746-AH 0.0000 0.0000 0.1193 0.2382 0.4800 0.1315 0.1278 0.2382 0.4800 0.9726 0.0093 0.0000 0.1133 0.0000 0.4800 0.1315 0.1278 747-AH 0.0000 0.0000 0.0722 0.2349 0.8116 0.1453 0.2037 0.2349 0.8116 1.4017 0.0036 0.0000 0.1497 0.0000 0.5000 0.1128 0.1424 748-AH 0.0000 0.0000 0.0985 0.1108 0.1860 0.0769 0.0580 0.1108 0.1860 0.7548 0.0076 0.0000 0.0484 0.0000 0.1860 0.0769 0.0580 749-AH 0.0000 0.1357 0.5581 0.9427 1.0000 0.5204 0.4019 0.8071 1.0000 0.7723 0.0962 0.0001 0.3745 0.0000 1.0000 0.5204 0.4019 750-AH 0.0000 0.0000 0.0356 0.1748 0.3036 0.0810 0.0983 0.1748 0.3036 1.2136 0.0029 0.0000 0.0844 0.0000 0.3036 0.0810 0.0983 128 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0555 0.1250 0.2368 0.3333 0.1420 0.1026 0.1813 0.3333 0.7225 0.0416 0.0001 0.0886 0.0000 0.3333 0.1420 0.1026 702-AH 0.0000 0.3659 0.9000 1.0000 1.0000 0.6947 0.3852 0.6341 1.0000 0.5545 0.1480 0.0001 0.3291 0.0000 1.0000 0.6947 0.3852 703-AH 0.0000 0.1941 0.3208 0.5056 0.6818 0.3406 0.1949 0.3115 0.6818 0.5723 0.1247 0.0001 0.1632 0.0000 0.6818 0.3406 0.1949 704-AH 0.0000 0.0447 0.0690 0.2270 0.7692 0.1498 0.1845 0.1824 0.7692 1.2320 0.0250 0.0001 0.1388 0.0000 0.5000 0.1204 0.1295 705-AH 0.0000 0.2430 0.2680 0.3486 0.8500 0.3143 0.2256 0.1055 0.8500 0.7179 0.0754 0.0001 0.1631 0.1188 0.4545 0.2767 0.0805 706-AH 0.0000 0.4106 0.7051 0.7341 0.7679 0.5464 0.2745 0.3235 0.7679 0.5025 0.1047 0.0001 0.2272 0.0000 0.7679 0.5464 0.2745 707-AH 0.0000 0.0979 0.6190 0.7222 0.8571 0.4610 0.3111 0.6244 0.8571 0.6749 0.0724 0.0001 0.2812 0.0000 0.8571 0.4610 0.3111 708-AH 0.0000 0.0000 0.2661 0.7546 0.9706 0.3642 0.3606 0.7546 0.9706 0.9900 0.0106 0.0000 0.3250 0.0000 0.9706 0.3642 0.3606 709-AH 0.0000 0.2614 0.3854 0.5000 0.5821 0.3465 0.2013 0.2386 0.5821 0.5808 0.0554 0.0001 0.1649 0.0000 0.5821 0.3465 0.2013 710-AH 0.0000 0.0000 0.0526 0.1468 0.2212 0.0763 0.0782 0.1468 0.2212 1.0254 0.0046 0.0000 0.0678 0.0000 0.2212 0.0763 0.0782 711-AH 0.0000 0.0105 0.0400 0.3043 0.5385 0.1611 0.1884 0.2938 0.5385 1.1690 0.0123 0.0000 0.1660 0.0000 0.5385 0.1611 0.1884 712-AH 0.0000 0.8750 1.0000 1.0000 1.0000 0.8276 0.3497 0.1250 1.0000 0.4225 0.4588 0.0004 0.2571 0.7143 1.0000 0.9759 0.0715 713-AH 0.0000 0.0000 0.0522 0.1994 0.6333 0.1404 0.2036 0.1994 0.6333 1.4503 0.0023 0.0000 0.1596 0.0000 0.4878 0.0702 0.1088 714-AH 0.0000 0.0000 0.2353 0.6158 0.9130 0.2892 0.3175 0.6158 0.9130 1.0978 0.0058 0.0000 0.2706 0.0000 0.9130 0.2892 0.3175 715-AH 0.0000 0.0230 0.2333 0.8000 1.0000 0.3827 0.3851 0.7770 1.0000 1.0065 0.0859 0.0001 0.3520 0.0000 1.0000 0.3827 0.3851 716-AH 0.0311 0.2640 0.3333 0.8462 1.0000 0.4881 0.3027 0.5822 0.9689 0.6202 0.3810 0.2433 0.2715 0.0311 1.0000 0.4881 0.3027 717-AH 0.0000 0.0032 0.0367 0.0932 0.9091 0.1049 0.2155 0.0900 0.9091 2.0538 0.0074 0.0000 0.1108 0.0000 0.1698 0.0478 0.0439 718-AH 0.0000 0.0679 0.3636 0.6250 0.7188 0.3426 0.2679 0.5571 0.7188 0.7820 0.0558 0.0001 0.2424 0.0000 0.7188 0.3426 0.2679 719-AH 0.0000 0.0000 0.0000 0.0894 0.4444 0.0635 0.1176 0.0894 0.4444 1.8506 0.0005 0.0000 0.0840 0.0000 0.1739 0.0308 0.0542 720-AH 0.0000 0.6903 0.9783 1.0000 1.0000 0.7838 0.3654 0.3097 1.0000 0.4662 0.2643 0.0001 0.2939 0.5714 1.0000 0.9491 0.1109 721-AH 0.0000 0.0920 0.1562 0.1863 0.5000 0.1658 0.1240 0.0943 0.5000 0.7482 0.0430 0.0001 0.0869 0.0000 0.3077 0.1265 0.0759 722-AH 0.0000 0.0000 0.0491 0.1515 0.4324 0.1026 0.1235 0.1515 0.4324 1.2030 0.0063 0.0000 0.0959 0.0000 0.3636 0.0798 0.0933 723-AH 0.0000 0.0000 0.0573 0.1378 0.2581 0.0726 0.0761 0.1378 0.2581 1.0483 0.0042 0.0000 0.0646 0.0000 0.2581 0.0726 0.0761 724-AH 0.0629 0.6488 0.7333 0.9215 1.0000 0.7681 0.1932 0.2727 0.9371 0.2515 0.7248 0.5987 0.1507 0.4348 1.0000 0.7849 0.1607 725-AH 0.0000 0.0394 0.6589 0.9147 0.9691 0.5170 0.3936 0.8752 0.9691 0.7613 0.0366 0.0000 0.3671 0.0000 0.9691 0.5170 0.3936 726-AH 0.0000 0.0278 0.0758 0.1660 0.4407 0.1085 0.1196 0.1382 0.4407 1.1021 0.0143 0.0000 0.0924 0.0000 0.3684 0.0857 0.0877 727-AH 0.0000 0.0383 0.0678 0.1111 0.2000 0.0773 0.0607 0.0728 0.2000 0.7863 0.0175 0.0001 0.0477 0.0000 0.2000 0.0773 0.0607 728-AH 0.0000 0.0325 0.1205 0.2050 0.3125 0.1251 0.0925 0.1725 0.3125 0.7392 0.0359 0.0001 0.0757 0.0000 0.3125 0.1251 0.0925 729-AH 0.0000 0.0000 0.0000 0.0211 0.2000 0.0125 0.0318 0.0211 0.2000 2.5399 0.0001 0.0000 0.0169 0.0000 0.0349 0.0081 0.0126 730-AH 0.0000 0.0000 0.1132 0.2298 1.0000 0.2494 0.3433 0.2298 1.0000 1.3765 0.0088 0.0000 0.2688 0.0000 0.3066 0.0811 0.0819 731-AH 0.0000 0.0787 0.2778 0.6453 0.9211 0.3642 0.3168 0.5666 0.9211 0.8700 0.0701 0.0001 0.2777 0.0000 0.9211 0.3642 0.3168 732-AH 0.0000 0.0129 0.0204 0.0292 0.1190 0.0272 0.0278 0.0163 0.1190 1.0221 0.0045 0.0000 0.0195 0.0000 0.0414 0.0166 0.0121 733-AH 0.0000 0.0000 0.1678 0.4534 0.8788 0.2622 0.2791 0.4534 0.8788 1.0645 0.0102 0.0000 0.2367 0.0000 0.8788 0.2622 0.2791 734-AH 0.0000 0.2808 0.6389 0.8175 0.9524 0.5491 0.3240 0.5367 0.9524 0.5901 0.1487 0.0001 0.2830 0.0000 0.9524 0.5491 0.3240 735-AH 0.0000 0.0000 0.0000 0.1605 0.4444 0.0940 0.1183 0.1605 0.4444 1.2592 0.0012 0.0000 0.0962 0.0000 0.2575 0.0769 0.0909 736-AH 0.0000 0.0000 0.0000 0.0951 0.2400 0.0461 0.0750 0.0951 0.2400 1.6269 0.0002 0.0000 0.0627 0.0000 0.2202 0.0415 0.0695 737-AH 0.0000 0.0000 0.0546 0.0811 0.2346 0.0508 0.0520 0.0811 0.2346 1.0236 0.0022 0.0000 0.0429 0.0000 0.1500 0.0464 0.0439 738-AH 0.0000 0.0000 0.5057 0.6934 0.8148 0.3888 0.3285 0.6934 0.8148 0.8449 0.0120 0.0000 0.3043 0.0000 0.8148 0.3888 0.3285 739-AH 0.1620 0.6571 0.8333 0.8962 1.0000 0.7336 0.2601 0.2391 0.8380 0.3545 0.6556 0.5329 0.2031 0.4878 1.0000 0.8238 0.1376 740-AH 0.0000 0.0000 0.0187 0.0599 0.2632 0.0438 0.0619 0.0599 0.2632 1.4137 0.0039 0.0000 0.0441 0.0000 0.1136 0.0297 0.0343 741-AH 0.0000 0.0000 0.0385 0.2273 0.6000 0.1485 0.2009 0.2273 0.6000 1.3522 0.0024 0.0000 0.1569 0.0000 0.5556 0.0909 0.1282 742-AH 0.0000 0.0000 0.0074 0.6667 1.0000 0.2859 0.4278 0.6667 1.0000 1.4962 0.0019 0.0000 0.3775 0.0000 1.0000 0.2859 0.4278 743-AH 0.0000 0.0111 0.0339 0.0764 0.5000 0.0835 0.1267 0.0653 0.5000 1.5174 0.0090 0.0000 0.0893 0.0000 0.1379 0.0302 0.0303 744-AH 0.0000 0.0000 0.3421 0.8421 1.0000 0.4341 0.4157 0.8421 1.0000 0.9575 0.0173 0.0000 0.3782 0.0000 1.0000 0.4341 0.4157 745-AH 0.0000 0.0097 0.1538 0.2341 0.3600 0.1460 0.1123 0.2244 0.3600 0.7692 0.0144 0.0000 0.0943 0.0000 0.3600 0.1460 0.1123 746-AH 0.0000 0.0000 0.0952 0.2038 0.4667 0.1098 0.1202 0.2038 0.4667 1.0953 0.0038 0.0000 0.1014 0.0000 0.4667 0.1098 0.1202 747-AH 0.0000 0.0000 0.0000 0.1491 0.7812 0.1105 0.1834 0.1491 0.7812 1.6604 0.0010 0.0000 0.1250 0.0000 0.2898 0.0701 0.0978 748-AH 0.0000 0.0000 0.0985 0.1108 0.1860 0.0761 0.0584 0.1108 0.1860 0.7678 0.0075 0.0000 0.0492 0.0000 0.1860 0.0761 0.0584 749-AH 0.0000 0.1145 0.4000 0.8960 1.0000 0.4845 0.3834 0.7814 1.0000 0.7913 0.0614 0.0001 0.3542 0.0000 1.0000 0.4845 0.3834 750-AH 0.0000 0.0000 0.0129 0.1034 0.3036 0.0667 0.0932 0.1034 0.3036 1.3974 0.0011 0.0000 0.0752 0.0000 0.2361 0.0496 0.0712 129 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0397 0.1103 0.1443 0.2167 0.0971 0.0641 0.1045 0.2167 0.6609 0.0309 0.0001 0.0535 0.0000 0.2167 0.0971 0.0641 702-AH 0.0000 0.3235 0.8824 1.0000 1.0000 0.6739 0.3930 0.6765 1.0000 0.5832 0.1403 0.0001 0.3427 0.0000 1.0000 0.6739 0.3930 703-AH 0.0000 0.1941 0.3000 0.4285 0.5806 0.2942 0.1598 0.2345 0.5806 0.5432 0.1108 0.0001 0.1283 0.0000 0.5806 0.2942 0.1598 704-AH 0.0000 0.0447 0.0685 0.1955 0.7692 0.1444 0.1806 0.1508 0.7692 1.2510 0.0244 0.0001 0.1329 0.0000 0.3944 0.1053 0.1077 705-AH 0.0000 0.2430 0.2680 0.3459 0.7500 0.2986 0.2039 0.1028 0.7500 0.6828 0.0732 0.0001 0.1453 0.1150 0.4315 0.2691 0.0722 706-AH 0.0000 0.2413 0.6782 0.7074 0.7568 0.5009 0.2764 0.4660 0.7568 0.5518 0.0945 0.0001 0.2432 0.0000 0.7568 0.5009 0.2764 707-AH 0.0000 0.0979 0.4762 0.6250 0.6786 0.3794 0.2734 0.5271 0.6786 0.7206 0.0515 0.0001 0.2536 0.0000 0.6786 0.3794 0.2734 708-AH 0.0000 0.0000 0.2615 0.7225 0.9302 0.3509 0.3460 0.7225 0.9302 0.9858 0.0086 0.0000 0.3138 0.0000 0.9302 0.3509 0.3460 709-AH 0.0000 0.0984 0.3652 0.4726 0.5568 0.2960 0.1977 0.3743 0.5568 0.6679 0.0462 0.0001 0.1773 0.0000 0.5568 0.2960 0.1977 710-AH 0.0000 0.0000 0.0299 0.1031 0.2212 0.0527 0.0657 0.1031 0.2212 1.2455 0.0012 0.0000 0.0538 0.0000 0.2212 0.0527 0.0657 711-AH 0.0000 0.0026 0.0360 0.1988 0.4444 0.1123 0.1296 0.1961 0.4444 1.1535 0.0084 0.0000 0.1138 0.0000 0.4444 0.1123 0.1296 712-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.8232 0.3499 0.1667 1.0000 0.4251 0.4482 0.0004 0.2564 0.7143 1.0000 0.9712 0.0752 713-AH 0.0000 0.0000 0.0522 0.1030 0.5532 0.1019 0.1610 0.1030 0.5532 1.5794 0.0016 0.0000 0.1147 0.0000 0.2034 0.0432 0.0583 714-AH 0.0000 0.0000 0.0334 0.2949 0.8182 0.2077 0.2903 0.2949 0.8182 1.3978 0.0019 0.0000 0.2377 0.0000 0.7222 0.1469 0.2287 715-AH 0.0000 0.0157 0.0703 0.1106 0.6923 0.1253 0.1813 0.0948 0.6923 1.4475 0.0178 0.0001 0.1262 0.0000 0.2250 0.0577 0.0565 716-AH 0.0290 0.1892 0.2895 0.8179 0.9231 0.4101 0.3123 0.6288 0.8941 0.7616 0.2803 0.1571 0.2703 0.0290 0.9231 0.4101 0.3123 717-AH 0.0000 0.0000 0.0349 0.0932 0.9091 0.0960 0.2015 0.0932 0.9091 2.1000 0.0055 0.0000 0.1053 0.0000 0.1698 0.0429 0.0442 718-AH 0.0000 0.0000 0.1572 0.4296 0.6750 0.2373 0.2491 0.4296 0.6750 1.0495 0.0095 0.0000 0.2185 0.0000 0.6750 0.2373 0.2491 719-AH 0.0000 0.0000 0.0000 0.0443 0.4211 0.0416 0.0826 0.0443 0.4211 1.9849 0.0004 0.0000 0.0544 0.0000 0.1087 0.0173 0.0322 720-AH 0.0000 0.6136 0.9394 0.9791 1.0000 0.7326 0.3581 0.3654 1.0000 0.4888 0.2451 0.0001 0.2935 0.1487 1.0000 0.8486 0.2248 721-AH 0.0000 0.0844 0.1429 0.1667 0.4167 0.1410 0.1036 0.0823 0.4167 0.7344 0.0372 0.0001 0.0705 0.0000 0.2414 0.1151 0.0661 722-AH 0.0000 0.0000 0.0309 0.0770 0.3000 0.0690 0.0911 0.0770 0.3000 1.3212 0.0033 0.0000 0.0683 0.0000 0.1852 0.0367 0.0440 723-AH 0.0000 0.0000 0.0244 0.1031 0.1818 0.0538 0.0620 0.1031 0.1818 1.1525 0.0013 0.0000 0.0546 0.0000 0.1818 0.0538 0.0620 724-AH 0.0629 0.6028 0.7059 0.8462 1.0000 0.6863 0.2077 0.2434 0.9371 0.3027 0.6370 0.5279 0.1574 0.3548 1.0000 0.7011 0.1857 725-AH 0.0000 0.0000 0.3453 0.8269 0.9500 0.4277 0.3765 0.8269 0.9500 0.8802 0.0128 0.0000 0.3496 0.0000 0.9500 0.4277 0.3765 726-AH 0.0000 0.0000 0.0418 0.0923 0.3902 0.0660 0.0909 0.0923 0.3902 1.3759 0.0019 0.0000 0.0661 0.0000 0.2050 0.0470 0.0577 727-AH 0.0000 0.0383 0.0678 0.1111 0.2000 0.0773 0.0607 0.0728 0.2000 0.7863 0.0175 0.0001 0.0477 0.0000 0.2000 0.0773 0.0607 728-AH 0.0000 0.0131 0.0986 0.1810 0.3125 0.1083 0.0908 0.1679 0.3125 0.8382 0.0132 0.0000 0.0713 0.0000 0.3125 0.1083 0.0908 729-AH 0.0000 0.0000 0.0000 0.0000 0.1358 0.0085 0.0229 0.0000 0.1358 2.6992 0.0001 0.0000 0.0134 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.2107 1.0000 0.2044 0.3519 0.2107 1.0000 1.7216 0.0005 0.0000 0.2766 0.0000 0.2848 0.0322 0.0741 731-AH 0.0000 0.0731 0.1736 0.4886 0.9149 0.2966 0.2779 0.4156 0.9149 0.9368 0.0585 0.0001 0.2355 0.0000 0.9149 0.2966 0.2779 732-AH 0.0000 0.0000 0.0181 0.0254 0.0977 0.0243 0.0263 0.0254 0.0977 1.0860 0.0030 0.0000 0.0186 0.0000 0.0605 0.0163 0.0148 733-AH 0.0000 0.0000 0.1606 0.3938 0.8611 0.2372 0.2648 0.3938 0.8611 1.1162 0.0095 0.0000 0.2167 0.0000 0.8611 0.2372 0.2648 734-AH 0.0000 0.2807 0.5455 0.7682 0.9259 0.5100 0.3144 0.4876 0.9259 0.6164 0.1386 0.0001 0.2800 0.0000 0.9259 0.5100 0.3144 735-AH 0.0000 0.0000 0.0000 0.0947 0.3033 0.0514 0.0934 0.0947 0.3033 1.8192 0.0001 0.0000 0.0764 0.0000 0.2206 0.0391 0.0764 736-AH 0.0000 0.0000 0.0000 0.0258 0.2400 0.0359 0.0686 0.0258 0.2400 1.9122 0.0001 0.0000 0.0534 0.0000 0.0344 0.0010 0.0060 737-AH 0.0000 0.0000 0.0416 0.0675 0.1188 0.0369 0.0352 0.0675 0.1188 0.9532 0.0016 0.0000 0.0314 0.0000 0.1188 0.0369 0.0352 738-AH 0.0000 0.0000 0.3011 0.6719 0.7654 0.3486 0.3156 0.6719 0.7654 0.9053 0.0089 0.0000 0.2887 0.0000 0.7654 0.3486 0.3156 739-AH 0.1620 0.5959 0.7857 0.8787 0.9615 0.6853 0.2507 0.2828 0.7996 0.3659 0.6117 0.5026 0.2022 0.1849 0.9615 0.7389 0.1942 740-AH 0.0000 0.0000 0.0135 0.0410 0.1600 0.0287 0.0426 0.0410 0.1600 1.4841 0.0010 0.0000 0.0316 0.0000 0.0968 0.0196 0.0271 741-AH 0.0000 0.0000 0.0261 0.2135 0.6000 0.1392 0.1979 0.2135 0.6000 1.4212 0.0022 0.0000 0.1504 0.0000 0.2500 0.0678 0.0897 742-AH 0.0000 0.0000 0.0000 0.4353 1.0000 0.2184 0.3500 0.4353 1.0000 1.6023 0.0008 0.0000 0.2901 0.0000 1.0000 0.2184 0.3500 743-AH 0.0000 0.0111 0.0339 0.0764 0.5000 0.0835 0.1267 0.0653 0.5000 1.5174 0.0090 0.0000 0.0893 0.0000 0.1379 0.0302 0.0303 744-AH 0.0000 0.0000 0.3421 0.8316 1.0000 0.3748 0.3763 0.8316 1.0000 1.0040 0.0154 0.0000 0.3280 0.0000 1.0000 0.3748 0.3763 745-AH 0.0000 0.0000 0.1269 0.2172 0.2640 0.1269 0.0995 0.2172 0.2640 0.7842 0.0106 0.0000 0.0881 0.0000 0.2640 0.1269 0.0995 746-AH 0.0000 0.0000 0.0319 0.1454 0.3396 0.0730 0.0949 0.1454 0.3396 1.3000 0.0014 0.0000 0.0787 0.0000 0.3396 0.0730 0.0949 747-AH 0.0000 0.0000 0.0000 0.1042 0.5196 0.0728 0.1379 0.1042 0.5196 1.8933 0.0002 0.0000 0.1050 0.0000 0.2435 0.0329 0.0752 748-AH 0.0000 0.0000 0.0985 0.1108 0.1860 0.0752 0.0583 0.1108 0.1860 0.7757 0.0074 0.0000 0.0493 0.0000 0.1860 0.0752 0.0583 749-AH 0.0000 0.0798 0.4000 0.8487 0.9630 0.4638 0.3728 0.7690 0.9630 0.8037 0.0580 0.0001 0.3454 0.0000 0.9630 0.4638 0.3728 750-AH 0.0000 0.0000 0.0000 0.0658 0.3036 0.0526 0.0852 0.0658 0.3036 1.6192 0.0005 0.0000 0.0658 0.0000 0.1074 0.0152 0.0275 130 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0397 0.0970 0.1138 0.2167 0.0812 0.0550 0.0740 0.2167 0.6767 0.0164 0.0001 0.0441 0.0000 0.2167 0.0812 0.0550 702-AH 0.0000 0.2656 0.8636 1.0000 1.0000 0.6522 0.3930 0.7344 1.0000 0.6025 0.1351 0.0001 0.3458 0.0000 1.0000 0.6522 0.3930 703-AH 0.0000 0.1900 0.2644 0.3276 0.4800 0.2466 0.1259 0.1376 0.4800 0.5104 0.0962 0.0001 0.0965 0.0000 0.4800 0.2466 0.1259 704-AH 0.0000 0.0436 0.0609 0.1896 0.7174 0.1257 0.1656 0.1460 0.7174 1.3170 0.0127 0.0000 0.1168 0.0000 0.3056 0.0879 0.0884 705-AH 0.0000 0.2121 0.2632 0.3316 0.6750 0.2657 0.1705 0.1195 0.6750 0.6416 0.0668 0.0001 0.1153 0.0779 0.5100 0.2691 0.0875 706-AH 0.0000 0.0000 0.5652 0.6468 0.7021 0.4026 0.2848 0.6468 0.7021 0.7074 0.0254 0.0000 0.2636 0.0000 0.7021 0.4026 0.2848 707-AH 0.0000 0.0954 0.3103 0.6207 0.6786 0.3460 0.2702 0.5253 0.6786 0.7810 0.0394 0.0000 0.2518 0.0000 0.6786 0.3460 0.2702 708-AH 0.0000 0.0000 0.1991 0.6501 0.8913 0.3188 0.3177 0.6501 0.8913 0.9966 0.0081 0.0000 0.2920 0.0000 0.8913 0.3188 0.3177 709-AH 0.0000 0.0144 0.3652 0.4244 0.5400 0.2604 0.1905 0.4100 0.5400 0.7316 0.0221 0.0000 0.1741 0.0000 0.5400 0.2604 0.1905 710-AH 0.0000 0.0000 0.0000 0.0575 0.2093 0.0388 0.0558 0.0575 0.2093 1.4403 0.0005 0.0000 0.0438 0.0000 0.1261 0.0307 0.0428 711-AH 0.0000 0.0000 0.0304 0.1501 0.4000 0.0877 0.1177 0.1501 0.4000 1.3425 0.0035 0.0000 0.0969 0.0000 0.3448 0.0802 0.1084 712-AH 0.0000 0.5128 1.0000 1.0000 1.0000 0.7585 0.3995 0.4872 1.0000 0.5267 0.2482 0.0001 0.3369 0.0000 1.0000 0.7585 0.3995 713-AH 0.0000 0.0000 0.0000 0.0491 0.3580 0.0352 0.0696 0.0491 0.3580 1.9801 0.0003 0.0000 0.0442 0.0000 0.1218 0.0220 0.0336 714-AH 0.0000 0.0000 0.0000 0.0778 0.7143 0.0903 0.1857 0.0778 0.7143 2.0574 0.0002 0.0000 0.1277 0.0000 0.1520 0.0167 0.0383 715-AH 0.0000 0.0000 0.0000 0.0162 0.1009 0.0140 0.0257 0.0162 0.1009 1.8330 0.0002 0.0000 0.0178 0.0000 0.0382 0.0062 0.0112 716-AH 0.0195 0.1892 0.2281 0.4194 0.8750 0.3152 0.2368 0.2303 0.8555 0.7513 0.2269 0.1353 0.1842 0.0195 0.6500 0.2594 0.1658 717-AH 0.0000 0.0000 0.0317 0.0670 0.8571 0.0731 0.1516 0.0670 0.8571 2.0758 0.0030 0.0000 0.0793 0.0000 0.1618 0.0363 0.0401 718-AH 0.0000 0.0000 0.0502 0.3123 0.6122 0.1474 0.1748 0.3123 0.6122 1.1860 0.0031 0.0000 0.1471 0.0000 0.6122 0.1474 0.1748 719-AH 0.0000 0.0000 0.0000 0.0205 0.4211 0.0272 0.0745 0.0205 0.4211 2.7385 0.0003 0.0000 0.0367 0.0000 0.0484 0.0087 0.0145 720-AH 0.0000 0.1225 0.9211 0.9778 1.0000 0.6690 0.4017 0.8553 1.0000 0.6005 0.2025 0.0001 0.3613 0.0000 1.0000 0.6690 0.4017 721-AH 0.0000 0.0306 0.0826 0.0909 0.2414 0.0779 0.0557 0.0603 0.2414 0.7153 0.0184 0.0001 0.0386 0.0000 0.1607 0.0706 0.0455 722-AH 0.0000 0.0000 0.0000 0.0388 0.2424 0.0384 0.0679 0.0388 0.2424 1.7687 0.0005 0.0000 0.0457 0.0000 0.0684 0.0135 0.0201 723-AH 0.0000 0.0000 0.0000 0.0403 0.1224 0.0225 0.0363 0.0403 0.1224 1.6148 0.0002 0.0000 0.0303 0.0000 0.1000 0.0201 0.0331 724-AH 0.0588 0.5228 0.6500 0.8125 0.9286 0.6245 0.2123 0.2897 0.8697 0.3400 0.5669 0.4577 0.1663 0.2364 0.9286 0.6379 0.1954 725-AH 0.0000 0.0000 0.2540 0.7319 0.8258 0.3274 0.3341 0.7319 0.8258 1.0207 0.0044 0.0000 0.3074 0.0000 0.8258 0.3274 0.3341 726-AH 0.0000 0.0000 0.0000 0.0431 0.1836 0.0260 0.0461 0.0431 0.1836 1.7768 0.0001 0.0000 0.0362 0.0000 0.0918 0.0144 0.0284 727-AH 0.0000 0.0221 0.0588 0.1007 0.2000 0.0657 0.0531 0.0787 0.2000 0.8094 0.0148 0.0001 0.0416 0.0000 0.2000 0.0657 0.0531 728-AH 0.0000 0.0033 0.0843 0.1478 0.2143 0.0877 0.0682 0.1444 0.2143 0.7769 0.0098 0.0000 0.0554 0.0000 0.2143 0.0877 0.0682 729-AH 0.0000 0.0000 0.0000 0.0000 0.1069 0.0046 0.0177 0.0000 0.1069 3.8897 0.0000 0.0000 0.0083 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.2107 0.9818 0.1935 0.3411 0.2107 0.9818 1.7624 0.0003 0.0000 0.2673 0.0000 0.4655 0.0404 0.1029 731-AH 0.0000 0.0612 0.1225 0.3130 0.8929 0.2266 0.2485 0.2519 0.8929 1.0965 0.0211 0.0000 0.1904 0.0000 0.6667 0.1818 0.1918 732-AH 0.0000 0.0000 0.0000 0.0251 0.0977 0.0193 0.0265 0.0251 0.0977 1.3775 0.0005 0.0000 0.0199 0.0000 0.0607 0.0140 0.0186 733-AH 0.0000 0.0000 0.1377 0.3163 0.7170 0.1936 0.2267 0.3163 0.7170 1.1708 0.0068 0.0000 0.1792 0.0000 0.7170 0.1936 0.2267 734-AH 0.0000 0.2150 0.3580 0.7115 0.8750 0.4412 0.2949 0.4965 0.8750 0.6683 0.1187 0.0001 0.2653 0.0000 0.8750 0.4412 0.2949 735-AH 0.0000 0.0000 0.0000 0.0000 0.2120 0.0259 0.0655 0.0000 0.2120 2.5257 0.0000 0.0000 0.0446 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.1576 0.0227 0.0466 0.0000 0.1576 2.0485 0.0001 0.0000 0.0349 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0379 0.0601 0.0785 0.0312 0.0310 0.0601 0.0785 0.9959 0.0010 0.0000 0.0290 0.0000 0.0785 0.0312 0.0310 738-AH 0.0000 0.0000 0.1930 0.5798 0.7647 0.2863 0.2997 0.5798 0.7647 1.0469 0.0026 0.0000 0.2840 0.0000 0.7647 0.2863 0.2997 739-AH 0.1038 0.4603 0.6750 0.8182 0.9118 0.6056 0.2677 0.3579 0.8079 0.4420 0.5109 0.3857 0.2185 0.1038 0.9118 0.6056 0.2677 740-AH 0.0000 0.0000 0.0000 0.0232 0.0986 0.0130 0.0249 0.0232 0.0986 1.9161 0.0001 0.0000 0.0188 0.0000 0.0476 0.0089 0.0166 741-AH 0.0000 0.0000 0.0261 0.1667 0.4706 0.0894 0.1205 0.1667 0.4706 1.3489 0.0018 0.0000 0.0964 0.0000 0.2500 0.0708 0.0874 742-AH 0.0000 0.0000 0.0000 0.0980 0.2750 0.0533 0.0876 0.0980 0.2750 1.6420 0.0004 0.0000 0.0711 0.0000 0.2292 0.0427 0.0745 743-AH 0.0000 0.0000 0.0203 0.0309 0.2273 0.0262 0.0452 0.0309 0.2273 1.7239 0.0013 0.0000 0.0247 0.0000 0.0485 0.0171 0.0173 744-AH 0.0000 0.0000 0.2545 0.4917 0.8421 0.2624 0.2660 0.4917 0.8421 1.0137 0.0100 0.0000 0.2343 0.0000 0.8421 0.2624 0.2660 745-AH 0.0000 0.0000 0.1070 0.1943 0.2378 0.1111 0.0910 0.1943 0.2378 0.8186 0.0055 0.0000 0.0824 0.0000 0.2378 0.1111 0.0910 746-AH 0.0000 0.0000 0.0000 0.0741 0.2877 0.0446 0.0708 0.0741 0.2877 1.5894 0.0005 0.0000 0.0530 0.0000 0.1732 0.0300 0.0464 747-AH 0.0000 0.0000 0.0000 0.0000 0.4684 0.0550 0.1169 0.0000 0.4684 2.1237 0.0001 0.0000 0.0845 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0786 0.1086 0.1860 0.0707 0.0538 0.1086 0.1860 0.7615 0.0071 0.0000 0.0456 0.0000 0.1860 0.0707 0.0538 749-AH 0.0000 0.0738 0.3514 0.8387 0.9630 0.4283 0.3637 0.7649 0.9630 0.8491 0.0438 0.0000 0.3380 0.0000 0.9630 0.4283 0.3637 750-AH 0.0000 0.0000 0.0000 0.0311 0.1957 0.0251 0.0473 0.0311 0.1957 1.8863 0.0002 0.0000 0.0317 0.0000 0.0615 0.0096 0.0163 131 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0326 0.0899 0.1059 0.1415 0.0721 0.0452 0.0733 0.1415 0.6270 0.0151 0.0001 0.0393 0.0000 0.1415 0.0721 0.0452 702-AH 0.0000 0.1071 0.8148 0.9603 1.0000 0.5911 0.4044 0.8532 1.0000 0.6842 0.1129 0.0001 0.3693 0.0000 1.0000 0.5911 0.4044 703-AH 0.0000 0.1600 0.2148 0.2849 0.4407 0.2070 0.1105 0.1250 0.4407 0.5340 0.0797 0.0001 0.0833 0.0000 0.4407 0.2070 0.1105 704-AH 0.0000 0.0000 0.0514 0.1616 0.7170 0.1051 0.1587 0.1616 0.7170 1.5096 0.0062 0.0000 0.1056 0.0000 0.2317 0.0677 0.0729 705-AH 0.0000 0.0218 0.2492 0.2908 0.6078 0.2111 0.1561 0.2690 0.6078 0.7394 0.0195 0.0000 0.1253 0.0000 0.6078 0.2111 0.1561 706-AH 0.0000 0.0000 0.4144 0.4984 0.6609 0.3117 0.2390 0.4984 0.6609 0.7667 0.0203 0.0000 0.2209 0.0000 0.6609 0.3117 0.2390 707-AH 0.0000 0.0608 0.1750 0.3069 0.5789 0.1858 0.1472 0.2460 0.5789 0.7922 0.0209 0.0000 0.1231 0.0000 0.5789 0.1858 0.1472 708-AH 0.0000 0.0000 0.0710 0.5498 0.6812 0.2548 0.2812 0.5498 0.6812 1.1035 0.0024 0.0000 0.2709 0.0000 0.6812 0.2548 0.2812 709-AH 0.0000 0.0000 0.2814 0.3860 0.4228 0.2224 0.1761 0.3860 0.4228 0.7917 0.0128 0.0000 0.1643 0.0000 0.4228 0.2224 0.1761 710-AH 0.0000 0.0000 0.0000 0.0499 0.0944 0.0219 0.0350 0.0499 0.0944 1.5980 0.0001 0.0000 0.0305 0.0000 0.0944 0.0219 0.0350 711-AH 0.0000 0.0000 0.0213 0.0513 0.3636 0.0548 0.0963 0.0513 0.3636 1.7568 0.0013 0.0000 0.0632 0.0000 0.0745 0.0192 0.0234 712-AH 0.0000 0.1037 1.0000 1.0000 1.0000 0.7150 0.4436 0.8963 1.0000 0.6205 0.0716 0.0000 0.3977 0.0000 1.0000 0.7150 0.4436 713-AH 0.0000 0.0000 0.0000 0.0000 0.2810 0.0178 0.0553 0.0000 0.2810 3.1121 0.0000 0.0000 0.0298 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.2365 0.0136 0.0510 0.0000 0.2365 3.7456 0.0000 0.0000 0.0247 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0154 0.0952 0.0119 0.0240 0.0154 0.0952 2.0063 0.0001 0.0000 0.0161 0.0000 0.0382 0.0062 0.0112 716-AH 0.0000 0.0433 0.2105 0.2817 0.7895 0.2122 0.1936 0.2384 0.7895 0.9123 0.0317 0.0001 0.1444 0.0000 0.4286 0.1734 0.1338 717-AH 0.0000 0.0000 0.0263 0.0571 0.3333 0.0400 0.0585 0.0571 0.3333 1.4623 0.0017 0.0000 0.0382 0.0000 0.1193 0.0331 0.0369 718-AH 0.0000 0.0000 0.0377 0.1328 0.3529 0.0722 0.0941 0.1328 0.3529 1.3026 0.0012 0.0000 0.0766 0.0000 0.2273 0.0588 0.0729 719-AH 0.0000 0.0000 0.0000 0.0205 0.4211 0.0251 0.0722 0.0205 0.4211 2.8750 0.0002 0.0000 0.0334 0.0000 0.0424 0.0086 0.0134 720-AH 0.0000 0.0955 0.8723 0.9778 1.0000 0.6158 0.4149 0.8822 1.0000 0.6737 0.1371 0.0001 0.3769 0.0000 1.0000 0.6158 0.4149 721-AH 0.0000 0.0048 0.0745 0.0889 0.2414 0.0700 0.0564 0.0841 0.2414 0.8063 0.0085 0.0000 0.0401 0.0000 0.2121 0.0659 0.0503 722-AH 0.0000 0.0000 0.0000 0.0000 0.1697 0.0145 0.0398 0.0000 0.1697 2.7497 0.0000 0.0000 0.0249 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0384 0.0805 0.0178 0.0298 0.0384 0.0805 1.6746 0.0001 0.0000 0.0250 0.0000 0.0805 0.0178 0.0298 724-AH 0.0503 0.4848 0.6000 0.6522 0.8333 0.5610 0.1848 0.1673 0.7830 0.3294 0.5121 0.4135 0.1397 0.3846 0.8333 0.6203 0.1149 725-AH 0.0000 0.0000 0.1898 0.4785 0.6802 0.2356 0.2499 0.4785 0.6802 1.0607 0.0036 0.0000 0.2170 0.0000 0.6802 0.2356 0.2499 726-AH 0.0000 0.0000 0.0000 0.0000 0.1213 0.0084 0.0250 0.0000 0.1213 2.9863 0.0000 0.0000 0.0148 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0202 0.0541 0.0981 0.2000 0.0611 0.0521 0.0779 0.2000 0.8534 0.0103 0.0000 0.0407 0.0000 0.2000 0.0611 0.0521 728-AH 0.0000 0.0000 0.0757 0.0864 0.1609 0.0602 0.0480 0.0864 0.1609 0.7976 0.0045 0.0000 0.0407 0.0000 0.1609 0.0602 0.0480 729-AH 0.0000 0.0000 0.0000 0.0000 0.0797 0.0019 0.0122 0.0000 0.0797 6.5574 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.1809 0.9559 0.1781 0.3181 0.1809 0.9559 1.7858 0.0003 0.0000 0.2455 0.0000 0.3033 0.0338 0.0816 731-AH 0.0000 0.0000 0.0812 0.2092 0.8676 0.1641 0.2010 0.2092 0.8676 1.2246 0.0110 0.0000 0.1447 0.0000 0.4470 0.1137 0.1225 732-AH 0.0000 0.0000 0.0000 0.0205 0.0905 0.0127 0.0225 0.0205 0.0905 1.7705 0.0002 0.0000 0.0165 0.0000 0.0480 0.0077 0.0129 733-AH 0.0000 0.0000 0.1194 0.2532 0.6479 0.1711 0.2079 0.2532 0.6479 1.2155 0.0043 0.0000 0.1633 0.0000 0.6000 0.1356 0.1676 734-AH 0.0000 0.1852 0.2754 0.6038 0.8378 0.3789 0.2626 0.4186 0.8378 0.6931 0.0704 0.0001 0.2365 0.0000 0.8378 0.3789 0.2626 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.1184 0.0138 0.0318 0.0000 0.1184 2.3031 0.0001 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0355 0.0634 0.0162 0.0235 0.0355 0.0634 1.4523 0.0002 0.0000 0.0211 0.0000 0.0634 0.0162 0.0235 738-AH 0.0000 0.0000 0.0000 0.1538 0.4343 0.1023 0.1487 0.1538 0.4343 1.4533 0.0006 0.0000 0.1204 0.0000 0.3659 0.0693 0.1114 739-AH 0.0000 0.0463 0.6000 0.7750 0.9118 0.4740 0.3431 0.7287 0.9118 0.7239 0.0589 0.0001 0.3087 0.0000 0.9118 0.4740 0.3431 740-AH 0.0000 0.0000 0.0000 0.0130 0.0664 0.0078 0.0157 0.0130 0.0664 2.0193 0.0001 0.0000 0.0116 0.0000 0.0282 0.0051 0.0098 741-AH 0.0000 0.0000 0.0201 0.1446 0.2500 0.0700 0.0869 0.1446 0.2500 1.2420 0.0014 0.0000 0.0747 0.0000 0.2500 0.0700 0.0869 742-AH 0.0000 0.0000 0.0000 0.0322 0.2667 0.0345 0.0718 0.0322 0.2667 2.0818 0.0002 0.0000 0.0475 0.0000 0.0588 0.0097 0.0179 743-AH 0.0000 0.0000 0.0000 0.0230 0.0882 0.0132 0.0194 0.0230 0.0882 1.4683 0.0004 0.0000 0.0144 0.0000 0.0380 0.0099 0.0122 744-AH 0.0000 0.0000 0.2254 0.3460 0.8421 0.2022 0.2196 0.3460 0.8421 1.0862 0.0048 0.0000 0.1851 0.0000 0.8421 0.2022 0.2196 745-AH 0.0000 0.0000 0.0759 0.1665 0.2170 0.0884 0.0854 0.1665 0.2170 0.9660 0.0021 0.0000 0.0814 0.0000 0.2170 0.0884 0.0854 746-AH 0.0000 0.0000 0.0000 0.0000 0.2593 0.0171 0.0540 0.0000 0.2593 3.1598 0.0000 0.0000 0.0302 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.3904 0.0371 0.0949 0.0000 0.3904 2.5614 0.0001 0.0000 0.0620 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0769 0.1086 0.1594 0.0678 0.0507 0.1086 0.1594 0.7480 0.0069 0.0000 0.0441 0.0000 0.1594 0.0678 0.0507 749-AH 0.0000 0.0581 0.3039 0.7177 0.8889 0.3655 0.3394 0.6596 0.8889 0.9286 0.0352 0.0000 0.3142 0.0000 0.8889 0.3655 0.3394 750-AH 0.0000 0.0000 0.0000 0.0000 0.0319 0.0037 0.0095 0.0000 0.0319 2.5288 0.0000 0.0000 0.0064 0.0000 0.0000 0.0000 0.0000 132 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0056 0.0813 0.0976 0.1214 0.0643 0.0441 0.0920 0.1214 0.6870 0.0081 0.0000 0.0389 0.0000 0.1214 0.0643 0.0441 702-AH 0.0000 0.0478 0.4800 0.8667 1.0000 0.4654 0.3955 0.8189 1.0000 0.8499 0.0644 0.0001 0.3661 0.0000 1.0000 0.4654 0.3955 703-AH 0.0000 0.0735 0.2050 0.2275 0.4143 0.1732 0.1043 0.1540 0.4143 0.6026 0.0456 0.0001 0.0827 0.0000 0.4143 0.1732 0.1043 704-AH 0.0000 0.0000 0.0479 0.0923 0.3964 0.0688 0.0894 0.0923 0.3964 1.2999 0.0021 0.0000 0.0657 0.0000 0.2056 0.0551 0.0645 705-AH 0.0000 0.0000 0.1400 0.2628 0.5152 0.1435 0.1501 0.2628 0.5152 1.0458 0.0028 0.0000 0.1317 0.0000 0.5152 0.1435 0.1501 706-AH 0.0000 0.0000 0.2589 0.3112 0.6232 0.2090 0.1896 0.3112 0.6232 0.9072 0.0066 0.0000 0.1630 0.0000 0.6232 0.2090 0.1896 707-AH 0.0000 0.0000 0.0958 0.3069 0.3582 0.1441 0.1330 0.3069 0.3582 0.9232 0.0109 0.0000 0.1188 0.0000 0.3582 0.1441 0.1330 708-AH 0.0000 0.0000 0.0000 0.4385 0.5870 0.2165 0.2439 0.4385 0.5870 1.1261 0.0018 0.0000 0.2317 0.0000 0.5870 0.2165 0.2439 709-AH 0.0000 0.0000 0.2466 0.3273 0.3750 0.1864 0.1534 0.3273 0.3750 0.8232 0.0076 0.0000 0.1448 0.0000 0.3750 0.1864 0.1534 710-AH 0.0000 0.0000 0.0000 0.0000 0.0804 0.0110 0.0238 0.0000 0.0804 2.1735 0.0001 0.0000 0.0178 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0163 0.0453 0.3023 0.0438 0.0786 0.0453 0.3023 1.7930 0.0010 0.0000 0.0496 0.0000 0.0667 0.0175 0.0216 712-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.5715 0.4877 1.0000 1.0000 0.8534 0.0139 0.0000 0.4741 0.0000 1.0000 0.5715 0.4877 713-AH 0.0000 0.0000 0.0000 0.0000 0.1487 0.0102 0.0327 0.0000 0.1487 3.2128 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0053 0.0243 0.0000 0.1250 4.6058 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0729 0.0059 0.0166 0.0000 0.0729 2.8249 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0885 0.1680 0.3778 0.1043 0.1056 0.1680 0.3778 1.0125 0.0049 0.0000 0.0847 0.0000 0.3778 0.1043 0.1056 717-AH 0.0000 0.0000 0.0000 0.0265 0.0806 0.0154 0.0229 0.0265 0.0806 1.4808 0.0003 0.0000 0.0187 0.0000 0.0641 0.0125 0.0188 718-AH 0.0000 0.0000 0.0000 0.0706 0.1932 0.0343 0.0526 0.0706 0.1932 1.5353 0.0003 0.0000 0.0430 0.0000 0.1227 0.0265 0.0398 719-AH 0.0000 0.0000 0.0000 0.0167 0.4211 0.0216 0.0710 0.0167 0.4211 3.2847 0.0002 0.0000 0.0303 0.0000 0.0402 0.0071 0.0118 720-AH 0.0000 0.0596 0.8519 0.9778 0.9800 0.5842 0.4307 0.9182 0.9800 0.7373 0.0475 0.0000 0.4006 0.0000 0.9800 0.5842 0.4307 721-AH 0.0000 0.0000 0.0667 0.0861 0.1607 0.0588 0.0438 0.0861 0.1607 0.7455 0.0064 0.0000 0.0345 0.0000 0.1607 0.0588 0.0438 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0766 0.0096 0.0225 0.0000 0.0766 2.3565 0.0000 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.3977 0.5152 0.6019 0.8095 0.4528 0.2094 0.2042 0.8095 0.4625 0.1372 0.0001 0.1530 0.3400 0.8095 0.5250 0.1123 725-AH 0.0000 0.0000 0.0000 0.2415 0.3864 0.1091 0.1418 0.2415 0.3864 1.3003 0.0006 0.0000 0.1319 0.0000 0.3864 0.1091 0.1418 726-AH 0.0000 0.0000 0.0000 0.0000 0.0798 0.0019 0.0122 0.0000 0.0798 6.5574 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0040 0.0435 0.0616 0.2000 0.0479 0.0462 0.0576 0.2000 0.9633 0.0060 0.0000 0.0324 0.0000 0.1207 0.0410 0.0343 728-AH 0.0000 0.0000 0.0582 0.0726 0.0934 0.0438 0.0331 0.0726 0.0934 0.7546 0.0036 0.0000 0.0297 0.0000 0.0934 0.0438 0.0331 729-AH 0.0000 0.0000 0.0000 0.0000 0.0384 0.0009 0.0059 0.0000 0.0384 6.5574 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.1678 0.8182 0.1454 0.2614 0.1678 0.8182 1.7969 0.0002 0.0000 0.2029 0.0000 0.2708 0.0272 0.0695 731-AH 0.0000 0.0000 0.0000 0.1355 0.7791 0.0962 0.1493 0.1355 0.7791 1.5519 0.0011 0.0000 0.1014 0.0000 0.3134 0.0721 0.0938 732-AH 0.0000 0.0000 0.0000 0.0000 0.0378 0.0027 0.0089 0.0000 0.0378 3.2648 0.0000 0.0000 0.0050 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.1075 0.1863 0.5904 0.1430 0.1764 0.1863 0.5904 1.2338 0.0031 0.0000 0.1370 0.0000 0.4579 0.1120 0.1387 734-AH 0.0000 0.1750 0.2754 0.4935 0.7200 0.3070 0.2192 0.3186 0.7200 0.7142 0.0479 0.0001 0.1836 0.0000 0.7200 0.3070 0.2192 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0653 0.0029 0.0133 0.0000 0.0653 4.5863 0.0000 0.0000 0.0055 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0622 0.0072 0.0169 0.0000 0.0622 2.3481 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.1906 0.0044 0.0291 0.0000 0.1906 6.5574 0.0000 0.0000 0.0087 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.4868 0.6476 0.7708 0.3813 0.3029 0.6476 0.7708 0.7944 0.0153 0.0000 0.2792 0.0000 0.7708 0.3813 0.3029 740-AH 0.0000 0.0000 0.0000 0.0000 0.0311 0.0014 0.0066 0.0000 0.0311 4.5814 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0201 0.1063 0.2174 0.0563 0.0690 0.1063 0.2174 1.2264 0.0013 0.0000 0.0589 0.0000 0.2174 0.0563 0.0690 742-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0238 0.0006 0.0036 0.0000 0.0238 6.5574 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.1146 0.2905 0.4186 0.1407 0.1455 0.2905 0.4186 1.0346 0.0032 0.0000 0.1332 0.0000 0.4186 0.1407 0.1455 745-AH 0.0000 0.0000 0.0596 0.1491 0.2122 0.0766 0.0763 0.1491 0.2122 0.9965 0.0016 0.0000 0.0729 0.0000 0.2122 0.0766 0.0763 746-AH 0.0000 0.0000 0.0000 0.0000 0.2593 0.0142 0.0488 0.0000 0.2593 3.4395 0.0000 0.0000 0.0258 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.2736 0.0127 0.0583 0.0000 0.2736 4.5813 0.0000 0.0000 0.0243 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0738 0.1065 0.1594 0.0650 0.0508 0.1065 0.1594 0.7814 0.0055 0.0000 0.0451 0.0000 0.1594 0.0650 0.0508 749-AH 0.0000 0.0483 0.2096 0.5401 0.7660 0.2894 0.2804 0.4918 0.7660 0.9690 0.0289 0.0000 0.2528 0.0000 0.7660 0.2894 0.2804 750-AH 0.0000 0.0000 0.0000 0.0000 0.0285 0.0018 0.0068 0.0000 0.0285 3.7022 0.0000 0.0000 0.0034 0.0000 0.0000 0.0000 0.0000 133 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0746 0.0932 0.1180 0.0590 0.0423 0.0932 0.1180 0.7164 0.0054 0.0000 0.0374 0.0000 0.1180 0.0590 0.0423 702-AH 0.0000 0.0000 0.0000 0.0000 0.0641 0.0038 0.0144 0.0000 0.0641 3.7948 0.0000 0.0000 0.0071 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0112 0.1486 0.1832 0.2946 0.1215 0.0905 0.1719 0.2946 0.7442 0.0127 0.0000 0.0761 0.0000 0.2946 0.1215 0.0905 704-AH 0.0000 0.0000 0.0000 0.0590 0.1412 0.0298 0.0449 0.0590 0.1412 1.5039 0.0002 0.0000 0.0389 0.0000 0.1412 0.0298 0.0449 705-AH 0.0000 0.0000 0.0857 0.2628 0.3800 0.1271 0.1344 0.2628 0.3800 1.0575 0.0021 0.0000 0.1239 0.0000 0.3800 0.1271 0.1344 706-AH 0.0000 0.0000 0.1011 0.2052 0.5419 0.1226 0.1510 0.2052 0.5419 1.2315 0.0016 0.0000 0.1212 0.0000 0.4273 0.1022 0.1214 707-AH 0.0000 0.0000 0.0804 0.3069 0.3462 0.1306 0.1328 0.3069 0.3462 1.0165 0.0080 0.0000 0.1181 0.0000 0.3462 0.1306 0.1328 708-AH 0.0000 0.0000 0.0000 0.3206 0.3987 0.1462 0.1677 0.3206 0.3987 1.1469 0.0012 0.0000 0.1600 0.0000 0.3987 0.1462 0.1677 709-AH 0.0000 0.0000 0.0000 0.2708 0.3103 0.1133 0.1374 0.2708 0.3103 1.2125 0.0007 0.0000 0.1318 0.0000 0.3103 0.1133 0.1374 710-AH 0.0000 0.0000 0.0000 0.0000 0.0509 0.0032 0.0119 0.0000 0.0509 3.7095 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0238 0.0904 0.0137 0.0215 0.0238 0.0904 1.5703 0.0002 0.0000 0.0166 0.0000 0.0568 0.0106 0.0164 712-AH 0.0000 0.0000 0.9091 1.0000 1.0000 0.5513 0.4840 1.0000 1.0000 0.8780 0.0096 0.0000 0.4711 0.0000 1.0000 0.5513 0.4840 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0242 0.0019 0.0062 0.0000 0.0242 3.2013 0.0000 0.0000 0.0035 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0586 0.1285 0.2405 0.0719 0.0752 0.1285 0.2405 1.0462 0.0027 0.0000 0.0633 0.0000 0.2405 0.0719 0.0752 717-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0000 0.0000 0.0711 0.0062 0.0197 0.0000 0.0711 3.1662 0.0000 0.0000 0.0113 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.7869 0.9412 0.9800 0.5364 0.4331 0.9412 0.9800 0.8073 0.0186 0.0000 0.4105 0.0000 0.9800 0.5364 0.4331 721-AH 0.0000 0.0000 0.0559 0.0724 0.1607 0.0485 0.0391 0.0724 0.1607 0.8055 0.0046 0.0000 0.0300 0.0000 0.1607 0.0485 0.0391 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0763 0.0057 0.0168 0.0000 0.0763 2.9691 0.0000 0.0000 0.0100 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.3235 0.4130 0.5101 0.7917 0.3762 0.2108 0.1866 0.7917 0.5604 0.1080 0.0001 0.1617 0.1159 0.6129 0.4272 0.1219 725-AH 0.0000 0.0000 0.0000 0.0000 0.1994 0.0093 0.0424 0.0000 0.1994 4.5813 0.0000 0.0000 0.0176 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.0406 0.0019 0.0087 0.0000 0.0406 4.5813 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0267 0.0554 0.0738 0.0279 0.0291 0.0554 0.0738 1.0409 0.0008 0.0000 0.0273 0.0000 0.0738 0.0279 0.0291 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.1772 0.0139 0.0444 0.0000 0.1772 3.2049 0.0000 0.0000 0.0251 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0801 0.2066 0.0416 0.0656 0.0801 0.2066 1.5759 0.0002 0.0000 0.0561 0.0000 0.1820 0.0377 0.0610 732-AH 0.0000 0.0000 0.0000 0.0000 0.0263 0.0012 0.0056 0.0000 0.0263 4.5813 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0868 0.1222 0.4746 0.1069 0.1410 0.1222 0.4746 1.3184 0.0018 0.0000 0.1071 0.0000 0.3011 0.0665 0.0877 734-AH 0.0000 0.0000 0.0000 0.1806 0.5263 0.1059 0.1415 0.1806 0.5263 1.3360 0.0012 0.0000 0.1135 0.0000 0.4167 0.0856 0.1091 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0980 0.0023 0.0149 0.0000 0.0980 6.5574 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.4300 0.5362 0.6349 0.3024 0.2501 0.5362 0.6349 0.8268 0.0104 0.0000 0.2345 0.0000 0.6349 0.3024 0.2501 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0957 0.1803 0.0452 0.0601 0.0957 0.1803 1.3293 0.0007 0.0000 0.0516 0.0000 0.1803 0.0452 0.0601 742-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0735 0.2564 0.3226 0.1158 0.1250 0.2564 0.3226 1.0788 0.0020 0.0000 0.1156 0.0000 0.3226 0.1158 0.1250 745-AH 0.0000 0.0000 0.0000 0.1167 0.1443 0.0490 0.0596 0.1167 0.1443 1.2164 0.0005 0.0000 0.0570 0.0000 0.1443 0.0490 0.0596 746-AH 0.0000 0.0000 0.0000 0.0000 0.0438 0.0010 0.0067 0.0000 0.0438 6.5574 0.0000 0.0000 0.0020 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0674 0.0976 0.1412 0.0592 0.0481 0.0976 0.1412 0.8125 0.0037 0.0000 0.0429 0.0000 0.1412 0.0592 0.0481 749-AH 0.0000 0.0000 0.0487 0.3158 0.5909 0.1668 0.1902 0.3158 0.5909 1.1402 0.0048 0.0000 0.1694 0.0000 0.5909 0.1668 0.1902 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 134 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0409 0.0700 0.1005 0.0374 0.0357 0.0700 0.1005 0.9553 0.0013 0.0000 0.0333 0.0000 0.1005 0.0374 0.0357 702-AH 0.0000 0.0000 0.0000 0.0000 0.0441 0.0019 0.0087 0.0000 0.0441 4.5993 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.1075 0.1249 0.1475 0.0699 0.0613 0.1249 0.1475 0.8766 0.0028 0.0000 0.0584 0.0000 0.1475 0.0699 0.0613 704-AH 0.0000 0.0000 0.0000 0.0000 0.0662 0.0015 0.0101 0.0000 0.0662 6.5574 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0000 0.2378 0.2867 0.0757 0.1193 0.2378 0.2867 1.5760 0.0002 0.0000 0.1056 0.0000 0.2867 0.0757 0.1193 706-AH 0.0000 0.0000 0.0000 0.0000 0.2197 0.0179 0.0571 0.0000 0.2197 3.1935 0.0000 0.0000 0.0325 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0397 0.1720 0.3021 0.0844 0.1122 0.1720 0.3021 1.3301 0.0015 0.0000 0.0944 0.0000 0.3021 0.0844 0.1122 708-AH 0.0000 0.0000 0.0000 0.0000 0.1722 0.0185 0.0519 0.0000 0.1722 2.8022 0.0000 0.0000 0.0327 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0218 0.0899 0.0106 0.0198 0.0218 0.0899 1.8739 0.0001 0.0000 0.0148 0.0000 0.0458 0.0074 0.0133 712-AH 0.0000 0.0000 0.7692 1.0000 1.0000 0.5205 0.4834 1.0000 1.0000 0.9287 0.0088 0.0000 0.4715 0.0000 1.0000 0.5205 0.4834 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0000 0.0685 0.1909 0.0370 0.0501 0.0685 0.1909 1.3530 0.0006 0.0000 0.0410 0.0000 0.1544 0.0333 0.0444 717-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0645 0.1834 0.0299 0.0477 0.0645 0.1834 1.5953 0.0002 0.0000 0.0390 0.0000 0.1073 0.0225 0.0342 721-AH 0.0000 0.0000 0.0000 0.0220 0.0532 0.0117 0.0162 0.0220 0.0532 1.3882 0.0003 0.0000 0.0136 0.0000 0.0532 0.0117 0.0162 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0763 0.0031 0.0129 0.0000 0.0763 4.2158 0.0000 0.0000 0.0057 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.0000 0.2414 0.3043 0.3559 0.1771 0.1373 0.3043 0.3559 0.7750 0.0091 0.0000 0.1248 0.0000 0.3559 0.1771 0.1373 725-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.0406 0.0019 0.0087 0.0000 0.0406 4.5813 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0258 0.0028 0.0077 0.0000 0.0258 2.7929 0.0000 0.0000 0.0049 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.0000 0.0846 0.0020 0.0129 0.0000 0.0846 6.5574 0.0000 0.0000 0.0038 0.0000 0.0000 0.0000 0.0000 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.0705 0.2993 0.0389 0.0676 0.0705 0.2993 1.7391 0.0002 0.0000 0.0506 0.0000 0.1196 0.0274 0.0431 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0423 0.1132 0.0201 0.0339 0.0423 0.1132 1.6892 0.0001 0.0000 0.0280 0.0000 0.0968 0.0156 0.0275 742-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0280 0.1849 0.2472 0.0813 0.0950 0.1849 0.2472 1.1684 0.0013 0.0000 0.0852 0.0000 0.2472 0.0813 0.0950 745-AH 0.0000 0.0000 0.0000 0.0000 0.1150 0.0131 0.0336 0.0000 0.1150 2.5558 0.0000 0.0000 0.0226 0.0000 0.0000 0.0000 0.0000 746-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0657 0.0883 0.1140 0.0512 0.0435 0.0883 0.1140 0.8491 0.0028 0.0000 0.0402 0.0000 0.1140 0.0512 0.0435 749-AH 0.0000 0.0000 0.0000 0.0000 0.1383 0.0087 0.0321 0.0000 0.1383 3.7080 0.0000 0.0000 0.0161 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 135 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.4000 0.6000 1.0000 0.4047 0.3309 0.6000 1.0000 0.8178 0.0199 0.0000 0.2663 0.0000 1.0000 0.4047 0.3309 702-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8465 0.2789 0.2000 1.0000 0.3295 0.5033 0.0002 0.2142 0.6000 1.0000 0.9556 0.1081 703-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.6884 0.3862 0.4000 1.0000 0.5610 0.0986 0.0001 0.3251 0.2000 1.0000 0.8457 0.2174 704-AH 0.0000 0.0000 0.2000 0.2000 1.0000 0.2372 0.2769 0.2000 1.0000 1.1674 0.0082 0.0000 0.1966 0.0000 0.4000 0.1405 0.1322 705-AH 0.0000 0.2000 0.4000 0.4000 1.0000 0.3488 0.2472 0.2000 1.0000 0.7088 0.1018 0.0001 0.1919 0.0000 0.6000 0.2923 0.1768 706-AH 0.0000 0.8000 0.8000 0.8000 1.0000 0.7395 0.2638 0.0000 1.0000 0.3567 0.3500 0.0001 0.1757 0.8000 0.8000 0.8000 0.0000 707-AH 0.0000 0.0000 0.6000 0.8000 1.0000 0.5023 0.4056 0.8000 1.0000 0.8075 0.0227 0.0000 0.3695 0.0000 1.0000 0.5023 0.4056 708-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3674 0.3853 0.8000 1.0000 1.0485 0.0057 0.0000 0.3466 0.0000 1.0000 0.3674 0.3853 709-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5023 0.3419 0.6000 1.0000 0.6806 0.0883 0.0001 0.3044 0.0000 1.0000 0.5023 0.3419 710-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0744 0.1236 0.2000 0.4000 1.6612 0.0002 0.0000 0.1038 0.0000 0.4000 0.0744 0.1236 711-AH 0.0000 0.0000 0.4000 0.4000 0.6000 0.2605 0.2117 0.4000 0.6000 0.8129 0.0119 0.0000 0.1893 0.0000 0.6000 0.2605 0.2117 712-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8093 0.3624 0.2000 1.0000 0.4478 0.1858 0.0001 0.2750 0.6000 1.0000 0.9611 0.1050 713-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.3163 0.3330 0.6000 1.0000 1.0530 0.0122 0.0000 0.2871 0.0000 1.0000 0.3163 0.3330 714-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5302 0.3827 0.6000 1.0000 0.7217 0.0587 0.0000 0.3444 0.0000 1.0000 0.5302 0.3827 715-AH 0.0000 0.0000 0.6000 0.8000 1.0000 0.4837 0.3683 0.8000 1.0000 0.7615 0.0230 0.0000 0.3174 0.0000 1.0000 0.4837 0.3683 716-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6372 0.3444 0.6000 1.0000 0.5404 0.1454 0.0001 0.2858 0.0000 1.0000 0.6372 0.3444 717-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.3860 0.2875 0.4000 1.0000 0.7447 0.0875 0.0001 0.2289 0.0000 1.0000 0.3860 0.2875 718-AH 0.0000 0.0000 0.6000 1.0000 1.0000 0.5349 0.4270 1.0000 1.0000 0.7983 0.0238 0.0000 0.3952 0.0000 1.0000 0.5349 0.4270 719-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1628 0.1813 0.2000 0.6000 1.1137 0.0036 0.0000 0.1363 0.0000 0.4000 0.1179 0.1189 720-AH 0.0000 0.8500 1.0000 1.0000 1.0000 0.7953 0.3915 0.1500 1.0000 0.4923 0.1148 0.0001 0.3050 0.8000 1.0000 0.9882 0.0478 721-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1907 0.1743 0.2000 0.6000 0.9141 0.0095 0.0000 0.1242 0.0000 0.4000 0.1600 0.1374 722-AH 0.0000 0.0000 0.4000 0.6000 1.0000 0.4233 0.3415 0.6000 1.0000 0.8067 0.0253 0.0000 0.2946 0.0000 1.0000 0.4233 0.3415 723-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1442 0.1817 0.4000 0.4000 1.2599 0.0008 0.0000 0.1677 0.0000 0.4000 0.1442 0.1817 724-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8744 0.2183 0.2000 1.0000 0.2497 0.6673 0.0004 0.1577 0.6000 1.0000 0.9122 0.1345 725-AH 0.0000 0.3000 0.8000 1.0000 1.0000 0.6837 0.4076 0.7000 1.0000 0.5962 0.0615 0.0000 0.3444 0.0000 1.0000 0.6837 0.4076 726-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3395 0.2527 0.4000 0.8000 0.7444 0.0419 0.0000 0.2135 0.0000 0.8000 0.3395 0.2527 727-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0837 0.1174 0.2000 0.4000 1.4019 0.0004 0.0000 0.1051 0.0000 0.4000 0.0837 0.1174 728-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.2000 0.1952 0.2000 0.6000 0.9759 0.0078 0.0000 0.1395 0.0000 0.4000 0.1474 0.1370 729-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1116 0.1762 0.2000 0.6000 1.5786 0.0004 0.0000 0.1454 0.0000 0.4000 0.0878 0.1418 730-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3953 0.3891 0.8000 1.0000 0.9842 0.0178 0.0000 0.3390 0.0000 1.0000 0.3953 0.3891 731-AH 0.0000 0.3000 1.0000 1.0000 1.0000 0.6837 0.4029 0.7000 1.0000 0.5893 0.0956 0.0001 0.3492 0.0000 1.0000 0.6837 0.4029 732-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0698 0.1372 0.0000 0.4000 1.9667 0.0001 0.0000 0.1071 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5395 0.3339 0.6000 1.0000 0.6189 0.1202 0.0001 0.2936 0.0000 1.0000 0.5395 0.3339 734-AH 0.0000 0.2500 0.8000 0.8000 1.0000 0.6186 0.3375 0.5500 1.0000 0.5456 0.1734 0.0001 0.2778 0.0000 1.0000 0.6186 0.3375 735-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.3442 0.3217 0.6000 1.0000 0.9346 0.0167 0.0000 0.2819 0.0000 1.0000 0.3442 0.3217 736-AH 0.0000 0.0000 0.2000 0.2000 1.0000 0.2093 0.2759 0.2000 1.0000 1.3180 0.0032 0.0000 0.1915 0.0000 0.4000 0.1135 0.1294 737-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.0837 0.1588 0.2000 0.6000 1.8963 0.0002 0.0000 0.1207 0.0000 0.4000 0.0585 0.1117 738-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5721 0.2914 0.4000 1.0000 0.5094 0.1685 0.0001 0.2237 0.0000 1.0000 0.5721 0.2914 739-AH 0.0000 0.6500 1.0000 1.0000 1.0000 0.7860 0.3248 0.3500 1.0000 0.4132 0.2874 0.0001 0.2440 0.2000 1.0000 0.8667 0.2119 740-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1256 0.2183 0.2000 0.8000 1.7385 0.0002 0.0000 0.1752 0.0000 0.4000 0.0927 0.1618 741-AH 0.0000 0.0000 0.0000 0.6000 0.8000 0.2558 0.3157 0.6000 0.8000 1.2341 0.0019 0.0000 0.2773 0.0000 0.8000 0.2558 0.3157 742-AH 0.0000 0.0000 0.4000 1.0000 1.0000 0.4186 0.4338 1.0000 1.0000 1.0364 0.0040 0.0000 0.3929 0.0000 1.0000 0.4186 0.4338 743-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1163 0.1812 0.2000 0.6000 1.5581 0.0005 0.0000 0.1460 0.0000 0.4000 0.0800 0.1265 744-AH 0.0000 0.0500 0.6000 1.0000 1.0000 0.5860 0.4240 0.9500 1.0000 0.7235 0.0411 0.0000 0.3790 0.0000 1.0000 0.5860 0.4240 745-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.3302 0.3263 0.6000 1.0000 0.9880 0.0105 0.0000 0.2789 0.0000 1.0000 0.3302 0.3263 746-AH 0.0000 0.0000 0.2000 0.3500 0.8000 0.2000 0.2430 0.3500 0.8000 1.2150 0.0026 0.0000 0.1860 0.0000 0.8000 0.2000 0.2430 747-AH 0.0000 0.0000 0.4000 0.6000 1.0000 0.3535 0.2955 0.6000 1.0000 0.8359 0.0145 0.0000 0.2445 0.0000 1.0000 0.3535 0.2955 748-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0326 0.0865 0.0000 0.4000 2.6575 0.0000 0.0000 0.0560 0.0000 0.0000 0.0000 0.0000 749-AH 0.0000 0.2000 0.6000 1.0000 1.0000 0.6047 0.4059 0.8000 1.0000 0.6713 0.0670 0.0000 0.3582 0.0000 1.0000 0.6047 0.4059 750-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0791 0.1245 0.2000 0.4000 1.5747 0.0003 0.0000 0.1067 0.0000 0.4000 0.0791 0.1245 136 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.1000 0.3000 0.5000 0.6000 0.3070 0.2098 0.4000 0.6000 0.6833 0.0476 0.0001 0.1792 0.0000 0.6000 0.3070 0.2098 702-AH 0.0000 0.7250 0.9000 1.0000 1.0000 0.7907 0.3069 0.2750 1.0000 0.3882 0.5527 0.0004 0.2371 0.6000 1.0000 0.9139 0.1268 703-AH 0.0000 0.3000 0.7000 0.8750 1.0000 0.5791 0.3447 0.5750 1.0000 0.5953 0.1300 0.0001 0.3034 0.0000 1.0000 0.5791 0.3447 704-AH 0.0000 0.0000 0.2000 0.3750 0.9000 0.2326 0.2495 0.3750 0.9000 1.0728 0.0122 0.0000 0.1929 0.0000 0.9000 0.2326 0.2495 705-AH 0.0000 0.3000 0.4000 0.4000 0.9000 0.4047 0.1999 0.1000 0.9000 0.4941 0.2375 0.0002 0.1327 0.2000 0.5000 0.3606 0.0827 706-AH 0.0000 0.6250 0.8000 0.8000 0.9000 0.6814 0.2701 0.1750 0.9000 0.3965 0.3143 0.0001 0.2044 0.5000 0.9000 0.7889 0.1063 707-AH 0.0000 0.0000 0.5000 0.7000 1.0000 0.4395 0.3547 0.7000 1.0000 0.8069 0.0253 0.0000 0.3130 0.0000 1.0000 0.4395 0.3547 708-AH 0.0000 0.1000 0.2000 0.8500 1.0000 0.3674 0.3840 0.7500 1.0000 1.0452 0.0286 0.0000 0.3467 0.0000 1.0000 0.3674 0.3840 709-AH 0.0000 0.2250 0.5000 0.6000 0.8000 0.4465 0.2394 0.3750 0.8000 0.5361 0.1988 0.0001 0.2085 0.0000 0.8000 0.4465 0.2394 710-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1093 0.1151 0.2000 0.4000 1.0529 0.0035 0.0000 0.0916 0.0000 0.4000 0.1093 0.1151 711-AH 0.0000 0.0250 0.2000 0.3000 0.6000 0.2093 0.1674 0.2750 0.6000 0.7996 0.0189 0.0000 0.1322 0.0000 0.6000 0.2093 0.1674 712-AH 0.0000 0.5250 0.9000 1.0000 1.0000 0.7233 0.3497 0.4750 1.0000 0.4835 0.1674 0.0001 0.2810 0.0000 1.0000 0.7233 0.3497 713-AH 0.0000 0.0000 0.2000 0.5000 0.9000 0.3000 0.3273 0.5000 0.9000 1.0911 0.0112 0.0000 0.2744 0.0000 0.9000 0.3000 0.3273 714-AH 0.0000 0.1000 0.7000 0.8000 1.0000 0.4767 0.3766 0.7000 1.0000 0.7899 0.0497 0.0000 0.3551 0.0000 1.0000 0.4767 0.3766 715-AH 0.0000 0.0000 0.3000 0.7750 0.8000 0.3930 0.3276 0.7750 0.8000 0.8336 0.0234 0.0000 0.2992 0.0000 0.8000 0.3930 0.3276 716-AH 0.0000 0.4000 0.7000 0.8000 0.9000 0.5488 0.3089 0.4000 0.9000 0.5628 0.1267 0.0001 0.2664 0.0000 0.9000 0.5488 0.3089 717-AH 0.0000 0.1000 0.2000 0.3000 0.9000 0.2605 0.2184 0.2000 0.9000 0.8384 0.0598 0.0001 0.1642 0.0000 0.6000 0.2175 0.1551 718-AH 0.0000 0.1000 0.6000 0.7000 0.9000 0.4512 0.3239 0.6000 0.9000 0.7180 0.0750 0.0001 0.3010 0.0000 0.9000 0.4512 0.3239 719-AH 0.0000 0.0000 0.1000 0.1000 0.4000 0.1070 0.1078 0.1000 0.4000 1.0075 0.0062 0.0000 0.0758 0.0000 0.2000 0.0763 0.0675 720-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.7953 0.3773 0.2000 1.0000 0.4744 0.1776 0.0001 0.2955 0.6000 1.0000 0.9686 0.0932 721-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1326 0.1210 0.2000 0.4000 0.9124 0.0107 0.0000 0.0982 0.0000 0.4000 0.1326 0.1210 722-AH 0.0000 0.1000 0.3000 0.5750 0.7000 0.3070 0.2473 0.4750 0.7000 0.8055 0.0299 0.0000 0.2081 0.0000 0.7000 0.3070 0.2473 723-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1349 0.1152 0.2000 0.4000 0.8543 0.0076 0.0000 0.0976 0.0000 0.4000 0.1349 0.1152 724-AH 0.0000 0.6000 0.7000 0.9000 1.0000 0.7395 0.1954 0.3000 1.0000 0.2642 0.5702 0.0004 0.1521 0.5000 1.0000 0.7571 0.1595 725-AH 0.0000 0.3750 0.9000 1.0000 1.0000 0.6907 0.3963 0.6250 1.0000 0.5738 0.0782 0.0000 0.3343 0.0000 1.0000 0.6907 0.3963 726-AH 0.0000 0.2000 0.3000 0.5000 0.9000 0.3302 0.2356 0.3000 0.9000 0.7133 0.0765 0.0001 0.1915 0.0000 0.9000 0.3302 0.2356 727-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0674 0.0747 0.1000 0.2000 1.1078 0.0012 0.0000 0.0659 0.0000 0.2000 0.0674 0.0747 728-AH 0.0000 0.1000 0.1000 0.2750 0.5000 0.1605 0.1417 0.1750 0.5000 0.8828 0.0182 0.0000 0.1168 0.0000 0.5000 0.1605 0.1417 729-AH 0.0000 0.0000 0.0000 0.2000 0.5000 0.1023 0.1406 0.2000 0.5000 1.3736 0.0008 0.0000 0.1148 0.0000 0.5000 0.1023 0.1406 730-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3837 0.4070 0.8000 1.0000 1.0608 0.0195 0.0000 0.3695 0.0000 1.0000 0.3837 0.4070 731-AH 0.0000 0.4000 0.7000 1.0000 1.0000 0.6395 0.3855 0.6000 1.0000 0.6028 0.1110 0.0001 0.3308 0.0000 1.0000 0.6395 0.3855 732-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0465 0.0882 0.1000 0.3000 1.8970 0.0001 0.0000 0.0671 0.0000 0.2000 0.0275 0.0554 733-AH 0.0000 0.2000 0.5000 0.6000 1.0000 0.4140 0.2550 0.4000 1.0000 0.6161 0.1462 0.0001 0.2083 0.0000 1.0000 0.4140 0.2550 734-AH 0.0000 0.2000 0.7000 0.9000 1.0000 0.5953 0.3539 0.7000 1.0000 0.5944 0.1559 0.0001 0.2949 0.0000 1.0000 0.5953 0.3539 735-AH 0.0000 0.1000 0.4000 0.6000 0.7000 0.3465 0.2557 0.5000 0.7000 0.7380 0.0419 0.0000 0.2175 0.0000 0.7000 0.3465 0.2557 736-AH 0.0000 0.0000 0.1000 0.3000 0.7000 0.1930 0.2028 0.3000 0.7000 1.0508 0.0131 0.0000 0.1597 0.0000 0.7000 0.1930 0.2028 737-AH 0.0000 0.0000 0.1000 0.1000 0.6000 0.1047 0.1112 0.1000 0.6000 1.0623 0.0090 0.0000 0.0636 0.0000 0.2000 0.0769 0.0583 738-AH 0.0000 0.4000 0.6000 0.8000 0.9000 0.5558 0.2648 0.4000 0.9000 0.4765 0.2492 0.0001 0.2209 0.0000 0.9000 0.5558 0.2648 739-AH 0.0000 0.7000 0.8000 1.0000 1.0000 0.7535 0.3127 0.3000 1.0000 0.4150 0.2783 0.0001 0.2345 0.4000 1.0000 0.8474 0.1797 740-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.0930 0.1549 0.2000 0.8000 1.6653 0.0006 0.0000 0.1082 0.0000 0.4000 0.0762 0.1100 741-AH 0.0000 0.0000 0.0000 0.3000 0.6000 0.1674 0.2020 0.3000 0.6000 1.2066 0.0015 0.0000 0.1839 0.0000 0.6000 0.1674 0.2020 742-AH 0.0000 0.0000 0.3000 0.6000 0.9000 0.3186 0.3466 0.6000 0.9000 1.0878 0.0063 0.0000 0.2940 0.0000 0.9000 0.3186 0.3466 743-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0860 0.1226 0.1000 0.4000 1.4252 0.0007 0.0000 0.0961 0.0000 0.2000 0.0500 0.0726 744-AH 0.0000 0.1000 0.4000 0.8000 1.0000 0.4884 0.3837 0.7000 1.0000 0.7857 0.0635 0.0001 0.3462 0.0000 1.0000 0.4884 0.3837 745-AH 0.0000 0.1000 0.2000 0.5000 0.8000 0.2721 0.2548 0.4000 0.8000 0.9364 0.0379 0.0001 0.2187 0.0000 0.8000 0.2721 0.2548 746-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1907 0.1950 0.4000 0.6000 1.0223 0.0059 0.0000 0.1630 0.0000 0.6000 0.1907 0.1950 747-AH 0.0000 0.2000 0.4000 0.6000 0.9000 0.3884 0.2779 0.4000 0.9000 0.7156 0.0575 0.0001 0.2352 0.0000 0.9000 0.3884 0.2779 748-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0279 0.0549 0.0000 0.2000 1.9667 0.0001 0.0000 0.0428 0.0000 0.0000 0.0000 0.0000 749-AH 0.0000 0.2250 0.7000 0.9750 1.0000 0.5814 0.3825 0.7500 1.0000 0.6579 0.1220 0.0001 0.3455 0.0000 1.0000 0.5814 0.3825 750-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0953 0.1133 0.2000 0.3000 1.1882 0.0010 0.0000 0.1020 0.0000 0.3000 0.0953 0.1133 137 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0833 0.2667 0.4000 0.5333 0.2434 0.1645 0.3167 0.5333 0.6759 0.0397 0.0001 0.1407 0.0000 0.5333 0.2434 0.1645 702-AH 0.0000 0.6167 0.8667 1.0000 1.0000 0.7411 0.3145 0.3833 1.0000 0.4243 0.5073 0.0004 0.2573 0.1333 1.0000 0.7587 0.2959 703-AH 0.0000 0.2167 0.5333 0.7167 0.8667 0.4682 0.2800 0.5000 0.8667 0.5981 0.1315 0.0001 0.2432 0.0000 0.8667 0.4682 0.2800 704-AH 0.0000 0.0167 0.1333 0.3333 0.8000 0.2155 0.2172 0.3167 0.8000 1.0077 0.0172 0.0000 0.1731 0.0000 0.8000 0.2155 0.2172 705-AH 0.0000 0.3333 0.4000 0.4667 0.8667 0.3969 0.1846 0.1333 0.8667 0.4650 0.2328 0.0002 0.1337 0.2000 0.6000 0.3882 0.1005 706-AH 0.0000 0.5667 0.7333 0.8667 0.8667 0.6450 0.2812 0.3000 0.8667 0.4361 0.2885 0.0001 0.2215 0.1333 0.8667 0.7094 0.2038 707-AH 0.0000 0.0167 0.5333 0.7333 0.8000 0.4341 0.3202 0.7167 0.8000 0.7375 0.0312 0.0000 0.2874 0.0000 0.8000 0.4341 0.3202 708-AH 0.0000 0.0667 0.2667 0.8167 0.9333 0.3612 0.3658 0.7500 0.9333 1.0126 0.0281 0.0000 0.3247 0.0000 0.9333 0.3612 0.3658 709-AH 0.0000 0.2667 0.4667 0.5833 0.8667 0.4310 0.2203 0.3167 0.8667 0.5112 0.2397 0.0002 0.1824 0.0000 0.8667 0.4310 0.2203 710-AH 0.0000 0.0000 0.0667 0.2000 0.4000 0.1147 0.1185 0.2000 0.4000 1.0327 0.0062 0.0000 0.0993 0.0000 0.4000 0.1147 0.1185 711-AH 0.0000 0.0167 0.2000 0.3167 0.4667 0.2000 0.1627 0.3000 0.4667 0.8133 0.0179 0.0000 0.1364 0.0000 0.4667 0.2000 0.1627 712-AH 0.0000 0.4000 0.6667 0.6667 0.6667 0.4899 0.2323 0.2667 0.6667 0.4741 0.1466 0.0001 0.1880 0.0000 0.6667 0.4899 0.2323 713-AH 0.0000 0.0000 0.2000 0.4667 0.8000 0.2574 0.2793 0.4667 0.8000 1.0852 0.0099 0.0000 0.2372 0.0000 0.8000 0.2574 0.2793 714-AH 0.0000 0.0667 0.5333 0.8000 0.9333 0.4419 0.3495 0.7333 0.9333 0.7909 0.0682 0.0001 0.3304 0.0000 0.9333 0.4419 0.3495 715-AH 0.0000 0.0667 0.2667 0.5333 0.6000 0.2853 0.2274 0.4667 0.6000 0.7971 0.0279 0.0000 0.2068 0.0000 0.6000 0.2853 0.2274 716-AH 0.0000 0.2667 0.4667 0.7333 0.8667 0.4527 0.2732 0.4667 0.8667 0.6034 0.1056 0.0001 0.2264 0.0000 0.8667 0.4527 0.2732 717-AH 0.0000 0.0667 0.2000 0.2667 0.8000 0.1984 0.1655 0.2000 0.8000 0.8342 0.0583 0.0001 0.1103 0.0000 0.4000 0.1633 0.1034 718-AH 0.0000 0.0667 0.6000 0.6667 0.7333 0.4248 0.2935 0.6000 0.7333 0.6909 0.0862 0.0001 0.2731 0.0000 0.7333 0.4248 0.2935 719-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.0868 0.0926 0.1333 0.4000 1.0668 0.0053 0.0000 0.0706 0.0000 0.2667 0.0794 0.0796 720-AH 0.0000 0.7667 1.0000 1.0000 1.0000 0.7814 0.3707 0.2333 1.0000 0.4744 0.2133 0.0001 0.2975 0.6000 1.0000 0.9627 0.0840 721-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1333 0.1059 0.1333 0.3333 0.7943 0.0195 0.0000 0.0868 0.0000 0.3333 0.1333 0.1059 722-AH 0.0000 0.0667 0.2000 0.4667 0.6667 0.2434 0.2031 0.4000 0.6667 0.8343 0.0246 0.0000 0.1736 0.0000 0.6667 0.2434 0.2031 723-AH 0.0000 0.0667 0.1333 0.1333 0.2667 0.1132 0.0842 0.0667 0.2667 0.7444 0.0147 0.0000 0.0678 0.0000 0.2000 0.0930 0.0667 724-AH 0.0000 0.6000 0.6667 0.8000 0.8667 0.6760 0.1473 0.2000 0.8667 0.2180 0.5280 0.0004 0.0999 0.4667 0.8667 0.6921 0.1041 725-AH 0.0000 0.3333 0.9333 0.9833 1.0000 0.6868 0.4028 0.6500 1.0000 0.5864 0.0773 0.0000 0.3520 0.0000 1.0000 0.6868 0.4028 726-AH 0.0000 0.1500 0.3333 0.4667 0.6667 0.3225 0.2118 0.3167 0.6667 0.6567 0.0755 0.0001 0.1729 0.0000 0.6667 0.3225 0.2118 727-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0760 0.0676 0.1333 0.2000 0.8896 0.0051 0.0000 0.0555 0.0000 0.2000 0.0760 0.0676 728-AH 0.0000 0.0667 0.1333 0.2000 0.4000 0.1566 0.1078 0.1333 0.4000 0.6883 0.0601 0.0001 0.0861 0.0000 0.3333 0.1508 0.1021 729-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.0899 0.1116 0.1333 0.4000 1.2414 0.0017 0.0000 0.0901 0.0000 0.3333 0.0748 0.0897 730-AH 0.0000 0.0167 0.1333 0.8000 1.0000 0.3581 0.3997 0.7833 1.0000 1.1162 0.0209 0.0000 0.3641 0.0000 1.0000 0.3581 0.3997 731-AH 0.0000 0.3333 0.6667 0.9333 1.0000 0.5953 0.3710 0.6000 1.0000 0.6232 0.1021 0.0001 0.3186 0.0000 1.0000 0.5953 0.3710 732-AH 0.0000 0.0000 0.0000 0.1167 0.2667 0.0558 0.0726 0.1167 0.2667 1.3014 0.0007 0.0000 0.0597 0.0000 0.2667 0.0558 0.0726 733-AH 0.0000 0.1333 0.3333 0.5833 1.0000 0.3721 0.2656 0.4500 1.0000 0.7137 0.1253 0.0001 0.2151 0.0000 1.0000 0.3721 0.2656 734-AH 0.0000 0.1500 0.6667 0.8667 1.0000 0.5721 0.3400 0.7167 1.0000 0.5943 0.2214 0.0001 0.2924 0.0000 1.0000 0.5721 0.3400 735-AH 0.0000 0.1333 0.3333 0.5333 0.7333 0.3287 0.2284 0.4000 0.7333 0.6948 0.0908 0.0001 0.1970 0.0000 0.7333 0.3287 0.2284 736-AH 0.0000 0.0667 0.1333 0.2000 0.6667 0.1550 0.1663 0.1333 0.6667 1.0728 0.0165 0.0000 0.1213 0.0000 0.2667 0.1035 0.0859 737-AH 0.0000 0.0667 0.0667 0.1333 0.4667 0.1070 0.0999 0.0667 0.4667 0.9337 0.0197 0.0001 0.0679 0.0000 0.2000 0.0894 0.0608 738-AH 0.0000 0.5333 0.6667 0.7333 0.9333 0.5845 0.2565 0.2000 0.9333 0.4388 0.3159 0.0002 0.1915 0.2667 0.9333 0.6721 0.1418 739-AH 0.2000 0.6000 0.8667 0.9333 1.0000 0.7597 0.2607 0.3333 0.8000 0.3432 0.6914 0.5919 0.2137 0.2000 1.0000 0.7597 0.2607 740-AH 0.0000 0.0000 0.0667 0.1333 0.6000 0.0946 0.1210 0.1333 0.6000 1.2799 0.0021 0.0000 0.0914 0.0000 0.3333 0.0825 0.0929 741-AH 0.0000 0.0000 0.0667 0.2667 0.4667 0.1380 0.1668 0.2667 0.4667 1.2085 0.0017 0.0000 0.1483 0.0000 0.4667 0.1380 0.1668 742-AH 0.0000 0.0000 0.2000 0.5333 0.6667 0.2372 0.2508 0.5333 0.6667 1.0575 0.0053 0.0000 0.2217 0.0000 0.6667 0.2372 0.2508 743-AH 0.0000 0.0000 0.0667 0.0667 0.2667 0.0682 0.0867 0.0667 0.2667 1.2704 0.0014 0.0000 0.0644 0.0000 0.1333 0.0352 0.0436 744-AH 0.0000 0.1333 0.4000 0.7333 0.8000 0.4062 0.3061 0.6000 0.8000 0.7536 0.0830 0.0001 0.2733 0.0000 0.8000 0.4062 0.3061 745-AH 0.0000 0.0667 0.1333 0.3333 0.7333 0.2217 0.2030 0.2667 0.7333 0.9156 0.0577 0.0001 0.1679 0.0000 0.7333 0.2217 0.2030 746-AH 0.0000 0.0000 0.1333 0.3333 0.5333 0.1814 0.1705 0.3333 0.5333 0.9398 0.0128 0.0000 0.1467 0.0000 0.5333 0.1814 0.1705 747-AH 0.0000 0.1333 0.4667 0.6667 0.9333 0.4000 0.2917 0.5333 0.9333 0.7292 0.0701 0.0001 0.2481 0.0000 0.9333 0.4000 0.2917 748-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0341 0.0532 0.0667 0.2000 1.5597 0.0002 0.0000 0.0444 0.0000 0.1333 0.0302 0.0470 749-AH 0.0000 0.1500 0.5333 0.9333 1.0000 0.5256 0.3816 0.7833 1.0000 0.7261 0.1048 0.0001 0.3490 0.0000 1.0000 0.5256 0.3816 750-AH 0.0000 0.0000 0.0667 0.2000 0.2667 0.0884 0.0962 0.2000 0.2667 1.0885 0.0017 0.0000 0.0873 0.0000 0.2667 0.0884 0.0962 138 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0625 0.2000 0.3375 0.4000 0.2023 0.1363 0.2750 0.4000 0.6735 0.0339 0.0001 0.1141 0.0000 0.4000 0.2023 0.1363 702-AH 0.0000 0.5500 0.8500 0.9500 1.0000 0.7081 0.3229 0.4000 1.0000 0.4560 0.4686 0.0004 0.2692 0.0000 1.0000 0.7081 0.3229 703-AH 0.0000 0.2125 0.5000 0.6000 0.7000 0.4105 0.2295 0.3875 0.7000 0.5592 0.1214 0.0001 0.1976 0.0000 0.7000 0.4105 0.2295 704-AH 0.0000 0.0500 0.1500 0.2875 0.8000 0.2116 0.2126 0.2375 0.8000 1.0048 0.0244 0.0000 0.1665 0.0000 0.6000 0.1829 0.1712 705-AH 0.0000 0.3000 0.3500 0.4500 0.8500 0.3779 0.1787 0.1500 0.8500 0.4729 0.2256 0.0002 0.1275 0.1500 0.6500 0.3731 0.1266 706-AH 0.0000 0.6500 0.6500 0.8000 0.9000 0.6081 0.2777 0.1500 0.9000 0.4567 0.2682 0.0001 0.2154 0.4500 0.9000 0.7397 0.1021 707-AH 0.0000 0.0500 0.6000 0.6500 0.7000 0.4116 0.2940 0.6000 0.7000 0.7141 0.0363 0.0000 0.2709 0.0000 0.7000 0.4116 0.2940 708-AH 0.0000 0.0500 0.2000 0.7000 0.9500 0.3384 0.3540 0.6500 0.9500 1.0463 0.0264 0.0000 0.3151 0.0000 0.9500 0.3384 0.3540 709-AH 0.0000 0.3000 0.4500 0.5500 0.7500 0.4128 0.1943 0.2500 0.7500 0.4707 0.2325 0.0002 0.1572 0.0000 0.7500 0.4128 0.1943 710-AH 0.0000 0.0000 0.1000 0.2000 0.3500 0.1093 0.1087 0.2000 0.3500 0.9945 0.0061 0.0000 0.0912 0.0000 0.3500 0.1093 0.1087 711-AH 0.0000 0.0125 0.2000 0.2875 0.4000 0.1651 0.1330 0.2750 0.4000 0.8054 0.0154 0.0000 0.1171 0.0000 0.4000 0.1651 0.1330 712-AH 0.0000 0.3125 0.5000 0.5000 0.5000 0.3756 0.1674 0.1875 0.5000 0.4457 0.1425 0.0001 0.1319 0.0500 0.5000 0.4141 0.1208 713-AH 0.0000 0.0000 0.1500 0.4500 0.7000 0.2302 0.2486 0.4500 0.7000 1.0798 0.0111 0.0000 0.2133 0.0000 0.7000 0.2302 0.2486 714-AH 0.0000 0.0625 0.5000 0.7000 0.9000 0.4163 0.3192 0.6375 0.9000 0.7667 0.0802 0.0001 0.2989 0.0000 0.9000 0.4163 0.3192 715-AH 0.0000 0.0625 0.2500 0.4000 0.4500 0.2302 0.1712 0.3375 0.4500 0.7435 0.0297 0.0000 0.1574 0.0000 0.4500 0.2302 0.1712 716-AH 0.0500 0.3000 0.3500 0.5500 0.7500 0.4000 0.1790 0.2500 0.7000 0.4474 0.3521 0.2873 0.1465 0.0500 0.7500 0.4000 0.1790 717-AH 0.0000 0.0500 0.1500 0.2000 0.6000 0.1616 0.1304 0.1500 0.6000 0.8068 0.0490 0.0001 0.0885 0.0000 0.3000 0.1338 0.0820 718-AH 0.0000 0.1125 0.5000 0.6500 0.8000 0.3977 0.2717 0.5375 0.8000 0.6831 0.0834 0.0001 0.2447 0.0000 0.8000 0.3977 0.2717 719-AH 0.0000 0.0500 0.0500 0.1500 0.4000 0.0837 0.0807 0.1000 0.4000 0.9641 0.0108 0.0000 0.0640 0.0000 0.2000 0.0762 0.0646 720-AH 0.0000 0.7750 0.9500 1.0000 1.0000 0.7802 0.3700 0.2250 1.0000 0.4743 0.2107 0.0001 0.2945 0.6500 1.0000 0.9618 0.0759 721-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1140 0.0774 0.1000 0.2500 0.6792 0.0218 0.0001 0.0638 0.0000 0.2500 0.1140 0.0774 722-AH 0.0000 0.0625 0.2000 0.3500 0.5500 0.2140 0.1705 0.2875 0.5500 0.7971 0.0230 0.0000 0.1475 0.0000 0.5500 0.2140 0.1705 723-AH 0.0000 0.0500 0.1000 0.1875 0.2500 0.1128 0.0824 0.1375 0.2500 0.7309 0.0177 0.0000 0.0655 0.0000 0.2500 0.1128 0.0824 724-AH 0.0500 0.5500 0.6500 0.7000 0.8000 0.6105 0.1348 0.1500 0.7500 0.2208 0.5799 0.4809 0.0971 0.4000 0.8000 0.6238 0.1037 725-AH 0.0000 0.2750 0.9500 0.9500 1.0000 0.6884 0.4057 0.6750 1.0000 0.5894 0.0771 0.0000 0.3547 0.0000 1.0000 0.6884 0.4057 726-AH 0.0000 0.1625 0.3000 0.4500 0.6500 0.3221 0.1995 0.2875 0.6500 0.6194 0.1345 0.0001 0.1621 0.0000 0.6500 0.3221 0.1995 727-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0709 0.0610 0.1000 0.2000 0.8597 0.0069 0.0000 0.0522 0.0000 0.2000 0.0709 0.0610 728-AH 0.0000 0.0500 0.1500 0.2500 0.3500 0.1512 0.1038 0.2000 0.3500 0.6866 0.0677 0.0001 0.0852 0.0000 0.3500 0.1512 0.1038 729-AH 0.0000 0.0000 0.0500 0.1000 0.3000 0.0721 0.0861 0.1000 0.3000 1.1946 0.0015 0.0000 0.0701 0.0000 0.2500 0.0610 0.0712 730-AH 0.0000 0.0500 0.1500 0.7500 1.0000 0.3430 0.3834 0.7000 1.0000 1.1176 0.0295 0.0000 0.3447 0.0000 1.0000 0.3430 0.3834 731-AH 0.0000 0.2625 0.6500 0.8500 1.0000 0.5640 0.3705 0.5875 1.0000 0.6570 0.0949 0.0001 0.3286 0.0000 1.0000 0.5640 0.3705 732-AH 0.0000 0.0000 0.0500 0.1000 0.3000 0.0570 0.0642 0.1000 0.3000 1.1261 0.0023 0.0000 0.0489 0.0000 0.1500 0.0512 0.0524 733-AH 0.0000 0.1500 0.3500 0.5500 0.9000 0.3628 0.2512 0.4000 0.9000 0.6924 0.1478 0.0001 0.2090 0.0000 0.9000 0.3628 0.2512 734-AH 0.0000 0.1625 0.6500 0.8375 0.9500 0.5477 0.3248 0.6750 0.9500 0.5930 0.2572 0.0002 0.2820 0.0000 0.9500 0.5477 0.3248 735-AH 0.0500 0.1125 0.3000 0.5500 0.6500 0.3209 0.2186 0.4375 0.6000 0.6810 0.2304 0.1482 0.1945 0.0500 0.6500 0.3209 0.2186 736-AH 0.0000 0.0500 0.1000 0.1500 0.5500 0.1384 0.1353 0.1000 0.5500 0.9780 0.0270 0.0001 0.0974 0.0000 0.2500 0.0974 0.0735 737-AH 0.0000 0.0500 0.1000 0.1000 0.5000 0.0953 0.0925 0.0500 0.5000 0.9697 0.0257 0.0001 0.0540 0.0000 0.1500 0.0780 0.0475 738-AH 0.0000 0.6000 0.6500 0.7000 0.9500 0.5907 0.2543 0.1000 0.9500 0.4305 0.3128 0.0002 0.1822 0.5500 0.8000 0.6812 0.0606 739-AH 0.2000 0.5750 0.8500 0.8875 1.0000 0.7256 0.2364 0.3125 0.8000 0.3258 0.6692 0.5901 0.1922 0.2000 1.0000 0.7256 0.2364 740-AH 0.0000 0.0000 0.0500 0.1500 0.4500 0.0872 0.0945 0.1500 0.4500 1.0842 0.0043 0.0000 0.0747 0.0000 0.2500 0.0786 0.0766 741-AH 0.0000 0.0000 0.0500 0.2000 0.4000 0.1140 0.1347 0.2000 0.4000 1.1817 0.0019 0.0000 0.1186 0.0000 0.4000 0.1140 0.1347 742-AH 0.0000 0.0000 0.1500 0.4375 0.5000 0.1884 0.1921 0.4375 0.5000 1.0196 0.0082 0.0000 0.1720 0.0000 0.5000 0.1884 0.1921 743-AH 0.0000 0.0000 0.0500 0.1375 0.2000 0.0686 0.0724 0.1375 0.2000 1.0552 0.0031 0.0000 0.0614 0.0000 0.2000 0.0686 0.0724 744-AH 0.0000 0.1000 0.3500 0.6000 0.8000 0.3558 0.2515 0.5000 0.8000 0.7068 0.0939 0.0001 0.2158 0.0000 0.8000 0.3558 0.2515 745-AH 0.0000 0.0500 0.1000 0.3375 0.6000 0.2047 0.1735 0.2875 0.6000 0.8477 0.0959 0.0002 0.1496 0.0000 0.6000 0.2047 0.1735 746-AH 0.0000 0.0125 0.1500 0.2875 0.4500 0.1593 0.1364 0.2750 0.4500 0.8562 0.0148 0.0000 0.1163 0.0000 0.4500 0.1593 0.1364 747-AH 0.0000 0.1000 0.4000 0.6500 0.8500 0.3895 0.2722 0.5500 0.8500 0.6989 0.1529 0.0001 0.2349 0.0000 0.8500 0.3895 0.2722 748-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0337 0.0433 0.0500 0.1500 1.2829 0.0005 0.0000 0.0376 0.0000 0.1000 0.0310 0.0397 749-AH 0.0000 0.1500 0.4500 0.8875 1.0000 0.5035 0.3710 0.7375 1.0000 0.7369 0.1001 0.0001 0.3408 0.0000 1.0000 0.5035 0.3710 750-AH 0.0000 0.0000 0.0500 0.2000 0.3000 0.0919 0.0975 0.2000 0.3000 1.0619 0.0021 0.0000 0.0890 0.0000 0.3000 0.0919 0.0975 139 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0750 0.1667 0.2333 0.3000 0.1550 0.0976 0.1583 0.3000 0.6293 0.0339 0.0001 0.0807 0.0000 0.3000 0.1550 0.0976 702-AH 0.0000 0.3833 0.7333 0.8000 0.8667 0.5822 0.2786 0.4167 0.8667 0.4786 0.3749 0.0004 0.2348 0.0000 0.8667 0.5822 0.2786 703-AH 0.0000 0.1417 0.3667 0.4917 0.5667 0.3147 0.1836 0.3500 0.5667 0.5835 0.0941 0.0001 0.1619 0.0000 0.5667 0.3147 0.1836 704-AH 0.0000 0.0333 0.1667 0.2917 0.7333 0.1930 0.1871 0.2583 0.7333 0.9693 0.0410 0.0001 0.1379 0.0000 0.5333 0.1667 0.1464 705-AH 0.0000 0.2417 0.3000 0.3583 0.8667 0.3496 0.1928 0.1167 0.8667 0.5514 0.2063 0.0002 0.1297 0.1667 0.3667 0.2902 0.0535 706-AH 0.0000 0.5417 0.7000 0.7667 0.8333 0.5860 0.2697 0.2250 0.8333 0.4603 0.2534 0.0001 0.2124 0.2333 0.8333 0.6898 0.1368 707-AH 0.0000 0.0333 0.4667 0.6000 0.6333 0.3682 0.2547 0.5667 0.6333 0.6917 0.0597 0.0001 0.2305 0.0000 0.6333 0.3682 0.2547 708-AH 0.0000 0.0667 0.2667 0.7250 0.9667 0.3581 0.3473 0.6583 0.9667 0.9698 0.0426 0.0001 0.3056 0.0000 0.9667 0.3581 0.3473 709-AH 0.0000 0.2750 0.4667 0.5333 0.7333 0.4031 0.1864 0.2583 0.7333 0.4625 0.2211 0.0002 0.1521 0.0000 0.7333 0.4031 0.1864 710-AH 0.0000 0.0000 0.1000 0.1667 0.3333 0.1062 0.0960 0.1667 0.3333 0.9041 0.0087 0.0000 0.0811 0.0000 0.3333 0.1062 0.0960 711-AH 0.0000 0.0333 0.1333 0.2333 0.3667 0.1364 0.1126 0.2000 0.3667 0.8256 0.0158 0.0000 0.0979 0.0000 0.3667 0.1364 0.1126 712-AH 0.0000 0.2083 0.3333 0.3333 0.3333 0.2543 0.1089 0.1250 0.3333 0.4282 0.1450 0.0002 0.0873 0.0333 0.3333 0.2667 0.0952 713-AH 0.0000 0.0000 0.1000 0.3833 0.6333 0.1930 0.2098 0.3833 0.6333 1.0867 0.0114 0.0000 0.1810 0.0000 0.6333 0.1930 0.2098 714-AH 0.0000 0.1000 0.3667 0.6333 0.8000 0.3620 0.2848 0.5333 0.8000 0.7866 0.1025 0.0001 0.2533 0.0000 0.8000 0.3620 0.2848 715-AH 0.0000 0.0667 0.2333 0.2667 0.3000 0.1667 0.1145 0.2000 0.3000 0.6873 0.0342 0.0001 0.1070 0.0000 0.3000 0.1667 0.1145 716-AH 0.0333 0.2333 0.3000 0.4250 0.5333 0.3101 0.1196 0.1917 0.5000 0.3858 0.2780 0.2231 0.0959 0.0333 0.5333 0.3101 0.1196 717-AH 0.0000 0.0667 0.1000 0.1333 0.4000 0.1186 0.0892 0.0667 0.4000 0.7519 0.0391 0.0001 0.0595 0.0000 0.2000 0.0992 0.0547 718-AH 0.0333 0.1000 0.4333 0.6000 0.7000 0.3814 0.2377 0.5000 0.6667 0.6234 0.2696 0.1529 0.2123 0.0333 0.7000 0.3814 0.2377 719-AH 0.0000 0.0333 0.0333 0.1000 0.2667 0.0636 0.0608 0.0667 0.2667 0.9561 0.0087 0.0000 0.0478 0.0000 0.1667 0.0553 0.0481 720-AH 0.0000 0.6500 0.9333 0.9667 1.0000 0.7465 0.3507 0.3167 1.0000 0.4697 0.2482 0.0001 0.2796 0.2667 1.0000 0.8852 0.1595 721-AH 0.0000 0.0667 0.1333 0.1667 0.2333 0.1047 0.0637 0.1000 0.2333 0.6083 0.0249 0.0001 0.0526 0.0000 0.2333 0.1047 0.0637 722-AH 0.0000 0.0667 0.1667 0.2333 0.4667 0.1775 0.1333 0.1667 0.4667 0.7508 0.0297 0.0001 0.1072 0.0000 0.4667 0.1775 0.1333 723-AH 0.0000 0.0667 0.1000 0.1667 0.2333 0.0969 0.0701 0.1000 0.2333 0.7232 0.0157 0.0000 0.0576 0.0000 0.2333 0.0969 0.0701 724-AH 0.0333 0.4667 0.5333 0.5667 0.6333 0.4984 0.1120 0.1000 0.6000 0.2246 0.4708 0.3729 0.0781 0.3333 0.6333 0.5095 0.0863 725-AH 0.0000 0.2167 0.9333 0.9667 1.0000 0.6674 0.4047 0.7500 1.0000 0.6063 0.0740 0.0000 0.3602 0.0000 1.0000 0.6674 0.4047 726-AH 0.0000 0.1333 0.3000 0.4333 0.6333 0.2853 0.1819 0.3000 0.6333 0.6376 0.1187 0.0001 0.1506 0.0000 0.6333 0.2853 0.1819 727-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0698 0.0470 0.0667 0.1333 0.6742 0.0122 0.0000 0.0404 0.0000 0.1333 0.0698 0.0470 728-AH 0.0000 0.0333 0.1000 0.2000 0.3000 0.1178 0.0814 0.1667 0.3000 0.6912 0.0529 0.0001 0.0688 0.0000 0.3000 0.1178 0.0814 729-AH 0.0000 0.0000 0.0333 0.1000 0.2000 0.0589 0.0629 0.1000 0.2000 1.0681 0.0020 0.0000 0.0541 0.0000 0.2000 0.0589 0.0629 730-AH 0.0000 0.0417 0.1667 0.6083 1.0000 0.3155 0.3490 0.5667 1.0000 1.1062 0.0434 0.0001 0.2985 0.0000 1.0000 0.3155 0.3490 731-AH 0.0000 0.2333 0.5667 0.8000 1.0000 0.4992 0.3343 0.5667 1.0000 0.6697 0.1026 0.0001 0.2923 0.0000 1.0000 0.4992 0.3343 732-AH 0.0000 0.0000 0.0333 0.0667 0.2333 0.0450 0.0471 0.0667 0.2333 1.0470 0.0040 0.0000 0.0353 0.0000 0.1333 0.0405 0.0372 733-AH 0.0000 0.1000 0.3000 0.5000 0.8667 0.3372 0.2562 0.4000 0.8667 0.7597 0.1288 0.0001 0.2167 0.0000 0.8667 0.3372 0.2562 734-AH 0.0000 0.2000 0.6000 0.7333 0.8667 0.5023 0.3017 0.5333 0.8667 0.6006 0.2305 0.0002 0.2655 0.0000 0.8667 0.5023 0.3017 735-AH 0.0333 0.1333 0.2667 0.5000 0.6000 0.2915 0.1814 0.3667 0.5667 0.6224 0.2228 0.1523 0.1568 0.0333 0.6000 0.2915 0.1814 736-AH 0.0000 0.0333 0.1000 0.1667 0.5667 0.1279 0.1331 0.1333 0.5667 1.0408 0.0299 0.0001 0.0914 0.0000 0.3667 0.0992 0.0818 737-AH 0.0000 0.0667 0.1000 0.1250 0.4333 0.0969 0.0730 0.0583 0.4333 0.7537 0.0333 0.0001 0.0427 0.0000 0.1667 0.0846 0.0435 738-AH 0.0333 0.6000 0.6333 0.7000 0.9667 0.5806 0.2580 0.1000 0.9333 0.4444 0.4289 0.1790 0.1863 0.4667 0.8333 0.6719 0.0834 739-AH 0.1333 0.6000 0.7333 0.8000 0.9000 0.6589 0.2245 0.2000 0.7667 0.3408 0.5946 0.4926 0.1729 0.4667 0.9000 0.7378 0.1131 740-AH 0.0000 0.0333 0.0667 0.1333 0.3000 0.0814 0.0721 0.1000 0.3000 0.8860 0.0178 0.0001 0.0595 0.0000 0.2000 0.0762 0.0643 741-AH 0.0000 0.0000 0.0333 0.1917 0.2667 0.0860 0.0985 0.1917 0.2667 1.1443 0.0016 0.0000 0.0899 0.0000 0.2667 0.0860 0.0985 742-AH 0.0000 0.0083 0.1000 0.3000 0.3333 0.1326 0.1290 0.2917 0.3333 0.9731 0.0114 0.0000 0.1154 0.0000 0.3333 0.1326 0.1290 743-AH 0.0000 0.0000 0.0333 0.1000 0.1667 0.0543 0.0540 0.1000 0.1667 0.9943 0.0038 0.0000 0.0460 0.0000 0.1667 0.0543 0.0540 744-AH 0.0000 0.1000 0.2667 0.4667 0.5667 0.2791 0.1832 0.3667 0.5667 0.6563 0.0955 0.0001 0.1615 0.0000 0.5667 0.2791 0.1832 745-AH 0.0000 0.0667 0.1667 0.3000 0.5000 0.1984 0.1372 0.2333 0.5000 0.6915 0.1235 0.0004 0.1209 0.0000 0.5000 0.1984 0.1372 746-AH 0.0000 0.0417 0.1667 0.2667 0.4667 0.1566 0.1246 0.2250 0.4667 0.7959 0.0215 0.0000 0.1095 0.0000 0.4667 0.1566 0.1246 747-AH 0.0000 0.1000 0.4000 0.5250 0.8333 0.3581 0.2468 0.4250 0.8333 0.6891 0.1436 0.0001 0.2115 0.0000 0.8333 0.3581 0.2468 748-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0357 0.0408 0.0667 0.1333 1.1430 0.0012 0.0000 0.0326 0.0000 0.1333 0.0357 0.0408 749-AH 0.0000 0.1083 0.5000 0.8250 0.9000 0.4550 0.3456 0.7167 0.9000 0.7594 0.0888 0.0001 0.3173 0.0000 0.9000 0.4550 0.3456 750-AH 0.0000 0.0000 0.0667 0.1667 0.2667 0.0930 0.0910 0.1667 0.2667 0.9784 0.0038 0.0000 0.0812 0.0000 0.2667 0.0930 0.0910 140 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0500 0.1000 0.1100 0.1400 0.0835 0.0441 0.0600 0.1400 0.5279 0.0341 0.0001 0.0370 0.0000 0.1400 0.0835 0.0441 702-AH 0.0000 0.1900 0.2500 0.2500 0.2600 0.2002 0.0824 0.0600 0.2600 0.4116 0.1394 0.0004 0.0648 0.1400 0.2600 0.2371 0.0263 703-AH 0.0000 0.1600 0.2300 0.2675 0.3100 0.2065 0.0831 0.1075 0.3100 0.4025 0.1227 0.0002 0.0642 0.0000 0.3100 0.2065 0.0831 704-AH 0.0000 0.0400 0.0800 0.2025 0.4300 0.1272 0.1232 0.1625 0.4300 0.9683 0.0331 0.0001 0.0988 0.0000 0.4300 0.1272 0.1232 705-AH 0.0000 0.2000 0.2100 0.2900 0.6000 0.2598 0.1418 0.0900 0.6000 0.5458 0.1544 0.0002 0.1057 0.1100 0.3900 0.2194 0.0613 706-AH 0.0000 0.4150 0.6100 0.6475 0.6900 0.4856 0.2319 0.2325 0.6900 0.4776 0.2407 0.0002 0.1885 0.1000 0.6900 0.5611 0.1439 707-AH 0.0000 0.1000 0.2000 0.2800 0.2900 0.1721 0.1040 0.1800 0.2900 0.6045 0.0429 0.0001 0.0869 0.0000 0.2900 0.1721 0.1040 708-AH 0.0000 0.0300 0.2300 0.5000 0.5500 0.2712 0.2248 0.4700 0.5500 0.8289 0.0678 0.0001 0.2097 0.0000 0.5500 0.2712 0.2248 709-AH 0.0000 0.3050 0.3700 0.4500 0.5400 0.3481 0.1468 0.1450 0.5400 0.4217 0.2312 0.0004 0.1145 0.1200 0.5400 0.3813 0.1077 710-AH 0.0000 0.0100 0.0800 0.1500 0.2100 0.0837 0.0729 0.1400 0.2100 0.8704 0.0158 0.0001 0.0649 0.0000 0.2100 0.0837 0.0729 711-AH 0.0000 0.0200 0.0500 0.1100 0.1400 0.0598 0.0487 0.0900 0.1400 0.8152 0.0156 0.0001 0.0435 0.0000 0.1400 0.0598 0.0487 712-AH 0.0000 0.0625 0.1000 0.1000 0.1000 0.0791 0.0291 0.0375 0.1000 0.3680 0.0603 0.0004 0.0244 0.0200 0.1000 0.0810 0.0267 713-AH 0.0000 0.0200 0.0800 0.1875 0.3200 0.1047 0.0997 0.1675 0.3200 0.9527 0.0263 0.0001 0.0868 0.0000 0.3200 0.1047 0.0997 714-AH 0.0000 0.0600 0.2000 0.2600 0.3200 0.1588 0.1117 0.2000 0.3200 0.7034 0.0625 0.0001 0.1018 0.0000 0.3200 0.1588 0.1117 715-AH 0.0000 0.0200 0.0800 0.0900 0.1000 0.0614 0.0356 0.0700 0.1000 0.5803 0.0290 0.0001 0.0322 0.0000 0.1000 0.0614 0.0356 716-AH 0.0300 0.1400 0.1600 0.1675 0.2000 0.1451 0.0376 0.0275 0.1700 0.2589 0.1378 0.1257 0.0271 0.1000 0.2000 0.1558 0.0229 717-AH 0.0000 0.0400 0.0600 0.0700 0.1300 0.0577 0.0318 0.0300 0.1300 0.5520 0.0221 0.0001 0.0239 0.0000 0.0900 0.0510 0.0251 718-AH 0.0300 0.0975 0.2200 0.3075 0.3500 0.1986 0.1050 0.2100 0.3200 0.5288 0.1558 0.1043 0.0887 0.0300 0.3500 0.1986 0.1050 719-AH 0.0000 0.0100 0.0200 0.0400 0.0800 0.0240 0.0224 0.0300 0.0800 0.9341 0.0047 0.0000 0.0185 0.0000 0.0800 0.0240 0.0224 720-AH 0.0000 0.2800 0.4900 0.5200 0.5200 0.3874 0.1843 0.2400 0.5200 0.4757 0.1665 0.0001 0.1525 0.0000 0.5200 0.3874 0.1843 721-AH 0.0000 0.0500 0.0700 0.0800 0.0900 0.0600 0.0260 0.0300 0.0900 0.4334 0.0273 0.0001 0.0195 0.0100 0.0900 0.0662 0.0182 722-AH 0.0000 0.0500 0.0700 0.1500 0.2400 0.1000 0.0719 0.1000 0.2400 0.7195 0.0379 0.0001 0.0600 0.0000 0.2400 0.1000 0.0719 723-AH 0.0000 0.0225 0.0600 0.0975 0.1200 0.0605 0.0379 0.0750 0.1200 0.6261 0.0183 0.0001 0.0312 0.0000 0.1200 0.0605 0.0379 724-AH 0.0500 0.1900 0.2100 0.2100 0.2100 0.1933 0.0298 0.0200 0.1600 0.1543 0.1895 0.1821 0.0198 0.1800 0.2100 0.2030 0.0105 725-AH 0.0000 0.1325 0.7500 0.8975 0.9600 0.5856 0.3683 0.7650 0.9600 0.6290 0.0768 0.0001 0.3141 0.0000 0.9600 0.5856 0.3683 726-AH 0.0100 0.1050 0.1600 0.2075 0.3400 0.1547 0.0863 0.1025 0.3300 0.5579 0.1153 0.0592 0.0678 0.0100 0.3400 0.1547 0.0863 727-AH 0.0000 0.0300 0.0500 0.0600 0.0700 0.0423 0.0244 0.0300 0.0700 0.5760 0.0118 0.0001 0.0204 0.0000 0.0700 0.0423 0.0244 728-AH 0.0000 0.0350 0.0900 0.1200 0.1400 0.0800 0.0436 0.0850 0.1400 0.5449 0.0391 0.0001 0.0358 0.0000 0.1400 0.0800 0.0436 729-AH 0.0000 0.0100 0.0300 0.0400 0.1800 0.0319 0.0310 0.0300 0.1800 0.9741 0.0081 0.0001 0.0211 0.0000 0.0700 0.0283 0.0209 730-AH 0.0000 0.0800 0.1400 0.3125 0.7300 0.2356 0.2362 0.2325 0.7300 1.0026 0.1177 0.0004 0.1901 0.0000 0.6600 0.1867 0.1876 731-AH 0.0000 0.1225 0.3100 0.4450 0.6800 0.2923 0.1949 0.3225 0.6800 0.6666 0.0802 0.0001 0.1611 0.0000 0.6800 0.2923 0.1949 732-AH 0.0000 0.0100 0.0200 0.0475 0.1000 0.0293 0.0258 0.0375 0.1000 0.8793 0.0087 0.0001 0.0206 0.0000 0.1000 0.0293 0.0258 733-AH 0.0100 0.0700 0.1800 0.3350 0.5300 0.2130 0.1617 0.2650 0.5200 0.7590 0.1281 0.0516 0.1361 0.0100 0.5300 0.2130 0.1617 734-AH 0.0000 0.2400 0.3000 0.3775 0.4000 0.2800 0.1141 0.1375 0.4000 0.4074 0.1691 0.0002 0.0916 0.1100 0.4000 0.2937 0.0977 735-AH 0.0500 0.1525 0.2400 0.3300 0.5800 0.2384 0.1308 0.1775 0.5300 0.5488 0.1985 0.1551 0.0993 0.0500 0.5800 0.2384 0.1308 736-AH 0.0000 0.0200 0.0700 0.1275 0.2300 0.0807 0.0670 0.1075 0.2300 0.8306 0.0332 0.0001 0.0558 0.0000 0.2300 0.0807 0.0670 737-AH 0.0100 0.0400 0.0800 0.1000 0.1900 0.0756 0.0414 0.0600 0.1800 0.5480 0.0613 0.0438 0.0330 0.0100 0.1900 0.0756 0.0414 738-AH 0.0100 0.2825 0.4700 0.6100 0.7000 0.4202 0.2156 0.3275 0.6900 0.5132 0.3066 0.1139 0.1802 0.0100 0.7000 0.4202 0.2156 739-AH 0.1300 0.2925 0.4000 0.4200 0.4300 0.3437 0.0990 0.1275 0.3000 0.2882 0.3249 0.3002 0.0840 0.1300 0.4300 0.3437 0.0990 740-AH 0.0000 0.0200 0.0400 0.0800 0.1300 0.0526 0.0365 0.0600 0.1300 0.6936 0.0290 0.0002 0.0322 0.0000 0.1300 0.0526 0.0365 741-AH 0.0000 0.0000 0.0300 0.0975 0.1100 0.0470 0.0474 0.0975 0.1100 1.0087 0.0017 0.0000 0.0447 0.0000 0.1100 0.0470 0.0474 742-AH 0.0000 0.0100 0.0300 0.1075 0.1200 0.0495 0.0457 0.0975 0.1200 0.9230 0.0092 0.0001 0.0413 0.0000 0.1200 0.0495 0.0457 743-AH 0.0000 0.0100 0.0300 0.0400 0.0600 0.0270 0.0161 0.0300 0.0600 0.5974 0.0107 0.0001 0.0137 0.0000 0.0600 0.0270 0.0161 744-AH 0.0200 0.0400 0.1700 0.2100 0.2200 0.1309 0.0797 0.1700 0.2000 0.6087 0.0971 0.0636 0.0734 0.0200 0.2200 0.1309 0.0797 745-AH 0.0100 0.1000 0.1700 0.2350 0.2900 0.1574 0.0870 0.1350 0.2800 0.5523 0.1209 0.0732 0.0724 0.0100 0.2900 0.1574 0.0870 746-AH 0.0000 0.0425 0.1100 0.1650 0.2500 0.1016 0.0710 0.1225 0.2500 0.6991 0.0430 0.0001 0.0616 0.0000 0.2500 0.1016 0.0710 747-AH 0.0000 0.0425 0.2300 0.3500 0.7600 0.2270 0.1886 0.3075 0.7600 0.8307 0.1012 0.0002 0.1459 0.0000 0.7600 0.2270 0.1886 748-AH 0.0000 0.0200 0.0600 0.1000 0.1200 0.0574 0.0421 0.0800 0.1200 0.7328 0.0101 0.0000 0.0372 0.0000 0.1200 0.0574 0.0421 749-AH 0.0000 0.1200 0.2900 0.3700 0.4000 0.2456 0.1450 0.2500 0.4000 0.5906 0.0984 0.0001 0.1277 0.0000 0.4000 0.2456 0.1450 750-AH 0.0000 0.0100 0.0500 0.1100 0.1800 0.0667 0.0589 0.1000 0.1800 0.8826 0.0139 0.0001 0.0495 0.0000 0.1800 0.0667 0.0589 141 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0450 0.0800 0.0900 0.1000 0.0658 0.0317 0.0450 0.1000 0.4822 0.0294 0.0001 0.0268 0.0000 0.1000 0.0658 0.0317 702-AH 0.0000 0.1013 0.1250 0.1250 0.1300 0.1031 0.0401 0.0237 0.1300 0.3891 0.0737 0.0004 0.0302 0.0950 0.1300 0.1211 0.0095 703-AH 0.0000 0.1300 0.1550 0.1650 0.1750 0.1355 0.0492 0.0350 0.1750 0.3632 0.0834 0.0002 0.0354 0.0950 0.1750 0.1514 0.0215 704-AH 0.0000 0.0312 0.0600 0.1737 0.2200 0.0905 0.0750 0.1425 0.2200 0.8296 0.0361 0.0001 0.0655 0.0000 0.2200 0.0905 0.0750 705-AH 0.0000 0.1575 0.1800 0.2800 0.3800 0.2057 0.0984 0.1225 0.3800 0.4782 0.1228 0.0002 0.0809 0.0000 0.3800 0.2057 0.0984 706-AH 0.0000 0.2650 0.3850 0.4087 0.5000 0.3150 0.1453 0.1438 0.5000 0.4614 0.1907 0.0004 0.1142 0.0750 0.5000 0.3635 0.0854 707-AH 0.0000 0.0875 0.1100 0.1450 0.1450 0.0967 0.0529 0.0575 0.1450 0.5471 0.0407 0.0001 0.0423 0.0050 0.1450 0.1040 0.0474 708-AH 0.0000 0.0200 0.1900 0.3038 0.3150 0.1713 0.1327 0.2838 0.3150 0.7750 0.0540 0.0001 0.1228 0.0000 0.3150 0.1713 0.1327 709-AH 0.0000 0.1975 0.2900 0.3438 0.3600 0.2516 0.1088 0.1463 0.3600 0.4322 0.1716 0.0004 0.0908 0.0000 0.3600 0.2516 0.1088 710-AH 0.0000 0.0050 0.0650 0.1100 0.1500 0.0610 0.0497 0.1050 0.1500 0.8137 0.0125 0.0001 0.0443 0.0000 0.1500 0.0610 0.0497 711-AH 0.0000 0.0162 0.0350 0.0550 0.0800 0.0357 0.0233 0.0388 0.0800 0.6524 0.0153 0.0001 0.0199 0.0000 0.0800 0.0357 0.0233 712-AH 0.0000 0.0312 0.0500 0.0500 0.0500 0.0402 0.0138 0.0188 0.0500 0.3441 0.0318 0.0004 0.0118 0.0100 0.0500 0.0412 0.0125 713-AH 0.0000 0.0112 0.0500 0.1150 0.1750 0.0652 0.0537 0.1038 0.1750 0.8238 0.0215 0.0001 0.0472 0.0000 0.1750 0.0652 0.0537 714-AH 0.0000 0.0300 0.1000 0.1400 0.1750 0.0880 0.0583 0.1100 0.1750 0.6619 0.0439 0.0002 0.0527 0.0000 0.1750 0.0880 0.0583 715-AH 0.0000 0.0162 0.0450 0.0450 0.0700 0.0358 0.0184 0.0288 0.0700 0.5134 0.0220 0.0002 0.0155 0.0000 0.0700 0.0358 0.0184 716-AH 0.0350 0.0700 0.0800 0.0988 0.1050 0.0812 0.0186 0.0288 0.0700 0.2289 0.0786 0.0754 0.0147 0.0350 0.1050 0.0812 0.0186 717-AH 0.0000 0.0300 0.0350 0.0550 0.0750 0.0403 0.0207 0.0250 0.0750 0.5119 0.0163 0.0001 0.0162 0.0000 0.0750 0.0403 0.0207 718-AH 0.0300 0.0775 0.1250 0.1688 0.1950 0.1179 0.0542 0.0913 0.1650 0.4600 0.1006 0.0796 0.0462 0.0300 0.1950 0.1179 0.0542 719-AH 0.0000 0.0050 0.0100 0.0250 0.0400 0.0145 0.0126 0.0200 0.0400 0.8684 0.0037 0.0001 0.0106 0.0000 0.0400 0.0145 0.0126 720-AH 0.0000 0.1450 0.2600 0.2600 0.2600 0.2044 0.0852 0.1150 0.2600 0.4167 0.1162 0.0002 0.0690 0.0000 0.2600 0.2044 0.0852 721-AH 0.0000 0.0263 0.0450 0.0450 0.0500 0.0363 0.0153 0.0188 0.0500 0.4211 0.0200 0.0001 0.0123 0.0000 0.0500 0.0363 0.0153 722-AH 0.0000 0.0300 0.0650 0.0950 0.1400 0.0633 0.0412 0.0650 0.1400 0.6520 0.0256 0.0001 0.0355 0.0000 0.1400 0.0633 0.0412 723-AH 0.0000 0.0300 0.0400 0.0550 0.0750 0.0405 0.0219 0.0250 0.0750 0.5405 0.0210 0.0001 0.0182 0.0000 0.0750 0.0405 0.0219 724-AH 0.0600 0.0950 0.1050 0.1050 0.1050 0.0984 0.0115 0.0100 0.0450 0.1172 0.0976 0.0967 0.0087 0.0900 0.1050 0.1026 0.0045 725-AH 0.0000 0.1300 0.4600 0.6500 0.7100 0.4144 0.2645 0.5200 0.7100 0.6383 0.1300 0.0001 0.2250 0.0000 0.7100 0.4144 0.2645 726-AH 0.0050 0.0650 0.1000 0.1388 0.1850 0.0997 0.0499 0.0738 0.1800 0.5007 0.0790 0.0439 0.0385 0.0050 0.1850 0.0997 0.0499 727-AH 0.0000 0.0212 0.0350 0.0350 0.0400 0.0271 0.0131 0.0138 0.0400 0.4820 0.0098 0.0001 0.0106 0.0050 0.0400 0.0315 0.0075 728-AH 0.0000 0.0350 0.0700 0.0750 0.0850 0.0548 0.0261 0.0400 0.0850 0.4769 0.0382 0.0004 0.0224 0.0000 0.0850 0.0548 0.0261 729-AH 0.0000 0.0112 0.0200 0.0300 0.1100 0.0217 0.0189 0.0187 0.1100 0.8689 0.0062 0.0001 0.0122 0.0000 0.0500 0.0196 0.0131 730-AH 0.0000 0.0800 0.1050 0.2000 0.3850 0.1577 0.1212 0.1200 0.3850 0.7685 0.0971 0.0004 0.0979 0.0000 0.3800 0.1406 0.1074 731-AH 0.0000 0.1000 0.1900 0.2587 0.3500 0.1808 0.1092 0.1587 0.3500 0.6041 0.0645 0.0001 0.0916 0.0000 0.3500 0.1808 0.1092 732-AH 0.0000 0.0150 0.0200 0.0375 0.0900 0.0270 0.0216 0.0225 0.0900 0.7989 0.0158 0.0002 0.0161 0.0000 0.0700 0.0240 0.0172 733-AH 0.0050 0.0700 0.1450 0.2187 0.2850 0.1420 0.0977 0.1487 0.2800 0.6878 0.0871 0.0298 0.0846 0.0050 0.2850 0.1420 0.0977 734-AH 0.0100 0.1663 0.1900 0.1950 0.2050 0.1637 0.0566 0.0287 0.1950 0.3456 0.1414 0.0888 0.0415 0.1350 0.2050 0.1874 0.0151 735-AH 0.0300 0.1175 0.1900 0.2387 0.4500 0.1844 0.1062 0.1212 0.4200 0.5758 0.1463 0.1023 0.0839 0.0300 0.3250 0.1715 0.0902 736-AH 0.0000 0.0162 0.0350 0.0950 0.1550 0.0563 0.0488 0.0787 0.1550 0.8668 0.0273 0.0002 0.0409 0.0000 0.1550 0.0563 0.0488 737-AH 0.0100 0.0350 0.0600 0.0800 0.1150 0.0588 0.0299 0.0450 0.1050 0.5078 0.0488 0.0371 0.0251 0.0100 0.1150 0.0588 0.0299 738-AH 0.0050 0.1762 0.2950 0.3600 0.3950 0.2572 0.1237 0.1838 0.3900 0.4808 0.1991 0.0863 0.1091 0.0050 0.3950 0.2572 0.1237 739-AH 0.1250 0.1500 0.2100 0.2150 0.2200 0.1865 0.0337 0.0650 0.0950 0.1808 0.1833 0.1798 0.0311 0.1250 0.2200 0.1865 0.0337 740-AH 0.0000 0.0162 0.0350 0.0488 0.0750 0.0343 0.0205 0.0325 0.0750 0.5964 0.0209 0.0002 0.0177 0.0000 0.0750 0.0343 0.0205 741-AH 0.0000 0.0000 0.0250 0.0550 0.0600 0.0281 0.0259 0.0550 0.0600 0.9192 0.0018 0.0000 0.0246 0.0000 0.0600 0.0281 0.0259 742-AH 0.0000 0.0112 0.0150 0.0537 0.0650 0.0276 0.0226 0.0425 0.0650 0.8194 0.0083 0.0001 0.0204 0.0000 0.0650 0.0276 0.0226 743-AH 0.0000 0.0150 0.0200 0.0250 0.0300 0.0180 0.0089 0.0100 0.0300 0.4923 0.0090 0.0001 0.0072 0.0000 0.0300 0.0180 0.0089 744-AH 0.0100 0.0200 0.0900 0.1100 0.1100 0.0706 0.0415 0.0900 0.1000 0.5873 0.0527 0.0345 0.0380 0.0100 0.1100 0.0706 0.0415 745-AH 0.0100 0.0600 0.1400 0.1887 0.2150 0.1281 0.0678 0.1288 0.2050 0.5290 0.0994 0.0622 0.0581 0.0100 0.2150 0.1281 0.0678 746-AH 0.0000 0.0250 0.0700 0.0938 0.1550 0.0621 0.0415 0.0687 0.1550 0.6682 0.0289 0.0001 0.0357 0.0000 0.1550 0.0621 0.0415 747-AH 0.0000 0.0750 0.1500 0.2462 0.4800 0.1687 0.1190 0.1712 0.4800 0.7054 0.1074 0.0004 0.0940 0.0000 0.4800 0.1687 0.1190 748-AH 0.0000 0.0100 0.0650 0.0650 0.0650 0.0445 0.0272 0.0550 0.0650 0.6099 0.0131 0.0001 0.0243 0.0000 0.0650 0.0445 0.0272 749-AH 0.0000 0.0975 0.1800 0.1988 0.2100 0.1392 0.0735 0.1012 0.2100 0.5282 0.0631 0.0001 0.0609 0.0000 0.2100 0.1392 0.0735 750-AH 0.0050 0.0062 0.0400 0.0700 0.0950 0.0414 0.0319 0.0638 0.0900 0.7695 0.0257 0.0138 0.0284 0.0050 0.0950 0.0414 0.0319 142 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0300 0.0400 0.0420 0.0420 0.0334 0.0134 0.0120 0.0420 0.4006 0.0212 0.0002 0.0107 0.0140 0.0420 0.0368 0.0087 702-AH 0.0000 0.0465 0.0500 0.0520 0.0540 0.0441 0.0149 0.0055 0.0540 0.3368 0.0339 0.0004 0.0102 0.0400 0.0540 0.0499 0.0027 703-AH 0.0000 0.0580 0.0720 0.0720 0.0720 0.0612 0.0203 0.0140 0.0720 0.3317 0.0404 0.0002 0.0140 0.0480 0.0720 0.0680 0.0068 704-AH 0.0020 0.0245 0.0620 0.0880 0.1020 0.0545 0.0329 0.0635 0.1000 0.6044 0.0389 0.0168 0.0289 0.0020 0.1020 0.0545 0.0329 705-AH 0.0000 0.1130 0.1340 0.1680 0.1680 0.1255 0.0499 0.0550 0.1680 0.3978 0.0770 0.0002 0.0371 0.0380 0.1680 0.1402 0.0300 706-AH 0.0000 0.1260 0.1760 0.1940 0.2140 0.1496 0.0658 0.0680 0.2140 0.4400 0.0972 0.0004 0.0514 0.0560 0.2140 0.1724 0.0352 707-AH 0.0000 0.0445 0.0560 0.0580 0.0580 0.0439 0.0213 0.0135 0.0580 0.4858 0.0239 0.0002 0.0174 0.0440 0.0580 0.0552 0.0041 708-AH 0.0020 0.0105 0.0920 0.1305 0.1340 0.0782 0.0556 0.1200 0.1320 0.7112 0.0425 0.0142 0.0515 0.0020 0.1340 0.0782 0.0556 709-AH 0.0000 0.0905 0.1540 0.1655 0.1700 0.1254 0.0511 0.0750 0.1700 0.4072 0.0909 0.0004 0.0434 0.0000 0.1700 0.1254 0.0511 710-AH 0.0000 0.0115 0.0400 0.0565 0.0740 0.0360 0.0244 0.0450 0.0740 0.6771 0.0125 0.0001 0.0207 0.0000 0.0740 0.0360 0.0244 711-AH 0.0000 0.0085 0.0220 0.0280 0.0320 0.0188 0.0104 0.0195 0.0320 0.5499 0.0116 0.0002 0.0090 0.0000 0.0320 0.0188 0.0104 712-AH 0.0000 0.0140 0.0200 0.0200 0.0200 0.0167 0.0047 0.0060 0.0200 0.2789 0.0140 0.0004 0.0040 0.0100 0.0200 0.0171 0.0039 713-AH 0.0000 0.0100 0.0480 0.0560 0.0820 0.0360 0.0243 0.0460 0.0820 0.6732 0.0189 0.0002 0.0220 0.0000 0.0820 0.0360 0.0243 714-AH 0.0000 0.0140 0.0480 0.0600 0.0840 0.0401 0.0241 0.0460 0.0840 0.6023 0.0226 0.0002 0.0210 0.0000 0.0840 0.0401 0.0241 715-AH 0.0020 0.0165 0.0180 0.0200 0.0280 0.0179 0.0056 0.0035 0.0260 0.3102 0.0164 0.0128 0.0034 0.0140 0.0240 0.0180 0.0026 716-AH 0.0220 0.0305 0.0400 0.0420 0.0420 0.0362 0.0063 0.0115 0.0200 0.1730 0.0357 0.0350 0.0056 0.0220 0.0420 0.0362 0.0063 717-AH 0.0000 0.0140 0.0240 0.0280 0.0320 0.0206 0.0097 0.0140 0.0320 0.4739 0.0091 0.0001 0.0081 0.0000 0.0320 0.0206 0.0097 718-AH 0.0240 0.0425 0.0540 0.0740 0.0860 0.0571 0.0201 0.0315 0.0620 0.3531 0.0531 0.0486 0.0177 0.0240 0.0860 0.0571 0.0201 719-AH 0.0000 0.0025 0.0060 0.0160 0.0160 0.0079 0.0061 0.0135 0.0160 0.7766 0.0032 0.0001 0.0056 0.0000 0.0160 0.0079 0.0061 720-AH 0.0020 0.0805 0.1040 0.1040 0.1060 0.0869 0.0298 0.0235 0.1040 0.3429 0.0711 0.0268 0.0223 0.0460 0.1060 0.0950 0.0159 721-AH 0.0000 0.0125 0.0180 0.0200 0.0200 0.0154 0.0061 0.0075 0.0200 0.3930 0.0104 0.0002 0.0047 0.0020 0.0200 0.0162 0.0051 722-AH 0.0000 0.0170 0.0380 0.0440 0.0620 0.0333 0.0176 0.0270 0.0620 0.5294 0.0198 0.0002 0.0145 0.0000 0.0620 0.0333 0.0176 723-AH 0.0020 0.0120 0.0200 0.0295 0.0380 0.0195 0.0101 0.0175 0.0360 0.5186 0.0158 0.0102 0.0084 0.0020 0.0380 0.0195 0.0101 724-AH 0.0300 0.0380 0.0420 0.0420 0.0420 0.0397 0.0039 0.0040 0.0120 0.0992 0.0395 0.0393 0.0030 0.0360 0.0420 0.0410 0.0018 725-AH 0.0000 0.0970 0.2540 0.3235 0.3480 0.2140 0.1225 0.2265 0.3480 0.5726 0.0947 0.0002 0.1025 0.0000 0.3480 0.2140 0.1225 726-AH 0.0080 0.0425 0.0540 0.0695 0.0960 0.0524 0.0217 0.0270 0.0880 0.4145 0.0453 0.0339 0.0169 0.0080 0.0960 0.0524 0.0217 727-AH 0.0000 0.0125 0.0140 0.0140 0.0160 0.0115 0.0051 0.0015 0.0160 0.4394 0.0054 0.0001 0.0039 0.0120 0.0160 0.0140 0.0007 728-AH 0.0000 0.0160 0.0340 0.0360 0.0380 0.0280 0.0117 0.0200 0.0380 0.4185 0.0206 0.0004 0.0099 0.0000 0.0380 0.0280 0.0117 729-AH 0.0000 0.0065 0.0120 0.0170 0.0640 0.0131 0.0111 0.0105 0.0640 0.8509 0.0048 0.0001 0.0071 0.0000 0.0300 0.0119 0.0079 730-AH 0.0020 0.0540 0.0740 0.1540 0.1620 0.0882 0.0495 0.1000 0.1600 0.5607 0.0679 0.0271 0.0410 0.0020 0.1620 0.0882 0.0495 731-AH 0.0000 0.0715 0.1040 0.1325 0.1540 0.0967 0.0486 0.0610 0.1540 0.5027 0.0391 0.0001 0.0393 0.0000 0.1540 0.0967 0.0486 732-AH 0.0040 0.0085 0.0180 0.0240 0.0360 0.0187 0.0100 0.0155 0.0320 0.5315 0.0159 0.0131 0.0083 0.0040 0.0360 0.0187 0.0100 733-AH 0.0060 0.0345 0.1000 0.1100 0.1200 0.0739 0.0437 0.0755 0.1140 0.5914 0.0506 0.0245 0.0401 0.0060 0.1200 0.0739 0.0437 734-AH 0.0220 0.0760 0.0780 0.0820 0.0860 0.0713 0.0195 0.0060 0.0640 0.2734 0.0668 0.0595 0.0138 0.0720 0.0860 0.0797 0.0032 735-AH 0.0200 0.0710 0.1340 0.1735 0.2540 0.1265 0.0674 0.1025 0.2340 0.5324 0.1017 0.0716 0.0539 0.0200 0.2540 0.1265 0.0674 736-AH 0.0000 0.0140 0.0220 0.0460 0.0800 0.0302 0.0241 0.0320 0.0800 0.7961 0.0179 0.0004 0.0201 0.0000 0.0800 0.0302 0.0241 737-AH 0.0060 0.0200 0.0400 0.0560 0.0620 0.0374 0.0190 0.0360 0.0560 0.5068 0.0311 0.0239 0.0167 0.0060 0.0620 0.0374 0.0190 738-AH 0.0020 0.0725 0.1420 0.1505 0.1820 0.1118 0.0498 0.0780 0.1800 0.4452 0.0922 0.0428 0.0445 0.0020 0.1820 0.1118 0.0498 739-AH 0.0540 0.0600 0.0860 0.0860 0.0880 0.0771 0.0129 0.0260 0.0340 0.1674 0.0759 0.0747 0.0118 0.0540 0.0880 0.0771 0.0129 740-AH 0.0000 0.0140 0.0180 0.0240 0.0360 0.0192 0.0087 0.0100 0.0360 0.4545 0.0149 0.0004 0.0069 0.0000 0.0360 0.0192 0.0087 741-AH 0.0000 0.0000 0.0180 0.0240 0.0240 0.0126 0.0109 0.0240 0.0240 0.8660 0.0011 0.0000 0.0104 0.0000 0.0240 0.0126 0.0109 742-AH 0.0000 0.0060 0.0080 0.0235 0.0260 0.0129 0.0093 0.0175 0.0260 0.7163 0.0047 0.0001 0.0085 0.0000 0.0260 0.0129 0.0093 743-AH 0.0000 0.0080 0.0100 0.0120 0.0140 0.0087 0.0039 0.0040 0.0140 0.4476 0.0059 0.0002 0.0031 0.0040 0.0140 0.0101 0.0023 744-AH 0.0040 0.0100 0.0420 0.0440 0.0440 0.0300 0.0165 0.0340 0.0400 0.5507 0.0229 0.0151 0.0149 0.0040 0.0440 0.0300 0.0165 745-AH 0.0040 0.0305 0.0860 0.1160 0.1240 0.0791 0.0415 0.0855 0.1200 0.5247 0.0615 0.0364 0.0365 0.0040 0.1240 0.0791 0.0415 746-AH 0.0000 0.0140 0.0340 0.0435 0.0620 0.0301 0.0174 0.0295 0.0620 0.5783 0.0159 0.0001 0.0149 0.0000 0.0620 0.0301 0.0174 747-AH 0.0000 0.0605 0.0860 0.1445 0.2920 0.1099 0.0703 0.0840 0.2920 0.6396 0.0767 0.0004 0.0543 0.0000 0.2260 0.1010 0.0587 748-AH 0.0000 0.0040 0.0260 0.0260 0.0260 0.0187 0.0110 0.0220 0.0260 0.5891 0.0062 0.0001 0.0097 0.0000 0.0260 0.0187 0.0110 749-AH 0.0000 0.0600 0.0760 0.0820 0.0860 0.0627 0.0270 0.0220 0.0860 0.4300 0.0427 0.0004 0.0212 0.0300 0.0860 0.0729 0.0142 750-AH 0.0020 0.0065 0.0200 0.0320 0.0400 0.0204 0.0134 0.0255 0.0380 0.6555 0.0144 0.0083 0.0121 0.0020 0.0400 0.0204 0.0134 143 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2EN-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0163 0.0210 0.0210 0.0210 0.0175 0.0062 0.0047 0.0210 0.3547 0.0119 0.0002 0.0046 0.0120 0.0210 0.0195 0.0028 702-AH 0.0000 0.0250 0.0250 0.0260 0.0290 0.0227 0.0070 0.0010 0.0290 0.3094 0.0182 0.0004 0.0047 0.0240 0.0270 0.0253 0.0007 703-AH 0.0000 0.0323 0.0360 0.0360 0.0360 0.0316 0.0096 0.0037 0.0360 0.3046 0.0218 0.0002 0.0062 0.0270 0.0360 0.0345 0.0028 704-AH 0.0010 0.0352 0.0460 0.0498 0.0540 0.0390 0.0158 0.0145 0.0530 0.4057 0.0300 0.0102 0.0122 0.0310 0.0540 0.0453 0.0066 705-AH 0.0000 0.0570 0.0780 0.0840 0.0840 0.0654 0.0255 0.0270 0.0840 0.3891 0.0414 0.0002 0.0191 0.0200 0.0840 0.0732 0.0144 706-AH 0.0030 0.0630 0.0970 0.1010 0.1070 0.0791 0.0337 0.0380 0.1040 0.4265 0.0612 0.0286 0.0265 0.0070 0.1070 0.0828 0.0299 707-AH 0.0000 0.0222 0.0290 0.0290 0.0290 0.0233 0.0099 0.0067 0.0290 0.4255 0.0155 0.0004 0.0078 0.0150 0.0290 0.0277 0.0031 708-AH 0.0020 0.0060 0.0510 0.0652 0.0670 0.0405 0.0273 0.0592 0.0650 0.6729 0.0244 0.0107 0.0251 0.0020 0.0670 0.0405 0.0273 709-AH 0.0000 0.0525 0.0780 0.0830 0.0850 0.0659 0.0244 0.0305 0.0850 0.3693 0.0502 0.0004 0.0200 0.0080 0.0850 0.0675 0.0223 710-AH 0.0000 0.0120 0.0250 0.0343 0.0420 0.0228 0.0133 0.0223 0.0420 0.5842 0.0092 0.0001 0.0112 0.0000 0.0420 0.0228 0.0133 711-AH 0.0020 0.0073 0.0140 0.0160 0.0160 0.0112 0.0050 0.0088 0.0140 0.4517 0.0094 0.0070 0.0044 0.0020 0.0160 0.0112 0.0050 712-AH 0.0000 0.0070 0.0100 0.0100 0.0100 0.0085 0.0022 0.0030 0.0100 0.2621 0.0072 0.0004 0.0019 0.0050 0.0100 0.0087 0.0018 713-AH 0.0020 0.0080 0.0280 0.0315 0.0420 0.0215 0.0130 0.0235 0.0400 0.6046 0.0161 0.0103 0.0117 0.0020 0.0420 0.0215 0.0130 714-AH 0.0000 0.0140 0.0250 0.0300 0.0440 0.0219 0.0119 0.0160 0.0440 0.5460 0.0134 0.0002 0.0102 0.0000 0.0440 0.0219 0.0119 715-AH 0.0010 0.0090 0.0100 0.0128 0.0160 0.0102 0.0034 0.0038 0.0150 0.3357 0.0092 0.0069 0.0024 0.0070 0.0160 0.0109 0.0026 716-AH 0.0130 0.0160 0.0200 0.0210 0.0210 0.0185 0.0029 0.0050 0.0080 0.1568 0.0183 0.0180 0.0027 0.0130 0.0210 0.0185 0.0029 717-AH 0.0000 0.0073 0.0140 0.0160 0.0160 0.0114 0.0054 0.0088 0.0160 0.4699 0.0054 0.0001 0.0045 0.0000 0.0160 0.0114 0.0054 718-AH 0.0130 0.0240 0.0350 0.0440 0.0480 0.0320 0.0117 0.0200 0.0350 0.3648 0.0295 0.0266 0.0101 0.0130 0.0480 0.0320 0.0117 719-AH 0.0000 0.0020 0.0030 0.0080 0.0080 0.0044 0.0030 0.0060 0.0080 0.6794 0.0025 0.0001 0.0028 0.0000 0.0080 0.0044 0.0030 720-AH 0.0040 0.0460 0.0520 0.0530 0.0530 0.0457 0.0132 0.0070 0.0490 0.2894 0.0411 0.0298 0.0092 0.0380 0.0530 0.0499 0.0051 721-AH 0.0000 0.0063 0.0090 0.0100 0.0100 0.0079 0.0031 0.0037 0.0100 0.3961 0.0054 0.0002 0.0024 0.0010 0.0100 0.0082 0.0026 722-AH 0.0000 0.0143 0.0230 0.0250 0.0310 0.0198 0.0088 0.0108 0.0310 0.4476 0.0128 0.0002 0.0073 0.0000 0.0310 0.0198 0.0088 723-AH 0.0010 0.0070 0.0100 0.0150 0.0190 0.0103 0.0051 0.0080 0.0180 0.4982 0.0084 0.0053 0.0041 0.0010 0.0190 0.0103 0.0051 724-AH 0.0150 0.0200 0.0210 0.0210 0.0210 0.0200 0.0019 0.0010 0.0060 0.0970 0.0199 0.0198 0.0013 0.0190 0.0210 0.0207 0.0007 725-AH 0.0000 0.0845 0.1600 0.1798 0.1930 0.1256 0.0666 0.0953 0.1930 0.5300 0.0643 0.0002 0.0567 0.0000 0.1930 0.1256 0.0666 726-AH 0.0060 0.0263 0.0350 0.0388 0.0540 0.0320 0.0111 0.0125 0.0480 0.3464 0.0292 0.0248 0.0086 0.0110 0.0540 0.0332 0.0097 727-AH 0.0000 0.0063 0.0070 0.0070 0.0080 0.0059 0.0024 0.0008 0.0080 0.4100 0.0031 0.0001 0.0018 0.0060 0.0080 0.0070 0.0003 728-AH 0.0010 0.0105 0.0180 0.0190 0.0200 0.0147 0.0058 0.0085 0.0190 0.3945 0.0125 0.0083 0.0048 0.0010 0.0200 0.0147 0.0058 729-AH 0.0000 0.0055 0.0130 0.0197 0.0360 0.0134 0.0093 0.0142 0.0360 0.6971 0.0048 0.0001 0.0076 0.0000 0.0360 0.0134 0.0093 730-AH 0.0010 0.0273 0.0380 0.0790 0.0890 0.0464 0.0260 0.0518 0.0880 0.5597 0.0356 0.0137 0.0220 0.0010 0.0890 0.0464 0.0260 731-AH 0.0000 0.0570 0.0660 0.0757 0.0800 0.0588 0.0243 0.0187 0.0800 0.4138 0.0261 0.0001 0.0175 0.0320 0.0800 0.0665 0.0121 732-AH 0.0030 0.0112 0.0140 0.0180 0.0240 0.0137 0.0059 0.0067 0.0210 0.4321 0.0119 0.0094 0.0047 0.0030 0.0240 0.0137 0.0059 733-AH 0.0030 0.0173 0.0560 0.0600 0.0600 0.0408 0.0233 0.0427 0.0570 0.5717 0.0279 0.0131 0.0210 0.0030 0.0600 0.0408 0.0233 734-AH 0.0110 0.0382 0.0390 0.0410 0.0440 0.0362 0.0096 0.0028 0.0330 0.2662 0.0339 0.0302 0.0065 0.0350 0.0440 0.0400 0.0019 735-AH 0.0120 0.0482 0.0920 0.1180 0.1540 0.0857 0.0454 0.0697 0.1420 0.5299 0.0680 0.0458 0.0375 0.0120 0.1540 0.0857 0.0454 736-AH 0.0000 0.0120 0.0160 0.0297 0.0470 0.0199 0.0128 0.0177 0.0470 0.6415 0.0137 0.0004 0.0105 0.0000 0.0470 0.0199 0.0128 737-AH 0.0030 0.0145 0.0300 0.0330 0.0400 0.0239 0.0111 0.0185 0.0370 0.4631 0.0203 0.0158 0.0099 0.0030 0.0400 0.0239 0.0111 738-AH 0.0010 0.0400 0.0730 0.0785 0.0970 0.0593 0.0233 0.0385 0.0960 0.3935 0.0508 0.0232 0.0202 0.0010 0.0970 0.0593 0.0233 739-AH 0.0280 0.0312 0.0430 0.0440 0.0440 0.0390 0.0063 0.0127 0.0160 0.1621 0.0384 0.0378 0.0058 0.0280 0.0440 0.0390 0.0063 740-AH 0.0020 0.0075 0.0120 0.0165 0.0200 0.0117 0.0048 0.0090 0.0180 0.4136 0.0105 0.0088 0.0038 0.0020 0.0200 0.0117 0.0048 741-AH 0.0000 0.0020 0.0100 0.0120 0.0120 0.0070 0.0050 0.0100 0.0120 0.7095 0.0021 0.0001 0.0047 0.0000 0.0120 0.0070 0.0050 742-AH 0.0000 0.0040 0.0070 0.0120 0.0130 0.0075 0.0047 0.0080 0.0130 0.6285 0.0034 0.0001 0.0042 0.0000 0.0130 0.0075 0.0047 743-AH 0.0000 0.0040 0.0050 0.0060 0.0070 0.0045 0.0020 0.0020 0.0070 0.4313 0.0032 0.0002 0.0016 0.0030 0.0070 0.0053 0.0010 744-AH 0.0020 0.0055 0.0220 0.0220 0.0220 0.0155 0.0080 0.0165 0.0200 0.5177 0.0122 0.0082 0.0072 0.0020 0.0220 0.0155 0.0080 745-AH 0.0030 0.0187 0.0540 0.0640 0.0650 0.0438 0.0222 0.0453 0.0620 0.5064 0.0345 0.0218 0.0194 0.0030 0.0650 0.0438 0.0222 746-AH 0.0030 0.0100 0.0180 0.0228 0.0320 0.0170 0.0082 0.0128 0.0290 0.4802 0.0145 0.0114 0.0070 0.0030 0.0320 0.0170 0.0082 747-AH 0.0000 0.0400 0.0600 0.1025 0.1580 0.0762 0.0403 0.0625 0.1580 0.5292 0.0564 0.0004 0.0335 0.0000 0.1580 0.0762 0.0403 748-AH 0.0000 0.0020 0.0130 0.0130 0.0130 0.0094 0.0055 0.0110 0.0130 0.5849 0.0035 0.0001 0.0048 0.0000 0.0130 0.0094 0.0055 749-AH 0.0020 0.0380 0.0390 0.0420 0.0430 0.0341 0.0129 0.0040 0.0410 0.3779 0.0288 0.0185 0.0100 0.0350 0.0430 0.0404 0.0020 750-AH 0.0010 0.0052 0.0120 0.0190 0.0240 0.0123 0.0075 0.0137 0.0230 0.6065 0.0090 0.0049 0.0066 0.0010 0.0240 0.0123 0.0075 144 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Ad−Hoc TEL Bilingual German Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; MAP 25.83%; Pooled] trinity [Experiment TCDENDERUN3; MAP 19.35%; Not Pooled] 90% karlsruhe [Experiment EN_INDEXBL; MAP 16.46%; Not Pooled] weimar [Experiment COMBINEDFRINDE; MAP 15.75%; Not Pooled] cheshire [Experiment BIENDET2FBX; MAP 11.50%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) 1 chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; MAP 25.83%; Pooled] trinity [Experiment TCDENDERUN3; MAP 19.35%; Not Pooled] 0.8 karlsruhe [Experiment EN_INDEXBL; MAP 16.46%; Not Pooled] weimar [Experiment COMBINEDFRINDE; MAP 15.75%; Not Pooled] cheshire [Experiment BIENDET2FBX; MAP 11.50%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Bilingual German Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 1 chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; MAP 25.83%; Pooled] trinity [Experiment TCDENDERUN3; MAP 19.35%; Not Pooled] 0.8 karlsruhe [Experiment EN_INDEXBL; MAP 16.46%; Not Pooled] weimar [Experiment COMBINEDFRINDE; MAP 15.75%; Not Pooled] cheshire [Experiment BIENDET2FBX; MAP 11.50%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 145 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Ad−Hoc TEL Bilingual German Task − Box Plot of the Topics chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; MAP 25.83%; Pooled] chemnitz [Experiment CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1; MAP 25.80%; Not Pooled] chemnitz [Experiment CUT_6_BILI_MERGED_FR2DE_1_2; MAP 25.52%; Not Pooled] chemnitz [Experiment CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1; MAP 24.44%; Not Pooled] trinity [Experiment TCDENDERUN3; MAP 19.35%; Not Pooled] trinity [Experiment TCDENDERUN2; MAP 19.10%; Pooled] trinity [Experiment TCDFRDERUN2; MAP 18.40%; Not Pooled] trinity [Experiment TCDFRDERUN3; MAP 18.39%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; MAP 16.46%; Not Pooled] weimar [Experiment COMBINEDFRINDE; MAP 15.75%; Not Pooled] karlsruhe [Experiment EN_INDEXALL; MAP 15.13%; Not Pooled] karlsruhe [Experiment FR_INDEXBL; MAP 15.05%; Not Pooled] Experiments karlsruhe [Experiment EN_INDEXALLESA; MAP 14.68%; Pooled] karlsruhe [Experiment FR_INDEXALLESA; MAP 14.13%; Not Pooled] weimar [Experiment COMBINEDENINDE; MAP 12.93%; Not Pooled] weimar [Experiment CLESA169283ENINDE; MAP 12.35%; Pooled] cheshire [Experiment BIENDET2FBX; MAP 11.50%; Not Pooled] weimar [Experiment CLESA169283FRINDE; MAP 10.80%; Not Pooled] cheshire [Experiment BIENDET2FB; MAP 10.31%; Pooled] cheshire [Experiment BIFRDET2FB; MAP 9.91%; Not Pooled] celi [Experiment CACAO_ENONB_BASE; MAP 9.05%; Not Pooled] celi [Experiment CACAO_ENONB_ML; MAP 8.96%; Not Pooled] cheshire [Experiment BIFRDET2FBX; MAP 8.82%; Not Pooled] celi [Experiment CACAO_FRONB_ML; MAP 8.78%; Not Pooled] celi [Experiment CACAO_FRONB_BASE; MAP 8.74%; Not Pooled] celi [Experiment CACAO_ITONB_BASE; MAP 7.23%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Average Precision 146 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 10.2455/TUKEY_T_TEST.248B591B94084B268C8470A0D7D0E84C Ad−Hoc TEL Bilingual German Task − Tukey T test with "top group" highlighted CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 CUT_5_BILI_MERGED_EN2DE_1_2 CUT_6_BILI_MERGED_FR2DE_1_2 CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 TCDENDERUN3 TCDENDERUN2 TCDFRDERUN2 TCDFRDERUN3 COMBINEDFRINDE EN_INDEXBL Experiments EN_INDEXALL EN_INDEXALLESA FR_INDEXBL FR_INDEXALLESA COMBINEDENINDE CLESA169283ENINDE BIENDET2FBX CLESA169283FRINDE BIENDET2FB BIFRDET2FB BIFRDET2FBX CACAO_ENONB_BASE CACAO_ENONB_ML CACAO_FRONB_ML CACAO_FRONB_BASE CACAO_ITONB_BASE 0.1 0.2 0.3 0.4 0.5 0.6 arcsin(sqrt(Average Precsion)) 147 148 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Ad−Hoc TEL Bilingual German Task Top 5 Participants − Retrieved documents vs Mean Precision 100% chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; R−Prec 27.96%; Pooled] trinity [Experiment TCDENDERUN3; R−Prec 21.63%; Not Pooled] 90% karlsruhe [Experiment EN_INDEXBL; R−Prec 18.06%; Not Pooled] weimar [Experiment COMBINEDFRINDE; R−Prec 20.48%; Not Pooled] cheshire [Experiment BIENDET2FBX; R−Prec 12.98%; Not Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) 1 chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; R−Prec 27.96%; Pooled] trinity [Experiment TCDENDERUN3; R−Prec 21.63%; Not Pooled] 0.8 karlsruhe [Experiment EN_INDEXBL; R−Prec 18.06%; Not Pooled] weimar [Experiment COMBINEDFRINDE; R−Prec 20.48%; Not Pooled] cheshire [Experiment BIENDET2FBX; R−Prec 12.98%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Bilingual German Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 1 chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; R−Prec 27.96%; Pooled] trinity [Experiment TCDENDERUN3; R−Prec 21.63%; Not Pooled] 0.8 karlsruhe [Experiment EN_INDEXBL; R−Prec 18.06%; Not Pooled] weimar [Experiment COMBINEDFRINDE; R−Prec 20.48%; Not Pooled] cheshire [Experiment BIENDET2FBX; R−Prec 12.98%; Not Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 149 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Ad−Hoc TEL Bilingual German Task − Box Plot of the Topics chemnitz [Experiment CUT_5_BILI_MERGED_EN2DE_1_2; R−Prec 27.96%; Pooled] chemnitz [Experiment CUT_6_BILI_MERGED_FR2DE_1_2; R−Prec 27.11%; Not Pooled] chemnitz [Experiment CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1; R−Prec 27.07%; Not Pooled] chemnitz [Experiment CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1; R−Prec 26.73%; Not Pooled] trinity [Experiment TCDENDERUN3; R−Prec 21.63%; Not Pooled] trinity [Experiment TCDENDERUN2; R−Prec 21.55%; Pooled] trinity [Experiment TCDFRDERUN2; R−Prec 20.50%; Not Pooled] weimar [Experiment COMBINEDFRINDE; R−Prec 20.48%; Not Pooled] trinity [Experiment TCDFRDERUN3; R−Prec 20.16%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; R−Prec 18.06%; Not Pooled] karlsruhe [Experiment FR_INDEXBL; R−Prec 17.25%; Not Pooled] karlsruhe [Experiment EN_INDEXALLESA; R−Prec 17.10%; Pooled] Experiments karlsruhe [Experiment EN_INDEXALL; R−Prec 17.07%; Not Pooled] karlsruhe [Experiment FR_INDEXALLESA; R−Prec 16.90%; Not Pooled] weimar [Experiment COMBINEDENINDE; R−Prec 15.19%; Not Pooled] weimar [Experiment CLESA169283ENINDE; R−Prec 14.70%; Pooled] cheshire [Experiment BIENDET2FBX; R−Prec 12.98%; Not Pooled] weimar [Experiment CLESA169283FRINDE; R−Prec 12.45%; Not Pooled] cheshire [Experiment BIFRDET2FB; R−Prec 12.34%; Not Pooled] cheshire [Experiment BIENDET2FB; R−Prec 12.29%; Pooled] cheshire [Experiment BIFRDET2FBX; R−Prec 11.34%; Not Pooled] celi [Experiment CACAO_ENONB_BASE; R−Prec 11.22%; Not Pooled] celi [Experiment CACAO_ENONB_ML; R−Prec 11.16%; Not Pooled] celi [Experiment CACAO_FRONB_BASE; R−Prec 10.99%; Not Pooled] celi [Experiment CACAO_FRONB_ML; R−Prec 10.91%; Not Pooled] celi [Experiment CACAO_ITONB_BASE; R−Prec 8.97%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% R−Precision 150 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Ad−Hoc TEL Bilingual German Task − Tukey T test with "top group" highlighted CUT_5_BILI_MERGED_EN2DE_1_2 CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 CUT_6_BILI_MERGED_FR2DE_1_2 CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 TCDENDERUN2 TCDENDERUN3 COMBINEDFRINDE TCDFRDERUN2 TCDFRDERUN3 EN_INDEXALLESA Experiments EN_INDEXBL FR_INDEXALLESA FR_INDEXBL EN_INDEXALL COMBINEDENINDE CLESA169283ENINDE BIENDET2FBX BIFRDET2FB BIENDET2FB CLESA169283FRINDE BIFRDET2FBX CACAO_ENONB_BASE CACAO_ENONB_ML CACAO_FRONB_BASE CACAO_FRONB_ML CACAO_ITONB_BASE 0.1 0.2 0.3 0.4 0.5 0.6 arcsin(sqrt(R−Precision)) 151 152 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.00 8.00 10.00 12.00 14.00 9.42 3.90 4.00 14.00 0.41 3.27 0.00 2.77 6.00 14.00 10.61 2.13 702-AH 1.00 11.00 15.50 16.00 19.00 13.31 4.41 5.00 18.00 0.33 11.97 8.66 3.59 5.00 19.00 13.80 3.70 703-AH 0.00 8.00 9.00 9.00 11.00 8.12 2.96 1.00 11.00 0.36 4.67 0.00 2.14 8.00 10.00 8.94 0.44 704-AH 13.00 27.00 30.50 33.00 47.00 31.04 8.31 6.00 34.00 0.27 29.92 28.68 5.74 20.00 34.00 29.00 4.37 705-AH 6.00 10.00 13.00 14.00 14.00 11.73 2.59 4.00 8.00 0.22 11.42 11.06 2.29 6.00 14.00 11.73 2.59 706-AH 2.00 5.00 6.00 7.00 9.00 6.23 1.66 2.00 7.00 0.27 5.98 5.64 1.27 2.00 9.00 6.23 1.66 707-AH 0.00 0.00 10.00 10.00 10.00 6.77 4.46 10.00 10.00 0.66 0.22 0.00 3.99 0.00 10.00 6.77 4.46 708-AH 0.00 5.00 8.00 8.00 9.00 6.46 2.66 3.00 9.00 0.41 2.33 0.00 2.09 1.00 9.00 7.00 1.93 709-AH 0.00 9.00 28.00 35.00 44.00 22.92 15.51 26.00 44.00 0.68 8.89 0.00 14.08 0.00 44.00 22.92 15.51 710-AH 0.00 2.00 7.00 22.00 26.00 11.31 9.91 20.00 26.00 0.88 2.64 0.00 8.97 0.00 26.00 11.31 9.91 711-AH 0.00 3.00 3.50 6.00 14.00 4.62 3.91 3.00 14.00 0.85 0.62 0.00 2.90 0.00 10.00 3.83 2.88 712-AH 2.00 4.00 5.00 5.00 11.00 4.96 1.91 1.00 9.00 0.38 4.71 4.50 0.97 4.00 5.00 4.57 0.51 713-AH 0.00 4.00 5.00 7.00 8.00 4.88 2.34 3.00 8.00 0.48 1.16 0.00 1.61 0.00 8.00 4.88 2.34 714-AH 0.00 2.00 20.00 21.00 24.00 13.62 8.84 19.00 24.00 0.65 3.44 0.00 7.91 0.00 24.00 13.62 8.84 715-AH 1.00 4.00 10.00 12.00 14.00 8.27 4.39 8.00 13.00 0.53 6.56 4.42 3.86 1.00 14.00 8.27 4.39 716-AH 17.00 23.00 25.00 26.00 26.00 23.69 2.66 3.00 9.00 0.11 23.53 23.35 2.04 21.00 26.00 24.48 1.56 717-AH 19.00 29.00 34.50 38.00 42.00 33.04 7.26 9.00 23.00 0.22 32.18 31.23 6.19 19.00 42.00 33.04 7.26 718-AH 5.00 19.00 21.00 26.00 31.00 20.58 8.31 7.00 26.00 0.40 18.11 14.75 6.29 15.00 31.00 24.05 4.51 719-AH 0.00 3.00 5.00 6.00 15.00 5.04 3.64 3.00 15.00 0.72 1.64 0.00 2.66 0.00 6.00 3.77 2.07 720-AH 4.00 12.00 13.50 14.00 16.00 12.77 2.50 2.00 12.00 0.20 12.42 11.86 1.80 10.00 16.00 13.12 1.79 721-AH 0.00 2.00 12.00 13.00 23.00 9.81 7.22 11.00 23.00 0.74 0.45 0.00 6.01 0.00 23.00 9.81 7.22 722-AH 1.00 4.00 4.00 7.00 8.00 4.88 1.86 3.00 7.00 0.38 4.49 3.97 1.64 1.00 8.00 4.88 1.86 723-AH 0.00 3.00 5.00 7.00 12.00 4.54 2.92 4.00 12.00 0.64 0.65 0.00 2.34 0.00 12.00 4.54 2.92 724-AH 25.00 45.00 48.00 48.00 48.00 44.19 7.37 3.00 23.00 0.17 43.44 42.48 5.24 43.00 48.00 47.18 1.65 725-AH 1.00 3.00 14.00 15.00 39.00 14.04 12.06 12.00 38.00 0.86 8.92 4.94 8.36 1.00 24.00 9.64 6.43 726-AH 0.00 2.00 5.00 7.00 15.00 4.96 3.97 5.00 15.00 0.80 0.97 0.00 3.12 0.00 14.00 4.56 3.48 727-AH 1.00 2.00 6.00 9.00 25.00 8.04 7.76 7.00 24.00 0.97 5.04 3.01 5.59 1.00 12.00 5.05 3.26 728-AH 1.00 3.00 3.50 5.00 14.00 4.92 3.52 2.00 13.00 0.72 3.94 3.17 2.74 1.00 5.00 3.15 1.09 729-AH 0.00 6.00 10.00 18.00 19.00 10.85 6.77 12.00 19.00 0.62 3.24 0.00 5.91 0.00 19.00 10.85 6.77 730-AH 0.00 7.00 11.00 14.00 16.00 9.58 4.94 7.00 16.00 0.52 2.03 0.00 3.95 0.00 16.00 9.58 4.94 731-AH 3.00 26.00 31.00 39.00 50.00 29.77 13.11 13.00 47.00 0.44 25.31 18.18 9.99 12.00 50.00 31.92 11.14 732-AH 7.00 13.00 15.00 17.00 26.00 15.69 5.35 4.00 19.00 0.34 14.81 13.91 3.85 7.00 22.00 13.91 3.52 733-AH 0.00 1.00 18.50 21.00 22.00 12.69 9.62 20.00 22.00 0.76 1.20 0.00 8.89 0.00 22.00 12.69 9.62 734-AH 1.00 18.00 19.00 20.00 20.00 17.58 5.08 2.00 19.00 0.29 15.07 7.94 3.04 15.00 20.00 18.96 1.49 735-AH 2.00 6.00 16.50 26.00 35.00 16.65 10.43 20.00 33.00 0.63 12.60 8.36 8.81 2.00 35.00 16.65 10.43 736-AH 4.00 10.00 13.00 16.00 20.00 12.54 4.55 6.00 16.00 0.36 11.57 10.41 3.57 4.00 20.00 12.54 4.55 737-AH 3.00 21.00 34.00 44.00 63.00 34.15 16.35 23.00 60.00 0.48 28.18 18.06 12.69 3.00 63.00 34.15 16.35 738-AH 0.00 5.00 11.00 16.00 29.00 11.73 7.50 11.00 29.00 0.64 5.36 0.00 5.79 0.00 29.00 11.73 7.50 739-AH 1.00 18.00 20.50 25.00 29.00 20.88 6.47 7.00 28.00 0.31 18.67 11.59 4.65 8.00 29.00 21.68 5.15 740-AH 0.00 9.00 44.00 51.00 62.00 34.27 22.24 42.00 62.00 0.65 14.28 0.00 20.23 0.00 62.00 34.27 22.24 741-AH 0.00 1.00 1.00 17.00 20.00 8.31 8.51 16.00 20.00 1.02 0.41 0.00 8.25 0.00 20.00 8.31 8.51 742-AH 0.00 0.00 0.00 2.00 3.00 0.92 1.29 2.00 3.00 1.40 0.00 0.00 1.14 0.00 3.00 0.92 1.29 743-AH 0.00 1.00 1.00 6.00 15.00 3.85 5.02 5.00 15.00 1.30 0.37 0.00 3.88 0.00 7.00 1.91 2.09 744-AH 5.00 18.00 21.50 23.00 26.00 19.77 6.00 5.00 21.00 0.30 18.32 16.00 4.30 13.00 26.00 21.61 3.20 745-AH 0.00 7.00 32.00 62.00 71.00 31.46 27.33 55.00 71.00 0.87 6.40 0.00 24.58 0.00 71.00 31.46 27.33 746-AH 3.00 13.00 25.50 35.00 74.00 29.96 21.88 22.00 71.00 0.73 22.45 14.85 16.10 3.00 49.00 21.95 11.55 747-AH 1.00 28.00 38.50 47.00 76.00 39.19 20.93 19.00 75.00 0.53 29.46 11.65 16.04 1.00 74.00 37.72 19.94 748-AH 0.00 0.00 1.50 3.00 3.00 1.54 1.45 3.00 3.00 0.94 0.01 0.00 1.38 0.00 3.00 1.54 1.45 749-AH 5.00 7.00 12.50 23.00 62.00 17.65 14.95 16.00 57.00 0.85 13.44 10.80 10.68 5.00 35.00 14.12 8.58 750-AH 1.00 3.00 6.00 11.00 16.00 7.38 4.89 8.00 15.00 0.66 5.61 3.90 4.14 1.00 16.00 7.38 4.89 153 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0138 0.0637 0.1545 0.2587 0.0871 0.0763 0.1407 0.2587 0.8758 0.0247 0.0001 0.0636 0.0000 0.2587 0.0871 0.0763 702-AH 0.0001 0.0524 0.0606 0.0820 0.1582 0.0619 0.0370 0.0296 0.1582 0.5977 0.0374 0.0014 0.0265 0.0093 0.1222 0.0655 0.0259 703-AH 0.0000 0.1212 0.1502 0.2188 0.4671 0.1772 0.1140 0.0977 0.4671 0.6430 0.0999 0.0003 0.0794 0.0000 0.2448 0.1437 0.0668 704-AH 0.0101 0.0441 0.1187 0.1867 0.3254 0.1341 0.0944 0.1426 0.3153 0.7040 0.0969 0.0596 0.0755 0.0101 0.3254 0.1341 0.0944 705-AH 0.0779 0.2156 0.2957 0.3386 0.4841 0.2872 0.1136 0.1230 0.4063 0.3956 0.2611 0.2288 0.0935 0.0779 0.4841 0.2872 0.1136 706-AH 0.0006 0.1077 0.1700 0.2078 0.4121 0.1640 0.1050 0.1001 0.4115 0.6404 0.0990 0.0111 0.0782 0.0006 0.2664 0.1445 0.0825 707-AH 0.0000 0.0000 0.2880 0.3808 0.5799 0.2468 0.2201 0.3808 0.5799 0.8918 0.0140 0.0000 0.1944 0.0000 0.5799 0.2468 0.2201 708-AH 0.0000 0.0119 0.0242 0.3953 0.5350 0.1563 0.2053 0.3834 0.5350 1.3134 0.0258 0.0001 0.1833 0.0000 0.5350 0.1563 0.2053 709-AH 0.0000 0.0069 0.1387 0.2144 0.5010 0.1441 0.1506 0.2075 0.5010 1.0447 0.0254 0.0002 0.1242 0.0000 0.5010 0.1441 0.1506 710-AH 0.0000 0.0011 0.0089 0.2460 0.7314 0.1518 0.2172 0.2449 0.7314 1.4310 0.0106 0.0001 0.1753 0.0000 0.6057 0.1286 0.1860 711-AH 0.0000 0.0007 0.0023 0.0415 0.4263 0.0512 0.1086 0.0408 0.4263 2.1227 0.0027 0.0001 0.0715 0.0000 0.0709 0.0107 0.0213 712-AH 0.0037 0.1167 0.1423 0.2028 0.2515 0.1413 0.0765 0.0861 0.2478 0.5412 0.0949 0.0314 0.0578 0.0037 0.2515 0.1413 0.0765 713-AH 0.0000 0.0116 0.1062 0.1869 0.2826 0.1125 0.0993 0.1752 0.2826 0.8831 0.0260 0.0001 0.0846 0.0000 0.2826 0.1125 0.0993 714-AH 0.0000 0.0021 0.0257 0.0427 0.4659 0.0591 0.1220 0.0407 0.4659 2.0641 0.0082 0.0001 0.0648 0.0000 0.0870 0.0252 0.0242 715-AH 0.0001 0.0177 0.0466 0.1273 0.2756 0.0895 0.0941 0.1096 0.2755 1.0506 0.0349 0.0024 0.0771 0.0001 0.2756 0.0895 0.0941 716-AH 0.0990 0.3170 0.4299 0.7347 0.8965 0.4959 0.2329 0.4177 0.7975 0.4696 0.4392 0.3772 0.1988 0.0990 0.8965 0.4959 0.2329 717-AH 0.0568 0.2174 0.3228 0.4306 0.5898 0.3168 0.1456 0.2131 0.5330 0.4594 0.2747 0.2222 0.1228 0.0568 0.5898 0.3168 0.1456 718-AH 0.0069 0.1449 0.3029 0.4086 0.5864 0.2790 0.1766 0.2637 0.5796 0.6330 0.1802 0.0560 0.1497 0.0069 0.5864 0.2790 0.1766 719-AH 0.0000 0.0012 0.0025 0.0181 0.0618 0.0120 0.0172 0.0169 0.0618 1.4316 0.0029 0.0001 0.0133 0.0000 0.0420 0.0086 0.0125 720-AH 0.0057 0.2177 0.3491 0.4557 0.5505 0.3104 0.1702 0.2381 0.5447 0.5482 0.2041 0.0539 0.1384 0.0057 0.5505 0.3104 0.1702 721-AH 0.0000 0.0060 0.0260 0.0428 0.1563 0.0331 0.0356 0.0368 0.1563 1.0767 0.0050 0.0000 0.0252 0.0000 0.0901 0.0282 0.0258 722-AH 0.0002 0.0156 0.0910 0.1590 0.3626 0.1082 0.0976 0.1434 0.3624 0.9025 0.0501 0.0048 0.0782 0.0002 0.3626 0.1082 0.0976 723-AH 0.0000 0.0173 0.0451 0.0780 0.2552 0.0567 0.0572 0.0607 0.2552 1.0093 0.0120 0.0001 0.0410 0.0000 0.1466 0.0488 0.0413 724-AH 0.4609 0.6203 0.6909 0.7459 0.7962 0.6720 0.0988 0.1256 0.3353 0.1470 0.6644 0.6561 0.0786 0.4609 0.7962 0.6720 0.0988 725-AH 0.0002 0.0006 0.0059 0.2161 0.5342 0.1361 0.1817 0.2155 0.5340 1.3354 0.0118 0.0008 0.1496 0.0002 0.5342 0.1361 0.1817 726-AH 0.0000 0.0033 0.0444 0.0760 0.2457 0.0519 0.0555 0.0727 0.2457 1.0691 0.0098 0.0001 0.0412 0.0000 0.1212 0.0442 0.0398 727-AH 0.0001 0.0003 0.0056 0.0341 0.3298 0.0443 0.0881 0.0338 0.3298 1.9902 0.0037 0.0003 0.0604 0.0001 0.0634 0.0095 0.0157 728-AH 0.0005 0.0043 0.0092 0.0649 0.1216 0.0317 0.0395 0.0606 0.1211 1.2454 0.0119 0.0037 0.0324 0.0005 0.1216 0.0317 0.0395 729-AH 0.0000 0.0017 0.0106 0.0122 0.0285 0.0089 0.0066 0.0105 0.0285 0.7365 0.0034 0.0001 0.0051 0.0000 0.0154 0.0082 0.0054 730-AH 0.0000 0.0128 0.0310 0.0880 0.2568 0.0546 0.0672 0.0753 0.2568 1.2307 0.0134 0.0001 0.0498 0.0000 0.1357 0.0390 0.0401 731-AH 0.0003 0.0858 0.1793 0.2953 0.5719 0.1903 0.1357 0.2096 0.5715 0.7133 0.1055 0.0048 0.1054 0.0003 0.5719 0.1903 0.1357 732-AH 0.0104 0.0238 0.0403 0.1428 0.2898 0.0817 0.0828 0.1190 0.2794 1.0135 0.0503 0.0335 0.0696 0.0104 0.2898 0.0817 0.0828 733-AH 0.0000 0.0011 0.1127 0.2802 0.5223 0.1534 0.1588 0.2791 0.5223 1.0350 0.0160 0.0001 0.1340 0.0000 0.5223 0.1534 0.1588 734-AH 0.0005 0.4236 0.7761 0.8487 0.9287 0.6413 0.2838 0.4251 0.9282 0.4425 0.3866 0.0088 0.2406 0.0005 0.9287 0.6413 0.2838 735-AH 0.0001 0.0052 0.0221 0.0554 0.1478 0.0375 0.0427 0.0502 0.1477 1.1395 0.0124 0.0014 0.0335 0.0001 0.1275 0.0331 0.0371 736-AH 0.0013 0.0081 0.0260 0.0494 0.0720 0.0293 0.0221 0.0412 0.0707 0.7549 0.0184 0.0086 0.0193 0.0013 0.0720 0.0293 0.0221 737-AH 0.0001 0.0197 0.0328 0.0708 0.2070 0.0462 0.0441 0.0511 0.2069 0.9552 0.0241 0.0015 0.0311 0.0001 0.1114 0.0398 0.0301 738-AH 0.0000 0.0011 0.0090 0.0316 0.2164 0.0312 0.0495 0.0305 0.2164 1.5872 0.0065 0.0002 0.0328 0.0000 0.0714 0.0161 0.0199 739-AH 0.0345 0.2206 0.2713 0.4302 0.6081 0.2917 0.1599 0.2095 0.5736 0.5480 0.2408 0.1784 0.1213 0.0345 0.6081 0.2917 0.1599 740-AH 0.0000 0.0046 0.1645 0.4295 0.5721 0.2112 0.2013 0.4249 0.5721 0.9531 0.0360 0.0002 0.1797 0.0000 0.5721 0.2112 0.2013 741-AH 0.0000 0.0005 0.0009 0.3306 0.6172 0.1619 0.2150 0.3301 0.6172 1.3285 0.0048 0.0001 0.1840 0.0000 0.6172 0.1619 0.2150 742-AH 0.0000 0.0000 0.0000 0.0056 0.6678 0.0721 0.1746 0.0056 0.6678 2.4208 0.0003 0.0000 0.1096 0.0000 0.0056 0.0009 0.0019 743-AH 0.0000 0.0003 0.0026 0.0232 0.0998 0.0161 0.0273 0.0229 0.0998 1.6945 0.0016 0.0001 0.0194 0.0000 0.0330 0.0072 0.0107 744-AH 0.0126 0.2249 0.3732 0.4392 0.5559 0.3130 0.1719 0.2143 0.5433 0.5493 0.2233 0.0942 0.1476 0.0126 0.5559 0.3130 0.1719 745-AH 0.0000 0.0010 0.0246 0.2776 0.5926 0.1420 0.1938 0.2767 0.5926 1.3645 0.0121 0.0001 0.1639 0.0000 0.5926 0.1420 0.1938 746-AH 0.0001 0.0107 0.0307 0.1078 0.4183 0.0945 0.1345 0.0971 0.4182 1.4241 0.0244 0.0015 0.1028 0.0001 0.1115 0.0323 0.0331 747-AH 0.0001 0.0208 0.0304 0.0583 0.1718 0.0456 0.0446 0.0374 0.1717 0.9775 0.0239 0.0016 0.0330 0.0001 0.0847 0.0322 0.0234 748-AH 0.0000 0.0000 0.0062 0.0960 0.8667 0.1169 0.2223 0.0960 0.8667 1.9019 0.0017 0.0000 0.1463 0.0000 0.1943 0.0340 0.0536 749-AH 0.0007 0.0025 0.0106 0.0338 0.4021 0.0430 0.0992 0.0313 0.4014 2.3107 0.0094 0.0037 0.0546 0.0007 0.0783 0.0155 0.0204 750-AH 0.0001 0.0010 0.0197 0.1204 0.2406 0.0554 0.0728 0.1194 0.2405 1.3159 0.0105 0.0011 0.0602 0.0001 0.2406 0.0554 0.0728 154 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0333 0.1333 0.2667 0.0769 0.0898 0.1333 0.2667 1.1677 0.0012 0.0000 0.0793 0.0000 0.2667 0.0769 0.0898 702-AH 0.0000 0.0909 0.1364 0.1364 0.2273 0.1171 0.0645 0.0455 0.2273 0.5507 0.0226 0.0001 0.0491 0.0909 0.1818 0.1409 0.0251 703-AH 0.0000 0.0909 0.1818 0.1818 0.5455 0.1923 0.1268 0.0909 0.5455 0.6595 0.0864 0.0001 0.0799 0.0000 0.2727 0.1542 0.0695 704-AH 0.0000 0.1250 0.2143 0.2679 0.4107 0.1971 0.1058 0.1429 0.4107 0.5366 0.1224 0.0003 0.0858 0.0000 0.4107 0.1971 0.1058 705-AH 0.0714 0.2143 0.2143 0.3571 0.4286 0.2527 0.1015 0.1429 0.3571 0.4015 0.2300 0.2030 0.0858 0.0714 0.4286 0.2527 0.1015 706-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.1962 0.1216 0.2000 0.5000 0.6199 0.0635 0.0001 0.0896 0.0000 0.5000 0.1962 0.1216 707-AH 0.0000 0.0000 0.3000 0.3000 0.5000 0.2077 0.1831 0.3000 0.5000 0.8818 0.0059 0.0000 0.1680 0.0000 0.5000 0.2077 0.1831 708-AH 0.0000 0.0000 0.0000 0.4444 0.4444 0.1453 0.2055 0.4444 0.4444 1.4145 0.0006 0.0000 0.1841 0.0000 0.4444 0.1453 0.2055 709-AH 0.0000 0.0417 0.1771 0.2917 0.5208 0.1875 0.1609 0.2500 0.5208 0.8584 0.0204 0.0000 0.1346 0.0000 0.5208 0.1875 0.1609 710-AH 0.0000 0.0000 0.0345 0.3103 0.8276 0.1764 0.2441 0.3103 0.8276 1.3838 0.0022 0.0000 0.1965 0.0000 0.6207 0.1503 0.2090 711-AH 0.0000 0.0000 0.0000 0.0625 0.3750 0.0673 0.1185 0.0625 0.3750 1.7603 0.0003 0.0000 0.0891 0.0000 0.1250 0.0149 0.0337 712-AH 0.0000 0.1667 0.1667 0.2500 0.2500 0.1795 0.0840 0.0833 0.2500 0.4678 0.0621 0.0001 0.0651 0.0833 0.2500 0.2029 0.0552 713-AH 0.0000 0.0000 0.0909 0.2727 0.3636 0.1329 0.1239 0.2727 0.3636 0.9328 0.0083 0.0000 0.1076 0.0000 0.3636 0.1329 0.1239 714-AH 0.0000 0.0000 0.0303 0.0909 0.5758 0.0734 0.1522 0.0909 0.5758 2.0723 0.0013 0.0000 0.0840 0.0000 0.0909 0.0316 0.0374 715-AH 0.0000 0.0000 0.1250 0.2500 0.3750 0.1418 0.1420 0.2500 0.3750 1.0015 0.0084 0.0000 0.1182 0.0000 0.3750 0.1418 0.1420 716-AH 0.1154 0.3846 0.5000 0.6154 0.8462 0.5044 0.1772 0.2308 0.7308 0.3513 0.4682 0.4200 0.1379 0.1154 0.8462 0.5044 0.1772 717-AH 0.0952 0.3333 0.3810 0.4524 0.5476 0.3690 0.1153 0.1190 0.4524 0.3125 0.3444 0.3087 0.0861 0.2143 0.5476 0.3909 0.0893 718-AH 0.0000 0.2188 0.3281 0.5000 0.6250 0.3269 0.1742 0.2812 0.6250 0.5327 0.1429 0.0001 0.1394 0.0000 0.6250 0.3269 0.1742 719-AH 0.0000 0.0000 0.0000 0.0400 0.1600 0.0292 0.0460 0.0400 0.1600 1.5749 0.0003 0.0000 0.0360 0.0000 0.0800 0.0157 0.0263 720-AH 0.0000 0.3125 0.3750 0.4375 0.5625 0.3341 0.1845 0.1250 0.5625 0.5522 0.0983 0.0001 0.1431 0.3125 0.5625 0.4250 0.0826 721-AH 0.0000 0.0000 0.0294 0.1176 0.2059 0.0633 0.0615 0.1176 0.2059 0.9712 0.0048 0.0000 0.0546 0.0000 0.2059 0.0633 0.0615 722-AH 0.0000 0.0000 0.1111 0.2222 0.4444 0.1282 0.1120 0.2222 0.4444 0.8733 0.0117 0.0000 0.0835 0.0000 0.4444 0.1282 0.1120 723-AH 0.0000 0.0000 0.1000 0.1333 0.2667 0.0949 0.0781 0.1333 0.2667 0.8236 0.0094 0.0000 0.0641 0.0000 0.2667 0.0949 0.0781 724-AH 0.4375 0.5833 0.6458 0.6667 0.6875 0.6146 0.0705 0.0833 0.2500 0.1148 0.6104 0.6058 0.0577 0.4792 0.6875 0.6217 0.0618 725-AH 0.0000 0.0000 0.0000 0.2979 0.5745 0.1620 0.2008 0.2979 0.5745 1.2391 0.0012 0.0000 0.1745 0.0000 0.5745 0.1620 0.2008 726-AH 0.0000 0.0000 0.0625 0.1250 0.4375 0.0913 0.1064 0.1250 0.4375 1.1649 0.0045 0.0000 0.0810 0.0000 0.2500 0.0775 0.0812 727-AH 0.0000 0.0000 0.0000 0.1111 0.3704 0.0584 0.1000 0.1111 0.3704 1.7126 0.0003 0.0000 0.0764 0.0000 0.1852 0.0355 0.0603 728-AH 0.0000 0.0000 0.0526 0.1053 0.2105 0.0547 0.0657 0.1053 0.2105 1.2021 0.0013 0.0000 0.0515 0.0000 0.2105 0.0547 0.0657 729-AH 0.0000 0.0000 0.0000 0.0312 0.0625 0.0144 0.0202 0.0312 0.0625 1.4016 0.0002 0.0000 0.0178 0.0000 0.0625 0.0144 0.0202 730-AH 0.0000 0.0000 0.0500 0.0500 0.3000 0.0654 0.0797 0.0500 0.3000 1.2191 0.0048 0.0000 0.0556 0.0000 0.0500 0.0310 0.0249 731-AH 0.0000 0.2105 0.2895 0.3684 0.5965 0.2881 0.1441 0.1579 0.5965 0.5001 0.1301 0.0001 0.1127 0.0000 0.5965 0.2881 0.1441 732-AH 0.0370 0.0370 0.0370 0.1852 0.4074 0.1154 0.1154 0.1481 0.3704 1.0000 0.0758 0.0565 0.0942 0.0370 0.3333 0.1037 0.1009 733-AH 0.0000 0.0000 0.1087 0.3043 0.5217 0.1689 0.1821 0.3043 0.5217 1.0783 0.0119 0.0000 0.1484 0.0000 0.5217 0.1689 0.1821 734-AH 0.0000 0.4000 0.7250 0.8000 0.9000 0.6000 0.2588 0.4000 0.9000 0.4314 0.2635 0.0001 0.2231 0.0000 0.9000 0.6000 0.2588 735-AH 0.0000 0.0137 0.1027 0.1507 0.2466 0.0969 0.0784 0.1370 0.2466 0.8092 0.0211 0.0001 0.0653 0.0000 0.2466 0.0969 0.0784 736-AH 0.0000 0.0000 0.0385 0.0769 0.1923 0.0503 0.0583 0.0769 0.1923 1.1601 0.0023 0.0000 0.0460 0.0000 0.1923 0.0503 0.0583 737-AH 0.0000 0.0476 0.0655 0.1190 0.2500 0.0865 0.0586 0.0714 0.2500 0.6768 0.0398 0.0001 0.0467 0.0000 0.1905 0.0800 0.0491 738-AH 0.0000 0.0000 0.0294 0.1471 0.3824 0.0679 0.0962 0.1471 0.3824 1.4176 0.0013 0.0000 0.0774 0.0000 0.2059 0.0553 0.0732 739-AH 0.0345 0.2414 0.2931 0.4138 0.6207 0.3170 0.1294 0.1724 0.5862 0.4082 0.2845 0.2271 0.0962 0.0345 0.6207 0.3170 0.1294 740-AH 0.0000 0.0469 0.2500 0.4844 0.6406 0.2668 0.2256 0.4375 0.6406 0.8453 0.0343 0.0001 0.1972 0.0000 0.6406 0.2668 0.2256 741-AH 0.0000 0.0000 0.0000 0.4000 0.6000 0.1769 0.2277 0.4000 0.6000 1.2870 0.0012 0.0000 0.2101 0.0000 0.6000 0.1769 0.2277 742-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0769 0.1957 0.0000 0.6667 2.5438 0.0001 0.0000 0.1302 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0205 0.0366 0.0667 0.1333 1.7847 0.0001 0.0000 0.0300 0.0000 0.1333 0.0205 0.0366 744-AH 0.0385 0.2308 0.3462 0.4231 0.5769 0.3166 0.1618 0.1923 0.5385 0.5112 0.2512 0.1616 0.1347 0.0385 0.5769 0.3166 0.1618 745-AH 0.0000 0.0139 0.1111 0.3194 0.5833 0.1774 0.1949 0.3056 0.5833 1.0987 0.0145 0.0000 0.1670 0.0000 0.5833 0.1774 0.1949 746-AH 0.0000 0.0390 0.0974 0.2468 0.4675 0.1513 0.1473 0.2078 0.4675 0.9735 0.0298 0.0001 0.1193 0.0000 0.4675 0.1513 0.1473 747-AH 0.0000 0.0465 0.0581 0.0930 0.2442 0.0725 0.0499 0.0465 0.2442 0.6889 0.0351 0.0001 0.0332 0.0000 0.1512 0.0656 0.0363 748-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0769 0.1715 0.0000 0.6667 2.2291 0.0001 0.0000 0.1243 0.0000 0.0000 0.0000 0.0000 749-AH 0.0000 0.0267 0.0267 0.0533 0.4667 0.0682 0.1132 0.0267 0.4667 1.6591 0.0220 0.0001 0.0631 0.0000 0.0800 0.0330 0.0208 750-AH 0.0000 0.0000 0.0600 0.2000 0.2800 0.0908 0.0937 0.2000 0.2800 1.0320 0.0045 0.0000 0.0801 0.0000 0.2800 0.0908 0.0937 155 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0089 0.1244 0.2044 0.0576 0.0710 0.1244 0.2044 1.2334 0.0010 0.0000 0.0637 0.0000 0.2044 0.0576 0.0710 702-AH 0.0000 0.0744 0.0816 0.0930 0.1963 0.0803 0.0449 0.0186 0.1963 0.5591 0.0225 0.0001 0.0287 0.0640 0.1012 0.0842 0.0107 703-AH 0.0000 0.0826 0.1074 0.1901 0.4298 0.1532 0.1126 0.1074 0.4298 0.7348 0.0897 0.0003 0.0865 0.0000 0.2314 0.1200 0.0662 704-AH 0.0338 0.1234 0.1795 0.3807 0.5596 0.2459 0.1484 0.2573 0.5258 0.6034 0.1999 0.1530 0.1265 0.0338 0.5596 0.2459 0.1484 705-AH 0.0612 0.1786 0.2321 0.3061 0.4337 0.2331 0.0921 0.1276 0.3724 0.3949 0.2125 0.1871 0.0710 0.0612 0.4337 0.2331 0.0921 706-AH 0.0000 0.1000 0.1900 0.2400 0.4800 0.1785 0.1130 0.1400 0.4800 0.6331 0.0578 0.0001 0.0836 0.0000 0.4000 0.1664 0.0967 707-AH 0.0000 0.0000 0.2850 0.3000 0.4700 0.2073 0.1836 0.3000 0.4700 0.8855 0.0059 0.0000 0.1677 0.0000 0.4700 0.2073 0.1836 708-AH 0.0000 0.0000 0.0370 0.4074 0.4691 0.1595 0.1913 0.4074 0.4691 1.1992 0.0017 0.0000 0.1755 0.0000 0.4691 0.1595 0.1913 709-AH 0.0000 0.0252 0.1664 0.1949 0.5078 0.1588 0.1413 0.1697 0.5078 0.8900 0.0419 0.0001 0.1021 0.0000 0.3954 0.1300 0.1021 710-AH 0.0000 0.0000 0.1052 0.3377 0.7598 0.2143 0.2548 0.3377 0.7598 1.1894 0.0088 0.0000 0.2148 0.0000 0.7598 0.2143 0.2548 711-AH 0.0000 0.0000 0.0000 0.0586 0.3477 0.0530 0.0979 0.0586 0.3477 1.8459 0.0003 0.0000 0.0709 0.0000 0.0820 0.0108 0.0239 712-AH 0.0000 0.1528 0.1667 0.2361 0.2500 0.1635 0.0855 0.0833 0.2500 0.5228 0.0513 0.0001 0.0646 0.1250 0.2500 0.2007 0.0390 713-AH 0.0000 0.0000 0.0909 0.2562 0.2727 0.1243 0.1124 0.2562 0.2727 0.9046 0.0102 0.0000 0.1021 0.0000 0.2727 0.1243 0.1124 714-AH 0.0000 0.0000 0.0211 0.0634 0.5482 0.0911 0.1640 0.0634 0.5482 1.8007 0.0039 0.0000 0.1145 0.0000 0.1423 0.0258 0.0340 715-AH 0.0000 0.0312 0.0605 0.2656 0.3594 0.1229 0.1250 0.2344 0.3594 1.0167 0.0176 0.0001 0.1080 0.0000 0.3594 0.1229 0.1250 716-AH 0.0636 0.3328 0.4638 0.6775 0.9083 0.4898 0.2194 0.3447 0.8447 0.4479 0.4327 0.3515 0.1762 0.0636 0.9083 0.4898 0.2194 717-AH 0.0539 0.2902 0.3469 0.3980 0.5255 0.3348 0.1080 0.1077 0.4717 0.3226 0.3081 0.2607 0.0788 0.2336 0.5255 0.3564 0.0793 718-AH 0.0000 0.1592 0.2979 0.4336 0.5693 0.2861 0.1706 0.2744 0.5693 0.5964 0.1427 0.0003 0.1419 0.0000 0.5693 0.2861 0.1706 719-AH 0.0000 0.0000 0.0256 0.0384 0.0992 0.0268 0.0302 0.0384 0.0992 1.1298 0.0015 0.0000 0.0236 0.0000 0.0928 0.0239 0.0269 720-AH 0.0000 0.2578 0.3516 0.4023 0.5820 0.3289 0.1559 0.1445 0.5820 0.4739 0.1449 0.0001 0.1148 0.0469 0.5820 0.3563 0.1273 721-AH 0.0000 0.0000 0.0394 0.0623 0.1747 0.0435 0.0428 0.0623 0.1747 0.9856 0.0039 0.0000 0.0316 0.0000 0.1090 0.0382 0.0341 722-AH 0.0000 0.0123 0.1049 0.1852 0.3333 0.1154 0.0943 0.1728 0.3333 0.8171 0.0187 0.0001 0.0714 0.0000 0.3333 0.1154 0.0943 723-AH 0.0000 0.0489 0.0822 0.1156 0.2267 0.0819 0.0593 0.0667 0.2267 0.7245 0.0158 0.0001 0.0470 0.0000 0.2044 0.0761 0.0525 724-AH 0.4679 0.6458 0.6780 0.7049 0.7413 0.6575 0.0765 0.0590 0.2734 0.1163 0.6526 0.6470 0.0553 0.5720 0.7413 0.6810 0.0402 725-AH 0.0000 0.0127 0.0749 0.2834 0.5505 0.1649 0.1863 0.2707 0.5505 1.1300 0.0212 0.0001 0.1581 0.0000 0.5505 0.1649 0.1863 726-AH 0.0000 0.0000 0.0625 0.1211 0.3125 0.0709 0.0770 0.1211 0.3125 1.0853 0.0038 0.0000 0.0608 0.0000 0.1562 0.0612 0.0603 727-AH 0.0000 0.0000 0.0000 0.0878 0.2881 0.0459 0.0744 0.0878 0.2881 1.6198 0.0005 0.0000 0.0569 0.0000 0.2071 0.0362 0.0567 728-AH 0.0000 0.0000 0.0416 0.0886 0.1607 0.0519 0.0527 0.0886 0.1607 1.0163 0.0052 0.0000 0.0441 0.0000 0.1607 0.0519 0.0527 729-AH 0.0000 0.0000 0.0010 0.0264 0.1240 0.0145 0.0264 0.0264 0.1240 1.8238 0.0004 0.0000 0.0172 0.0000 0.0498 0.0101 0.0143 730-AH 0.0000 0.0075 0.0450 0.0875 0.2600 0.0612 0.0647 0.0800 0.2600 1.0582 0.0103 0.0001 0.0483 0.0000 0.1925 0.0532 0.0515 731-AH 0.0000 0.1721 0.2528 0.3410 0.6060 0.2533 0.1383 0.1690 0.6060 0.5459 0.1144 0.0001 0.1063 0.0000 0.4617 0.2392 0.1205 732-AH 0.0014 0.0329 0.0370 0.1481 0.2922 0.0904 0.0902 0.1152 0.2908 0.9980 0.0500 0.0168 0.0740 0.0014 0.2922 0.0904 0.0902 733-AH 0.0000 0.0340 0.0756 0.2079 0.4423 0.1431 0.1589 0.1739 0.4423 1.1104 0.0184 0.0001 0.1289 0.0000 0.4423 0.1431 0.1589 734-AH 0.0500 0.3500 0.7475 0.8600 0.9150 0.6185 0.2837 0.5100 0.8650 0.4587 0.5063 0.3124 0.2536 0.0500 0.9150 0.6185 0.2837 735-AH 0.0139 0.0332 0.0861 0.1725 0.1967 0.0974 0.0673 0.1392 0.1828 0.6910 0.0695 0.0450 0.0607 0.0139 0.1967 0.0974 0.0673 736-AH 0.0000 0.0074 0.0214 0.0621 0.1568 0.0379 0.0414 0.0547 0.1568 1.0913 0.0085 0.0001 0.0329 0.0000 0.1124 0.0332 0.0343 737-AH 0.0265 0.0537 0.0739 0.0971 0.2473 0.0834 0.0475 0.0434 0.2208 0.5698 0.0727 0.0634 0.0335 0.0265 0.1295 0.0730 0.0291 738-AH 0.0000 0.0000 0.0190 0.0640 0.3322 0.0539 0.0808 0.0640 0.3322 1.4977 0.0038 0.0000 0.0564 0.0000 0.0943 0.0242 0.0293 739-AH 0.0345 0.2426 0.2818 0.3995 0.5743 0.3040 0.1258 0.1570 0.5398 0.4138 0.2706 0.2147 0.0966 0.0345 0.5743 0.3040 0.1258 740-AH 0.0000 0.0479 0.2704 0.4875 0.6318 0.2772 0.2160 0.4397 0.6318 0.7793 0.0926 0.0001 0.1941 0.0000 0.6318 0.2772 0.2160 741-AH 0.0000 0.0000 0.0000 0.3500 0.5725 0.1586 0.2077 0.3500 0.5725 1.3099 0.0011 0.0000 0.1826 0.0000 0.5725 0.1586 0.2077 742-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0641 0.1755 0.0000 0.6667 2.7373 0.0000 0.0000 0.1085 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0489 0.1022 0.0226 0.0368 0.0489 0.1022 1.6328 0.0002 0.0000 0.0312 0.0000 0.1022 0.0226 0.0368 744-AH 0.0340 0.2160 0.3425 0.4704 0.5311 0.3183 0.1636 0.2544 0.4970 0.5138 0.2482 0.1521 0.1377 0.0340 0.5311 0.3183 0.1636 745-AH 0.0000 0.0104 0.0723 0.4076 0.6771 0.1830 0.2225 0.3972 0.6771 1.2160 0.0133 0.0000 0.1946 0.0000 0.6771 0.1830 0.2225 746-AH 0.0024 0.0471 0.1269 0.1800 0.4869 0.1600 0.1449 0.1329 0.4846 0.9058 0.0931 0.0282 0.1067 0.0024 0.3672 0.1084 0.0817 747-AH 0.0115 0.0311 0.0487 0.0672 0.1766 0.0582 0.0376 0.0361 0.1651 0.6449 0.0494 0.0419 0.0251 0.0115 0.1184 0.0496 0.0224 748-AH 0.0000 0.0000 0.0000 0.0000 0.7778 0.0855 0.1995 0.0000 0.7778 2.3344 0.0001 0.0000 0.1381 0.0000 0.0000 0.0000 0.0000 749-AH 0.0060 0.0153 0.0388 0.0695 0.5413 0.0834 0.1328 0.0542 0.5353 1.5919 0.0386 0.0217 0.0805 0.0060 0.1051 0.0397 0.0303 750-AH 0.0000 0.0000 0.0440 0.1376 0.2560 0.0705 0.0791 0.1376 0.2560 1.1219 0.0034 0.0000 0.0649 0.0000 0.2560 0.0705 0.0791 156 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0857 0.1279 0.5000 1.0000 0.2967 0.3447 0.4143 1.0000 1.1620 0.0723 0.0001 0.2738 0.0000 1.0000 0.2967 0.3447 702-AH 0.0013 0.2000 0.3333 0.5000 1.0000 0.3471 0.2632 0.3000 0.9987 0.7583 0.2019 0.0258 0.1956 0.0013 0.6667 0.2926 0.1874 703-AH 0.0000 0.2222 0.5000 1.0000 1.0000 0.5636 0.3589 0.7778 1.0000 0.6368 0.3038 0.0003 0.3129 0.0000 1.0000 0.5636 0.3589 704-AH 0.0385 0.3333 1.0000 1.0000 1.0000 0.7240 0.3844 0.6667 0.9615 0.5310 0.5341 0.2844 0.3418 0.0385 1.0000 0.7240 0.3844 705-AH 0.3333 0.6667 1.0000 1.0000 1.0000 0.8179 0.2128 0.3333 0.6667 0.2601 0.7866 0.7500 0.1961 0.3333 1.0000 0.8179 0.2128 706-AH 0.0041 0.6667 1.0000 1.0000 1.0000 0.7703 0.3669 0.3333 0.9959 0.4763 0.4705 0.0524 0.3004 0.2500 1.0000 0.9015 0.2052 707-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6008 0.4796 1.0000 1.0000 0.7982 0.0285 0.0000 0.4529 0.0000 1.0000 0.6008 0.4796 708-AH 0.0000 0.0265 0.0566 1.0000 1.0000 0.3662 0.4489 0.9735 1.0000 1.2259 0.0593 0.0001 0.4106 0.0000 1.0000 0.3662 0.4489 709-AH 0.0000 0.1023 0.3344 1.0000 1.0000 0.4633 0.4239 0.8977 1.0000 0.9150 0.1411 0.0003 0.3849 0.0000 1.0000 0.4633 0.4239 710-AH 0.0000 0.0117 0.1458 1.0000 1.0000 0.3892 0.4369 0.9883 1.0000 1.1227 0.0549 0.0001 0.3950 0.0000 1.0000 0.3892 0.4369 711-AH 0.0000 0.0050 0.0192 0.3750 1.0000 0.1984 0.3337 0.3700 1.0000 1.6822 0.0130 0.0001 0.2586 0.0000 0.5000 0.0938 0.1658 712-AH 0.0132 0.6667 1.0000 1.0000 1.0000 0.7699 0.3806 0.3333 0.9868 0.4943 0.5289 0.1638 0.3185 0.3333 1.0000 0.9365 0.1706 713-AH 0.0000 0.0476 0.7500 1.0000 1.0000 0.5822 0.4506 0.9524 1.0000 0.7739 0.1100 0.0001 0.4178 0.0000 1.0000 0.5822 0.4506 714-AH 0.0000 0.0163 0.0812 0.1667 1.0000 0.1880 0.3082 0.1503 1.0000 1.6398 0.0383 0.0001 0.1986 0.0000 0.3333 0.0820 0.0794 715-AH 0.0019 0.0526 0.2308 0.5000 1.0000 0.3553 0.3563 0.4474 0.9981 1.0027 0.1637 0.0307 0.2882 0.0019 1.0000 0.3553 0.3563 716-AH 0.4444 1.0000 1.0000 1.0000 1.0000 0.8899 0.2081 0.0000 0.5556 0.2338 0.8591 0.8205 0.1694 1.0000 1.0000 1.0000 0.0000 717-AH 0.1250 0.5714 0.8831 1.0000 1.0000 0.7827 0.2472 0.4286 0.8750 0.3158 0.7264 0.6275 0.2161 0.1250 1.0000 0.7827 0.2472 718-AH 0.0638 0.8889 1.0000 1.0000 1.0000 0.8337 0.3214 0.1111 0.9362 0.3855 0.6815 0.3838 0.2472 0.8889 1.0000 0.9944 0.0248 719-AH 0.0000 0.0088 0.0279 0.2222 1.0000 0.1673 0.2478 0.2135 1.0000 1.4812 0.0283 0.0001 0.1885 0.0000 0.5000 0.1340 0.1841 720-AH 0.0135 0.7500 1.0000 1.0000 1.0000 0.8016 0.3426 0.2500 0.9865 0.4274 0.5713 0.1563 0.2594 0.6667 1.0000 0.9369 0.1213 721-AH 0.0000 0.0485 0.1667 0.5000 1.0000 0.2867 0.3288 0.4515 1.0000 1.1470 0.0242 0.0000 0.2569 0.0000 1.0000 0.2867 0.3288 722-AH 0.0021 0.0588 0.5833 1.0000 1.0000 0.5976 0.4190 0.9412 0.9979 0.7011 0.2818 0.0340 0.3767 0.0021 1.0000 0.5976 0.4190 723-AH 0.0000 0.0690 0.3333 0.5000 1.0000 0.3880 0.3261 0.4310 1.0000 0.8406 0.0635 0.0001 0.2573 0.0000 1.0000 0.3880 0.3261 724-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9899 0.0345 0.0000 0.1667 0.0348 0.9893 0.9886 0.0178 1.0000 1.0000 1.0000 0.0000 725-AH 0.0041 0.0097 0.0306 1.0000 1.0000 0.4505 0.4829 0.9903 0.9959 1.0718 0.0904 0.0184 0.4696 0.0041 1.0000 0.4505 0.4829 726-AH 0.0000 0.0187 0.2250 1.0000 1.0000 0.3772 0.4074 0.9813 1.0000 1.0802 0.0548 0.0001 0.3448 0.0000 1.0000 0.3772 0.4074 727-AH 0.0017 0.0053 0.0419 0.2857 1.0000 0.1690 0.2608 0.2805 0.9983 1.5436 0.0333 0.0072 0.2002 0.0017 0.6667 0.1357 0.2024 728-AH 0.0091 0.0385 0.0714 0.5000 1.0000 0.2710 0.3535 0.4615 0.9909 1.3044 0.1068 0.0471 0.2867 0.0091 1.0000 0.2710 0.3535 729-AH 0.0000 0.0139 0.0287 0.0526 0.3333 0.0760 0.1088 0.0387 0.3333 1.4311 0.0197 0.0001 0.0815 0.0000 0.0526 0.0231 0.0154 730-AH 0.0000 0.0625 0.1833 0.4000 1.0000 0.3250 0.3887 0.3375 1.0000 1.1959 0.0596 0.0001 0.3173 0.0000 0.4000 0.1225 0.1084 731-AH 0.0059 0.5000 0.6485 0.8750 1.0000 0.6490 0.2763 0.3750 0.9941 0.4258 0.4772 0.0854 0.2109 0.0059 1.0000 0.6490 0.2763 732-AH 0.0390 0.2000 0.5000 1.0000 1.0000 0.5135 0.3600 0.8000 0.9610 0.7011 0.3574 0.2018 0.3101 0.0390 1.0000 0.5135 0.3600 733-AH 0.0000 0.0114 0.3095 0.5000 1.0000 0.3669 0.3397 0.4886 1.0000 0.9259 0.0517 0.0001 0.2640 0.0000 1.0000 0.3669 0.3397 734-AH 0.0095 1.0000 1.0000 1.0000 1.0000 0.8650 0.2885 0.0000 0.9905 0.3336 0.6716 0.1506 0.2077 1.0000 1.0000 1.0000 0.0000 735-AH 0.0054 0.0732 0.2591 0.6667 1.0000 0.3709 0.3447 0.5935 0.9946 0.9293 0.1696 0.0430 0.3025 0.0054 1.0000 0.3709 0.3447 736-AH 0.0105 0.0364 0.1136 0.1667 0.5000 0.1256 0.1153 0.1303 0.4895 0.9181 0.0774 0.0422 0.0860 0.0105 0.3000 0.1106 0.0882 737-AH 0.0045 0.1250 0.2614 1.0000 1.0000 0.4744 0.4078 0.8750 0.9955 0.8595 0.2429 0.0476 0.3755 0.0045 1.0000 0.4744 0.4078 738-AH 0.0000 0.0143 0.0516 0.1786 0.7143 0.1479 0.2108 0.1643 0.7143 1.4253 0.0414 0.0003 0.1497 0.0000 0.3333 0.0799 0.0899 739-AH 0.1852 1.0000 1.0000 1.0000 1.0000 0.8967 0.2532 0.0000 0.8148 0.2824 0.8303 0.7078 0.1748 1.0000 1.0000 1.0000 0.0000 740-AH 0.0000 0.0506 0.6786 1.0000 1.0000 0.6001 0.4332 0.9494 1.0000 0.7219 0.1838 0.0003 0.3840 0.0000 1.0000 0.6001 0.4332 741-AH 0.0000 0.0092 0.0171 0.5714 1.0000 0.3354 0.4161 0.5623 1.0000 1.2406 0.0193 0.0001 0.3659 0.0000 1.0000 0.3354 0.4161 742-AH 0.0000 0.0000 0.0000 0.0081 1.0000 0.1391 0.3250 0.0081 1.0000 2.3372 0.0003 0.0000 0.2136 0.0000 0.0081 0.0013 0.0027 743-AH 0.0000 0.0044 0.0385 0.1250 0.5000 0.0800 0.1171 0.1206 0.5000 1.4630 0.0106 0.0001 0.0828 0.0000 0.1667 0.0520 0.0602 744-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9231 0.2210 0.0000 0.7500 0.2394 0.8752 0.7879 0.1361 1.0000 1.0000 1.0000 0.0000 745-AH 0.0000 0.0526 0.1566 0.6250 1.0000 0.3716 0.3957 0.5724 1.0000 1.0648 0.0764 0.0001 0.3436 0.0000 1.0000 0.3716 0.3957 746-AH 0.0037 0.0667 0.2917 1.0000 1.0000 0.4489 0.4219 0.9333 0.9963 0.9399 0.1839 0.0333 0.3862 0.0037 1.0000 0.4489 0.4219 747-AH 0.0076 0.1818 0.2500 0.4000 1.0000 0.3875 0.3535 0.2182 0.9924 0.9124 0.2358 0.0812 0.2837 0.0076 0.4000 0.2037 0.1019 748-AH 0.0000 0.0000 0.0120 0.1667 1.0000 0.2086 0.3612 0.1667 1.0000 1.7319 0.0023 0.0000 0.2691 0.0000 0.2500 0.0439 0.0716 749-AH 0.0154 0.0401 0.0885 0.6667 1.0000 0.3458 0.4038 0.6266 0.9846 1.1677 0.1429 0.0655 0.3513 0.0154 1.0000 0.3458 0.4038 750-AH 0.0023 0.0152 0.2019 1.0000 1.0000 0.4067 0.4491 0.9848 0.9977 1.1042 0.1101 0.0185 0.4107 0.0023 1.0000 0.4067 0.4491 157 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0160 0.1279 0.3043 1.0000 0.2186 0.2392 0.2883 1.0000 1.0944 0.0446 0.0001 0.1826 0.0000 0.6000 0.1873 0.1821 702-AH 0.0000 0.0909 0.1752 0.2308 0.5000 0.1739 0.1246 0.1399 0.5000 0.7163 0.0897 0.0003 0.0859 0.0000 0.2667 0.1467 0.0827 703-AH 0.0000 0.1842 0.2222 1.0000 1.0000 0.4543 0.3771 0.8158 1.0000 0.8301 0.2039 0.0003 0.3377 0.0000 1.0000 0.4543 0.3771 704-AH 0.0133 0.1333 0.2929 0.5455 1.0000 0.3844 0.2837 0.4121 0.9867 0.7379 0.2660 0.1321 0.2362 0.0133 1.0000 0.3844 0.2837 705-AH 0.1500 0.6667 0.6667 1.0000 1.0000 0.7173 0.2339 0.3333 0.8500 0.3261 0.6600 0.5624 0.1726 0.5000 1.0000 0.7646 0.1707 706-AH 0.0041 0.6667 1.0000 1.0000 1.0000 0.7703 0.3669 0.3333 0.9959 0.4763 0.4705 0.0524 0.3004 0.2500 1.0000 0.9015 0.2052 707-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6008 0.4796 1.0000 1.0000 0.7982 0.0285 0.0000 0.4529 0.0000 1.0000 0.6008 0.4796 708-AH 0.0000 0.0265 0.0566 1.0000 1.0000 0.3662 0.4489 0.9735 1.0000 1.2259 0.0593 0.0001 0.4106 0.0000 1.0000 0.3662 0.4489 709-AH 0.0000 0.0145 0.2613 0.3483 0.9412 0.2681 0.2678 0.3338 0.9412 0.9987 0.0321 0.0001 0.2021 0.0000 0.6364 0.2120 0.1878 710-AH 0.0000 0.0000 0.0218 0.8000 1.0000 0.3531 0.4309 0.8000 1.0000 1.2205 0.0115 0.0000 0.3956 0.0000 1.0000 0.3531 0.4309 711-AH 0.0000 0.0042 0.0115 0.0556 1.0000 0.1418 0.2860 0.0514 1.0000 2.0166 0.0087 0.0001 0.1974 0.0000 0.0556 0.0135 0.0165 712-AH 0.0050 0.4000 0.6667 1.0000 1.0000 0.6080 0.3398 0.6000 0.9950 0.5589 0.3582 0.0557 0.2645 0.0050 1.0000 0.6080 0.3398 713-AH 0.0000 0.0208 0.0632 0.7500 1.0000 0.3542 0.4209 0.7292 1.0000 1.1884 0.0502 0.0001 0.3814 0.0000 1.0000 0.3542 0.4209 714-AH 0.0000 0.0000 0.0667 0.0892 0.8421 0.1115 0.2192 0.0892 0.8421 1.9659 0.0069 0.0000 0.1141 0.0000 0.1250 0.0506 0.0439 715-AH 0.0000 0.0323 0.1394 0.4444 1.0000 0.2544 0.2979 0.4122 1.0000 1.1707 0.0605 0.0001 0.2305 0.0000 1.0000 0.2544 0.2979 716-AH 0.1584 0.5714 0.7889 1.0000 1.0000 0.7709 0.2523 0.4286 0.8416 0.3272 0.7159 0.6343 0.2142 0.1584 1.0000 0.7709 0.2523 717-AH 0.1154 0.5000 0.7143 0.9091 1.0000 0.6821 0.2611 0.4091 0.8846 0.3828 0.6122 0.5074 0.2053 0.1154 1.0000 0.6821 0.2611 718-AH 0.0307 0.3333 0.6795 0.9091 1.0000 0.5929 0.3424 0.5758 0.9693 0.5774 0.4260 0.2045 0.2993 0.0307 1.0000 0.5929 0.3424 719-AH 0.0000 0.0066 0.0091 0.0162 0.2222 0.0338 0.0622 0.0096 0.2222 1.8383 0.0042 0.0001 0.0415 0.0000 0.0254 0.0081 0.0064 720-AH 0.0135 0.6667 0.9091 1.0000 1.0000 0.7156 0.3834 0.3333 0.9865 0.5358 0.4479 0.1211 0.3102 0.6667 1.0000 0.9124 0.1276 721-AH 0.0000 0.0000 0.0618 0.1327 0.8000 0.1080 0.1678 0.1327 0.8000 1.5541 0.0073 0.0000 0.0990 0.0000 0.1905 0.0670 0.0658 722-AH 0.0021 0.0588 0.5833 1.0000 1.0000 0.5976 0.4190 0.9412 0.9979 0.7011 0.2818 0.0340 0.3767 0.0021 1.0000 0.5976 0.4190 723-AH 0.0000 0.0079 0.1660 0.5000 1.0000 0.2527 0.2669 0.4921 1.0000 1.0562 0.0310 0.0001 0.2272 0.0000 1.0000 0.2527 0.2669 724-AH 0.8000 0.9524 1.0000 1.0000 1.0000 0.9639 0.0628 0.0476 0.2000 0.0651 0.9618 0.9595 0.0500 0.8889 1.0000 0.9823 0.0367 725-AH 0.0000 0.0000 0.0306 0.8462 1.0000 0.3812 0.4290 0.8462 1.0000 1.1253 0.0132 0.0000 0.4000 0.0000 1.0000 0.3812 0.4290 726-AH 0.0000 0.0025 0.0733 0.1875 0.6000 0.1190 0.1432 0.1850 0.6000 1.2031 0.0097 0.0000 0.1114 0.0000 0.3077 0.0998 0.1064 727-AH 0.0000 0.0000 0.0357 0.1304 0.6667 0.1000 0.1657 0.1304 0.6667 1.6562 0.0055 0.0000 0.1145 0.0000 0.2857 0.0597 0.0850 728-AH 0.0000 0.0312 0.0636 0.1429 1.0000 0.1563 0.2333 0.1116 1.0000 1.4931 0.0386 0.0001 0.1689 0.0000 0.1429 0.0465 0.0337 729-AH 0.0000 0.0092 0.0222 0.0258 0.1224 0.0213 0.0232 0.0166 0.1224 1.0888 0.0049 0.0001 0.0123 0.0000 0.0303 0.0173 0.0109 730-AH 0.0000 0.0117 0.0690 0.1039 1.0000 0.1459 0.2371 0.0922 1.0000 1.6249 0.0272 0.0001 0.1505 0.0000 0.1154 0.0528 0.0410 731-AH 0.0000 0.4615 0.5000 0.6842 0.8889 0.5383 0.2353 0.2227 0.8889 0.4372 0.2390 0.0001 0.1768 0.2500 0.8889 0.5832 0.1814 732-AH 0.0294 0.0566 0.0732 0.4286 1.0000 0.2327 0.2871 0.3720 0.9706 1.2335 0.1200 0.0772 0.2337 0.0294 0.8333 0.2020 0.2456 733-AH 0.0000 0.0000 0.2292 0.4242 1.0000 0.2789 0.3140 0.4242 1.0000 1.1258 0.0137 0.0000 0.2478 0.0000 1.0000 0.2789 0.3140 734-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.8540 0.2920 0.2500 1.0000 0.3419 0.3779 0.0001 0.2133 0.5385 1.0000 0.9252 0.1548 735-AH 0.0000 0.0000 0.1205 0.2791 0.8000 0.1726 0.2075 0.2791 0.8000 1.2018 0.0062 0.0000 0.1632 0.0000 0.5714 0.1475 0.1667 736-AH 0.0078 0.0242 0.1049 0.1538 0.3000 0.1026 0.0870 0.1296 0.2922 0.8485 0.0630 0.0346 0.0726 0.0078 0.3000 0.1026 0.0870 737-AH 0.0000 0.0515 0.0885 0.1698 0.7857 0.1283 0.1497 0.1183 0.7857 1.1664 0.0496 0.0001 0.0871 0.0000 0.2381 0.1020 0.0678 738-AH 0.0000 0.0073 0.0387 0.1562 0.7143 0.1312 0.2098 0.1490 0.7143 1.5989 0.0162 0.0001 0.1424 0.0000 0.2258 0.0610 0.0695 739-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.7845 0.3199 0.3333 1.0000 0.4078 0.4785 0.0003 0.2574 0.1852 1.0000 0.8159 0.2828 740-AH 0.0000 0.0195 0.4714 0.7500 0.8889 0.4132 0.3521 0.7305 0.8889 0.8522 0.0405 0.0001 0.3147 0.0000 0.8889 0.4132 0.3521 741-AH 0.0000 0.0000 0.0000 0.5556 1.0000 0.2954 0.3994 0.5556 1.0000 1.3521 0.0015 0.0000 0.3455 0.0000 1.0000 0.2954 0.3994 742-AH 0.0000 0.0000 0.0000 0.0081 1.0000 0.1391 0.3250 0.0081 1.0000 2.3372 0.0003 0.0000 0.2136 0.0000 0.0081 0.0013 0.0027 743-AH 0.0000 0.0000 0.0000 0.0690 0.2000 0.0370 0.0587 0.0690 0.2000 1.5881 0.0004 0.0000 0.0484 0.0000 0.1429 0.0305 0.0494 744-AH 0.0227 0.7500 1.0000 1.0000 1.0000 0.7646 0.3511 0.2500 0.9773 0.4592 0.5240 0.1603 0.2687 0.5000 1.0000 0.8981 0.1599 745-AH 0.0000 0.0000 0.1281 0.4000 0.8000 0.2245 0.2705 0.4000 0.8000 1.2052 0.0052 0.0000 0.2278 0.0000 0.8000 0.2245 0.2705 746-AH 0.0000 0.0392 0.1142 0.2941 0.7917 0.2060 0.2262 0.2549 0.7917 1.0978 0.0605 0.0001 0.1811 0.0000 0.6667 0.1826 0.1960 747-AH 0.0000 0.0433 0.0648 0.1566 0.2727 0.0891 0.0705 0.1134 0.2727 0.7905 0.0379 0.0001 0.0555 0.0000 0.2727 0.0891 0.0705 748-AH 0.0000 0.0000 0.0120 0.1667 1.0000 0.2086 0.3612 0.1667 1.0000 1.7319 0.0023 0.0000 0.2691 0.0000 0.2500 0.0439 0.0716 749-AH 0.0000 0.0000 0.0166 0.0398 0.8182 0.0850 0.2010 0.0398 0.8182 2.3638 0.0032 0.0000 0.1155 0.0000 0.0423 0.0168 0.0166 750-AH 0.0000 0.0056 0.0612 0.2500 0.8000 0.1850 0.2536 0.2444 0.8000 1.3712 0.0143 0.0001 0.1977 0.0000 0.6000 0.1337 0.1851 158 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0160 0.1279 0.1667 0.6000 0.1446 0.1358 0.1506 0.6000 0.9387 0.0359 0.0001 0.0924 0.0000 0.3333 0.1264 0.1011 702-AH 0.0000 0.0583 0.0896 0.1351 0.5000 0.1091 0.0980 0.0769 0.5000 0.8985 0.0586 0.0003 0.0621 0.0000 0.2308 0.0935 0.0583 703-AH 0.0000 0.1061 0.1754 0.2143 0.8000 0.2244 0.2186 0.1082 0.8000 0.9739 0.0762 0.0001 0.1540 0.0000 0.2222 0.1291 0.0743 704-AH 0.0133 0.1053 0.2334 0.4151 0.7500 0.2672 0.2241 0.3098 0.7367 0.8387 0.1767 0.0988 0.1784 0.0133 0.7500 0.2672 0.2241 705-AH 0.1500 0.3750 0.5000 0.6000 1.0000 0.5075 0.2266 0.2250 0.8500 0.4466 0.4509 0.3881 0.1724 0.1500 0.8333 0.4878 0.2074 706-AH 0.0022 0.0328 0.6667 1.0000 1.0000 0.5199 0.3914 0.9672 0.9978 0.7528 0.2267 0.0304 0.3439 0.0022 1.0000 0.5199 0.3914 707-AH 0.0000 0.0000 0.8750 1.0000 1.0000 0.5700 0.4786 1.0000 1.0000 0.8396 0.0268 0.0000 0.4577 0.0000 1.0000 0.5700 0.4786 708-AH 0.0000 0.0265 0.0451 1.0000 1.0000 0.3250 0.4441 0.9735 1.0000 1.3665 0.0399 0.0001 0.4000 0.0000 1.0000 0.3250 0.4441 709-AH 0.0000 0.0000 0.1758 0.3409 0.9412 0.2387 0.2754 0.3409 0.9412 1.1539 0.0140 0.0000 0.2158 0.0000 0.6250 0.1801 0.1896 710-AH 0.0000 0.0000 0.0175 0.4694 1.0000 0.2561 0.3751 0.4694 1.0000 1.4651 0.0038 0.0000 0.3159 0.0000 1.0000 0.2561 0.3751 711-AH 0.0000 0.0000 0.0028 0.0465 0.5000 0.0748 0.1451 0.0465 0.5000 1.9405 0.0007 0.0000 0.1068 0.0000 0.0465 0.0053 0.0111 712-AH 0.0000 0.0272 0.1327 0.6000 1.0000 0.3247 0.3313 0.5728 1.0000 1.0206 0.0865 0.0003 0.3080 0.0000 1.0000 0.3247 0.3313 713-AH 0.0000 0.0182 0.0528 0.4000 1.0000 0.2508 0.3453 0.3818 1.0000 1.3771 0.0350 0.0001 0.2899 0.0000 0.7500 0.1883 0.2770 714-AH 0.0000 0.0000 0.0526 0.0823 0.8421 0.1051 0.2206 0.0823 0.8421 2.0998 0.0061 0.0000 0.1161 0.0000 0.1250 0.0437 0.0417 715-AH 0.0000 0.0052 0.0892 0.3889 0.6667 0.1935 0.2327 0.3837 0.6667 1.2024 0.0145 0.0000 0.1939 0.0000 0.6667 0.1935 0.2327 716-AH 0.1584 0.5385 0.7098 1.0000 1.0000 0.7177 0.2543 0.4615 0.8416 0.3544 0.6605 0.5825 0.2124 0.1584 1.0000 0.7177 0.2543 717-AH 0.1154 0.4286 0.5409 0.6923 1.0000 0.5808 0.2739 0.2637 0.8846 0.4716 0.5069 0.4188 0.2198 0.1154 1.0000 0.5808 0.2739 718-AH 0.0000 0.2449 0.6018 0.8000 0.9091 0.5036 0.3376 0.5551 0.9091 0.6705 0.0861 0.0001 0.2941 0.0000 0.9091 0.5036 0.3376 719-AH 0.0000 0.0000 0.0064 0.0089 0.1579 0.0109 0.0305 0.0089 0.1579 2.7991 0.0004 0.0000 0.0123 0.0000 0.0162 0.0050 0.0054 720-AH 0.0053 0.3333 0.7889 0.8182 1.0000 0.6213 0.3566 0.4848 0.9947 0.5740 0.3665 0.0697 0.2931 0.0053 1.0000 0.6213 0.3566 721-AH 0.0000 0.0000 0.0503 0.1235 0.3043 0.0688 0.0746 0.1235 0.3043 1.0835 0.0037 0.0000 0.0604 0.0000 0.3043 0.0688 0.0746 722-AH 0.0000 0.0165 0.0298 0.4000 1.0000 0.2298 0.3479 0.3835 1.0000 1.5135 0.0432 0.0003 0.2831 0.0000 0.6667 0.1294 0.2147 723-AH 0.0000 0.0061 0.0499 0.1111 1.0000 0.1075 0.2051 0.1051 1.0000 1.9087 0.0100 0.0001 0.1110 0.0000 0.2143 0.0569 0.0628 724-AH 0.7500 0.8750 1.0000 1.0000 1.0000 0.9403 0.0951 0.1250 0.2500 0.1011 0.9353 0.9299 0.0799 0.7500 1.0000 0.9403 0.0951 725-AH 0.0000 0.0000 0.0216 0.8462 1.0000 0.3240 0.4046 0.8462 1.0000 1.2487 0.0065 0.0000 0.3751 0.0000 1.0000 0.3240 0.4046 726-AH 0.0000 0.0000 0.0150 0.1053 0.5714 0.0804 0.1347 0.1053 0.5714 1.6749 0.0017 0.0000 0.0925 0.0000 0.1818 0.0393 0.0565 727-AH 0.0000 0.0000 0.0081 0.0333 0.5000 0.0597 0.1217 0.0333 0.5000 2.0368 0.0009 0.0000 0.0805 0.0000 0.0779 0.0130 0.0208 728-AH 0.0000 0.0000 0.0023 0.0368 0.2500 0.0309 0.0609 0.0368 0.2500 1.9664 0.0006 0.0000 0.0401 0.0000 0.0698 0.0122 0.0213 729-AH 0.0000 0.0000 0.0211 0.0257 0.1014 0.0190 0.0202 0.0257 0.1014 1.0676 0.0022 0.0000 0.0123 0.0000 0.0303 0.0157 0.0115 730-AH 0.0000 0.0110 0.0606 0.1000 0.6667 0.0984 0.1432 0.0890 0.6667 1.4563 0.0162 0.0001 0.0892 0.0000 0.2000 0.0568 0.0572 731-AH 0.0000 0.2727 0.4550 0.6842 0.8667 0.4268 0.2786 0.4115 0.8667 0.6528 0.1393 0.0001 0.2259 0.0000 0.8667 0.4268 0.2786 732-AH 0.0154 0.0373 0.0543 0.1096 0.7500 0.1345 0.1823 0.0723 0.7346 1.3554 0.0708 0.0462 0.1327 0.0154 0.1096 0.0482 0.0245 733-AH 0.0000 0.0000 0.1906 0.3889 0.8333 0.2242 0.2463 0.3889 0.8333 1.0983 0.0058 0.0000 0.1963 0.0000 0.8333 0.2242 0.2463 734-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.8508 0.2936 0.2500 1.0000 0.3451 0.3762 0.0001 0.2180 0.5385 1.0000 0.9217 0.1597 735-AH 0.0000 0.0000 0.0232 0.0974 0.3488 0.0724 0.0992 0.0974 0.3488 1.3702 0.0019 0.0000 0.0770 0.0000 0.1616 0.0430 0.0561 736-AH 0.0000 0.0169 0.0370 0.1270 0.1935 0.0663 0.0636 0.1100 0.1935 0.9594 0.0178 0.0001 0.0580 0.0000 0.1935 0.0663 0.0636 737-AH 0.0000 0.0233 0.0610 0.0885 0.4857 0.0785 0.0946 0.0652 0.4857 1.2046 0.0233 0.0001 0.0544 0.0000 0.1683 0.0623 0.0462 738-AH 0.0000 0.0000 0.0234 0.0551 0.5789 0.0588 0.1178 0.0551 0.5789 2.0055 0.0046 0.0000 0.0624 0.0000 0.0818 0.0245 0.0230 739-AH 0.0000 0.5000 0.6667 0.8750 1.0000 0.6437 0.2922 0.3750 1.0000 0.4540 0.3923 0.0003 0.2331 0.0000 1.0000 0.6437 0.2922 740-AH 0.0000 0.0000 0.3111 0.6905 0.8421 0.3419 0.3138 0.6905 0.8421 0.9178 0.0146 0.0000 0.2769 0.0000 0.8421 0.3419 0.3138 741-AH 0.0000 0.0000 0.0000 0.5556 1.0000 0.2762 0.3687 0.5556 1.0000 1.3352 0.0015 0.0000 0.3218 0.0000 1.0000 0.2762 0.3687 742-AH 0.0000 0.0000 0.0000 0.0081 1.0000 0.1391 0.3250 0.0081 1.0000 2.3372 0.0003 0.0000 0.2136 0.0000 0.0081 0.0013 0.0027 743-AH 0.0000 0.0000 0.0000 0.0158 0.1429 0.0211 0.0405 0.0158 0.1429 1.9165 0.0002 0.0000 0.0296 0.0000 0.0158 0.0019 0.0047 744-AH 0.0000 0.2759 0.6827 1.0000 1.0000 0.5933 0.3762 0.7241 1.0000 0.6341 0.2477 0.0003 0.3265 0.0000 1.0000 0.5933 0.3762 745-AH 0.0000 0.0000 0.0334 0.3699 0.8000 0.2039 0.2674 0.3699 0.8000 1.3118 0.0024 0.0000 0.2280 0.0000 0.8000 0.2039 0.2674 746-AH 0.0000 0.0000 0.0917 0.2529 0.7917 0.1676 0.2197 0.2529 0.7917 1.3109 0.0081 0.0000 0.1692 0.0000 0.5926 0.1426 0.1828 747-AH 0.0000 0.0383 0.0602 0.1488 0.2637 0.0832 0.0707 0.1104 0.2637 0.8505 0.0200 0.0001 0.0563 0.0000 0.2637 0.0832 0.0707 748-AH 0.0000 0.0000 0.0120 0.1667 1.0000 0.2086 0.3612 0.1667 1.0000 1.7319 0.0023 0.0000 0.2691 0.0000 0.2500 0.0439 0.0716 749-AH 0.0000 0.0000 0.0000 0.0388 0.6522 0.0646 0.1692 0.0388 0.6522 2.6180 0.0006 0.0000 0.0912 0.0000 0.0424 0.0131 0.0174 750-AH 0.0000 0.0000 0.0133 0.2000 0.6250 0.1054 0.1745 0.2000 0.6250 1.6554 0.0029 0.0000 0.1343 0.0000 0.3125 0.0650 0.1042 159 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0136 0.1249 0.1613 0.3333 0.1170 0.0922 0.1476 0.3333 0.7879 0.0310 0.0001 0.0694 0.0000 0.3333 0.1170 0.0922 702-AH 0.0000 0.0417 0.0814 0.0875 0.1522 0.0697 0.0381 0.0458 0.1522 0.5464 0.0334 0.0001 0.0305 0.0000 0.1522 0.0697 0.0381 703-AH 0.0000 0.1061 0.1603 0.1875 0.8000 0.1889 0.1948 0.0814 0.8000 1.0312 0.0494 0.0001 0.1166 0.0000 0.2222 0.1260 0.0765 704-AH 0.0000 0.0637 0.1258 0.2394 0.5862 0.1837 0.1643 0.1757 0.5862 0.8942 0.0947 0.0003 0.1273 0.0000 0.4722 0.1513 0.1228 705-AH 0.1111 0.2143 0.3207 0.5000 1.0000 0.3688 0.2283 0.2857 0.8889 0.6191 0.3112 0.2626 0.1678 0.1111 0.8333 0.3436 0.1925 706-AH 0.0000 0.0175 0.0325 0.3333 1.0000 0.1941 0.2511 0.3159 1.0000 1.2938 0.0527 0.0003 0.1957 0.0000 0.7500 0.1619 0.1938 707-AH 0.0000 0.0000 0.8750 1.0000 1.0000 0.5698 0.4788 1.0000 1.0000 0.8403 0.0267 0.0000 0.4579 0.0000 1.0000 0.5698 0.4788 708-AH 0.0000 0.0265 0.0451 0.8000 1.0000 0.3045 0.4171 0.7735 1.0000 1.3701 0.0389 0.0001 0.3716 0.0000 1.0000 0.3045 0.4171 709-AH 0.0000 0.0000 0.1544 0.3279 0.9412 0.2162 0.2702 0.3279 0.9412 1.2499 0.0049 0.0000 0.2089 0.0000 0.5143 0.1558 0.1727 710-AH 0.0000 0.0000 0.0000 0.3966 0.8667 0.2049 0.3109 0.3966 0.8667 1.5169 0.0010 0.0000 0.2635 0.0000 0.8667 0.2049 0.3109 711-AH 0.0000 0.0000 0.0000 0.0063 0.5000 0.0475 0.1301 0.0063 0.5000 2.7398 0.0001 0.0000 0.0775 0.0000 0.0133 0.0009 0.0031 712-AH 0.0000 0.0080 0.0092 0.0132 0.0667 0.0136 0.0129 0.0052 0.0667 0.9480 0.0088 0.0003 0.0077 0.0050 0.0189 0.0097 0.0030 713-AH 0.0000 0.0062 0.0133 0.0345 0.4000 0.0461 0.1005 0.0283 0.4000 2.1829 0.0066 0.0001 0.0543 0.0000 0.0678 0.0181 0.0184 714-AH 0.0000 0.0000 0.0497 0.0823 0.8421 0.1024 0.2214 0.0823 0.8421 2.1610 0.0034 0.0000 0.1169 0.0000 0.1250 0.0408 0.0417 715-AH 0.0000 0.0000 0.0654 0.2941 0.5000 0.1574 0.1794 0.2941 0.5000 1.1398 0.0103 0.0000 0.1541 0.0000 0.5000 0.1574 0.1794 716-AH 0.1584 0.5000 0.6538 1.0000 1.0000 0.6872 0.2628 0.5000 0.8416 0.3824 0.6283 0.5548 0.2247 0.1584 1.0000 0.6872 0.2628 717-AH 0.0935 0.4062 0.4739 0.5909 0.9286 0.4977 0.2450 0.1847 0.8350 0.4922 0.4221 0.3295 0.1823 0.1442 0.8667 0.4937 0.1680 718-AH 0.0000 0.1515 0.3939 0.6667 0.9091 0.4216 0.3224 0.5152 0.9091 0.7647 0.0534 0.0001 0.2793 0.0000 0.9091 0.4216 0.3224 719-AH 0.0000 0.0000 0.0000 0.0000 0.0968 0.0055 0.0193 0.0000 0.0968 3.5243 0.0000 0.0000 0.0092 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.3333 0.6905 0.8182 1.0000 0.5631 0.3265 0.4848 1.0000 0.5799 0.2654 0.0003 0.2734 0.0000 1.0000 0.5631 0.3265 721-AH 0.0000 0.0000 0.0308 0.0932 0.1692 0.0488 0.0539 0.0932 0.1692 1.1039 0.0022 0.0000 0.0454 0.0000 0.1692 0.0488 0.0539 722-AH 0.0000 0.0113 0.0247 0.0349 1.0000 0.0992 0.2155 0.0236 1.0000 2.1724 0.0222 0.0003 0.1275 0.0000 0.0698 0.0203 0.0154 723-AH 0.0000 0.0000 0.0115 0.0625 0.3125 0.0450 0.0744 0.0625 0.3125 1.6534 0.0010 0.0000 0.0500 0.0000 0.1148 0.0267 0.0356 724-AH 0.6818 0.8333 0.9524 1.0000 1.0000 0.9143 0.0990 0.1667 0.3182 0.1083 0.9088 0.9028 0.0843 0.6818 1.0000 0.9143 0.0990 725-AH 0.0000 0.0000 0.0000 0.0151 0.8500 0.1280 0.2788 0.0151 0.8500 2.1778 0.0002 0.0000 0.2028 0.0000 0.0363 0.0024 0.0084 726-AH 0.0000 0.0000 0.0114 0.0857 0.4375 0.0670 0.1135 0.0857 0.4375 1.6953 0.0012 0.0000 0.0816 0.0000 0.1786 0.0316 0.0513 727-AH 0.0000 0.0000 0.0000 0.0105 0.4091 0.0484 0.1111 0.0105 0.4091 2.2951 0.0002 0.0000 0.0758 0.0000 0.0116 0.0015 0.0037 728-AH 0.0000 0.0000 0.0000 0.0000 0.0698 0.0107 0.0210 0.0000 0.0698 1.9576 0.0001 0.0000 0.0165 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0166 0.0248 0.0990 0.0153 0.0208 0.0248 0.0990 1.3573 0.0007 0.0000 0.0142 0.0000 0.0303 0.0120 0.0121 730-AH 0.0000 0.0093 0.0407 0.0984 0.3333 0.0736 0.0900 0.0891 0.3333 1.2229 0.0134 0.0001 0.0675 0.0000 0.1818 0.0466 0.0489 731-AH 0.0000 0.0261 0.2867 0.4906 0.8077 0.3082 0.2639 0.4645 0.8077 0.8560 0.0281 0.0000 0.2258 0.0000 0.8077 0.3082 0.2639 732-AH 0.0000 0.0271 0.0359 0.0968 0.4286 0.1037 0.1359 0.0697 0.4286 1.3100 0.0299 0.0001 0.1064 0.0000 0.0968 0.0346 0.0252 733-AH 0.0000 0.0000 0.1407 0.3889 0.7273 0.2101 0.2283 0.3889 0.7273 1.0864 0.0055 0.0000 0.1910 0.0000 0.7273 0.2101 0.2283 734-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8182 0.2906 0.3333 1.0000 0.3552 0.3620 0.0001 0.2203 0.5385 1.0000 0.8864 0.1695 735-AH 0.0000 0.0000 0.0000 0.0397 0.1302 0.0223 0.0347 0.0397 0.1302 1.5515 0.0003 0.0000 0.0275 0.0000 0.0880 0.0180 0.0273 736-AH 0.0000 0.0130 0.0296 0.0687 0.1562 0.0484 0.0502 0.0557 0.1562 1.0366 0.0107 0.0001 0.0408 0.0000 0.1515 0.0441 0.0461 737-AH 0.0000 0.0000 0.0518 0.0758 0.1556 0.0528 0.0445 0.0758 0.1556 0.8427 0.0061 0.0000 0.0350 0.0000 0.1556 0.0528 0.0445 738-AH 0.0000 0.0000 0.0143 0.0250 0.5789 0.0409 0.1127 0.0250 0.5789 2.7563 0.0011 0.0000 0.0511 0.0000 0.0588 0.0135 0.0173 739-AH 0.0000 0.1957 0.3300 0.6429 0.8182 0.3894 0.2612 0.4472 0.8182 0.6709 0.1518 0.0001 0.2303 0.0000 0.8182 0.3894 0.2612 740-AH 0.0000 0.0000 0.2207 0.6047 0.7857 0.2911 0.2890 0.6047 0.7857 0.9925 0.0093 0.0000 0.2581 0.0000 0.7857 0.2911 0.2890 741-AH 0.0000 0.0000 0.0000 0.5000 1.0000 0.2650 0.3559 0.5000 1.0000 1.3432 0.0014 0.0000 0.3081 0.0000 1.0000 0.2650 0.3559 742-AH 0.0000 0.0000 0.0000 0.0081 1.0000 0.1391 0.3250 0.0081 1.0000 2.3372 0.0003 0.0000 0.2136 0.0000 0.0081 0.0013 0.0027 743-AH 0.0000 0.0000 0.0000 0.0158 0.1429 0.0189 0.0396 0.0158 0.1429 2.0944 0.0001 0.0000 0.0279 0.0000 0.0158 0.0008 0.0035 744-AH 0.0000 0.1194 0.5635 0.7692 1.0000 0.4714 0.3498 0.6498 1.0000 0.7420 0.1117 0.0001 0.3144 0.0000 1.0000 0.4714 0.3498 745-AH 0.0000 0.0000 0.0334 0.3699 0.7692 0.1933 0.2560 0.3699 0.7692 1.3243 0.0023 0.0000 0.2180 0.0000 0.7692 0.1933 0.2560 746-AH 0.0000 0.0000 0.0310 0.1875 0.5682 0.1255 0.1941 0.1875 0.5682 1.5468 0.0040 0.0000 0.1553 0.0000 0.4561 0.0730 0.1327 747-AH 0.0000 0.0298 0.0581 0.1444 0.1954 0.0755 0.0664 0.1146 0.1954 0.8794 0.0103 0.0000 0.0545 0.0000 0.1954 0.0755 0.0664 748-AH 0.0000 0.0000 0.0120 0.1667 1.0000 0.2086 0.3612 0.1667 1.0000 1.7319 0.0023 0.0000 0.2691 0.0000 0.2500 0.0439 0.0716 749-AH 0.0000 0.0000 0.0000 0.0230 0.5750 0.0514 0.1486 0.0230 0.5750 2.8910 0.0001 0.0000 0.0814 0.0000 0.0380 0.0054 0.0123 750-AH 0.0000 0.0000 0.0000 0.0485 0.1837 0.0265 0.0471 0.0485 0.1837 1.7787 0.0003 0.0000 0.0343 0.0000 0.0818 0.0152 0.0254 160 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0136 0.1249 0.1429 0.3333 0.1148 0.0920 0.1292 0.3333 0.8015 0.0303 0.0001 0.0692 0.0000 0.3333 0.1148 0.0920 702-AH 0.0000 0.0280 0.0588 0.0618 0.0870 0.0475 0.0270 0.0338 0.0870 0.5680 0.0180 0.0001 0.0227 0.0000 0.0870 0.0475 0.0270 703-AH 0.0000 0.1061 0.1559 0.1875 0.6250 0.1752 0.1653 0.0814 0.6250 0.9432 0.0268 0.0001 0.1050 0.0000 0.2222 0.1231 0.0787 704-AH 0.0000 0.0420 0.0658 0.1250 0.4107 0.1089 0.1110 0.0830 0.4107 1.0192 0.0310 0.0001 0.0828 0.0000 0.2300 0.0759 0.0626 705-AH 0.0250 0.2143 0.2786 0.4000 1.0000 0.3080 0.1839 0.1857 0.9750 0.5971 0.2551 0.1805 0.1216 0.0250 0.5000 0.2804 0.1204 706-AH 0.0000 0.0122 0.0242 0.0800 1.0000 0.1038 0.2312 0.0678 1.0000 2.2272 0.0245 0.0003 0.1289 0.0000 0.1538 0.0332 0.0380 707-AH 0.0000 0.0000 0.0701 0.2258 1.0000 0.2716 0.4111 0.2258 1.0000 1.5140 0.0082 0.0000 0.3362 0.0000 0.2258 0.0530 0.0676 708-AH 0.0000 0.0260 0.0451 0.4444 1.0000 0.2453 0.3388 0.4185 1.0000 1.3810 0.0338 0.0001 0.2918 0.0000 1.0000 0.2453 0.3388 709-AH 0.0000 0.0000 0.1408 0.3279 0.6061 0.1793 0.1972 0.3279 0.6061 1.0999 0.0025 0.0000 0.1766 0.0000 0.6061 0.1793 0.1972 710-AH 0.0000 0.0000 0.0000 0.3750 0.8667 0.1824 0.2921 0.3750 0.8667 1.6014 0.0007 0.0000 0.2379 0.0000 0.8667 0.1824 0.2921 711-AH 0.0000 0.0000 0.0000 0.0000 0.4444 0.0416 0.1210 0.0000 0.4444 2.9118 0.0001 0.0000 0.0691 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0060 0.0082 0.0211 0.0052 0.0054 0.0082 0.0211 1.0377 0.0005 0.0000 0.0044 0.0000 0.0138 0.0046 0.0044 713-AH 0.0000 0.0000 0.0118 0.0229 0.1316 0.0221 0.0345 0.0229 0.1316 1.5664 0.0015 0.0000 0.0221 0.0000 0.0549 0.0132 0.0153 714-AH 0.0000 0.0000 0.0458 0.0791 0.8421 0.0965 0.2222 0.0791 0.8421 2.3028 0.0018 0.0000 0.1147 0.0000 0.0892 0.0343 0.0356 715-AH 0.0000 0.0000 0.0207 0.0654 0.3889 0.0639 0.1058 0.0654 0.3889 1.6545 0.0021 0.0000 0.0732 0.0000 0.1591 0.0294 0.0410 716-AH 0.1584 0.4516 0.6057 0.9286 1.0000 0.6355 0.2583 0.4770 0.8416 0.4064 0.5757 0.5058 0.2288 0.1584 1.0000 0.6355 0.2583 717-AH 0.0384 0.2000 0.4037 0.4750 0.8571 0.3661 0.2125 0.2750 0.8188 0.5803 0.2826 0.1802 0.1752 0.0384 0.8571 0.3661 0.2125 718-AH 0.0000 0.1000 0.3222 0.6190 0.8824 0.3528 0.2884 0.5190 0.8824 0.8175 0.0454 0.0001 0.2367 0.0000 0.8824 0.3528 0.2884 719-AH 0.0000 0.0000 0.0000 0.0000 0.0968 0.0052 0.0192 0.0000 0.0968 3.6566 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0755 0.1708 0.5000 0.8182 0.3024 0.2655 0.4245 0.8182 0.8779 0.1290 0.0003 0.2277 0.0000 0.8182 0.3024 0.2655 721-AH 0.0000 0.0000 0.0000 0.0000 0.1129 0.0100 0.0255 0.0000 0.1129 2.5551 0.0000 0.0000 0.0161 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0041 0.0112 0.0278 0.5000 0.0377 0.0982 0.0237 0.5000 2.6025 0.0033 0.0000 0.0456 0.0000 0.0580 0.0147 0.0165 723-AH 0.0000 0.0000 0.0000 0.0377 0.1148 0.0184 0.0317 0.0377 0.1148 1.7254 0.0002 0.0000 0.0247 0.0000 0.0833 0.0145 0.0254 724-AH 0.6471 0.7692 0.9111 0.9524 0.9545 0.8654 0.1025 0.1832 0.3075 0.1184 0.8591 0.8524 0.0880 0.6471 0.9545 0.8654 0.1025 725-AH 0.0000 0.0000 0.0000 0.0000 0.8261 0.1197 0.2710 0.0000 0.8261 2.2644 0.0001 0.0000 0.1934 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0136 0.4375 0.0481 0.1123 0.0136 0.4375 2.3356 0.0002 0.0000 0.0742 0.0000 0.0209 0.0021 0.0056 727-AH 0.0000 0.0000 0.0000 0.0000 0.3929 0.0455 0.1086 0.0000 0.3929 2.3838 0.0001 0.0000 0.0744 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0548 0.0082 0.0163 0.0000 0.0548 1.9954 0.0001 0.0000 0.0126 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0205 0.0243 0.0090 0.0108 0.0205 0.0243 1.2024 0.0003 0.0000 0.0103 0.0000 0.0243 0.0090 0.0108 730-AH 0.0000 0.0000 0.0386 0.0964 0.2051 0.0545 0.0606 0.0964 0.2051 1.1134 0.0052 0.0000 0.0480 0.0000 0.2051 0.0545 0.0606 731-AH 0.0000 0.0261 0.2206 0.3889 0.7778 0.2215 0.2219 0.3628 0.7778 1.0017 0.0194 0.0000 0.1790 0.0000 0.7778 0.2215 0.2219 732-AH 0.0000 0.0241 0.0319 0.0564 0.4231 0.0894 0.1240 0.0323 0.4231 1.3872 0.0152 0.0001 0.0980 0.0000 0.0564 0.0257 0.0152 733-AH 0.0000 0.0000 0.1407 0.3889 0.5882 0.1994 0.2123 0.3889 0.5882 1.0647 0.0052 0.0000 0.1829 0.0000 0.5882 0.1994 0.2123 734-AH 0.0000 0.4211 0.8889 1.0000 1.0000 0.7406 0.3208 0.5789 1.0000 0.4331 0.3183 0.0001 0.2733 0.0000 1.0000 0.7406 0.3208 735-AH 0.0000 0.0000 0.0000 0.0000 0.0583 0.0072 0.0176 0.0000 0.0583 2.4505 0.0000 0.0000 0.0121 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0208 0.0521 0.1009 0.0301 0.0300 0.0521 0.1009 0.9963 0.0029 0.0000 0.0251 0.0000 0.1009 0.0301 0.0300 737-AH 0.0000 0.0000 0.0203 0.0614 0.1051 0.0333 0.0370 0.0614 0.1051 1.1091 0.0008 0.0000 0.0333 0.0000 0.1051 0.0333 0.0370 738-AH 0.0000 0.0000 0.0000 0.0248 0.1687 0.0206 0.0390 0.0248 0.1687 1.8937 0.0002 0.0000 0.0265 0.0000 0.0588 0.0093 0.0176 739-AH 0.0000 0.0851 0.1441 0.4286 0.7143 0.2435 0.2282 0.3435 0.7143 0.9371 0.0872 0.0001 0.1840 0.0000 0.7143 0.2435 0.2282 740-AH 0.0000 0.0000 0.1758 0.5870 0.7045 0.2755 0.2819 0.5870 0.7045 1.0233 0.0065 0.0000 0.2550 0.0000 0.7045 0.2755 0.2819 741-AH 0.0000 0.0000 0.0000 0.4545 0.8889 0.2149 0.3024 0.4545 0.8889 1.4073 0.0013 0.0000 0.2567 0.0000 0.8889 0.2149 0.3024 742-AH 0.0000 0.0000 0.0000 0.0059 1.0000 0.0750 0.2308 0.0059 1.0000 3.0784 0.0001 0.0000 0.1249 0.0000 0.0081 0.0012 0.0026 743-AH 0.0000 0.0000 0.0000 0.0126 0.1333 0.0137 0.0331 0.0126 0.1333 2.4146 0.0001 0.0000 0.0202 0.0000 0.0258 0.0029 0.0069 744-AH 0.0000 0.0553 0.2976 0.5000 0.7333 0.3016 0.2390 0.4447 0.7333 0.7923 0.0735 0.0001 0.2061 0.0000 0.7333 0.3016 0.2390 745-AH 0.0000 0.0000 0.0334 0.3699 0.7692 0.1851 0.2530 0.3699 0.7692 1.3669 0.0022 0.0000 0.2128 0.0000 0.7692 0.1851 0.2530 746-AH 0.0000 0.0000 0.0000 0.0393 0.5167 0.0861 0.1692 0.0393 0.5167 1.9657 0.0002 0.0000 0.1292 0.0000 0.0489 0.0061 0.0153 747-AH 0.0000 0.0000 0.0448 0.0692 0.1902 0.0531 0.0616 0.0692 0.1902 1.1588 0.0018 0.0000 0.0476 0.0000 0.1727 0.0476 0.0560 748-AH 0.0000 0.0000 0.0023 0.0952 1.0000 0.0863 0.2216 0.0952 1.0000 2.5665 0.0007 0.0000 0.1174 0.0000 0.1333 0.0269 0.0436 749-AH 0.0000 0.0000 0.0000 0.0000 0.5167 0.0392 0.1322 0.0000 0.5167 3.3762 0.0000 0.0000 0.0693 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0137 0.1100 0.0145 0.0274 0.0137 0.1100 1.8901 0.0002 0.0000 0.0193 0.0000 0.0239 0.0030 0.0067 161 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0111 0.1021 0.1343 0.2353 0.0934 0.0757 0.1232 0.2353 0.8101 0.0149 0.0001 0.0627 0.0000 0.2353 0.0934 0.0757 702-AH 0.0000 0.0134 0.0296 0.0615 0.0870 0.0375 0.0302 0.0481 0.0870 0.8039 0.0061 0.0000 0.0266 0.0000 0.0870 0.0375 0.0302 703-AH 0.0000 0.0978 0.1505 0.1875 0.5455 0.1480 0.1218 0.0897 0.5455 0.8226 0.0246 0.0001 0.0773 0.0000 0.2222 0.1210 0.0756 704-AH 0.0000 0.0000 0.0385 0.1186 0.3373 0.0809 0.0974 0.1186 0.3373 1.2040 0.0071 0.0000 0.0729 0.0000 0.2772 0.0604 0.0677 705-AH 0.0000 0.2121 0.2786 0.3333 0.4211 0.2533 0.1162 0.1212 0.4211 0.4586 0.1453 0.0003 0.0900 0.0814 0.4211 0.2849 0.0790 706-AH 0.0000 0.0073 0.0122 0.0203 0.7143 0.0429 0.1377 0.0130 0.7143 3.2100 0.0073 0.0001 0.0534 0.0000 0.0388 0.0140 0.0105 707-AH 0.0000 0.0000 0.0692 0.2258 0.6250 0.1457 0.1923 0.2258 0.6250 1.3197 0.0067 0.0000 0.1562 0.0000 0.5556 0.1266 0.1691 708-AH 0.0000 0.0124 0.0240 0.0822 0.4167 0.0759 0.1037 0.0698 0.4167 1.3670 0.0077 0.0000 0.0760 0.0000 0.1628 0.0390 0.0475 709-AH 0.0000 0.0000 0.1071 0.2762 0.5319 0.1629 0.1843 0.2762 0.5319 1.1317 0.0018 0.0000 0.1629 0.0000 0.5319 0.1629 0.1843 710-AH 0.0000 0.0000 0.0000 0.1630 0.8571 0.1676 0.2830 0.1630 0.8571 1.6887 0.0007 0.0000 0.2208 0.0000 0.3966 0.0418 0.0973 711-AH 0.0000 0.0000 0.0000 0.0000 0.4444 0.0413 0.1210 0.0000 0.4444 2.9319 0.0001 0.0000 0.0687 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.0211 0.0013 0.0048 0.0000 0.0211 3.6153 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0098 0.0220 0.0040 0.0070 0.0098 0.0220 1.7590 0.0001 0.0000 0.0058 0.0000 0.0220 0.0040 0.0070 714-AH 0.0000 0.0000 0.0392 0.0739 0.7500 0.0869 0.1979 0.0739 0.7500 2.2786 0.0013 0.0000 0.1020 0.0000 0.0791 0.0316 0.0340 715-AH 0.0000 0.0000 0.0155 0.0526 0.2903 0.0523 0.0846 0.0526 0.2903 1.6163 0.0014 0.0000 0.0610 0.0000 0.0941 0.0197 0.0281 716-AH 0.0751 0.4444 0.5595 0.9286 0.9412 0.5936 0.2861 0.4841 0.8660 0.4820 0.5003 0.3744 0.2448 0.0751 0.9412 0.5936 0.2861 717-AH 0.0000 0.0948 0.3188 0.4655 0.8077 0.2995 0.2164 0.3707 0.8077 0.7223 0.0810 0.0001 0.1808 0.0000 0.8077 0.2995 0.2164 718-AH 0.0000 0.0582 0.1989 0.5152 0.7273 0.2665 0.2319 0.4570 0.7273 0.8705 0.0264 0.0000 0.1976 0.0000 0.7273 0.2665 0.2319 719-AH 0.0000 0.0000 0.0000 0.0000 0.0422 0.0016 0.0083 0.0000 0.0422 5.0990 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0690 0.1685 0.4000 0.8182 0.2723 0.2538 0.3310 0.8182 0.9322 0.1133 0.0003 0.2123 0.0000 0.8182 0.2723 0.2538 721-AH 0.0000 0.0000 0.0000 0.0000 0.0933 0.0076 0.0211 0.0000 0.0933 2.7869 0.0000 0.0000 0.0128 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0190 0.1087 0.0151 0.0268 0.0190 0.1087 1.7796 0.0003 0.0000 0.0183 0.0000 0.0410 0.0068 0.0112 723-AH 0.0000 0.0000 0.0000 0.0000 0.0690 0.0048 0.0171 0.0000 0.0690 3.5521 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000 724-AH 0.2637 0.6585 0.7353 0.8065 0.8889 0.7113 0.1511 0.1479 0.6252 0.2125 0.6897 0.6583 0.1065 0.5581 0.8889 0.7457 0.0931 725-AH 0.0000 0.0000 0.0000 0.0000 0.6486 0.0847 0.2051 0.0000 0.6486 2.4213 0.0001 0.0000 0.1415 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0571 0.0063 0.0157 0.0000 0.0571 2.4998 0.0001 0.0000 0.0096 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.2812 0.0383 0.0924 0.0000 0.2812 2.4099 0.0000 0.0000 0.0649 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0045 0.0103 0.0000 0.0333 2.2652 0.0000 0.0000 0.0073 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0196 0.0221 0.0084 0.0101 0.0196 0.0221 1.1977 0.0002 0.0000 0.0097 0.0000 0.0221 0.0084 0.0101 730-AH 0.0000 0.0000 0.0231 0.0826 0.1538 0.0404 0.0468 0.0826 0.1538 1.1593 0.0015 0.0000 0.0396 0.0000 0.1538 0.0404 0.0468 731-AH 0.0000 0.0000 0.0749 0.2000 0.7750 0.1413 0.1882 0.2000 0.7750 1.3316 0.0053 0.0000 0.1416 0.0000 0.4286 0.1160 0.1396 732-AH 0.0000 0.0000 0.0196 0.0347 0.2188 0.0462 0.0711 0.0347 0.2188 1.5372 0.0031 0.0000 0.0491 0.0000 0.0468 0.0173 0.0158 733-AH 0.0000 0.0000 0.1407 0.3889 0.5600 0.1896 0.2004 0.3889 0.5600 1.0567 0.0050 0.0000 0.1757 0.0000 0.5600 0.1896 0.2004 734-AH 0.0000 0.3514 0.8819 0.9333 1.0000 0.6887 0.3418 0.5820 1.0000 0.4963 0.2871 0.0001 0.3065 0.0000 1.0000 0.6887 0.3418 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0140 0.0385 0.0634 0.0197 0.0211 0.0385 0.0634 1.0721 0.0008 0.0000 0.0190 0.0000 0.0634 0.0197 0.0211 737-AH 0.0000 0.0000 0.0000 0.0515 0.1033 0.0191 0.0333 0.0515 0.1033 1.7467 0.0001 0.0000 0.0279 0.0000 0.1033 0.0191 0.0333 738-AH 0.0000 0.0000 0.0000 0.0000 0.1043 0.0133 0.0280 0.0000 0.1043 2.1059 0.0001 0.0000 0.0204 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0497 0.1322 0.3125 0.7143 0.2056 0.2115 0.2628 0.7143 1.0284 0.0709 0.0001 0.1630 0.0000 0.6818 0.1853 0.1881 740-AH 0.0000 0.0000 0.1563 0.4848 0.6957 0.2371 0.2549 0.4848 0.6957 1.0750 0.0042 0.0000 0.2282 0.0000 0.6957 0.2371 0.2549 741-AH 0.0000 0.0000 0.0000 0.4348 0.7143 0.1864 0.2499 0.4348 0.7143 1.3411 0.0012 0.0000 0.2194 0.0000 0.7143 0.1864 0.2499 742-AH 0.0000 0.0000 0.0000 0.0059 1.0000 0.0750 0.2308 0.0059 1.0000 3.0784 0.0001 0.0000 0.1249 0.0000 0.0081 0.0012 0.0026 743-AH 0.0000 0.0000 0.0000 0.0000 0.1026 0.0095 0.0279 0.0000 0.1026 2.9503 0.0000 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0436 0.2301 0.4000 0.6842 0.2567 0.2140 0.3564 0.6842 0.8336 0.0617 0.0001 0.1826 0.0000 0.6842 0.2567 0.2140 745-AH 0.0000 0.0000 0.0000 0.3582 0.6322 0.1514 0.2131 0.3582 0.6322 1.4074 0.0011 0.0000 0.1838 0.0000 0.6322 0.1514 0.2131 746-AH 0.0000 0.0000 0.0000 0.0000 0.4382 0.0642 0.1382 0.0000 0.4382 2.1526 0.0001 0.0000 0.1037 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0648 0.1755 0.0418 0.0586 0.0648 0.1755 1.4038 0.0005 0.0000 0.0482 0.0000 0.1387 0.0311 0.0467 748-AH 0.0000 0.0000 0.0023 0.0952 1.0000 0.0863 0.2216 0.0952 1.0000 2.5665 0.0007 0.0000 0.1174 0.0000 0.1333 0.0269 0.0436 749-AH 0.0000 0.0000 0.0000 0.0000 0.4750 0.0316 0.1130 0.0000 0.4750 3.5801 0.0000 0.0000 0.0583 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0855 0.0095 0.0205 0.0000 0.0855 2.1680 0.0001 0.0000 0.0146 0.0000 0.0000 0.0000 0.0000 162 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.1010 0.1200 0.2143 0.0812 0.0659 0.1200 0.2143 0.8120 0.0080 0.0000 0.0560 0.0000 0.2143 0.0812 0.0659 702-AH 0.0000 0.0000 0.0198 0.0393 0.0870 0.0258 0.0301 0.0393 0.0870 1.1672 0.0009 0.0000 0.0252 0.0000 0.0870 0.0258 0.0301 703-AH 0.0000 0.0437 0.1173 0.1556 0.3077 0.1124 0.0795 0.1118 0.3077 0.7078 0.0199 0.0001 0.0623 0.0000 0.3077 0.1124 0.0795 704-AH 0.0000 0.0000 0.0000 0.0000 0.3178 0.0354 0.0872 0.0000 0.3178 2.4644 0.0001 0.0000 0.0572 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0769 0.2069 0.2973 0.3704 0.1949 0.1186 0.2204 0.3704 0.6084 0.0592 0.0001 0.0932 0.0000 0.3704 0.1949 0.1186 706-AH 0.0000 0.0000 0.0116 0.0181 0.5455 0.0306 0.1053 0.0181 0.5455 3.4404 0.0017 0.0000 0.0396 0.0000 0.0254 0.0100 0.0082 707-AH 0.0000 0.0000 0.0688 0.1481 0.4286 0.1006 0.1202 0.1481 0.4286 1.1953 0.0058 0.0000 0.0940 0.0000 0.3529 0.0874 0.1019 708-AH 0.0000 0.0000 0.0187 0.0822 0.2162 0.0531 0.0686 0.0822 0.2162 1.2918 0.0044 0.0000 0.0570 0.0000 0.1667 0.0465 0.0612 709-AH 0.0000 0.0000 0.0948 0.2661 0.4394 0.1418 0.1559 0.2661 0.4394 1.1000 0.0017 0.0000 0.1418 0.0000 0.4394 0.1418 0.1559 710-AH 0.0000 0.0000 0.0000 0.1106 0.8571 0.1293 0.2492 0.1106 0.8571 1.9269 0.0003 0.0000 0.1824 0.0000 0.1312 0.0165 0.0387 711-AH 0.0000 0.0000 0.0000 0.0000 0.4444 0.0330 0.1114 0.0000 0.4444 3.3769 0.0001 0.0000 0.0580 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.0211 0.0013 0.0048 0.0000 0.0211 3.6153 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0098 0.0178 0.0037 0.0063 0.0098 0.0178 1.7209 0.0001 0.0000 0.0053 0.0000 0.0178 0.0037 0.0063 714-AH 0.0000 0.0000 0.0278 0.0488 0.0637 0.0251 0.0253 0.0488 0.0637 1.0095 0.0009 0.0000 0.0231 0.0000 0.0637 0.0251 0.0253 715-AH 0.0000 0.0000 0.0121 0.0308 0.2083 0.0273 0.0461 0.0308 0.2083 1.6901 0.0008 0.0000 0.0300 0.0000 0.0426 0.0111 0.0145 716-AH 0.0615 0.3019 0.4444 0.6957 0.9412 0.4702 0.2489 0.3938 0.8796 0.5295 0.3921 0.2951 0.1924 0.0615 0.9412 0.4702 0.2489 717-AH 0.0000 0.0391 0.1730 0.3580 0.4727 0.1960 0.1708 0.3189 0.4727 0.8713 0.0275 0.0001 0.1457 0.0000 0.4727 0.1960 0.1708 718-AH 0.0000 0.0000 0.0975 0.2941 0.6250 0.1695 0.1970 0.2941 0.6250 1.1624 0.0116 0.0000 0.1563 0.0000 0.6250 0.1695 0.1970 719-AH 0.0000 0.0000 0.0000 0.0000 0.0162 0.0006 0.0032 0.0000 0.0162 5.0990 0.0000 0.0000 0.0012 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0147 0.0646 0.2444 0.5714 0.1619 0.1971 0.2297 0.5714 1.2171 0.0499 0.0003 0.1621 0.0000 0.5714 0.1619 0.1971 721-AH 0.0000 0.0000 0.0000 0.0000 0.0363 0.0036 0.0101 0.0000 0.0363 2.8502 0.0000 0.0000 0.0063 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0101 0.0306 0.0054 0.0078 0.0101 0.0306 1.4450 0.0002 0.0000 0.0062 0.0000 0.0190 0.0044 0.0059 723-AH 0.0000 0.0000 0.0000 0.0000 0.0323 0.0012 0.0063 0.0000 0.0323 5.0990 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.5800 0.6458 0.7209 0.7632 0.5891 0.2129 0.1409 0.7632 0.3615 0.2656 0.0001 0.1485 0.3816 0.7632 0.6554 0.0998 725-AH 0.0000 0.0000 0.0000 0.0000 0.5179 0.0585 0.1493 0.0000 0.5179 2.5504 0.0001 0.0000 0.0990 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0375 0.0023 0.0085 0.0000 0.0375 3.6330 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.2812 0.0361 0.0874 0.0000 0.2812 2.4206 0.0000 0.0000 0.0611 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0263 0.0010 0.0052 0.0000 0.0263 5.0990 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0318 0.1092 0.0219 0.0363 0.0318 0.1092 1.6537 0.0002 0.0000 0.0290 0.0000 0.0778 0.0148 0.0271 731-AH 0.0000 0.0000 0.0000 0.0689 0.6102 0.0796 0.1480 0.0689 0.6102 1.8579 0.0006 0.0000 0.0987 0.0000 0.1568 0.0248 0.0416 732-AH 0.0000 0.0000 0.0000 0.0224 0.1250 0.0169 0.0341 0.0224 0.1250 2.0229 0.0001 0.0000 0.0234 0.0000 0.0545 0.0062 0.0135 733-AH 0.0000 0.0000 0.1407 0.3810 0.5600 0.1754 0.1882 0.3810 0.5600 1.0730 0.0026 0.0000 0.1673 0.0000 0.5600 0.1754 0.1882 734-AH 0.0000 0.3333 0.8571 0.8947 1.0000 0.6529 0.3319 0.5614 1.0000 0.5084 0.2723 0.0001 0.3024 0.0000 1.0000 0.6529 0.3319 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0217 0.0311 0.0077 0.0121 0.0217 0.0311 1.5616 0.0001 0.0000 0.0107 0.0000 0.0311 0.0077 0.0121 737-AH 0.0000 0.0000 0.0000 0.0000 0.0773 0.0113 0.0271 0.0000 0.0773 2.3986 0.0000 0.0000 0.0191 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0675 0.0047 0.0168 0.0000 0.0675 3.5517 0.0000 0.0000 0.0087 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0352 0.0746 0.1651 0.6333 0.1378 0.1544 0.1299 0.6333 1.1205 0.0355 0.0001 0.1104 0.0000 0.3529 0.0928 0.0840 740-AH 0.0000 0.0000 0.1253 0.3939 0.6842 0.1944 0.2147 0.3939 0.6842 1.1045 0.0037 0.0000 0.1876 0.0000 0.6842 0.1944 0.2147 741-AH 0.0000 0.0000 0.0000 0.3023 0.6667 0.1576 0.2219 0.3023 0.6667 1.4082 0.0011 0.0000 0.1820 0.0000 0.6667 0.1576 0.2219 742-AH 0.0000 0.0000 0.0000 0.0059 1.0000 0.0750 0.2308 0.0059 1.0000 3.0784 0.0001 0.0000 0.1249 0.0000 0.0081 0.0012 0.0026 743-AH 0.0000 0.0000 0.0000 0.0000 0.1017 0.0087 0.0255 0.0000 0.1017 2.9233 0.0000 0.0000 0.0147 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0308 0.1654 0.2540 0.5000 0.1739 0.1507 0.2231 0.5000 0.8661 0.0339 0.0001 0.1263 0.0000 0.5000 0.1739 0.1507 745-AH 0.0000 0.0000 0.0000 0.3582 0.6322 0.1453 0.2150 0.3582 0.6322 1.4798 0.0005 0.0000 0.1863 0.0000 0.6322 0.1453 0.2150 746-AH 0.0000 0.0000 0.0000 0.0000 0.3730 0.0524 0.1203 0.0000 0.3730 2.2938 0.0001 0.0000 0.0847 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.1529 0.0262 0.0503 0.0000 0.1529 1.9203 0.0001 0.0000 0.0403 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0023 0.0952 1.0000 0.0863 0.2216 0.0952 1.0000 2.5665 0.0007 0.0000 0.1174 0.0000 0.1333 0.0269 0.0436 749-AH 0.0000 0.0000 0.0000 0.0000 0.3689 0.0228 0.0832 0.0000 0.3689 3.6444 0.0000 0.0000 0.0421 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0470 0.0031 0.0111 0.0000 0.0470 3.5892 0.0000 0.0000 0.0057 0.0000 0.0000 0.0000 0.0000 163 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0923 0.1477 0.0343 0.0499 0.0923 0.1477 1.4553 0.0003 0.0000 0.0439 0.0000 0.1477 0.0343 0.0499 702-AH 0.0000 0.0000 0.0082 0.0223 0.0544 0.0133 0.0151 0.0223 0.0544 1.1369 0.0005 0.0000 0.0133 0.0000 0.0544 0.0133 0.0151 703-AH 0.0000 0.0195 0.0939 0.1364 0.3077 0.0889 0.0756 0.1169 0.3077 0.8501 0.0151 0.0001 0.0602 0.0000 0.3077 0.0889 0.0756 704-AH 0.0000 0.0000 0.0000 0.0000 0.2614 0.0285 0.0727 0.0000 0.2614 2.5490 0.0000 0.0000 0.0483 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0246 0.1443 0.1852 0.3704 0.1405 0.1069 0.1606 0.3704 0.7604 0.0225 0.0001 0.0844 0.0000 0.3704 0.1405 0.1069 706-AH 0.0000 0.0000 0.0000 0.0115 0.0159 0.0050 0.0062 0.0115 0.0159 1.2211 0.0002 0.0000 0.0058 0.0000 0.0159 0.0050 0.0062 707-AH 0.0000 0.0000 0.0688 0.1481 0.3500 0.0932 0.1051 0.1481 0.3500 1.1279 0.0044 0.0000 0.0848 0.0000 0.3500 0.0932 0.1051 708-AH 0.0000 0.0000 0.0187 0.0729 0.2162 0.0527 0.0684 0.0729 0.2162 1.2980 0.0044 0.0000 0.0565 0.0000 0.1667 0.0462 0.0610 709-AH 0.0000 0.0000 0.0204 0.1868 0.3238 0.0938 0.1152 0.1868 0.3238 1.2279 0.0013 0.0000 0.1017 0.0000 0.3238 0.0938 0.1152 710-AH 0.0000 0.0000 0.0000 0.0243 0.8571 0.0898 0.2051 0.0243 0.8571 2.2850 0.0001 0.0000 0.1362 0.0000 0.0243 0.0012 0.0054 711-AH 0.0000 0.0000 0.0000 0.0000 0.4444 0.0315 0.1118 0.0000 0.4444 3.5464 0.0000 0.0000 0.0582 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.0211 0.0013 0.0048 0.0000 0.0211 3.6153 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0128 0.0019 0.0041 0.0000 0.0128 2.1248 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0277 0.0011 0.0054 0.0000 0.0277 5.0990 0.0000 0.0000 0.0020 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0188 0.0694 0.0094 0.0163 0.0188 0.0694 1.7304 0.0001 0.0000 0.0123 0.0000 0.0296 0.0070 0.0110 716-AH 0.0000 0.0603 0.3571 0.5556 0.8800 0.3232 0.2931 0.4952 0.8800 0.9068 0.0696 0.0001 0.2511 0.0000 0.8800 0.3232 0.2931 717-AH 0.0000 0.0000 0.1267 0.2586 0.4054 0.1452 0.1494 0.2586 0.4054 1.0287 0.0045 0.0000 0.1278 0.0000 0.4054 0.1452 0.1494 718-AH 0.0000 0.0000 0.0000 0.1949 0.3833 0.1039 0.1377 0.1949 0.3833 1.3250 0.0010 0.0000 0.1174 0.0000 0.3833 0.1039 0.1377 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0131 0.0217 0.2000 0.5714 0.1246 0.1842 0.1869 0.5714 1.4783 0.0115 0.0001 0.1461 0.0000 0.4615 0.0716 0.1139 721-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0083 0.0120 0.0028 0.0047 0.0083 0.0120 1.6960 0.0001 0.0000 0.0040 0.0000 0.0120 0.0028 0.0047 723-AH 0.0000 0.0000 0.0000 0.0000 0.0181 0.0007 0.0035 0.0000 0.0181 5.0990 0.0000 0.0000 0.0013 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.3579 0.6161 0.6415 0.6800 0.4870 0.2439 0.2836 0.6800 0.5009 0.1030 0.0001 0.2010 0.0000 0.6800 0.4870 0.2439 725-AH 0.0000 0.0000 0.0000 0.0000 0.2870 0.0356 0.0864 0.0000 0.2870 2.4259 0.0000 0.0000 0.0602 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0236 0.0016 0.0057 0.0000 0.0236 3.5698 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.2561 0.0323 0.0782 0.0000 0.2561 2.4192 0.0000 0.0000 0.0547 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0164 0.0006 0.0032 0.0000 0.0164 5.0990 0.0000 0.0000 0.0012 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0142 0.0806 0.0168 0.0306 0.0142 0.0806 1.8161 0.0001 0.0000 0.0248 0.0000 0.0142 0.0007 0.0032 731-AH 0.0000 0.0000 0.0000 0.0000 0.3628 0.0412 0.0936 0.0000 0.3628 2.2703 0.0001 0.0000 0.0634 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0540 0.0075 0.0163 0.0000 0.0540 2.1731 0.0000 0.0000 0.0122 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0264 0.2576 0.4048 0.1260 0.1485 0.2576 0.4048 1.1781 0.0020 0.0000 0.1340 0.0000 0.4048 0.1260 0.1485 734-AH 0.0000 0.3036 0.7696 0.8824 0.9444 0.6122 0.3147 0.5788 0.9444 0.5140 0.2558 0.0001 0.2851 0.0000 0.9444 0.6122 0.3147 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0268 0.0020 0.0070 0.0000 0.0268 3.5353 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0689 0.0076 0.0216 0.0000 0.0689 2.8254 0.0000 0.0000 0.0135 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0506 0.0037 0.0130 0.0000 0.0506 3.5406 0.0000 0.0000 0.0068 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0168 0.1409 0.5526 0.0985 0.1492 0.1409 0.5526 1.5140 0.0012 0.0000 0.1133 0.0000 0.3088 0.0655 0.0953 740-AH 0.0000 0.0000 0.0000 0.2632 0.5488 0.1290 0.1705 0.2632 0.5488 1.3215 0.0011 0.0000 0.1441 0.0000 0.5488 0.1290 0.1705 741-AH 0.0000 0.0000 0.0000 0.2333 0.3091 0.0918 0.1181 0.2333 0.3091 1.2859 0.0009 0.0000 0.1038 0.0000 0.3091 0.0918 0.1181 742-AH 0.0000 0.0000 0.0000 0.0000 0.1364 0.0105 0.0348 0.0000 0.1364 3.3120 0.0001 0.0000 0.0181 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.1017 0.0083 0.0244 0.0000 0.1017 2.9234 0.0000 0.0000 0.0141 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0509 0.1187 0.3226 0.0846 0.1012 0.1187 0.3226 1.1963 0.0070 0.0000 0.0804 0.0000 0.2941 0.0658 0.0796 745-AH 0.0000 0.0000 0.0000 0.2689 0.6322 0.1280 0.2020 0.2689 0.6322 1.5781 0.0004 0.0000 0.1674 0.0000 0.6322 0.1280 0.2020 746-AH 0.0000 0.0000 0.0000 0.0000 0.3395 0.0424 0.1025 0.0000 0.3395 2.4177 0.0000 0.0000 0.0717 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.1293 0.0173 0.0416 0.0000 0.1293 2.4085 0.0000 0.0000 0.0292 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0000 0.0375 0.6000 0.0613 0.1607 0.0375 0.6000 2.6208 0.0005 0.0000 0.0856 0.0000 0.0577 0.0129 0.0211 749-AH 0.0000 0.0000 0.0000 0.0000 0.1468 0.0104 0.0370 0.0000 0.1468 3.5461 0.0000 0.0000 0.0192 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 164 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0291 0.1477 0.0252 0.0446 0.0291 0.1477 1.7672 0.0002 0.0000 0.0355 0.0000 0.0727 0.0057 0.0170 702-AH 0.0000 0.0000 0.0000 0.0000 0.0288 0.0030 0.0085 0.0000 0.0288 2.8339 0.0000 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.0893 0.1125 0.1500 0.0684 0.0546 0.1125 0.1500 0.7971 0.0071 0.0000 0.0503 0.0000 0.1500 0.0684 0.0546 704-AH 0.0000 0.0000 0.0000 0.0000 0.0893 0.0100 0.0284 0.0000 0.0893 2.8258 0.0000 0.0000 0.0178 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0484 0.1395 0.2449 0.0779 0.0880 0.1395 0.2449 1.1298 0.0016 0.0000 0.0767 0.0000 0.2449 0.0779 0.0880 706-AH 0.0000 0.0000 0.0000 0.0000 0.0159 0.0023 0.0050 0.0000 0.0159 2.1337 0.0000 0.0000 0.0038 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0540 0.0789 0.2963 0.0720 0.0883 0.0789 0.2963 1.2276 0.0035 0.0000 0.0658 0.0000 0.1481 0.0399 0.0459 708-AH 0.0000 0.0000 0.0134 0.0548 0.2162 0.0364 0.0568 0.0548 0.2162 1.5621 0.0015 0.0000 0.0425 0.0000 0.1212 0.0234 0.0344 709-AH 0.0000 0.0000 0.0000 0.0000 0.1359 0.0191 0.0458 0.0000 0.1359 2.4012 0.0000 0.0000 0.0323 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.8571 0.0774 0.1919 0.0000 0.8571 2.4796 0.0001 0.0000 0.1191 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.3939 0.0235 0.0867 0.0000 0.3939 3.6905 0.0000 0.0000 0.0434 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.0211 0.0013 0.0048 0.0000 0.0211 3.6153 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0542 0.0037 0.0118 0.0000 0.0542 3.1832 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0381 0.2463 0.5116 0.8800 0.2994 0.2911 0.4735 0.8800 0.9721 0.0615 0.0001 0.2485 0.0000 0.8800 0.2994 0.2911 717-AH 0.0000 0.0000 0.0292 0.1683 0.3148 0.0881 0.1094 0.1683 0.3148 1.2420 0.0012 0.0000 0.0936 0.0000 0.3148 0.0881 0.1094 718-AH 0.0000 0.0000 0.0000 0.0583 0.1985 0.0352 0.0591 0.0583 0.1985 1.6792 0.0002 0.0000 0.0467 0.0000 0.1038 0.0177 0.0337 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0139 0.1048 0.3824 0.0644 0.1039 0.1048 0.3824 1.6142 0.0015 0.0000 0.0768 0.0000 0.1970 0.0399 0.0597 721-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0000 0.0095 0.0007 0.0026 0.0000 0.0095 3.5327 0.0000 0.0000 0.0013 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0160 0.0006 0.0031 0.0000 0.0160 5.0990 0.0000 0.0000 0.0012 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.1765 0.5338 0.5571 0.6290 0.4071 0.2255 0.3807 0.6290 0.5540 0.0859 0.0001 0.1973 0.0000 0.6290 0.4071 0.2255 725-AH 0.0000 0.0000 0.0000 0.0000 0.1407 0.0160 0.0397 0.0000 0.1407 2.4806 0.0000 0.0000 0.0271 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0236 0.0016 0.0057 0.0000 0.0236 3.5698 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.1930 0.0233 0.0568 0.0000 0.1930 2.4389 0.0000 0.0000 0.0394 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0405 0.0031 0.0110 0.0000 0.0405 3.5327 0.0000 0.0000 0.0057 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.1608 0.0120 0.0370 0.0000 0.1608 3.0840 0.0000 0.0000 0.0212 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0474 0.0070 0.0150 0.0000 0.0474 2.1518 0.0000 0.0000 0.0112 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0149 0.1792 0.2879 0.0936 0.1114 0.1792 0.2879 1.1906 0.0013 0.0000 0.0999 0.0000 0.2879 0.0936 0.1114 734-AH 0.0000 0.2909 0.7029 0.8000 0.9444 0.5362 0.3291 0.5091 0.9444 0.6138 0.1422 0.0001 0.2997 0.0000 0.9444 0.5362 0.3291 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0310 0.0012 0.0061 0.0000 0.0310 5.0990 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.0661 0.3049 0.0571 0.1037 0.0661 0.3049 1.8176 0.0003 0.0000 0.0758 0.0000 0.1062 0.0154 0.0309 740-AH 0.0000 0.0000 0.0000 0.0000 0.3291 0.0375 0.0946 0.0000 0.3291 2.5233 0.0000 0.0000 0.0634 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.1345 0.3091 0.0780 0.1112 0.1345 0.3091 1.4259 0.0006 0.0000 0.0937 0.0000 0.3091 0.0780 0.1112 742-AH 0.0000 0.0000 0.0000 0.0000 0.1364 0.0105 0.0348 0.0000 0.1364 3.3120 0.0001 0.0000 0.0181 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.1017 0.0083 0.0242 0.0000 0.1017 2.9249 0.0000 0.0000 0.0140 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0307 0.0695 0.2877 0.0623 0.0863 0.0695 0.2877 1.3845 0.0018 0.0000 0.0657 0.0000 0.1544 0.0314 0.0435 745-AH 0.0000 0.0000 0.0000 0.2148 0.6316 0.1078 0.1835 0.2148 0.6316 1.7019 0.0003 0.0000 0.1410 0.0000 0.2915 0.0650 0.1085 746-AH 0.0000 0.0000 0.0000 0.0000 0.2707 0.0360 0.0866 0.0000 0.2707 2.4058 0.0000 0.0000 0.0609 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.1063 0.0146 0.0352 0.0000 0.1063 2.4110 0.0000 0.0000 0.0247 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0000 0.0375 0.6000 0.0613 0.1607 0.0375 0.6000 2.6208 0.0005 0.0000 0.0856 0.0000 0.0577 0.0129 0.0211 749-AH 0.0000 0.0000 0.0000 0.0000 0.0922 0.0035 0.0181 0.0000 0.0922 5.0990 0.0000 0.0000 0.0068 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 165 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0596 0.0042 0.0132 0.0000 0.0596 3.1421 0.0000 0.0000 0.0074 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.0000 0.0000 0.0980 0.0094 0.0225 0.0000 0.0980 2.3832 0.0001 0.0000 0.0145 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0406 0.1238 0.2364 0.0705 0.0804 0.1238 0.2364 1.1397 0.0012 0.0000 0.0705 0.0000 0.2364 0.0705 0.0804 706-AH 0.0000 0.0000 0.0000 0.0000 0.0124 0.0013 0.0037 0.0000 0.0124 2.8330 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0512 0.0789 0.2812 0.0673 0.0856 0.0789 0.2812 1.2727 0.0032 0.0000 0.0625 0.0000 0.1139 0.0351 0.0391 708-AH 0.0000 0.0000 0.0000 0.0000 0.0122 0.0005 0.0024 0.0000 0.0122 5.0990 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.0525 0.0020 0.0103 0.0000 0.0525 5.0990 0.0000 0.0000 0.0039 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.0139 0.0011 0.0038 0.0000 0.0139 3.5329 0.0000 0.0000 0.0020 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0499 0.3582 0.8621 0.2061 0.2724 0.3582 0.8621 1.3219 0.0084 0.0000 0.2223 0.0000 0.8621 0.2061 0.2724 717-AH 0.0000 0.0000 0.0000 0.0523 0.1900 0.0428 0.0633 0.0523 0.1900 1.4781 0.0005 0.0000 0.0499 0.0000 0.1131 0.0158 0.0294 718-AH 0.0000 0.0000 0.0000 0.0000 0.1174 0.0158 0.0380 0.0000 0.1174 2.4054 0.0000 0.0000 0.0267 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0000 0.0591 0.0087 0.0209 0.0000 0.0591 2.3933 0.0000 0.0000 0.0148 0.0000 0.0000 0.0000 0.0000 721-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.1718 0.4319 0.5000 0.5641 0.3341 0.2153 0.3282 0.5641 0.6445 0.0354 0.0000 0.1904 0.0000 0.5641 0.3341 0.2153 725-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0172 0.0007 0.0034 0.0000 0.0172 5.0990 0.0000 0.0000 0.0013 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.1488 0.0129 0.0379 0.0000 0.1488 2.9468 0.0000 0.0000 0.0227 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0436 0.0053 0.0128 0.0000 0.0436 2.4295 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.1364 0.1810 0.0496 0.0686 0.1364 0.1810 1.3833 0.0004 0.0000 0.0610 0.0000 0.1810 0.0496 0.0686 734-AH 0.0000 0.0283 0.2891 0.7826 0.9000 0.4187 0.3408 0.7543 0.9000 0.8141 0.0369 0.0000 0.3138 0.0000 0.9000 0.4187 0.3408 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.0000 0.2935 0.0341 0.0800 0.0000 0.2935 2.3461 0.0001 0.0000 0.0551 0.0000 0.0000 0.0000 0.0000 740-AH 0.0000 0.0000 0.0000 0.0000 0.1980 0.0222 0.0545 0.0000 0.1980 2.4574 0.0000 0.0000 0.0375 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0000 0.1125 0.0056 0.0228 0.0000 0.1125 4.0505 0.0000 0.0000 0.0104 0.0000 0.0000 0.0000 0.0000 742-AH 0.0000 0.0000 0.0000 0.0000 0.1364 0.0105 0.0348 0.0000 0.1364 3.3120 0.0001 0.0000 0.0181 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0673 0.0066 0.0183 0.0000 0.0673 2.7639 0.0000 0.0000 0.0112 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0000 0.0000 0.1967 0.0189 0.0497 0.0000 0.1967 2.6314 0.0001 0.0000 0.0305 0.0000 0.0000 0.0000 0.0000 745-AH 0.0000 0.0000 0.0000 0.0000 0.2273 0.0305 0.0670 0.0000 0.2273 2.1932 0.0001 0.0000 0.0493 0.0000 0.0000 0.0000 0.0000 746-AH 0.0000 0.0000 0.0000 0.0000 0.2108 0.0271 0.0654 0.0000 0.2108 2.4097 0.0000 0.0000 0.0459 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0000 0.0375 0.6000 0.0613 0.1607 0.0375 0.6000 2.6208 0.0005 0.0000 0.0856 0.0000 0.0577 0.0129 0.0211 749-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 166 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.0000 0.0000 0.0524 0.0048 0.0117 0.0000 0.0524 2.4608 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0075 0.0304 0.2090 0.0375 0.0675 0.0304 0.2090 1.7999 0.0007 0.0000 0.0465 0.0000 0.0365 0.0100 0.0132 706-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0193 0.0769 0.1449 0.0372 0.0454 0.0769 0.1449 1.2229 0.0011 0.0000 0.0377 0.0000 0.1449 0.0372 0.0454 708-AH 0.0000 0.0000 0.0000 0.0000 0.0122 0.0005 0.0024 0.0000 0.0122 5.0990 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.0000 0.0000 0.0349 0.1844 0.0279 0.0550 0.0349 0.1844 1.9727 0.0001 0.0000 0.0408 0.0000 0.0852 0.0109 0.0259 717-AH 0.0000 0.0000 0.0000 0.0000 0.1516 0.0193 0.0467 0.0000 0.1516 2.4209 0.0000 0.0000 0.0327 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0000 0.0239 0.0025 0.0070 0.0000 0.0239 2.8345 0.0000 0.0000 0.0044 0.0000 0.0000 0.0000 0.0000 721-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 722-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.0000 0.1533 0.4486 0.4898 0.2120 0.2067 0.4486 0.4898 0.9749 0.0078 0.0000 0.1886 0.0000 0.4898 0.2120 0.2067 725-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.2817 0.6061 0.1533 0.2001 0.2817 0.6061 1.3059 0.0012 0.0000 0.1704 0.0000 0.6061 0.1533 0.2001 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.0000 0.1871 0.0248 0.0576 0.0000 0.1871 2.3180 0.0001 0.0000 0.0401 0.0000 0.0000 0.0000 0.0000 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0000 0.0962 0.0049 0.0196 0.0000 0.0962 4.0065 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000 742-AH 0.0000 0.0000 0.0000 0.0000 0.1364 0.0105 0.0348 0.0000 0.1364 3.3120 0.0001 0.0000 0.0181 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.0391 0.0025 0.0090 0.0000 0.0391 3.6122 0.0000 0.0000 0.0046 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0090 0.0266 0.0000 0.1000 2.9726 0.0000 0.0000 0.0158 0.0000 0.0000 0.0000 0.0000 745-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 746-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0000 0.0375 0.6000 0.0613 0.1607 0.0375 0.6000 2.6208 0.0005 0.0000 0.0856 0.0000 0.0577 0.0129 0.0211 749-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 167 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1231 0.1796 0.2000 0.6000 1.4590 0.0005 0.0000 0.1515 0.0000 0.4000 0.1040 0.1541 702-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1385 0.1472 0.2000 0.4000 1.0630 0.0023 0.0000 0.1278 0.0000 0.4000 0.1385 0.1472 703-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.2692 0.2035 0.2000 0.8000 0.7559 0.0412 0.0001 0.1621 0.0000 0.6000 0.2480 0.1759 704-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4000 0.3150 0.4000 1.0000 0.7874 0.0382 0.0000 0.2615 0.0000 1.0000 0.4000 0.3150 705-AH 0.2000 0.4000 0.4000 0.6000 1.0000 0.4923 0.1809 0.2000 0.8000 0.3675 0.4621 0.4321 0.1444 0.2000 0.8000 0.4720 0.1514 706-AH 0.0000 0.2000 0.4000 0.4000 0.8000 0.3231 0.1883 0.2000 0.8000 0.5827 0.0715 0.0001 0.1467 0.0000 0.6000 0.3040 0.1645 707-AH 0.0000 0.0000 0.6000 0.6000 0.8000 0.4000 0.3441 0.6000 0.8000 0.8602 0.0089 0.0000 0.3231 0.0000 0.8000 0.4000 0.3441 708-AH 0.0000 0.0000 0.0000 0.6000 0.8000 0.2385 0.3395 0.6000 0.8000 1.4237 0.0007 0.0000 0.2994 0.0000 0.8000 0.2385 0.3395 709-AH 0.0000 0.0000 0.0000 0.6000 0.8000 0.2538 0.3325 0.6000 0.8000 1.3100 0.0007 0.0000 0.3124 0.0000 0.8000 0.2538 0.3325 710-AH 0.0000 0.0000 0.0000 0.8000 1.0000 0.3077 0.4127 0.8000 1.0000 1.3413 0.0011 0.0000 0.3716 0.0000 1.0000 0.3077 0.4127 711-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0769 0.1796 0.0000 0.6000 2.3344 0.0001 0.0000 0.1243 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.4000 0.4000 0.6000 0.6000 0.3846 0.2185 0.2000 0.6000 0.5682 0.0584 0.0001 0.1621 0.2000 0.6000 0.4762 0.1179 713-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2538 0.2370 0.4000 0.6000 0.9338 0.0093 0.0000 0.2047 0.0000 0.6000 0.2538 0.2370 714-AH 0.0000 0.0000 0.0000 0.0000 0.8000 0.0846 0.2275 0.0000 0.8000 2.6886 0.0001 0.0000 0.1432 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1615 0.1961 0.2000 0.6000 1.2141 0.0017 0.0000 0.1615 0.0000 0.4000 0.1250 0.1539 716-AH 0.0000 0.4000 0.6000 1.0000 1.0000 0.6692 0.3147 0.6000 1.0000 0.4702 0.4066 0.0003 0.2645 0.0000 1.0000 0.6692 0.3147 717-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6154 0.3146 0.4000 1.0000 0.5112 0.2590 0.0001 0.2627 0.0000 1.0000 0.6154 0.3146 718-AH 0.0000 0.2000 0.5000 0.8000 1.0000 0.5077 0.3212 0.6000 1.0000 0.6326 0.1431 0.0001 0.2769 0.0000 1.0000 0.5077 0.3212 719-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0769 0.1275 0.2000 0.4000 1.6570 0.0002 0.0000 0.1065 0.0000 0.4000 0.0769 0.1275 720-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5615 0.3151 0.4000 1.0000 0.5611 0.1130 0.0001 0.2533 0.0000 1.0000 0.5615 0.3151 721-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1231 0.1796 0.2000 0.8000 1.4590 0.0010 0.0000 0.1325 0.0000 0.4000 0.0960 0.1172 722-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2077 0.1647 0.4000 0.6000 0.7932 0.0170 0.0000 0.1189 0.0000 0.6000 0.2077 0.1647 723-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2308 0.1761 0.4000 0.6000 0.7632 0.0184 0.0000 0.1456 0.0000 0.6000 0.2308 0.1761 724-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9308 0.1123 0.2000 0.4000 0.1207 0.9234 0.9150 0.0959 0.6000 1.0000 0.9308 0.1123 725-AH 0.0000 0.0000 0.0000 0.6000 1.0000 0.3308 0.3917 0.6000 1.0000 1.1842 0.0017 0.0000 0.3562 0.0000 1.0000 0.3308 0.3917 726-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1231 0.1394 0.2000 0.6000 1.1330 0.0022 0.0000 0.1136 0.0000 0.2000 0.1040 0.1020 727-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.0846 0.1617 0.2000 0.6000 1.9113 0.0002 0.0000 0.1237 0.0000 0.4000 0.0640 0.1254 728-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1077 0.1623 0.2000 0.4000 1.5070 0.0004 0.0000 0.1408 0.0000 0.4000 0.1077 0.1623 729-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0308 0.0736 0.0000 0.2000 2.3917 0.0000 0.0000 0.0521 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1231 0.1608 0.2000 0.6000 1.3062 0.0011 0.0000 0.1325 0.0000 0.4000 0.1040 0.1306 731-AH 0.0000 0.2000 0.4000 0.4000 0.8000 0.3692 0.2510 0.2000 0.8000 0.6799 0.1087 0.0001 0.1893 0.0000 0.4000 0.2667 0.1461 732-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.2615 0.2099 0.2000 0.8000 0.8026 0.0397 0.0001 0.1621 0.0000 0.6000 0.2400 0.1826 733-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1846 0.2588 0.2000 0.8000 1.4016 0.0012 0.0000 0.1988 0.0000 0.4000 0.0909 0.1342 734-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.8077 0.3463 0.4000 1.0000 0.4288 0.3383 0.0001 0.2811 0.2000 1.0000 0.8750 0.2625 735-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1923 0.2682 0.2000 0.8000 1.3947 0.0013 0.0000 0.2071 0.0000 0.4000 0.0762 0.1179 736-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0308 0.0928 0.0000 0.4000 3.0166 0.0000 0.0000 0.0544 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.2000 0.2000 0.8000 0.1846 0.2525 0.2000 0.8000 1.3677 0.0025 0.0000 0.1704 0.0000 0.4000 0.1043 0.1186 738-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0615 0.1675 0.0000 0.6000 2.7221 0.0000 0.0000 0.1041 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6538 0.3325 0.6000 1.0000 0.5086 0.2683 0.0001 0.2763 0.0000 1.0000 0.6538 0.3325 740-AH 0.0000 0.0000 0.3000 0.8000 0.8000 0.3615 0.3251 0.8000 0.8000 0.8991 0.0167 0.0000 0.2846 0.0000 0.8000 0.3615 0.3251 741-AH 0.0000 0.0000 0.0000 0.4000 1.0000 0.2077 0.3463 0.4000 1.0000 1.6675 0.0004 0.0000 0.2728 0.0000 1.0000 0.2077 0.3463 742-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0462 0.1174 0.0000 0.4000 2.5438 0.0000 0.0000 0.0781 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0154 0.0543 0.0000 0.2000 3.5327 0.0000 0.0000 0.0284 0.0000 0.0000 0.0000 0.0000 744-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7462 0.2970 0.4000 0.8000 0.3980 0.6587 0.5407 0.2438 0.2000 1.0000 0.7462 0.2970 745-AH 0.0000 0.0000 0.0000 0.2000 1.0000 0.2308 0.3739 0.2000 1.0000 1.6203 0.0006 0.0000 0.2935 0.0000 0.2000 0.0400 0.0821 746-AH 0.0000 0.0000 0.0000 0.4000 0.8000 0.2231 0.2790 0.4000 0.8000 1.2507 0.0014 0.0000 0.2438 0.0000 0.8000 0.2231 0.2790 747-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1462 0.1749 0.2000 0.6000 1.1966 0.0023 0.0000 0.1349 0.0000 0.4000 0.1083 0.1176 748-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0769 0.1704 0.0000 0.6000 2.2156 0.0001 0.0000 0.1183 0.0000 0.0000 0.0000 0.0000 749-AH 0.0000 0.0000 0.0000 0.4000 1.0000 0.2231 0.3314 0.4000 1.0000 1.4857 0.0009 0.0000 0.2627 0.0000 1.0000 0.2231 0.3314 750-AH 0.0000 0.0000 0.0000 0.4000 0.8000 0.2000 0.2653 0.4000 0.8000 1.3266 0.0013 0.0000 0.2154 0.0000 0.8000 0.2000 0.2653 168 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.1000 0.1200 0.2000 0.3000 1.2000 0.0010 0.0000 0.1077 0.0000 0.3000 0.1000 0.1200 702-AH 0.0000 0.0000 0.1000 0.2000 0.5000 0.1308 0.1192 0.2000 0.5000 0.9117 0.0085 0.0000 0.0947 0.0000 0.5000 0.1308 0.1192 703-AH 0.0000 0.1000 0.2000 0.2000 0.5000 0.2000 0.1327 0.1000 0.5000 0.6633 0.0888 0.0001 0.0846 0.0000 0.3000 0.1609 0.0783 704-AH 0.0000 0.2000 0.3000 0.5000 0.7000 0.3385 0.2385 0.3000 0.7000 0.7045 0.0494 0.0001 0.1953 0.0000 0.7000 0.3385 0.2385 705-AH 0.1000 0.3000 0.3000 0.5000 0.6000 0.3346 0.1325 0.2000 0.5000 0.3959 0.3060 0.2727 0.1068 0.1000 0.6000 0.3346 0.1325 706-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.1962 0.1216 0.2000 0.5000 0.6199 0.0635 0.0001 0.0896 0.0000 0.5000 0.1962 0.1216 707-AH 0.0000 0.0000 0.3000 0.3000 0.5000 0.2077 0.1831 0.3000 0.5000 0.8818 0.0059 0.0000 0.1680 0.0000 0.5000 0.2077 0.1831 708-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1308 0.1850 0.4000 0.4000 1.4145 0.0005 0.0000 0.1657 0.0000 0.4000 0.1308 0.1850 709-AH 0.0000 0.0000 0.0500 0.3000 0.9000 0.2038 0.2735 0.3000 0.9000 1.3415 0.0018 0.0000 0.2198 0.0000 0.6000 0.1458 0.1888 710-AH 0.0000 0.0000 0.0500 0.5000 0.8000 0.2462 0.3178 0.5000 0.8000 1.2910 0.0020 0.0000 0.2799 0.0000 0.8000 0.2462 0.3178 711-AH 0.0000 0.0000 0.0000 0.1000 0.5000 0.0808 0.1386 0.1000 0.5000 1.7162 0.0003 0.0000 0.1056 0.0000 0.1000 0.0190 0.0402 712-AH 0.0000 0.2000 0.2000 0.3000 0.3000 0.2115 0.1071 0.1000 0.3000 0.5061 0.0512 0.0001 0.0817 0.1000 0.3000 0.2500 0.0598 713-AH 0.0000 0.0000 0.1000 0.3000 0.4000 0.1423 0.1301 0.3000 0.4000 0.9146 0.0088 0.0000 0.1136 0.0000 0.4000 0.1423 0.1301 714-AH 0.0000 0.0000 0.0000 0.1000 0.8000 0.0962 0.2181 0.1000 0.8000 2.2686 0.0003 0.0000 0.1257 0.0000 0.1000 0.0261 0.0449 715-AH 0.0000 0.0000 0.1000 0.3000 0.5000 0.1500 0.1679 0.3000 0.5000 1.1195 0.0044 0.0000 0.1423 0.0000 0.5000 0.1500 0.1679 716-AH 0.1000 0.4000 0.6000 0.9000 1.0000 0.6308 0.2782 0.5000 0.9000 0.4411 0.5494 0.4411 0.2331 0.1000 1.0000 0.6308 0.2782 717-AH 0.1000 0.4000 0.6000 0.8000 1.0000 0.6077 0.2591 0.4000 0.9000 0.4264 0.5396 0.4471 0.2024 0.1000 1.0000 0.6077 0.2591 718-AH 0.0000 0.3000 0.5000 0.8000 0.9000 0.4808 0.2857 0.5000 0.9000 0.5942 0.1399 0.0001 0.2438 0.0000 0.9000 0.4808 0.2857 719-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0423 0.0643 0.1000 0.2000 1.5205 0.0003 0.0000 0.0553 0.0000 0.2000 0.0423 0.0643 720-AH 0.0000 0.3000 0.6000 0.6000 0.8000 0.4538 0.2565 0.3000 0.8000 0.5651 0.0922 0.0001 0.2101 0.0000 0.8000 0.4538 0.2565 721-AH 0.0000 0.0000 0.1000 0.1000 0.4000 0.0885 0.1143 0.1000 0.4000 1.2919 0.0017 0.0000 0.0817 0.0000 0.2000 0.0625 0.0711 722-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1154 0.1008 0.2000 0.4000 0.8733 0.0108 0.0000 0.0751 0.0000 0.4000 0.1154 0.1008 723-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1269 0.0962 0.2000 0.3000 0.7576 0.0119 0.0000 0.0828 0.0000 0.3000 0.1269 0.0962 724-AH 0.7000 0.9000 1.0000 1.0000 1.0000 0.9423 0.0902 0.1000 0.3000 0.0957 0.9378 0.9328 0.0754 0.8000 1.0000 0.9520 0.0770 725-AH 0.0000 0.0000 0.0000 0.8000 1.0000 0.3462 0.4032 0.8000 1.0000 1.1649 0.0017 0.0000 0.3763 0.0000 1.0000 0.3462 0.4032 726-AH 0.0000 0.0000 0.1000 0.1000 0.4000 0.0923 0.0977 0.1000 0.4000 1.0580 0.0035 0.0000 0.0710 0.0000 0.2000 0.0800 0.0764 727-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0654 0.1198 0.1000 0.4000 1.8324 0.0002 0.0000 0.0905 0.0000 0.2000 0.0375 0.0711 728-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0808 0.1201 0.1000 0.3000 1.4865 0.0004 0.0000 0.0994 0.0000 0.2000 0.0286 0.0561 729-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0192 0.0402 0.0000 0.1000 2.0900 0.0001 0.0000 0.0311 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.1000 0.1000 0.5000 0.0846 0.1156 0.1000 0.5000 1.3657 0.0017 0.0000 0.0781 0.0000 0.2000 0.0583 0.0654 731-AH 0.0000 0.4000 0.4000 0.6000 0.8000 0.4462 0.2083 0.2000 0.8000 0.4669 0.1998 0.0001 0.1568 0.2000 0.8000 0.4833 0.1685 732-AH 0.0000 0.1000 0.1000 0.3000 0.6000 0.1731 0.1614 0.2000 0.6000 0.9325 0.0364 0.0001 0.1320 0.0000 0.6000 0.1731 0.1614 733-AH 0.0000 0.0000 0.1000 0.2000 0.7000 0.1769 0.2006 0.2000 0.7000 1.1339 0.0069 0.0000 0.1521 0.0000 0.5000 0.1375 0.1498 734-AH 0.0000 0.6000 0.8000 0.9000 1.0000 0.7423 0.2802 0.3000 1.0000 0.3775 0.3282 0.0001 0.2139 0.4000 1.0000 0.8042 0.1829 735-AH 0.0000 0.0000 0.1000 0.1000 0.8000 0.1615 0.2451 0.1000 0.8000 1.5171 0.0021 0.0000 0.1870 0.0000 0.1000 0.0400 0.0503 736-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0462 0.0859 0.1000 0.3000 1.8619 0.0001 0.0000 0.0675 0.0000 0.2000 0.0360 0.0700 737-AH 0.0000 0.1000 0.1000 0.3000 0.8000 0.1808 0.1789 0.2000 0.8000 0.9898 0.0198 0.0000 0.1331 0.0000 0.4000 0.1560 0.1294 738-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0615 0.1525 0.0000 0.5000 2.4784 0.0001 0.0000 0.0994 0.0000 0.0000 0.0000 0.0000 739-AH 0.1000 0.5000 0.6000 0.7000 0.8000 0.5500 0.2337 0.2000 0.7000 0.4248 0.4649 0.3377 0.1846 0.3000 0.8000 0.6318 0.1393 740-AH 0.0000 0.0000 0.3000 0.7000 0.8000 0.3500 0.3076 0.7000 0.8000 0.8788 0.0160 0.0000 0.2846 0.0000 0.8000 0.3500 0.3076 741-AH 0.0000 0.0000 0.0000 0.4000 0.8000 0.2231 0.3076 0.4000 0.8000 1.3791 0.0009 0.0000 0.2669 0.0000 0.8000 0.2231 0.3076 742-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0231 0.0587 0.0000 0.2000 2.5438 0.0000 0.0000 0.0391 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0308 0.0549 0.1000 0.2000 1.7847 0.0001 0.0000 0.0450 0.0000 0.2000 0.0308 0.0549 744-AH 0.1000 0.4000 0.6000 0.7000 0.9000 0.5462 0.2470 0.3000 0.8000 0.4522 0.4571 0.3319 0.2006 0.1000 0.9000 0.5462 0.2470 745-AH 0.0000 0.0000 0.0000 0.3000 0.8000 0.1885 0.2847 0.3000 0.8000 1.5107 0.0012 0.0000 0.2302 0.0000 0.7000 0.1375 0.2300 746-AH 0.0000 0.0000 0.1500 0.3000 0.6000 0.1731 0.2011 0.3000 0.6000 1.1620 0.0025 0.0000 0.1654 0.0000 0.6000 0.1731 0.2011 747-AH 0.0000 0.1000 0.1000 0.2000 0.4000 0.1308 0.1087 0.1000 0.4000 0.8312 0.0226 0.0001 0.0811 0.0000 0.3000 0.1083 0.0776 748-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0538 0.0859 0.1000 0.3000 1.5959 0.0004 0.0000 0.0663 0.0000 0.1000 0.0333 0.0482 749-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1346 0.2116 0.2000 0.8000 1.5715 0.0007 0.0000 0.1607 0.0000 0.4000 0.0875 0.1329 750-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1462 0.1655 0.2000 0.6000 1.1323 0.0032 0.0000 0.1343 0.0000 0.5000 0.1280 0.1400 169 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0333 0.1333 0.2667 0.0769 0.0898 0.1333 0.2667 1.1677 0.0012 0.0000 0.0793 0.0000 0.2667 0.0769 0.0898 702-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1359 0.0914 0.1333 0.3333 0.6724 0.0241 0.0001 0.0698 0.0000 0.3333 0.1359 0.0914 703-AH 0.0000 0.1333 0.1333 0.1333 0.4000 0.1513 0.0972 0.0000 0.4000 0.6423 0.0700 0.0001 0.0635 0.1333 0.1333 0.1333 0.0000 704-AH 0.0000 0.1333 0.3000 0.4667 0.7333 0.3205 0.2302 0.3333 0.7333 0.7182 0.0889 0.0001 0.1923 0.0000 0.7333 0.3205 0.2302 705-AH 0.0667 0.2000 0.2667 0.4000 0.4000 0.2667 0.1033 0.2000 0.3333 0.3873 0.2424 0.2105 0.0821 0.0667 0.4000 0.2667 0.1033 706-AH 0.0000 0.0667 0.1333 0.2000 0.4000 0.1462 0.0885 0.1333 0.4000 0.6054 0.0494 0.0001 0.0661 0.0000 0.2667 0.1360 0.0732 707-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1538 0.1357 0.2000 0.4000 0.8819 0.0050 0.0000 0.1183 0.0000 0.4000 0.1538 0.1357 708-AH 0.0000 0.0000 0.0000 0.2667 0.3333 0.0897 0.1278 0.2667 0.3333 1.4242 0.0005 0.0000 0.1140 0.0000 0.3333 0.0897 0.1278 709-AH 0.0000 0.0000 0.1333 0.2667 0.9333 0.2154 0.2594 0.2667 0.9333 1.2045 0.0108 0.0000 0.1803 0.0000 0.6000 0.1556 0.1569 710-AH 0.0000 0.0000 0.0333 0.4000 0.8667 0.2128 0.2866 0.4000 0.8667 1.3467 0.0018 0.0000 0.2465 0.0000 0.8667 0.2128 0.2866 711-AH 0.0000 0.0000 0.0000 0.0667 0.4000 0.0718 0.1264 0.0667 0.4000 1.7603 0.0003 0.0000 0.0951 0.0000 0.1333 0.0159 0.0359 712-AH 0.0000 0.1333 0.1333 0.2000 0.2000 0.1462 0.0654 0.0667 0.2000 0.4473 0.0523 0.0001 0.0497 0.0667 0.2000 0.1652 0.0395 713-AH 0.0000 0.0000 0.0667 0.2000 0.2667 0.1000 0.0909 0.2000 0.2667 0.9092 0.0069 0.0000 0.0795 0.0000 0.2667 0.1000 0.0909 714-AH 0.0000 0.0000 0.0000 0.0667 0.8000 0.1000 0.2135 0.0667 0.8000 2.1354 0.0008 0.0000 0.1231 0.0000 0.1333 0.0348 0.0487 715-AH 0.0000 0.0000 0.1000 0.2667 0.4000 0.1462 0.1497 0.2667 0.4000 1.0242 0.0084 0.0000 0.1245 0.0000 0.4000 0.1462 0.1497 716-AH 0.0667 0.4667 0.6333 0.8667 0.9333 0.6205 0.2507 0.4000 0.8667 0.4040 0.5484 0.4260 0.2103 0.0667 0.9333 0.6205 0.2507 717-AH 0.0667 0.4000 0.5333 0.6667 0.8667 0.5256 0.2194 0.2667 0.8000 0.4173 0.4678 0.3787 0.1724 0.0667 0.8667 0.5256 0.2194 718-AH 0.0000 0.2667 0.5333 0.6667 0.8667 0.4744 0.2662 0.4000 0.8667 0.5612 0.1924 0.0001 0.2219 0.0000 0.8667 0.4744 0.2662 719-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0359 0.0541 0.0667 0.2000 1.5070 0.0003 0.0000 0.0442 0.0000 0.1333 0.0293 0.0434 720-AH 0.0000 0.3333 0.4000 0.4667 0.6000 0.3487 0.1917 0.1333 0.6000 0.5496 0.1024 0.0001 0.1479 0.3333 0.6000 0.4433 0.0845 721-AH 0.0000 0.0000 0.0667 0.0667 0.2667 0.0744 0.0807 0.0667 0.2667 1.0856 0.0040 0.0000 0.0580 0.0000 0.1333 0.0455 0.0431 722-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0821 0.0738 0.1333 0.2667 0.8991 0.0083 0.0000 0.0572 0.0000 0.2667 0.0821 0.0738 723-AH 0.0000 0.0000 0.1000 0.1333 0.2667 0.0949 0.0781 0.1333 0.2667 0.8236 0.0094 0.0000 0.0641 0.0000 0.2667 0.0949 0.0781 724-AH 0.6000 0.8000 0.9333 1.0000 1.0000 0.9000 0.1151 0.2000 0.4000 0.1279 0.8920 0.8831 0.0923 0.6000 1.0000 0.9000 0.1151 725-AH 0.0000 0.0000 0.0000 0.7333 0.8000 0.3128 0.3616 0.7333 0.8000 1.1560 0.0017 0.0000 0.3369 0.0000 0.8000 0.3128 0.3616 726-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.0897 0.1014 0.1333 0.4000 1.1304 0.0045 0.0000 0.0763 0.0000 0.2667 0.0773 0.0809 727-AH 0.0000 0.0000 0.0000 0.0667 0.4667 0.0641 0.1200 0.0667 0.4667 1.8716 0.0003 0.0000 0.0838 0.0000 0.1333 0.0182 0.0367 728-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0590 0.0785 0.0667 0.2000 1.3309 0.0007 0.0000 0.0635 0.0000 0.1333 0.0254 0.0393 729-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0154 0.0286 0.0000 0.0667 1.8619 0.0001 0.0000 0.0237 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0667 0.0667 0.3333 0.0667 0.0864 0.0667 0.3333 1.2961 0.0020 0.0000 0.0564 0.0000 0.1333 0.0406 0.0438 731-AH 0.0000 0.4000 0.4667 0.6000 0.8667 0.4846 0.2062 0.2000 0.8667 0.4254 0.2181 0.0001 0.1489 0.2000 0.8667 0.5250 0.1552 732-AH 0.0000 0.0667 0.0667 0.2000 0.4667 0.1385 0.1372 0.1333 0.4667 0.9907 0.0394 0.0001 0.1097 0.0000 0.2667 0.0986 0.0826 733-AH 0.0000 0.0000 0.1333 0.2667 0.6000 0.1692 0.1830 0.2667 0.6000 1.0816 0.0092 0.0000 0.1467 0.0000 0.6000 0.1692 0.1830 734-AH 0.0000 0.4667 0.8000 0.8667 0.9333 0.6769 0.2658 0.4000 0.9333 0.3926 0.2999 0.0001 0.2181 0.0000 0.9333 0.6769 0.2658 735-AH 0.0000 0.0000 0.0667 0.2000 0.6000 0.1487 0.1831 0.2000 0.6000 1.2313 0.0042 0.0000 0.1444 0.0000 0.4667 0.1139 0.1411 736-AH 0.0000 0.0000 0.0000 0.0667 0.2667 0.0487 0.0790 0.0667 0.2667 1.6218 0.0003 0.0000 0.0637 0.0000 0.1333 0.0261 0.0482 737-AH 0.0000 0.0667 0.1333 0.2667 0.7333 0.1538 0.1586 0.2000 0.7333 1.0311 0.0234 0.0001 0.1140 0.0000 0.3333 0.1307 0.1080 738-AH 0.0000 0.0000 0.0000 0.0667 0.5333 0.0769 0.1445 0.0667 0.5333 1.8780 0.0005 0.0000 0.0943 0.0000 0.0667 0.0212 0.0318 739-AH 0.0667 0.4000 0.5333 0.6000 0.7333 0.4744 0.1792 0.2000 0.6667 0.3778 0.4135 0.3074 0.1393 0.1333 0.7333 0.5083 0.1387 740-AH 0.0000 0.0000 0.3667 0.6667 0.8000 0.3487 0.2977 0.6667 0.8000 0.8538 0.0162 0.0000 0.2667 0.0000 0.8000 0.3487 0.2977 741-AH 0.0000 0.0000 0.0000 0.4000 0.6667 0.1872 0.2451 0.4000 0.6667 1.3097 0.0009 0.0000 0.2252 0.0000 0.6667 0.1872 0.2451 742-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0154 0.0391 0.0000 0.1333 2.5438 0.0000 0.0000 0.0260 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0205 0.0366 0.0667 0.1333 1.7847 0.0001 0.0000 0.0300 0.0000 0.1333 0.0205 0.0366 744-AH 0.0667 0.2667 0.5333 0.6000 0.7333 0.4410 0.2083 0.3333 0.6667 0.4724 0.3640 0.2564 0.1763 0.0667 0.7333 0.4410 0.2083 745-AH 0.0000 0.0000 0.0333 0.3333 0.7333 0.1641 0.2475 0.3333 0.7333 1.5080 0.0015 0.0000 0.1988 0.0000 0.7333 0.1641 0.2475 746-AH 0.0000 0.0000 0.1667 0.3333 0.6667 0.1897 0.2188 0.3333 0.6667 1.1533 0.0026 0.0000 0.1795 0.0000 0.6667 0.1897 0.2188 747-AH 0.0000 0.0667 0.1333 0.1333 0.2667 0.1128 0.0795 0.0667 0.2667 0.7045 0.0205 0.0001 0.0647 0.0000 0.2000 0.1000 0.0681 748-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0410 0.0599 0.0667 0.2000 1.4590 0.0005 0.0000 0.0473 0.0000 0.1333 0.0278 0.0389 749-AH 0.0000 0.0000 0.0000 0.1333 0.6667 0.1128 0.1874 0.1333 0.6667 1.6610 0.0009 0.0000 0.1286 0.0000 0.3333 0.0667 0.0963 750-AH 0.0000 0.0000 0.1000 0.2000 0.4667 0.1179 0.1337 0.2000 0.4667 1.1339 0.0028 0.0000 0.1077 0.0000 0.4667 0.1179 0.1337 170 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0500 0.1500 0.3000 0.0846 0.0846 0.1500 0.3000 0.9996 0.0059 0.0000 0.0707 0.0000 0.3000 0.0846 0.0846 702-AH 0.0000 0.1000 0.1500 0.1500 0.2500 0.1231 0.0682 0.0500 0.2500 0.5538 0.0235 0.0001 0.0527 0.1000 0.2000 0.1475 0.0255 703-AH 0.0000 0.1000 0.1250 0.1500 0.3000 0.1346 0.0732 0.0500 0.3000 0.5435 0.0646 0.0001 0.0538 0.0500 0.2000 0.1262 0.0375 704-AH 0.0000 0.1000 0.2750 0.4500 0.6500 0.2981 0.1987 0.3500 0.6500 0.6667 0.1599 0.0003 0.1635 0.0000 0.6500 0.2981 0.1987 705-AH 0.1500 0.2000 0.2500 0.3000 0.4000 0.2500 0.0721 0.1000 0.2500 0.2884 0.2397 0.2293 0.0577 0.1500 0.4000 0.2500 0.0721 706-AH 0.0000 0.0500 0.1000 0.1500 0.3000 0.1115 0.0683 0.1000 0.3000 0.6121 0.0387 0.0001 0.0518 0.0000 0.3000 0.1115 0.0683 707-AH 0.0000 0.0000 0.1500 0.1500 0.3500 0.1250 0.1116 0.1500 0.3500 0.8926 0.0060 0.0000 0.0923 0.0000 0.3500 0.1250 0.1116 708-AH 0.0000 0.0000 0.0000 0.2000 0.2500 0.0692 0.0991 0.2000 0.2500 1.4310 0.0004 0.0000 0.0882 0.0000 0.2500 0.0692 0.0991 709-AH 0.0000 0.0500 0.2000 0.3000 0.8500 0.2173 0.2379 0.2500 0.8500 1.0947 0.0208 0.0000 0.1701 0.0000 0.5500 0.1646 0.1543 710-AH 0.0000 0.0000 0.0250 0.3500 0.8000 0.1962 0.2742 0.3500 0.8000 1.3979 0.0017 0.0000 0.2260 0.0000 0.8000 0.1962 0.2742 711-AH 0.0000 0.0000 0.0000 0.0500 0.4000 0.0615 0.1125 0.0500 0.4000 1.8285 0.0003 0.0000 0.0831 0.0000 0.0500 0.0075 0.0183 712-AH 0.0000 0.1000 0.1250 0.1500 0.1500 0.1115 0.0496 0.0500 0.1500 0.4448 0.0412 0.0001 0.0385 0.0500 0.1500 0.1261 0.0297 713-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0788 0.0681 0.1500 0.2000 0.8634 0.0080 0.0000 0.0602 0.0000 0.2000 0.0788 0.0681 714-AH 0.0000 0.0000 0.0000 0.1000 0.8000 0.0962 0.2126 0.1000 0.8000 2.2107 0.0008 0.0000 0.1142 0.0000 0.1500 0.0375 0.0495 715-AH 0.0000 0.0500 0.1000 0.2500 0.3500 0.1346 0.1164 0.2000 0.3500 0.8648 0.0214 0.0001 0.1003 0.0000 0.3500 0.1346 0.1164 716-AH 0.0500 0.4000 0.5500 0.7500 0.9000 0.5635 0.2129 0.3500 0.8500 0.3778 0.5021 0.3779 0.1750 0.0500 0.9000 0.5635 0.2129 717-AH 0.0500 0.4000 0.5000 0.6000 0.8500 0.4942 0.1796 0.2000 0.8000 0.3634 0.4463 0.3498 0.1370 0.2000 0.8500 0.5120 0.1583 718-AH 0.0000 0.3000 0.4500 0.6000 0.7500 0.4038 0.2186 0.3000 0.7500 0.5413 0.1674 0.0001 0.1805 0.0000 0.7500 0.4038 0.2186 719-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0365 0.0575 0.0500 0.2000 1.5749 0.0003 0.0000 0.0450 0.0000 0.1000 0.0196 0.0328 720-AH 0.0000 0.2500 0.3000 0.4000 0.5500 0.2904 0.1667 0.1500 0.5500 0.5742 0.1176 0.0001 0.1249 0.0500 0.5500 0.3146 0.1493 721-AH 0.0000 0.0000 0.0500 0.1000 0.3000 0.0750 0.0752 0.1000 0.3000 1.0022 0.0056 0.0000 0.0596 0.0000 0.2000 0.0660 0.0608 722-AH 0.0000 0.0500 0.0500 0.1000 0.2000 0.0654 0.0525 0.0500 0.2000 0.8026 0.0129 0.0001 0.0405 0.0000 0.1500 0.0600 0.0456 723-AH 0.0000 0.0000 0.1000 0.1000 0.2500 0.0788 0.0666 0.1000 0.2500 0.8446 0.0082 0.0000 0.0536 0.0000 0.2500 0.0788 0.0666 724-AH 0.6500 0.8000 0.9500 0.9500 0.9500 0.8769 0.1002 0.1500 0.3000 0.1143 0.8709 0.8645 0.0858 0.6500 0.9500 0.8769 0.1002 725-AH 0.0000 0.0000 0.0000 0.7000 0.8500 0.2942 0.3413 0.7000 0.8500 1.1599 0.0016 0.0000 0.3169 0.0000 0.8500 0.2942 0.3413 726-AH 0.0000 0.0000 0.0500 0.1500 0.3500 0.0827 0.0883 0.1500 0.3500 1.0672 0.0058 0.0000 0.0685 0.0000 0.3500 0.0827 0.0883 727-AH 0.0000 0.0000 0.0000 0.0500 0.4000 0.0538 0.1009 0.0500 0.4000 1.8742 0.0003 0.0000 0.0713 0.0000 0.1000 0.0159 0.0323 728-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0519 0.0624 0.1000 0.2000 1.2021 0.0013 0.0000 0.0490 0.0000 0.2000 0.0519 0.0624 729-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0115 0.0215 0.0000 0.0500 1.8619 0.0001 0.0000 0.0178 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0500 0.0500 0.3000 0.0654 0.0797 0.0500 0.3000 1.2191 0.0048 0.0000 0.0556 0.0000 0.0500 0.0310 0.0249 731-AH 0.0000 0.3500 0.4750 0.6500 0.7500 0.4692 0.2088 0.3000 0.7500 0.4451 0.2100 0.0001 0.1654 0.0000 0.7500 0.4692 0.2088 732-AH 0.0000 0.0500 0.0500 0.2000 0.4000 0.1192 0.1209 0.1500 0.4000 1.0140 0.0331 0.0001 0.0997 0.0000 0.4000 0.1192 0.1209 733-AH 0.0000 0.0000 0.1000 0.3000 0.5500 0.1808 0.1950 0.3000 0.5500 1.0786 0.0126 0.0000 0.1601 0.0000 0.5500 0.1808 0.1950 734-AH 0.0000 0.4000 0.7250 0.8000 0.9000 0.6000 0.2588 0.4000 0.9000 0.4314 0.2635 0.0001 0.2231 0.0000 0.9000 0.6000 0.2588 735-AH 0.0000 0.0000 0.0750 0.2500 0.5000 0.1462 0.1593 0.2500 0.5000 1.0901 0.0110 0.0000 0.1302 0.0000 0.5000 0.1462 0.1593 736-AH 0.0000 0.0000 0.0500 0.0500 0.2500 0.0577 0.0771 0.0500 0.2500 1.3357 0.0013 0.0000 0.0580 0.0000 0.1000 0.0238 0.0301 737-AH 0.0000 0.0500 0.1000 0.2500 0.7000 0.1442 0.1485 0.2000 0.7000 1.0299 0.0225 0.0001 0.1044 0.0000 0.3000 0.1220 0.0980 738-AH 0.0000 0.0000 0.0250 0.1000 0.5500 0.0750 0.1290 0.1000 0.5500 1.7205 0.0010 0.0000 0.0865 0.0000 0.1500 0.0348 0.0487 739-AH 0.0500 0.3000 0.4000 0.5000 0.7000 0.4058 0.1651 0.2000 0.6500 0.4069 0.3606 0.2882 0.1259 0.0500 0.7000 0.4058 0.1651 740-AH 0.0000 0.0000 0.4250 0.5500 0.8000 0.3538 0.2915 0.5500 0.8000 0.8239 0.0168 0.0000 0.2574 0.0000 0.8000 0.3538 0.2915 741-AH 0.0000 0.0000 0.0000 0.4000 0.6000 0.1769 0.2277 0.4000 0.6000 1.2870 0.0012 0.0000 0.2101 0.0000 0.6000 0.1769 0.2277 742-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0154 0.0309 0.0000 0.1000 2.0075 0.0001 0.0000 0.0237 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0381 0.0500 0.1000 1.5232 0.0002 0.0000 0.0327 0.0000 0.1000 0.0250 0.0381 744-AH 0.0500 0.2500 0.4500 0.5000 0.6500 0.3673 0.1772 0.2500 0.6000 0.4823 0.2990 0.2021 0.1467 0.0500 0.6500 0.3673 0.1772 745-AH 0.0000 0.0500 0.0750 0.3000 0.7500 0.1885 0.2338 0.2500 0.7500 1.2406 0.0164 0.0000 0.1879 0.0000 0.6000 0.1438 0.1796 746-AH 0.0000 0.0000 0.1500 0.3500 0.7500 0.1827 0.2126 0.3500 0.7500 1.1636 0.0035 0.0000 0.1723 0.0000 0.7500 0.1827 0.2126 747-AH 0.0000 0.0500 0.1000 0.1500 0.3500 0.1077 0.0821 0.1000 0.3500 0.7622 0.0358 0.0001 0.0568 0.0000 0.3000 0.0980 0.0669 748-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0346 0.0485 0.0500 0.1500 1.4016 0.0004 0.0000 0.0399 0.0000 0.1000 0.0250 0.0361 749-AH 0.0000 0.0000 0.0750 0.1000 0.6500 0.1154 0.1725 0.1000 0.6500 1.4949 0.0065 0.0000 0.1056 0.0000 0.2000 0.0609 0.0563 750-AH 0.0000 0.0000 0.0750 0.1500 0.3500 0.1000 0.1105 0.1500 0.3500 1.1045 0.0035 0.0000 0.0885 0.0000 0.3500 0.1000 0.1105 171 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0333 0.0667 0.1000 0.2333 0.0821 0.0688 0.0667 0.2333 0.8383 0.0150 0.0001 0.0536 0.0000 0.1667 0.0638 0.0481 702-AH 0.0000 0.0667 0.1000 0.1333 0.2000 0.0974 0.0565 0.0667 0.2000 0.5800 0.0192 0.0001 0.0422 0.0000 0.2000 0.0974 0.0565 703-AH 0.0000 0.0667 0.1333 0.1667 0.2667 0.1256 0.0655 0.1000 0.2667 0.5216 0.0798 0.0003 0.0550 0.0000 0.2667 0.1256 0.0655 704-AH 0.0000 0.0667 0.2167 0.3667 0.5667 0.2538 0.1715 0.3000 0.5667 0.6758 0.1388 0.0003 0.1452 0.0000 0.5667 0.2538 0.1715 705-AH 0.1000 0.2000 0.2333 0.2667 0.3333 0.2282 0.0658 0.0667 0.2333 0.2883 0.2174 0.2047 0.0546 0.1000 0.3333 0.2282 0.0658 706-AH 0.0000 0.0333 0.0667 0.1000 0.2000 0.0769 0.0469 0.0667 0.2000 0.6100 0.0278 0.0001 0.0367 0.0000 0.1333 0.0720 0.0405 707-AH 0.0000 0.0000 0.1000 0.1667 0.2667 0.0949 0.0852 0.1667 0.2667 0.8982 0.0050 0.0000 0.0679 0.0000 0.2667 0.0949 0.0852 708-AH 0.0000 0.0000 0.0000 0.1333 0.1667 0.0487 0.0701 0.1333 0.1667 1.4382 0.0004 0.0000 0.0623 0.0000 0.1667 0.0487 0.0701 709-AH 0.0000 0.0333 0.2333 0.3000 0.6000 0.2038 0.1814 0.2667 0.6000 0.8900 0.0212 0.0000 0.1497 0.0000 0.6000 0.2038 0.1814 710-AH 0.0000 0.0000 0.0333 0.3000 0.8000 0.1731 0.2374 0.3000 0.8000 1.3716 0.0029 0.0000 0.1909 0.0000 0.6000 0.1480 0.2041 711-AH 0.0000 0.0000 0.0000 0.0333 0.4000 0.0538 0.1071 0.0333 0.4000 1.9893 0.0003 0.0000 0.0726 0.0000 0.0333 0.0067 0.0137 712-AH 0.0000 0.0667 0.1000 0.1000 0.1000 0.0769 0.0309 0.0333 0.1000 0.4022 0.0399 0.0001 0.0249 0.0333 0.1000 0.0833 0.0220 713-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0538 0.0453 0.1000 0.1333 0.8411 0.0061 0.0000 0.0400 0.0000 0.1333 0.0538 0.0453 714-AH 0.0000 0.0000 0.0333 0.1000 0.6333 0.0808 0.1674 0.1000 0.6333 2.0723 0.0013 0.0000 0.0924 0.0000 0.1000 0.0347 0.0411 715-AH 0.0000 0.0333 0.0667 0.2000 0.2667 0.1064 0.0869 0.1667 0.2667 0.8170 0.0239 0.0001 0.0771 0.0000 0.2667 0.1064 0.0869 716-AH 0.1333 0.3667 0.4667 0.5667 0.8333 0.4821 0.1634 0.2000 0.7000 0.3389 0.4528 0.4170 0.1189 0.1333 0.8333 0.4821 0.1634 717-AH 0.1000 0.3667 0.4500 0.5000 0.7000 0.4282 0.1394 0.1333 0.6000 0.3256 0.3994 0.3584 0.1059 0.2667 0.7000 0.4528 0.1133 718-AH 0.0000 0.2333 0.3333 0.5000 0.6333 0.3333 0.1796 0.2667 0.6333 0.5389 0.1441 0.0001 0.1462 0.0000 0.6333 0.3333 0.1796 719-AH 0.0000 0.0000 0.0000 0.0333 0.1333 0.0269 0.0389 0.0333 0.1333 1.4447 0.0004 0.0000 0.0311 0.0000 0.0667 0.0159 0.0243 720-AH 0.0000 0.1667 0.2000 0.2667 0.4000 0.2128 0.1189 0.1000 0.4000 0.5587 0.0933 0.0001 0.0907 0.0333 0.4000 0.2306 0.1054 721-AH 0.0000 0.0000 0.0333 0.1000 0.2333 0.0628 0.0628 0.1000 0.2333 0.9992 0.0048 0.0000 0.0523 0.0000 0.2333 0.0628 0.0628 722-AH 0.0000 0.0333 0.0333 0.0667 0.1333 0.0462 0.0366 0.0333 0.1333 0.7932 0.0097 0.0001 0.0296 0.0000 0.1000 0.0427 0.0327 723-AH 0.0000 0.0333 0.0667 0.1000 0.1667 0.0615 0.0478 0.0667 0.1667 0.7766 0.0123 0.0001 0.0367 0.0000 0.1667 0.0615 0.0478 724-AH 0.6000 0.7000 0.7667 0.8000 0.8333 0.7436 0.0548 0.1000 0.2333 0.0737 0.7416 0.7395 0.0454 0.6000 0.8333 0.7436 0.0548 725-AH 0.0000 0.0000 0.0000 0.4667 0.7333 0.2218 0.2670 0.4667 0.7333 1.2038 0.0014 0.0000 0.2389 0.0000 0.7333 0.2218 0.2670 726-AH 0.0000 0.0000 0.0333 0.1000 0.2333 0.0705 0.0750 0.1000 0.2333 1.0640 0.0068 0.0000 0.0589 0.0000 0.2333 0.0705 0.0750 727-AH 0.0000 0.0000 0.0000 0.1000 0.3667 0.0590 0.0986 0.1000 0.3667 1.6714 0.0003 0.0000 0.0771 0.0000 0.2000 0.0375 0.0639 728-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0487 0.0424 0.0667 0.1333 0.8704 0.0056 0.0000 0.0357 0.0000 0.1333 0.0487 0.0424 729-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0141 0.0214 0.0333 0.0667 1.5205 0.0002 0.0000 0.0184 0.0000 0.0667 0.0141 0.0214 730-AH 0.0000 0.0333 0.0333 0.1000 0.2333 0.0667 0.0706 0.0667 0.2333 1.0583 0.0086 0.0000 0.0564 0.0000 0.1667 0.0478 0.0491 731-AH 0.0000 0.2667 0.4000 0.5667 0.7667 0.3974 0.1900 0.3000 0.7667 0.4779 0.1782 0.0001 0.1438 0.0000 0.7667 0.3974 0.1900 732-AH 0.0333 0.0333 0.0667 0.1667 0.4000 0.1115 0.1083 0.1333 0.3667 0.9709 0.0743 0.0548 0.0878 0.0333 0.3000 0.1000 0.0928 733-AH 0.0000 0.0000 0.1333 0.3333 0.4667 0.1628 0.1623 0.3333 0.4667 0.9968 0.0118 0.0000 0.1394 0.0000 0.4667 0.1628 0.1623 734-AH 0.0000 0.3000 0.5333 0.6333 0.6333 0.4590 0.1981 0.3333 0.6333 0.4315 0.2059 0.0001 0.1684 0.0000 0.6333 0.4590 0.1981 735-AH 0.0000 0.0333 0.1167 0.2333 0.4000 0.1385 0.1278 0.2000 0.4000 0.9229 0.0151 0.0000 0.1081 0.0000 0.4000 0.1385 0.1278 736-AH 0.0000 0.0000 0.0667 0.1000 0.1667 0.0590 0.0502 0.1000 0.1667 0.8506 0.0065 0.0000 0.0416 0.0000 0.1667 0.0590 0.0502 737-AH 0.0000 0.0667 0.1000 0.1667 0.5333 0.1231 0.1090 0.1000 0.5333 0.8860 0.0382 0.0001 0.0779 0.0000 0.2333 0.1067 0.0714 738-AH 0.0000 0.0000 0.0333 0.1333 0.4333 0.0718 0.1044 0.1333 0.4333 1.4546 0.0014 0.0000 0.0811 0.0000 0.2000 0.0573 0.0755 739-AH 0.0333 0.2333 0.3000 0.4000 0.6333 0.3115 0.1299 0.1667 0.6000 0.4171 0.2789 0.2217 0.0946 0.0333 0.6333 0.3115 0.1299 740-AH 0.0000 0.0333 0.3333 0.6000 0.7333 0.3244 0.2637 0.5667 0.7333 0.8131 0.0397 0.0001 0.2302 0.0000 0.7333 0.3244 0.2637 741-AH 0.0000 0.0000 0.0000 0.3333 0.4333 0.1487 0.1848 0.3333 0.4333 1.2427 0.0011 0.0000 0.1702 0.0000 0.4333 0.1487 0.1848 742-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0154 0.0316 0.0000 0.1000 2.0537 0.0001 0.0000 0.0237 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0333 0.0333 0.1000 0.0269 0.0298 0.0333 0.1000 1.1085 0.0009 0.0000 0.0249 0.0000 0.0667 0.0240 0.0264 744-AH 0.0333 0.2000 0.3000 0.4000 0.5000 0.2936 0.1529 0.2000 0.4667 0.5208 0.2299 0.1435 0.1253 0.0333 0.5000 0.2936 0.1529 745-AH 0.0000 0.0333 0.1167 0.3000 0.7333 0.1987 0.2341 0.2667 0.7333 1.1780 0.0173 0.0000 0.1855 0.0000 0.6000 0.1542 0.1807 746-AH 0.0000 0.0000 0.1167 0.2333 0.7000 0.1731 0.1966 0.2333 0.7000 1.1362 0.0122 0.0000 0.1520 0.0000 0.5667 0.1520 0.1681 747-AH 0.0000 0.0333 0.0833 0.1333 0.2667 0.0897 0.0631 0.1000 0.2667 0.7029 0.0305 0.0001 0.0487 0.0000 0.2667 0.0897 0.0631 748-AH 0.0000 0.0000 0.0000 0.0667 0.1000 0.0256 0.0344 0.0667 0.1000 1.3413 0.0004 0.0000 0.0296 0.0000 0.1000 0.0256 0.0344 749-AH 0.0000 0.0333 0.0667 0.0667 0.6000 0.0962 0.1483 0.0333 0.6000 1.5420 0.0134 0.0001 0.0890 0.0000 0.1000 0.0439 0.0315 750-AH 0.0000 0.0000 0.0667 0.1667 0.2333 0.0833 0.0818 0.1667 0.2333 0.9814 0.0043 0.0000 0.0705 0.0000 0.2333 0.0833 0.0818 172 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0100 0.0900 0.1000 0.1300 0.0685 0.0442 0.0900 0.1300 0.6449 0.0131 0.0001 0.0383 0.0000 0.1300 0.0685 0.0442 702-AH 0.0000 0.0500 0.0600 0.0800 0.0800 0.0562 0.0242 0.0300 0.0800 0.4306 0.0376 0.0003 0.0193 0.0100 0.0800 0.0584 0.0217 703-AH 0.0000 0.0600 0.0850 0.0900 0.0900 0.0677 0.0297 0.0300 0.0900 0.4388 0.0443 0.0003 0.0240 0.0200 0.0900 0.0729 0.0242 704-AH 0.0200 0.1000 0.1350 0.2000 0.3000 0.1473 0.0747 0.1000 0.2800 0.5071 0.1240 0.0920 0.0602 0.0200 0.3000 0.1473 0.0747 705-AH 0.0500 0.0800 0.1050 0.1200 0.1400 0.1038 0.0262 0.0400 0.0900 0.2527 0.1002 0.0961 0.0208 0.0500 0.1400 0.1038 0.0262 706-AH 0.0000 0.0200 0.0250 0.0400 0.0600 0.0262 0.0147 0.0200 0.0600 0.5627 0.0110 0.0001 0.0115 0.0000 0.0600 0.0262 0.0147 707-AH 0.0000 0.0000 0.0600 0.0700 0.1000 0.0473 0.0380 0.0700 0.1000 0.8034 0.0042 0.0000 0.0333 0.0000 0.1000 0.0473 0.0380 708-AH 0.0000 0.0100 0.0350 0.0700 0.0800 0.0377 0.0310 0.0600 0.0800 0.8231 0.0076 0.0001 0.0269 0.0000 0.0800 0.0377 0.0310 709-AH 0.0000 0.0200 0.1450 0.2700 0.3300 0.1542 0.1224 0.2500 0.3300 0.7935 0.0296 0.0001 0.1127 0.0000 0.3300 0.1542 0.1224 710-AH 0.0000 0.0000 0.0200 0.1500 0.2400 0.0754 0.0917 0.1500 0.2400 1.2159 0.0042 0.0000 0.0801 0.0000 0.2400 0.0754 0.0917 711-AH 0.0000 0.0000 0.0050 0.0400 0.1300 0.0246 0.0388 0.0400 0.1300 1.5765 0.0006 0.0000 0.0283 0.0000 0.0900 0.0158 0.0243 712-AH 0.0000 0.0200 0.0300 0.0300 0.0400 0.0262 0.0085 0.0100 0.0400 0.3258 0.0192 0.0003 0.0064 0.0100 0.0400 0.0272 0.0068 713-AH 0.0000 0.0200 0.0300 0.0300 0.0500 0.0262 0.0147 0.0100 0.0500 0.5627 0.0085 0.0001 0.0112 0.0100 0.0400 0.0279 0.0071 714-AH 0.0000 0.0100 0.0400 0.0700 0.1900 0.0515 0.0527 0.0600 0.1900 1.0218 0.0089 0.0001 0.0401 0.0000 0.1100 0.0400 0.0348 715-AH 0.0000 0.0200 0.0500 0.0600 0.1000 0.0454 0.0298 0.0400 0.1000 0.6573 0.0265 0.0003 0.0261 0.0000 0.1000 0.0454 0.0298 716-AH 0.1200 0.1700 0.2100 0.2400 0.2500 0.1985 0.0429 0.0700 0.1300 0.2160 0.1937 0.1886 0.0386 0.1200 0.2500 0.1985 0.0429 717-AH 0.0900 0.1700 0.2300 0.2800 0.3300 0.2215 0.0731 0.1100 0.2400 0.3299 0.2084 0.1939 0.0612 0.0900 0.3300 0.2215 0.0731 718-AH 0.0300 0.1100 0.1650 0.2200 0.2500 0.1523 0.0723 0.1100 0.2200 0.4747 0.1274 0.0964 0.0581 0.0300 0.2500 0.1523 0.0723 719-AH 0.0000 0.0000 0.0100 0.0200 0.0700 0.0135 0.0155 0.0200 0.0700 1.1497 0.0017 0.0000 0.0109 0.0000 0.0300 0.0112 0.0105 720-AH 0.0000 0.0600 0.0800 0.1200 0.1300 0.0835 0.0379 0.0600 0.1300 0.4546 0.0421 0.0001 0.0289 0.0000 0.1300 0.0835 0.0379 721-AH 0.0000 0.0100 0.0400 0.1000 0.1300 0.0531 0.0489 0.0900 0.1300 0.9211 0.0070 0.0000 0.0441 0.0000 0.1300 0.0531 0.0489 722-AH 0.0000 0.0100 0.0200 0.0300 0.0500 0.0219 0.0139 0.0200 0.0500 0.6323 0.0115 0.0001 0.0104 0.0000 0.0500 0.0219 0.0139 723-AH 0.0000 0.0100 0.0300 0.0500 0.0700 0.0304 0.0227 0.0400 0.0700 0.7475 0.0068 0.0001 0.0189 0.0000 0.0700 0.0304 0.0227 724-AH 0.2400 0.3400 0.4400 0.4600 0.4800 0.4023 0.0794 0.1200 0.2400 0.1974 0.3935 0.3833 0.0678 0.2400 0.4800 0.4023 0.0794 725-AH 0.0000 0.0000 0.0150 0.1400 0.3200 0.0888 0.1085 0.1400 0.3200 1.2211 0.0027 0.0000 0.0918 0.0000 0.3200 0.0888 0.1085 726-AH 0.0000 0.0100 0.0200 0.0600 0.0700 0.0304 0.0268 0.0500 0.0700 0.8806 0.0049 0.0000 0.0235 0.0000 0.0700 0.0304 0.0268 727-AH 0.0000 0.0000 0.0300 0.0400 0.2100 0.0450 0.0661 0.0400 0.2100 1.4690 0.0014 0.0000 0.0458 0.0000 0.0600 0.0186 0.0210 728-AH 0.0000 0.0200 0.0300 0.0300 0.0600 0.0277 0.0150 0.0100 0.0600 0.5434 0.0188 0.0003 0.0117 0.0100 0.0400 0.0230 0.0086 729-AH 0.0000 0.0000 0.0100 0.0100 0.0900 0.0123 0.0180 0.0100 0.0900 1.4590 0.0015 0.0000 0.0099 0.0000 0.0200 0.0074 0.0062 730-AH 0.0000 0.0100 0.0500 0.0800 0.1000 0.0450 0.0364 0.0700 0.1000 0.8080 0.0112 0.0001 0.0315 0.0000 0.1000 0.0450 0.0364 731-AH 0.0000 0.1400 0.2100 0.2700 0.3900 0.1977 0.1021 0.1300 0.3900 0.5165 0.0907 0.0001 0.0811 0.0000 0.3900 0.1977 0.1021 732-AH 0.0200 0.0400 0.0500 0.0900 0.1600 0.0665 0.0414 0.0500 0.1400 0.6218 0.0564 0.0488 0.0344 0.0200 0.1600 0.0665 0.0414 733-AH 0.0000 0.0100 0.1100 0.1800 0.2000 0.0988 0.0855 0.1700 0.2000 0.8652 0.0108 0.0000 0.0804 0.0000 0.2000 0.0988 0.0855 734-AH 0.0000 0.1600 0.1900 0.2000 0.2000 0.1731 0.0522 0.0400 0.2000 0.3017 0.1140 0.0003 0.0324 0.1500 0.2000 0.1871 0.0173 735-AH 0.0000 0.0200 0.0800 0.1200 0.1900 0.0792 0.0598 0.1000 0.1900 0.7547 0.0324 0.0001 0.0508 0.0000 0.1900 0.0792 0.0598 736-AH 0.0000 0.0200 0.0450 0.0700 0.1000 0.0465 0.0322 0.0500 0.1000 0.6928 0.0212 0.0001 0.0281 0.0000 0.1000 0.0465 0.0322 737-AH 0.0000 0.0500 0.0750 0.1100 0.2300 0.0819 0.0513 0.0600 0.2300 0.6263 0.0391 0.0001 0.0391 0.0000 0.1600 0.0760 0.0423 738-AH 0.0000 0.0000 0.0100 0.0600 0.1400 0.0338 0.0373 0.0600 0.1400 1.1026 0.0028 0.0000 0.0318 0.0000 0.1400 0.0338 0.0373 739-AH 0.0100 0.0900 0.1350 0.1700 0.2700 0.1396 0.0624 0.0800 0.2600 0.4473 0.1219 0.0871 0.0481 0.0100 0.2700 0.1396 0.0624 740-AH 0.0000 0.0400 0.2050 0.3900 0.4600 0.2100 0.1721 0.3500 0.4600 0.8196 0.0373 0.0001 0.1538 0.0000 0.4600 0.2100 0.1721 741-AH 0.0000 0.0000 0.0100 0.1500 0.1700 0.0677 0.0748 0.1500 0.1700 1.1057 0.0040 0.0000 0.0696 0.0000 0.1700 0.0677 0.0748 742-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0046 0.0095 0.0000 0.0300 2.0537 0.0001 0.0000 0.0071 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0100 0.0200 0.0800 0.0185 0.0236 0.0200 0.0800 1.2790 0.0019 0.0000 0.0179 0.0000 0.0400 0.0100 0.0115 744-AH 0.0200 0.0800 0.1500 0.1700 0.2200 0.1304 0.0631 0.0900 0.2000 0.4838 0.1060 0.0732 0.0519 0.0200 0.2200 0.1304 0.0631 745-AH 0.0000 0.0100 0.0800 0.3200 0.6000 0.1635 0.1894 0.3100 0.6000 1.1584 0.0127 0.0000 0.1596 0.0000 0.6000 0.1635 0.1894 746-AH 0.0000 0.0400 0.1000 0.2200 0.4200 0.1358 0.1281 0.1800 0.4200 0.9433 0.0366 0.0001 0.1022 0.0000 0.4200 0.1358 0.1281 747-AH 0.0000 0.0400 0.0600 0.0800 0.2500 0.0696 0.0533 0.0400 0.2500 0.7650 0.0327 0.0001 0.0357 0.0000 0.1300 0.0543 0.0286 748-AH 0.0000 0.0000 0.0050 0.0300 0.0300 0.0119 0.0139 0.0300 0.0300 1.1626 0.0005 0.0000 0.0125 0.0000 0.0300 0.0119 0.0139 749-AH 0.0000 0.0200 0.0200 0.0400 0.4100 0.0581 0.1005 0.0200 0.4100 1.7301 0.0182 0.0001 0.0561 0.0000 0.0500 0.0233 0.0139 750-AH 0.0000 0.0100 0.0400 0.0700 0.1100 0.0373 0.0326 0.0600 0.1100 0.8729 0.0058 0.0000 0.0267 0.0000 0.1100 0.0373 0.0326 173 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0150 0.0500 0.0550 0.0650 0.0385 0.0239 0.0400 0.0650 0.6227 0.0085 0.0001 0.0209 0.0000 0.0650 0.0385 0.0239 702-AH 0.0000 0.0400 0.0450 0.0550 0.0700 0.0444 0.0191 0.0150 0.0700 0.4299 0.0303 0.0003 0.0145 0.0250 0.0700 0.0493 0.0138 703-AH 0.0000 0.0350 0.0450 0.0450 0.0500 0.0363 0.0147 0.0100 0.0500 0.4035 0.0248 0.0003 0.0116 0.0200 0.0500 0.0416 0.0079 704-AH 0.0200 0.0750 0.0950 0.1150 0.2100 0.0998 0.0458 0.0400 0.1900 0.4586 0.0886 0.0747 0.0325 0.0200 0.1550 0.0908 0.0344 705-AH 0.0250 0.0450 0.0575 0.0650 0.0700 0.0546 0.0138 0.0200 0.0450 0.2523 0.0526 0.0503 0.0119 0.0250 0.0700 0.0546 0.0138 706-AH 0.0000 0.0150 0.0200 0.0200 0.0300 0.0173 0.0072 0.0050 0.0300 0.4185 0.0101 0.0001 0.0056 0.0100 0.0250 0.0183 0.0049 707-AH 0.0000 0.0000 0.0425 0.0500 0.0500 0.0296 0.0222 0.0500 0.0500 0.7489 0.0031 0.0000 0.0205 0.0000 0.0500 0.0296 0.0222 708-AH 0.0000 0.0200 0.0225 0.0400 0.0400 0.0244 0.0128 0.0200 0.0400 0.5254 0.0105 0.0001 0.0102 0.0000 0.0400 0.0244 0.0128 709-AH 0.0000 0.0150 0.1025 0.1700 0.1750 0.0950 0.0744 0.1550 0.1750 0.7826 0.0309 0.0001 0.0712 0.0000 0.1750 0.0950 0.0744 710-AH 0.0000 0.0050 0.0150 0.0900 0.1250 0.0429 0.0479 0.0850 0.1250 1.1164 0.0097 0.0001 0.0430 0.0000 0.1250 0.0429 0.0479 711-AH 0.0000 0.0000 0.0075 0.0200 0.0650 0.0140 0.0194 0.0200 0.0650 1.3813 0.0012 0.0000 0.0141 0.0000 0.0450 0.0098 0.0128 712-AH 0.0050 0.0150 0.0150 0.0150 0.0200 0.0140 0.0037 0.0000 0.0150 0.2669 0.0134 0.0125 0.0026 0.0150 0.0150 0.0150 0.0000 713-AH 0.0000 0.0150 0.0150 0.0200 0.0250 0.0152 0.0074 0.0050 0.0250 0.4880 0.0069 0.0001 0.0049 0.0100 0.0250 0.0177 0.0046 714-AH 0.0000 0.0050 0.0350 0.0750 0.0950 0.0385 0.0331 0.0700 0.0950 0.8614 0.0110 0.0001 0.0291 0.0000 0.0950 0.0385 0.0331 715-AH 0.0000 0.0100 0.0300 0.0400 0.0600 0.0277 0.0171 0.0300 0.0600 0.6176 0.0169 0.0003 0.0144 0.0000 0.0600 0.0277 0.0171 716-AH 0.0650 0.0850 0.1100 0.1250 0.1300 0.1050 0.0189 0.0400 0.0650 0.1797 0.1033 0.1015 0.0169 0.0650 0.1300 0.1050 0.0189 717-AH 0.0750 0.0950 0.1425 0.1650 0.1900 0.1335 0.0378 0.0700 0.1150 0.2833 0.1279 0.1220 0.0328 0.0750 0.1900 0.1335 0.0378 718-AH 0.0250 0.0750 0.0975 0.1200 0.1350 0.0894 0.0389 0.0450 0.1100 0.4355 0.0770 0.0615 0.0312 0.0250 0.1350 0.0894 0.0389 719-AH 0.0000 0.0000 0.0050 0.0100 0.0600 0.0083 0.0119 0.0100 0.0600 1.4405 0.0011 0.0000 0.0071 0.0000 0.0150 0.0062 0.0056 720-AH 0.0050 0.0400 0.0525 0.0650 0.0700 0.0469 0.0193 0.0250 0.0650 0.4111 0.0397 0.0268 0.0156 0.0050 0.0700 0.0469 0.0193 721-AH 0.0000 0.0050 0.0350 0.0600 0.0900 0.0337 0.0282 0.0550 0.0900 0.8379 0.0051 0.0000 0.0249 0.0000 0.0900 0.0337 0.0282 722-AH 0.0000 0.0100 0.0150 0.0200 0.0300 0.0150 0.0077 0.0100 0.0300 0.5164 0.0104 0.0003 0.0062 0.0000 0.0300 0.0150 0.0077 723-AH 0.0000 0.0050 0.0150 0.0300 0.0400 0.0175 0.0139 0.0250 0.0400 0.7928 0.0042 0.0001 0.0121 0.0000 0.0400 0.0175 0.0139 724-AH 0.1250 0.1900 0.2350 0.2400 0.2400 0.2137 0.0382 0.0500 0.1150 0.1787 0.2097 0.2051 0.0315 0.1250 0.2400 0.2137 0.0382 725-AH 0.0000 0.0050 0.0275 0.0700 0.1750 0.0529 0.0603 0.0650 0.1750 1.1403 0.0114 0.0001 0.0481 0.0000 0.0950 0.0309 0.0322 726-AH 0.0000 0.0050 0.0150 0.0300 0.0400 0.0177 0.0136 0.0250 0.0400 0.7677 0.0053 0.0001 0.0117 0.0000 0.0400 0.0177 0.0136 727-AH 0.0000 0.0000 0.0175 0.0300 0.1250 0.0298 0.0399 0.0300 0.1250 1.3390 0.0030 0.0000 0.0286 0.0000 0.0500 0.0141 0.0144 728-AH 0.0050 0.0100 0.0150 0.0200 0.0450 0.0173 0.0108 0.0100 0.0400 0.6235 0.0144 0.0119 0.0082 0.0050 0.0300 0.0143 0.0071 729-AH 0.0000 0.0050 0.0100 0.0200 0.0500 0.0131 0.0113 0.0150 0.0500 0.8657 0.0042 0.0001 0.0087 0.0000 0.0250 0.0116 0.0086 730-AH 0.0000 0.0100 0.0350 0.0550 0.0750 0.0352 0.0252 0.0450 0.0750 0.7160 0.0121 0.0001 0.0210 0.0000 0.0750 0.0352 0.0252 731-AH 0.0050 0.0750 0.1275 0.1500 0.2100 0.1133 0.0582 0.0750 0.2050 0.5134 0.0887 0.0470 0.0482 0.0050 0.2100 0.1133 0.0582 732-AH 0.0250 0.0300 0.0350 0.0550 0.0850 0.0433 0.0185 0.0250 0.0600 0.4273 0.0401 0.0376 0.0147 0.0250 0.0850 0.0433 0.0185 733-AH 0.0000 0.0050 0.0750 0.1050 0.1100 0.0588 0.0475 0.1000 0.1100 0.8065 0.0117 0.0001 0.0440 0.0000 0.1100 0.0588 0.0475 734-AH 0.0050 0.0800 0.0950 0.1000 0.1000 0.0869 0.0255 0.0200 0.0950 0.2933 0.0745 0.0395 0.0160 0.0750 0.1000 0.0938 0.0086 735-AH 0.0000 0.0150 0.0475 0.0800 0.1150 0.0498 0.0354 0.0650 0.1150 0.7101 0.0274 0.0003 0.0317 0.0000 0.1150 0.0498 0.0354 736-AH 0.0000 0.0200 0.0325 0.0500 0.0600 0.0321 0.0183 0.0300 0.0600 0.5711 0.0202 0.0003 0.0160 0.0000 0.0600 0.0321 0.0183 737-AH 0.0000 0.0450 0.0625 0.0850 0.1450 0.0663 0.0371 0.0400 0.1450 0.5593 0.0331 0.0001 0.0277 0.0000 0.1450 0.0663 0.0371 738-AH 0.0000 0.0050 0.0250 0.0400 0.0850 0.0265 0.0244 0.0350 0.0850 0.9180 0.0067 0.0001 0.0197 0.0000 0.0850 0.0265 0.0244 739-AH 0.0050 0.0650 0.0850 0.1150 0.1450 0.0883 0.0361 0.0500 0.1400 0.4088 0.0768 0.0506 0.0285 0.0050 0.1450 0.0883 0.0361 740-AH 0.0000 0.0250 0.1550 0.2250 0.2650 0.1304 0.1015 0.2000 0.2650 0.7788 0.0320 0.0001 0.0926 0.0000 0.2650 0.1304 0.1015 741-AH 0.0000 0.0050 0.0050 0.0850 0.0950 0.0390 0.0401 0.0800 0.0950 1.0266 0.0054 0.0001 0.0386 0.0000 0.0950 0.0390 0.0401 742-AH 0.0000 0.0000 0.0000 0.0050 0.0150 0.0025 0.0047 0.0050 0.0150 1.8974 0.0001 0.0000 0.0037 0.0000 0.0100 0.0015 0.0031 743-AH 0.0000 0.0000 0.0050 0.0100 0.0650 0.0119 0.0179 0.0100 0.0650 1.5054 0.0013 0.0000 0.0126 0.0000 0.0100 0.0037 0.0036 744-AH 0.0150 0.0450 0.0825 0.0950 0.1250 0.0748 0.0336 0.0500 0.1100 0.4488 0.0639 0.0498 0.0272 0.0150 0.1250 0.0748 0.0336 745-AH 0.0000 0.0050 0.0400 0.2450 0.3050 0.1115 0.1193 0.2400 0.3050 1.0693 0.0125 0.0001 0.1079 0.0000 0.3050 0.1115 0.1193 746-AH 0.0000 0.0350 0.0800 0.1300 0.2900 0.0963 0.0867 0.0950 0.2900 0.8997 0.0356 0.0001 0.0654 0.0000 0.2650 0.0886 0.0787 747-AH 0.0050 0.0350 0.0450 0.1350 0.1800 0.0700 0.0556 0.1000 0.1750 0.7939 0.0499 0.0320 0.0465 0.0050 0.1800 0.0700 0.0556 748-AH 0.0000 0.0000 0.0025 0.0150 0.0150 0.0062 0.0070 0.0150 0.0150 1.1330 0.0003 0.0000 0.0064 0.0000 0.0150 0.0062 0.0070 749-AH 0.0050 0.0150 0.0200 0.0350 0.2300 0.0406 0.0581 0.0200 0.2250 1.4329 0.0235 0.0165 0.0352 0.0050 0.0650 0.0217 0.0137 750-AH 0.0000 0.0050 0.0200 0.0400 0.0700 0.0219 0.0189 0.0350 0.0700 0.8608 0.0077 0.0001 0.0152 0.0000 0.0700 0.0219 0.0189 174 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0100 0.0200 0.0240 0.0280 0.0166 0.0091 0.0140 0.0280 0.5487 0.0083 0.0001 0.0077 0.0000 0.0280 0.0166 0.0091 702-AH 0.0000 0.0180 0.0240 0.0300 0.0340 0.0225 0.0086 0.0120 0.0340 0.3803 0.0162 0.0003 0.0067 0.0000 0.0340 0.0225 0.0086 703-AH 0.0000 0.0160 0.0180 0.0180 0.0220 0.0154 0.0058 0.0020 0.0220 0.3799 0.0110 0.0003 0.0043 0.0140 0.0200 0.0178 0.0014 704-AH 0.0100 0.0420 0.0490 0.0580 0.0880 0.0524 0.0188 0.0160 0.0780 0.3580 0.0486 0.0430 0.0137 0.0280 0.0620 0.0478 0.0094 705-AH 0.0120 0.0200 0.0240 0.0280 0.0280 0.0227 0.0051 0.0080 0.0160 0.2229 0.0221 0.0214 0.0044 0.0120 0.0280 0.0227 0.0051 706-AH 0.0020 0.0080 0.0100 0.0120 0.0140 0.0096 0.0030 0.0040 0.0120 0.3114 0.0089 0.0075 0.0023 0.0060 0.0140 0.0103 0.0021 707-AH 0.0000 0.0000 0.0190 0.0200 0.0200 0.0128 0.0089 0.0200 0.0200 0.6895 0.0023 0.0000 0.0080 0.0000 0.0200 0.0128 0.0089 708-AH 0.0000 0.0080 0.0140 0.0160 0.0160 0.0116 0.0052 0.0080 0.0160 0.4437 0.0067 0.0001 0.0043 0.0000 0.0160 0.0116 0.0052 709-AH 0.0000 0.0120 0.0510 0.0700 0.0820 0.0426 0.0316 0.0580 0.0820 0.7415 0.0159 0.0001 0.0297 0.0000 0.0820 0.0426 0.0316 710-AH 0.0000 0.0040 0.0100 0.0380 0.0520 0.0200 0.0197 0.0340 0.0520 0.9863 0.0060 0.0001 0.0175 0.0000 0.0520 0.0200 0.0197 711-AH 0.0000 0.0020 0.0060 0.0080 0.0280 0.0075 0.0079 0.0060 0.0280 1.0548 0.0019 0.0001 0.0056 0.0000 0.0140 0.0046 0.0038 712-AH 0.0020 0.0060 0.0080 0.0080 0.0200 0.0077 0.0030 0.0020 0.0180 0.3870 0.0072 0.0067 0.0015 0.0040 0.0100 0.0074 0.0012 713-AH 0.0000 0.0060 0.0080 0.0100 0.0140 0.0082 0.0039 0.0040 0.0140 0.4778 0.0041 0.0001 0.0029 0.0060 0.0140 0.0093 0.0027 714-AH 0.0000 0.0040 0.0360 0.0400 0.0420 0.0243 0.0181 0.0360 0.0420 0.7439 0.0077 0.0001 0.0171 0.0000 0.0420 0.0243 0.0181 715-AH 0.0000 0.0060 0.0140 0.0220 0.0280 0.0142 0.0080 0.0160 0.0280 0.5654 0.0092 0.0003 0.0067 0.0000 0.0280 0.0142 0.0080 716-AH 0.0340 0.0400 0.0470 0.0500 0.0520 0.0453 0.0066 0.0100 0.0180 0.1456 0.0448 0.0443 0.0054 0.0340 0.0520 0.0453 0.0066 717-AH 0.0340 0.0460 0.0650 0.0740 0.0840 0.0611 0.0169 0.0280 0.0500 0.2768 0.0586 0.0561 0.0147 0.0340 0.0840 0.0611 0.0169 718-AH 0.0100 0.0340 0.0410 0.0520 0.0620 0.0400 0.0171 0.0180 0.0520 0.4264 0.0349 0.0284 0.0132 0.0100 0.0620 0.0400 0.0171 719-AH 0.0000 0.0040 0.0060 0.0080 0.0260 0.0059 0.0049 0.0040 0.0260 0.8242 0.0028 0.0001 0.0027 0.0000 0.0080 0.0051 0.0027 720-AH 0.0040 0.0180 0.0230 0.0260 0.0300 0.0215 0.0068 0.0080 0.0260 0.3144 0.0200 0.0175 0.0054 0.0080 0.0300 0.0222 0.0059 721-AH 0.0000 0.0040 0.0220 0.0260 0.0400 0.0171 0.0127 0.0220 0.0400 0.7446 0.0034 0.0000 0.0110 0.0000 0.0400 0.0171 0.0127 722-AH 0.0020 0.0060 0.0080 0.0100 0.0120 0.0077 0.0028 0.0040 0.0100 0.3654 0.0071 0.0064 0.0023 0.0020 0.0120 0.0077 0.0028 723-AH 0.0000 0.0060 0.0100 0.0140 0.0180 0.0083 0.0053 0.0080 0.0180 0.6376 0.0031 0.0001 0.0044 0.0000 0.0180 0.0083 0.0053 724-AH 0.0500 0.0900 0.0960 0.0960 0.0960 0.0880 0.0146 0.0060 0.0460 0.1658 0.0865 0.0846 0.0103 0.0860 0.0960 0.0939 0.0034 725-AH 0.0020 0.0040 0.0200 0.0280 0.0760 0.0249 0.0244 0.0240 0.0740 0.9789 0.0142 0.0074 0.0182 0.0020 0.0380 0.0158 0.0120 726-AH 0.0000 0.0020 0.0090 0.0120 0.0220 0.0085 0.0063 0.0100 0.0220 0.7454 0.0035 0.0001 0.0052 0.0000 0.0220 0.0085 0.0063 727-AH 0.0000 0.0020 0.0080 0.0140 0.0500 0.0138 0.0164 0.0120 0.0500 1.1819 0.0042 0.0001 0.0118 0.0000 0.0240 0.0075 0.0063 728-AH 0.0020 0.0060 0.0060 0.0100 0.0240 0.0091 0.0062 0.0040 0.0220 0.6862 0.0074 0.0060 0.0049 0.0020 0.0140 0.0064 0.0027 729-AH 0.0000 0.0060 0.0160 0.0220 0.0240 0.0140 0.0084 0.0160 0.0240 0.6034 0.0057 0.0001 0.0071 0.0000 0.0240 0.0140 0.0084 730-AH 0.0000 0.0080 0.0190 0.0240 0.0320 0.0172 0.0105 0.0160 0.0320 0.6144 0.0071 0.0001 0.0089 0.0000 0.0320 0.0172 0.0105 731-AH 0.0040 0.0300 0.0580 0.0680 0.0980 0.0518 0.0262 0.0380 0.0940 0.5052 0.0416 0.0251 0.0223 0.0040 0.0980 0.0518 0.0262 732-AH 0.0120 0.0220 0.0260 0.0300 0.0440 0.0256 0.0082 0.0080 0.0320 0.3216 0.0242 0.0226 0.0059 0.0120 0.0400 0.0249 0.0075 733-AH 0.0000 0.0020 0.0310 0.0420 0.0440 0.0248 0.0191 0.0400 0.0440 0.7701 0.0061 0.0001 0.0175 0.0000 0.0440 0.0248 0.0191 734-AH 0.0020 0.0320 0.0380 0.0400 0.0400 0.0348 0.0102 0.0080 0.0380 0.2936 0.0299 0.0158 0.0065 0.0300 0.0400 0.0376 0.0035 735-AH 0.0040 0.0120 0.0280 0.0400 0.0580 0.0273 0.0167 0.0280 0.0540 0.6127 0.0213 0.0151 0.0143 0.0040 0.0580 0.0273 0.0167 736-AH 0.0020 0.0120 0.0200 0.0300 0.0300 0.0195 0.0094 0.0180 0.0280 0.4813 0.0166 0.0125 0.0086 0.0020 0.0300 0.0195 0.0094 737-AH 0.0020 0.0300 0.0460 0.0600 0.0920 0.0461 0.0233 0.0300 0.0900 0.5054 0.0354 0.0161 0.0188 0.0020 0.0920 0.0461 0.0233 738-AH 0.0000 0.0060 0.0160 0.0200 0.0480 0.0175 0.0129 0.0140 0.0480 0.7384 0.0083 0.0001 0.0094 0.0000 0.0380 0.0152 0.0104 739-AH 0.0020 0.0340 0.0380 0.0480 0.0580 0.0398 0.0127 0.0140 0.0560 0.3198 0.0356 0.0225 0.0091 0.0160 0.0580 0.0413 0.0103 740-AH 0.0000 0.0160 0.0840 0.0980 0.1200 0.0639 0.0434 0.0820 0.1200 0.6783 0.0264 0.0001 0.0398 0.0000 0.1200 0.0639 0.0434 741-AH 0.0000 0.0020 0.0020 0.0340 0.0400 0.0164 0.0167 0.0320 0.0400 1.0213 0.0027 0.0001 0.0163 0.0000 0.0400 0.0164 0.0167 742-AH 0.0000 0.0000 0.0000 0.0040 0.0060 0.0015 0.0021 0.0040 0.0060 1.3908 0.0001 0.0000 0.0019 0.0000 0.0060 0.0015 0.0021 743-AH 0.0000 0.0020 0.0020 0.0100 0.0300 0.0065 0.0087 0.0080 0.0300 1.3250 0.0012 0.0000 0.0066 0.0000 0.0120 0.0038 0.0042 744-AH 0.0080 0.0300 0.0380 0.0440 0.0520 0.0350 0.0130 0.0140 0.0440 0.3715 0.0314 0.0263 0.0100 0.0100 0.0520 0.0361 0.0120 745-AH 0.0000 0.0040 0.0180 0.1220 0.1360 0.0550 0.0556 0.1180 0.1360 1.0114 0.0144 0.0001 0.0512 0.0000 0.1360 0.0550 0.0556 746-AH 0.0020 0.0180 0.0420 0.0560 0.1480 0.0515 0.0454 0.0380 0.1460 0.8814 0.0319 0.0134 0.0324 0.0020 0.0860 0.0344 0.0214 747-AH 0.0020 0.0320 0.0560 0.0640 0.1280 0.0546 0.0342 0.0320 0.1260 0.6263 0.0403 0.0195 0.0266 0.0020 0.1060 0.0490 0.0290 748-AH 0.0000 0.0000 0.0030 0.0060 0.0060 0.0030 0.0028 0.0060 0.0060 0.9475 0.0004 0.0000 0.0027 0.0000 0.0060 0.0030 0.0028 749-AH 0.0040 0.0100 0.0150 0.0320 0.1100 0.0255 0.0271 0.0220 0.1060 1.0649 0.0173 0.0127 0.0176 0.0040 0.0520 0.0186 0.0125 750-AH 0.0020 0.0040 0.0100 0.0160 0.0300 0.0118 0.0093 0.0120 0.0280 0.7873 0.0081 0.0052 0.0074 0.0020 0.0300 0.0118 0.0093 175 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2DE-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0080 0.0100 0.0120 0.0140 0.0094 0.0039 0.0040 0.0140 0.4139 0.0056 0.0001 0.0028 0.0060 0.0140 0.0106 0.0021 702-AH 0.0010 0.0110 0.0155 0.0160 0.0190 0.0133 0.0044 0.0050 0.0180 0.3312 0.0120 0.0087 0.0036 0.0050 0.0190 0.0138 0.0037 703-AH 0.0000 0.0080 0.0090 0.0090 0.0110 0.0081 0.0030 0.0010 0.0110 0.3644 0.0061 0.0003 0.0021 0.0080 0.0100 0.0089 0.0004 704-AH 0.0130 0.0270 0.0305 0.0330 0.0470 0.0310 0.0083 0.0060 0.0340 0.2678 0.0299 0.0287 0.0057 0.0200 0.0340 0.0290 0.0044 705-AH 0.0060 0.0100 0.0130 0.0140 0.0140 0.0117 0.0026 0.0040 0.0080 0.2204 0.0114 0.0111 0.0023 0.0060 0.0140 0.0117 0.0026 706-AH 0.0020 0.0050 0.0060 0.0070 0.0090 0.0062 0.0017 0.0020 0.0070 0.2659 0.0060 0.0056 0.0013 0.0020 0.0090 0.0062 0.0017 707-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0068 0.0045 0.0100 0.0100 0.6584 0.0014 0.0000 0.0040 0.0000 0.0100 0.0068 0.0045 708-AH 0.0000 0.0050 0.0080 0.0080 0.0090 0.0065 0.0027 0.0030 0.0090 0.4112 0.0040 0.0001 0.0021 0.0010 0.0090 0.0070 0.0019 709-AH 0.0000 0.0090 0.0280 0.0350 0.0440 0.0229 0.0155 0.0260 0.0440 0.6768 0.0116 0.0002 0.0141 0.0000 0.0440 0.0229 0.0155 710-AH 0.0000 0.0020 0.0070 0.0220 0.0260 0.0113 0.0099 0.0200 0.0260 0.8765 0.0045 0.0001 0.0090 0.0000 0.0260 0.0113 0.0099 711-AH 0.0000 0.0030 0.0035 0.0060 0.0140 0.0046 0.0039 0.0030 0.0140 0.8471 0.0018 0.0001 0.0029 0.0000 0.0100 0.0038 0.0029 712-AH 0.0020 0.0040 0.0050 0.0050 0.0110 0.0050 0.0019 0.0010 0.0090 0.3845 0.0047 0.0045 0.0010 0.0040 0.0050 0.0046 0.0005 713-AH 0.0000 0.0040 0.0050 0.0070 0.0080 0.0049 0.0023 0.0030 0.0080 0.4786 0.0026 0.0001 0.0016 0.0000 0.0080 0.0049 0.0023 714-AH 0.0000 0.0020 0.0200 0.0210 0.0240 0.0136 0.0088 0.0190 0.0240 0.6494 0.0059 0.0001 0.0079 0.0000 0.0240 0.0136 0.0088 715-AH 0.0010 0.0040 0.0100 0.0120 0.0140 0.0083 0.0044 0.0080 0.0130 0.5305 0.0066 0.0044 0.0039 0.0010 0.0140 0.0083 0.0044 716-AH 0.0170 0.0230 0.0250 0.0260 0.0260 0.0237 0.0027 0.0030 0.0090 0.1125 0.0235 0.0234 0.0020 0.0210 0.0260 0.0245 0.0016 717-AH 0.0190 0.0290 0.0345 0.0380 0.0420 0.0330 0.0073 0.0090 0.0230 0.2198 0.0322 0.0312 0.0062 0.0190 0.0420 0.0330 0.0073 718-AH 0.0050 0.0190 0.0210 0.0260 0.0310 0.0206 0.0083 0.0070 0.0260 0.4041 0.0181 0.0147 0.0063 0.0150 0.0310 0.0240 0.0045 719-AH 0.0000 0.0030 0.0050 0.0060 0.0150 0.0050 0.0036 0.0030 0.0150 0.7221 0.0028 0.0001 0.0027 0.0000 0.0060 0.0038 0.0021 720-AH 0.0040 0.0120 0.0135 0.0140 0.0160 0.0128 0.0025 0.0020 0.0120 0.1960 0.0124 0.0119 0.0018 0.0100 0.0160 0.0131 0.0018 721-AH 0.0000 0.0020 0.0120 0.0130 0.0230 0.0098 0.0072 0.0110 0.0230 0.7358 0.0022 0.0000 0.0060 0.0000 0.0230 0.0098 0.0072 722-AH 0.0010 0.0040 0.0040 0.0070 0.0080 0.0049 0.0019 0.0030 0.0070 0.3811 0.0045 0.0040 0.0016 0.0010 0.0080 0.0049 0.0019 723-AH 0.0000 0.0030 0.0050 0.0070 0.0120 0.0045 0.0029 0.0040 0.0120 0.6423 0.0019 0.0001 0.0023 0.0000 0.0120 0.0045 0.0029 724-AH 0.0250 0.0450 0.0480 0.0480 0.0480 0.0442 0.0074 0.0030 0.0230 0.1668 0.0434 0.0425 0.0052 0.0430 0.0480 0.0472 0.0017 725-AH 0.0010 0.0030 0.0140 0.0150 0.0390 0.0140 0.0121 0.0120 0.0380 0.8594 0.0089 0.0049 0.0084 0.0010 0.0240 0.0096 0.0064 726-AH 0.0000 0.0020 0.0050 0.0070 0.0150 0.0050 0.0040 0.0050 0.0150 0.8011 0.0022 0.0001 0.0031 0.0000 0.0140 0.0046 0.0035 727-AH 0.0010 0.0020 0.0060 0.0090 0.0250 0.0080 0.0078 0.0070 0.0240 0.9658 0.0050 0.0030 0.0056 0.0010 0.0120 0.0050 0.0033 728-AH 0.0010 0.0030 0.0035 0.0050 0.0140 0.0049 0.0035 0.0020 0.0130 0.7151 0.0039 0.0032 0.0027 0.0010 0.0050 0.0032 0.0011 729-AH 0.0000 0.0060 0.0100 0.0180 0.0190 0.0108 0.0068 0.0120 0.0190 0.6246 0.0055 0.0001 0.0059 0.0000 0.0190 0.0108 0.0068 730-AH 0.0000 0.0070 0.0110 0.0140 0.0160 0.0096 0.0049 0.0070 0.0160 0.5159 0.0045 0.0001 0.0039 0.0000 0.0160 0.0096 0.0049 731-AH 0.0030 0.0260 0.0310 0.0390 0.0500 0.0298 0.0131 0.0130 0.0470 0.4403 0.0253 0.0182 0.0100 0.0120 0.0500 0.0319 0.0111 732-AH 0.0070 0.0130 0.0150 0.0170 0.0260 0.0157 0.0053 0.0040 0.0190 0.3409 0.0148 0.0139 0.0039 0.0070 0.0220 0.0139 0.0035 733-AH 0.0000 0.0010 0.0185 0.0210 0.0220 0.0127 0.0096 0.0200 0.0220 0.7576 0.0035 0.0001 0.0089 0.0000 0.0220 0.0127 0.0096 734-AH 0.0010 0.0180 0.0190 0.0200 0.0200 0.0176 0.0051 0.0020 0.0190 0.2893 0.0151 0.0079 0.0030 0.0150 0.0200 0.0190 0.0015 735-AH 0.0020 0.0060 0.0165 0.0260 0.0350 0.0167 0.0104 0.0200 0.0330 0.6263 0.0126 0.0084 0.0088 0.0020 0.0350 0.0167 0.0104 736-AH 0.0040 0.0100 0.0130 0.0160 0.0200 0.0125 0.0046 0.0060 0.0160 0.3632 0.0116 0.0104 0.0036 0.0040 0.0200 0.0125 0.0046 737-AH 0.0030 0.0210 0.0340 0.0440 0.0630 0.0342 0.0164 0.0230 0.0600 0.4787 0.0282 0.0181 0.0127 0.0030 0.0630 0.0342 0.0164 738-AH 0.0000 0.0050 0.0110 0.0160 0.0290 0.0117 0.0075 0.0110 0.0290 0.6391 0.0070 0.0002 0.0058 0.0000 0.0290 0.0117 0.0075 739-AH 0.0010 0.0180 0.0205 0.0250 0.0290 0.0209 0.0065 0.0070 0.0280 0.3098 0.0187 0.0116 0.0047 0.0080 0.0290 0.0217 0.0051 740-AH 0.0000 0.0090 0.0440 0.0510 0.0620 0.0343 0.0222 0.0420 0.0620 0.6489 0.0186 0.0003 0.0202 0.0000 0.0620 0.0343 0.0222 741-AH 0.0000 0.0010 0.0010 0.0170 0.0200 0.0083 0.0085 0.0160 0.0200 1.0246 0.0015 0.0001 0.0083 0.0000 0.0200 0.0083 0.0085 742-AH 0.0000 0.0000 0.0000 0.0020 0.0030 0.0009 0.0013 0.0020 0.0030 1.4016 0.0001 0.0000 0.0011 0.0000 0.0030 0.0009 0.0013 743-AH 0.0000 0.0010 0.0010 0.0060 0.0150 0.0038 0.0050 0.0050 0.0150 1.3046 0.0011 0.0001 0.0039 0.0000 0.0070 0.0019 0.0021 744-AH 0.0050 0.0180 0.0215 0.0230 0.0260 0.0198 0.0060 0.0050 0.0210 0.3036 0.0183 0.0160 0.0043 0.0130 0.0260 0.0216 0.0032 745-AH 0.0000 0.0070 0.0320 0.0620 0.0710 0.0315 0.0273 0.0550 0.0710 0.8688 0.0109 0.0001 0.0246 0.0000 0.0710 0.0315 0.0273 746-AH 0.0030 0.0130 0.0255 0.0350 0.0740 0.0300 0.0219 0.0220 0.0710 0.7303 0.0225 0.0148 0.0161 0.0030 0.0490 0.0220 0.0116 747-AH 0.0010 0.0280 0.0385 0.0470 0.0760 0.0392 0.0209 0.0190 0.0750 0.5340 0.0295 0.0117 0.0160 0.0010 0.0740 0.0377 0.0199 748-AH 0.0000 0.0000 0.0015 0.0030 0.0030 0.0015 0.0014 0.0030 0.0030 0.9416 0.0002 0.0000 0.0014 0.0000 0.0030 0.0015 0.0014 749-AH 0.0050 0.0070 0.0125 0.0230 0.0620 0.0177 0.0149 0.0160 0.0570 0.8467 0.0134 0.0108 0.0107 0.0050 0.0350 0.0141 0.0086 750-AH 0.0010 0.0030 0.0060 0.0110 0.0160 0.0074 0.0049 0.0080 0.0150 0.6624 0.0056 0.0039 0.0041 0.0010 0.0160 0.0074 0.0049 176 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Ad−Hoc TEL Bilingual French Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision 100% chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; MAP 25.57%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; MAP 24.62%; Not Pooled] cheshire 90% [Experiment BIENFRT2FB; MAP 16.77%; Not Pooled] trinity [Experiment TCDDEFRRUN2; MAP 16.33%; Not Pooled] weimar [Experiment CLESA169283ENINFR; MAP 14.51%; Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) 1 chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; MAP 25.57%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; MAP 24.62%; Not Pooled] 0.8 cheshire [Experiment BIENFRT2FB; MAP 16.77%; Not Pooled] trinity [Experiment TCDDEFRRUN2; MAP 16.33%; Not Pooled] weimar [Experiment CLESA169283ENINFR; MAP 14.51%; Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Bilingual French Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 1 chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; MAP 25.57%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; MAP 24.62%; Not Pooled] 0.8 cheshire [Experiment BIENFRT2FB; MAP 16.77%; Not Pooled] trinity [Experiment TCDDEFRRUN2; MAP 16.33%; Not Pooled] weimar [Experiment CLESA169283ENINFR; MAP 14.51%; Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 177 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Ad−Hoc TEL Bilingual French Task − Box Plot of the Topics chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; MAP 25.57%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; MAP 24.62%; Not Pooled] karlsruhe [Experiment DE_INDEXBL; MAP 23.76%; Not Pooled] chemnitz [Experiment CUT_21_BILI_MERGED_EN2FR_17_18; MAP 23.20%; Pooled] chemnitz [Experiment CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17; MAP 22.55%; Not Pooled] karlsruhe [Experiment EN_INDEXALLESA; MAP 22.40%; Not Pooled] karlsruhe [Experiment DE_INDEXALL; MAP 21.56%; Not Pooled] karlsruhe [Experiment DE_INDEXALLESA; MAP 21.45%; Pooled] chemnitz [Experiment CUT_22_BILI_MERGED_DE2FR_17_18; MAP 21.19%; Not Pooled] cheshire [Experiment BIENFRT2FB; MAP 16.77%; Not Pooled] cheshire [Experiment BIDEFRT2FB; MAP 16.52%; Pooled] trinity [Experiment TCDDEFRRUN2; MAP 16.33%; Not Pooled] Experiments trinity [Experiment TCDDEFRRUN3; MAP 16.24%; Not Pooled] trinity [Experiment TCDENFRRUN2; MAP 15.91%; Pooled] trinity [Experiment TCDENFRRUN3; MAP 15.76%; Not Pooled] weimar [Experiment CLESA169283ENINFR; MAP 14.51%; Pooled] celi [Experiment CACAO_ENBNF_ML; MAP 14.23%; Not Pooled] celi [Experiment CACAO_ENBNF_BASE; MAP 14.05%; Not Pooled] weimar [Experiment COMBINEDDEINFR; MAP 13.15%; Not Pooled] celi [Experiment CACAO_ITBNF_ML; MAP 12.32%; Not Pooled] celi [Experiment CACAO_ITBNF_BASE; MAP 11.98%; Not Pooled] cheshire [Experiment BIENFRT2FBX; MAP 11.31%; Not Pooled] cheshire [Experiment BIDEFRT2FBX; MAP 11.31%; Not Pooled] celi [Experiment CACAO_DEBNF_BASE; MAP 10.94%; Not Pooled] weimar [Experiment CLESA169283DEINFR; MAP 10.41%; Not Pooled] weimar [Experiment COMBINEDENINFR; MAP 8.67%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% Average Precision 178 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 10.2455/TUKEY_T_TEST.215DE6EC61AE46FF88FABAAD91A2F1D4 Ad−Hoc TEL Bilingual French Task − Tukey T test with "top group" highlighted CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 EN_INDEXBL CUT_21_BILI_MERGED_EN2FR_17_18 DE_INDEXBL EN_INDEXALLESA CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 DE_INDEXALL DE_INDEXALLESA CUT_22_BILI_MERGED_DE2FR_17_18 BIDEFRT2FB Experiments BIENFRT2FB TCDDEFRRUN2 TCDDEFRRUN3 CLESA169283ENINFR TCDENFRRUN2 TCDENFRRUN3 CACAO_ENBNF_ML CACAO_ENBNF_BASE COMBINEDDEINFR CACAO_ITBNF_ML BIDEFRT2FBX BIENFRT2FBX CACAO_ITBNF_BASE CACAO_DEBNF_BASE CLESA169283DEINFR COMBINEDENINFR 0 0.2 0.4 0.6 0.8 arcsin(sqrt(Average Precsion)) 179 180 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Ad−Hoc TEL Bilingual French Task Top 5 Participants − Retrieved documents vs Mean Precision 100% chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; R−Prec 29.13%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; R−Prec 26.65%; Not Pooled] 90% cheshire [Experiment BIENFRT2FB; R−Prec 19.80%; Not Pooled] trinity [Experiment TCDDEFRRUN2; R−Prec 17.98%; Not Pooled] weimar [Experiment CLESA169283ENINFR; R−Prec 18.61%; Pooled] 80% 70% 60% Precision 50% 40% 30% 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) 1 chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; R−Prec 29.13%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; R−Prec 26.65%; Not Pooled] 0.8 cheshire [Experiment BIENFRT2FB; R−Prec 19.80%; Not Pooled] trinity [Experiment TCDDEFRRUN2; R−Prec 17.98%; Not Pooled] weimar [Experiment CLESA169283ENINFR; R−Prec 18.61%; Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier Ad−Hoc TEL Bilingual French Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 1 chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; R−Prec 29.13%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; R−Prec 26.65%; Not Pooled] 0.8 cheshire [Experiment BIENFRT2FB; R−Prec 19.80%; Not Pooled] trinity [Experiment TCDDEFRRUN2; R−Prec 17.98%; Not Pooled] weimar [Experiment CLESA169283ENINFR; R−Prec 18.61%; Pooled] 0.6 0.4 0.2 Difference 0 −0.2 −0.4 −0.6 −0.8 −1 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 181 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Ad−Hoc TEL Bilingual French Task − Box Plot of the Topics chemnitz [Experiment CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17; R−Prec 29.13%; Not Pooled] karlsruhe [Experiment EN_INDEXBL; R−Prec 26.65%; Not Pooled] chemnitz [Experiment CUT_21_BILI_MERGED_EN2FR_17_18; R−Prec 25.79%; Pooled] karlsruhe [Experiment DE_INDEXBL; R−Prec 25.28%; Not Pooled] karlsruhe [Experiment DE_INDEXALLESA; R−Prec 24.57%; Pooled] karlsruhe [Experiment EN_INDEXALLESA; R−Prec 24.49%; Not Pooled] karlsruhe [Experiment DE_INDEXALL; R−Prec 24.40%; Not Pooled] chemnitz [Experiment CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17; R−Prec 23.99%; Not Pooled] chemnitz [Experiment CUT_22_BILI_MERGED_DE2FR_17_18; R−Prec 21.66%; Not Pooled] cheshire [Experiment BIENFRT2FB; R−Prec 19.80%; Not Pooled] cheshire [Experiment BIDEFRT2FB; R−Prec 19.75%; Pooled] weimar [Experiment CLESA169283ENINFR; R−Prec 18.61%; Pooled] Experiments trinity [Experiment TCDDEFRRUN3; R−Prec 18.09%; Not Pooled] trinity [Experiment TCDDEFRRUN2; R−Prec 17.98%; Not Pooled] trinity [Experiment TCDENFRRUN2; R−Prec 17.73%; Pooled] trinity [Experiment TCDENFRRUN3; R−Prec 17.72%; Not Pooled] celi [Experiment CACAO_ENBNF_ML; R−Prec 16.45%; Not Pooled] celi [Experiment CACAO_ENBNF_BASE; R−Prec 16.38%; Not Pooled] weimar [Experiment COMBINEDDEINFR; R−Prec 16.01%; Not Pooled] celi [Experiment CACAO_ITBNF_ML; R−Prec 15.20%; Not Pooled] celi [Experiment CACAO_ITBNF_BASE; R−Prec 15.10%; Not Pooled] cheshire [Experiment BIENFRT2FBX; R−Prec 14.12%; Not Pooled] cheshire [Experiment BIDEFRT2FBX; R−Prec 14.12%; Not Pooled] celi [Experiment CACAO_DEBNF_BASE; R−Prec 13.97%; Not Pooled] weimar [Experiment CLESA169283DEINFR; R−Prec 12.51%; Not Pooled] weimar [Experiment COMBINEDENINFR; R−Prec 11.53%; Not Pooled] 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100% R−Precision 182 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Ad−Hoc TEL Bilingual French Task − Tukey T test with "top group" highlighted CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 EN_INDEXBL CUT_21_BILI_MERGED_EN2FR_17_18 DE_INDEXBL DE_INDEXALLESA DE_INDEXALL EN_INDEXALLESA CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 CUT_22_BILI_MERGED_DE2FR_17_18 BIDEFRT2FB Experiments BIENFRT2FB CLESA169283ENINFR TCDDEFRRUN3 COMBINEDDEINFR TCDDEFRRUN2 TCDENFRRUN2 TCDENFRRUN3 CACAO_ENBNF_ML CACAO_ENBNF_BASE CACAO_ITBNF_ML CACAO_ITBNF_BASE BIDEFRT2FBX BIENFRT2FBX CACAO_DEBNF_BASE CLESA169283DEINFR COMBINEDENINFR 0 0.2 0.4 0.6 0.8 arcsin(sqrt(R−Precision)) 183 184 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Number of relevant retrieved documents Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 5.00 54.00 59.00 63.00 67.00 52.00 18.45 9.00 62.00 0.35 44.86 29.84 13.69 50.00 67.00 60.38 4.32 702-AH 0.00 1.00 2.00 2.00 2.00 1.62 0.64 1.00 2.00 0.39 0.67 0.00 0.53 0.00 2.00 1.62 0.64 703-AH 0.00 38.00 58.00 63.00 81.00 49.46 22.65 25.00 81.00 0.46 8.97 0.00 17.33 23.00 81.00 55.91 14.34 704-AH 2.00 7.00 9.00 10.00 10.00 8.23 2.12 3.00 8.00 0.26 7.84 7.22 1.67 5.00 10.00 8.48 1.73 705-AH 55.00 84.00 88.00 89.00 92.00 82.00 12.99 5.00 37.00 0.16 80.82 79.43 9.85 83.00 92.00 88.10 2.72 706-AH 0.00 33.00 58.50 67.00 74.00 50.08 20.92 34.00 74.00 0.42 26.64 0.00 18.37 0.00 74.00 50.08 20.92 707-AH 3.00 14.00 32.00 46.00 55.00 30.19 16.98 32.00 52.00 0.56 23.00 13.73 14.41 3.00 55.00 30.19 16.98 708-AH 0.00 15.00 31.00 43.00 44.00 26.88 15.84 28.00 44.00 0.59 11.78 0.00 13.83 0.00 44.00 26.88 15.84 709-AH 1.00 45.00 51.00 51.00 53.00 45.19 13.64 6.00 52.00 0.30 37.85 14.84 8.33 43.00 53.00 49.70 3.04 710-AH 0.00 1.00 3.00 4.00 6.00 2.62 1.90 3.00 6.00 0.73 0.38 0.00 1.67 0.00 6.00 2.62 1.90 711-AH 0.00 1.00 2.00 4.00 5.00 2.31 1.49 3.00 5.00 0.65 0.82 0.00 1.28 0.00 5.00 2.31 1.49 712-AH 3.00 5.00 5.00 5.00 6.00 5.00 0.69 0.00 3.00 0.14 4.94 4.87 0.31 5.00 5.00 5.00 0.00 713-AH 3.00 20.00 27.50 33.00 40.00 25.42 9.36 13.00 37.00 0.37 22.88 18.33 7.63 3.00 40.00 25.42 9.36 714-AH 0.00 1.00 5.00 7.00 14.00 4.85 4.31 6.00 14.00 0.89 0.24 0.00 3.55 0.00 14.00 4.85 4.31 715-AH 2.00 3.00 6.00 7.00 8.00 4.96 2.03 4.00 6.00 0.41 4.48 3.95 1.81 2.00 8.00 4.96 2.03 716-AH 18.00 33.00 33.00 33.00 33.00 31.27 4.56 0.00 15.00 0.15 30.84 30.28 2.83 33.00 33.00 33.00 0.00 717-AH 3.00 12.00 15.50 19.00 21.00 14.65 4.84 7.00 18.00 0.33 13.40 11.28 3.71 3.00 21.00 14.65 4.84 718-AH 0.00 12.00 21.00 23.00 28.00 17.12 9.02 11.00 28.00 0.53 2.09 0.00 7.41 0.00 28.00 17.12 9.02 719-AH 0.00 3.00 5.00 7.00 10.00 4.77 2.85 4.00 10.00 0.60 1.04 0.00 2.28 0.00 10.00 4.77 2.85 720-AH 2.00 32.00 34.00 37.00 37.00 29.69 10.67 5.00 35.00 0.36 25.69 17.06 8.32 32.00 37.00 35.10 1.68 721-AH 0.00 29.00 37.00 39.00 39.00 29.73 13.56 10.00 39.00 0.46 13.61 0.00 10.78 18.00 39.00 35.81 4.83 722-AH 0.00 3.00 3.50 5.00 6.00 3.62 1.55 2.00 6.00 0.43 2.10 0.00 1.31 0.00 6.00 3.62 1.55 723-AH 0.00 1.00 2.00 2.00 2.00 1.58 0.70 1.00 2.00 0.45 0.43 0.00 0.59 0.00 2.00 1.58 0.70 724-AH 12.00 17.00 18.00 18.00 18.00 17.15 1.49 1.00 6.00 0.09 17.08 16.99 0.91 16.00 18.00 17.54 0.59 725-AH 6.00 17.00 18.50 19.00 22.00 17.85 3.07 2.00 16.00 0.17 17.46 16.81 1.98 15.00 22.00 18.32 1.93 726-AH 0.00 6.00 11.00 15.00 17.00 10.27 5.11 9.00 17.00 0.50 5.40 0.00 4.35 0.00 17.00 10.27 5.11 727-AH 0.00 15.00 19.00 19.00 19.00 15.62 5.92 4.00 19.00 0.38 8.57 0.00 4.56 11.00 19.00 17.91 2.29 728-AH 1.00 7.00 10.50 26.00 28.00 14.27 9.59 19.00 27.00 0.67 10.62 6.74 8.62 1.00 28.00 14.27 9.59 729-AH 0.00 7.00 10.00 10.00 11.00 8.54 2.83 3.00 11.00 0.33 5.03 0.00 2.21 4.00 11.00 8.88 2.28 730-AH 0.00 18.00 39.00 49.00 52.00 32.54 18.15 31.00 52.00 0.56 15.88 0.00 16.76 0.00 52.00 32.54 18.15 731-AH 7.00 15.00 17.50 18.00 20.00 16.19 3.30 3.00 13.00 0.20 15.78 15.25 2.49 11.00 20.00 16.83 2.46 732-AH 17.00 25.00 27.50 29.00 34.00 27.23 3.90 4.00 17.00 0.14 26.94 26.63 2.85 21.00 34.00 27.64 3.37 733-AH 0.00 1.00 3.00 5.00 5.00 2.77 1.82 4.00 5.00 0.66 0.94 0.00 1.57 0.00 5.00 2.77 1.82 734-AH 9.00 13.00 14.00 16.00 16.00 14.08 1.83 3.00 7.00 0.13 13.95 13.80 1.39 9.00 16.00 14.08 1.83 735-AH 4.00 11.00 16.00 17.00 25.00 14.96 4.97 6.00 21.00 0.33 13.90 12.36 3.82 4.00 25.00 14.96 4.97 736-AH 4.00 9.00 11.00 15.00 19.00 11.42 4.04 6.00 15.00 0.35 10.65 9.78 3.38 4.00 19.00 11.42 4.04 737-AH 5.00 25.00 46.50 51.00 66.00 39.88 17.17 26.00 61.00 0.43 34.03 24.58 14.30 5.00 66.00 39.88 17.17 738-AH 13.00 50.00 84.00 88.00 102.00 68.04 26.88 38.00 89.00 0.40 60.23 48.89 23.11 13.00 102.00 68.04 26.88 739-AH 5.00 13.00 16.50 19.00 20.00 15.58 4.55 6.00 15.00 0.29 14.67 13.40 3.61 5.00 20.00 15.58 4.55 740-AH 23.00 35.00 45.50 49.00 52.00 41.50 9.49 14.00 29.00 0.23 40.27 38.86 7.92 23.00 52.00 41.50 9.49 741-AH 0.00 9.00 18.00 18.00 22.00 13.77 7.67 9.00 22.00 0.56 2.46 0.00 6.41 0.00 22.00 13.77 7.67 742-AH 0.00 6.00 10.00 15.00 20.00 9.96 5.77 9.00 20.00 0.58 4.90 0.00 4.73 0.00 20.00 9.96 5.77 743-AH 0.00 1.00 1.00 3.00 3.00 1.65 1.16 2.00 3.00 0.70 0.27 0.00 1.06 0.00 3.00 1.65 1.16 744-AH 0.00 17.00 28.50 30.00 31.00 22.27 10.97 13.00 31.00 0.49 6.37 0.00 9.19 0.00 31.00 22.27 10.97 745-AH 3.00 11.00 50.50 60.00 62.00 41.31 22.41 49.00 59.00 0.54 30.51 17.27 19.24 3.00 62.00 41.31 22.41 746-AH 0.00 28.00 39.50 53.00 55.00 38.69 15.90 25.00 55.00 0.41 12.48 0.00 12.43 0.00 55.00 38.69 15.90 747-AH 1.00 9.00 16.50 26.00 39.00 17.73 10.64 17.00 38.00 0.60 13.36 7.00 8.25 1.00 39.00 17.73 10.64 748-AH 0.00 1.00 15.00 15.00 15.00 10.65 6.39 14.00 15.00 0.60 1.19 0.00 5.51 0.00 15.00 10.65 6.39 749-AH 2.00 29.00 48.00 52.00 55.00 40.12 15.58 23.00 53.00 0.39 33.41 18.06 12.86 2.00 55.00 40.12 15.58 750-AH 14.00 30.00 39.50 52.00 74.00 39.35 16.09 22.00 60.00 0.41 35.70 31.68 12.42 14.00 74.00 39.35 16.09 185 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Average Precsion Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0009 0.2140 0.3600 0.4922 0.5407 0.3313 0.1902 0.2782 0.5398 0.5741 0.1757 0.0105 0.1560 0.0009 0.5407 0.3313 0.1902 702-AH 0.0000 0.0011 0.0036 0.0356 0.1455 0.0338 0.0499 0.0345 0.1455 1.4764 0.0058 0.0001 0.0378 0.0000 0.0664 0.0146 0.0209 703-AH 0.0000 0.0547 0.2161 0.3278 0.4785 0.2129 0.1496 0.2732 0.4785 0.7024 0.0596 0.0001 0.1247 0.0000 0.4785 0.2129 0.1496 704-AH 0.0007 0.0403 0.0769 0.1008 0.2032 0.0740 0.0470 0.0605 0.2025 0.6356 0.0506 0.0123 0.0371 0.0007 0.1341 0.0688 0.0397 705-AH 0.0538 0.4673 0.5226 0.5678 0.6194 0.4778 0.1461 0.1005 0.5656 0.3058 0.4359 0.3460 0.1062 0.3721 0.6194 0.5317 0.0646 706-AH 0.0000 0.1287 0.2131 0.2767 0.3819 0.2081 0.1173 0.1480 0.3819 0.5637 0.1183 0.0003 0.0962 0.0000 0.3819 0.2081 0.1173 707-AH 0.0019 0.0220 0.0980 0.1977 0.3334 0.1201 0.1043 0.1756 0.3315 0.8684 0.0570 0.0125 0.0886 0.0019 0.3334 0.1201 0.1043 708-AH 0.0000 0.0176 0.0837 0.1888 0.2815 0.1043 0.0942 0.1711 0.2815 0.9031 0.0321 0.0002 0.0836 0.0000 0.2815 0.1043 0.0942 709-AH 0.0003 0.3949 0.5614 0.6480 0.6899 0.4711 0.2230 0.2531 0.6896 0.4734 0.2954 0.0079 0.1820 0.0189 0.6899 0.4899 0.2054 710-AH 0.0000 0.0002 0.0048 0.0341 0.1142 0.0204 0.0296 0.0339 0.1142 1.4505 0.0024 0.0001 0.0218 0.0000 0.0525 0.0134 0.0166 711-AH 0.0000 0.0011 0.0046 0.0125 0.0595 0.0093 0.0153 0.0115 0.0595 1.6374 0.0027 0.0001 0.0091 0.0000 0.0154 0.0052 0.0049 712-AH 0.0023 0.6432 0.8025 0.8333 0.8333 0.6655 0.2567 0.1902 0.8310 0.3857 0.4556 0.0373 0.1931 0.4328 0.8333 0.7440 0.1342 713-AH 0.0003 0.0422 0.1008 0.2384 0.5152 0.1504 0.1377 0.1962 0.5149 0.9160 0.0863 0.0074 0.1081 0.0003 0.5152 0.1504 0.1377 714-AH 0.0000 0.0006 0.0029 0.0188 0.0838 0.0184 0.0288 0.0182 0.0838 1.5616 0.0016 0.0000 0.0231 0.0000 0.0188 0.0035 0.0056 715-AH 0.0006 0.0013 0.0139 0.0526 0.1384 0.0290 0.0377 0.0514 0.1378 1.3016 0.0098 0.0028 0.0281 0.0006 0.0671 0.0201 0.0219 716-AH 0.0249 0.5416 0.6880 0.7419 0.7877 0.5852 0.2351 0.2002 0.7628 0.4018 0.4572 0.1955 0.1788 0.3719 0.7877 0.6566 0.1289 717-AH 0.0036 0.0523 0.1514 0.2102 0.4315 0.1583 0.1134 0.1579 0.4279 0.7162 0.1067 0.0419 0.0901 0.0036 0.4315 0.1583 0.1134 718-AH 0.0000 0.0296 0.0473 0.0587 0.1145 0.0439 0.0297 0.0291 0.1145 0.6763 0.0128 0.0001 0.0219 0.0000 0.0734 0.0380 0.0221 719-AH 0.0000 0.0006 0.0100 0.0331 0.1633 0.0263 0.0436 0.0325 0.1633 1.6615 0.0040 0.0001 0.0292 0.0000 0.0782 0.0153 0.0211 720-AH 0.0018 0.1062 0.6804 0.7750 0.8129 0.5319 0.3202 0.6688 0.8111 0.6020 0.2374 0.0187 0.2724 0.0018 0.8129 0.5319 0.3202 721-AH 0.0000 0.0279 0.1051 0.5042 0.6017 0.2511 0.2371 0.4763 0.6017 0.9443 0.0542 0.0002 0.2262 0.0000 0.6017 0.2511 0.2371 722-AH 0.0000 0.0031 0.0112 0.0747 0.3221 0.0600 0.0951 0.0716 0.3221 1.5857 0.0129 0.0002 0.0740 0.0000 0.1162 0.0176 0.0278 723-AH 0.0000 0.0021 0.0039 0.0396 0.2885 0.0500 0.0925 0.0374 0.2885 1.8519 0.0045 0.0001 0.0693 0.0000 0.0546 0.0073 0.0136 724-AH 0.0226 0.3359 0.4334 0.4747 0.5403 0.3988 0.1346 0.1389 0.5177 0.3374 0.3399 0.1895 0.0968 0.2750 0.5403 0.4299 0.0810 725-AH 0.0238 0.2714 0.3111 0.4532 0.4778 0.3121 0.1359 0.1817 0.4540 0.4355 0.2608 0.1715 0.1038 0.0238 0.4778 0.3121 0.1359 726-AH 0.0000 0.0136 0.1566 0.2741 0.3539 0.1588 0.1321 0.2606 0.3539 0.8320 0.0543 0.0003 0.1225 0.0000 0.3539 0.1588 0.1321 727-AH 0.0000 0.0334 0.0611 0.1155 0.1766 0.0709 0.0524 0.0822 0.1766 0.7394 0.0302 0.0003 0.0455 0.0000 0.1766 0.0709 0.0524 728-AH 0.0001 0.0084 0.0498 0.2492 0.3358 0.1065 0.1227 0.2408 0.3357 1.1518 0.0314 0.0014 0.1071 0.0001 0.3358 0.1065 0.1227 729-AH 0.0000 0.0198 0.0380 0.0594 0.1025 0.0388 0.0264 0.0397 0.1025 0.6817 0.0203 0.0003 0.0220 0.0000 0.1025 0.0388 0.0264 730-AH 0.0000 0.0364 0.0773 0.1228 0.2492 0.0860 0.0665 0.0864 0.2492 0.7730 0.0430 0.0003 0.0538 0.0000 0.2492 0.0860 0.0665 731-AH 0.0040 0.0987 0.1038 0.1250 0.1447 0.1014 0.0320 0.0263 0.1407 0.3158 0.0892 0.0506 0.0219 0.0742 0.1447 0.1110 0.0170 732-AH 0.0317 0.0648 0.0886 0.1143 0.1994 0.0945 0.0413 0.0495 0.1677 0.4370 0.0861 0.0777 0.0315 0.0317 0.1861 0.0903 0.0360 733-AH 0.0000 0.0016 0.0380 0.0667 0.1914 0.0463 0.0567 0.0651 0.1914 1.2263 0.0079 0.0001 0.0422 0.0000 0.1325 0.0342 0.0392 734-AH 0.0181 0.0683 0.0783 0.1015 0.1848 0.0881 0.0348 0.0331 0.1667 0.3954 0.0814 0.0728 0.0254 0.0574 0.1153 0.0809 0.0174 735-AH 0.0038 0.0171 0.0393 0.0628 0.1178 0.0440 0.0351 0.0458 0.1139 0.7970 0.0278 0.0148 0.0294 0.0038 0.1178 0.0440 0.0351 736-AH 0.0036 0.0092 0.0216 0.0319 0.0764 0.0237 0.0189 0.0227 0.0728 0.7969 0.0176 0.0127 0.0138 0.0036 0.0353 0.0193 0.0113 737-AH 0.0049 0.0163 0.0509 0.0995 0.1535 0.0630 0.0500 0.0831 0.1485 0.7930 0.0412 0.0233 0.0423 0.0049 0.1535 0.0630 0.0500 738-AH 0.0065 0.0619 0.1713 0.2785 0.5084 0.2155 0.1658 0.2166 0.5019 0.7694 0.1363 0.0544 0.1336 0.0065 0.5084 0.2155 0.1658 739-AH 0.0220 0.2061 0.2901 0.5067 0.6871 0.3396 0.2070 0.3006 0.6651 0.6095 0.2470 0.1295 0.1717 0.0220 0.6871 0.3396 0.2070 740-AH 0.0101 0.0434 0.1672 0.2447 0.3926 0.1575 0.1103 0.2013 0.3825 0.7003 0.1080 0.0605 0.0953 0.0101 0.3926 0.1575 0.1103 741-AH 0.0000 0.0222 0.0570 0.0910 0.3291 0.0981 0.1153 0.0688 0.3291 1.1746 0.0159 0.0001 0.0921 0.0000 0.0910 0.0383 0.0306 742-AH 0.0000 0.0037 0.0447 0.3282 0.6144 0.1334 0.1895 0.3245 0.6144 1.4199 0.0207 0.0002 0.1557 0.0000 0.6144 0.1334 0.1895 743-AH 0.0000 0.0005 0.0048 0.0177 0.0769 0.0148 0.0218 0.0172 0.0769 1.4673 0.0022 0.0001 0.0164 0.0000 0.0388 0.0067 0.0097 744-AH 0.0000 0.0541 0.4223 0.5398 0.6004 0.3114 0.2384 0.4857 0.6004 0.7657 0.0595 0.0001 0.2234 0.0000 0.6004 0.3114 0.2384 745-AH 0.0003 0.0377 0.1763 0.2574 0.4236 0.1654 0.1370 0.2197 0.4233 0.8282 0.0585 0.0042 0.1194 0.0003 0.4236 0.1654 0.1370 746-AH 0.0000 0.1642 0.2234 0.3403 0.5975 0.2327 0.1606 0.1761 0.5975 0.6901 0.0833 0.0001 0.1230 0.0000 0.5975 0.2327 0.1606 747-AH 0.0004 0.0032 0.0127 0.0324 0.1585 0.0289 0.0378 0.0292 0.1582 1.3084 0.0110 0.0026 0.0258 0.0004 0.0747 0.0201 0.0212 748-AH 0.0000 0.0006 0.1762 0.2233 0.2779 0.1484 0.1006 0.2227 0.2779 0.6777 0.0212 0.0001 0.0833 0.0000 0.2779 0.1484 0.1006 749-AH 0.0002 0.1301 0.1754 0.3175 0.5041 0.2137 0.1468 0.1874 0.5040 0.6868 0.1123 0.0032 0.1203 0.0002 0.5041 0.2137 0.1468 750-AH 0.0064 0.0364 0.0547 0.1035 0.1909 0.0727 0.0490 0.0671 0.1846 0.6750 0.0531 0.0319 0.0411 0.0064 0.1909 0.0727 0.0490 186 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for R-Precision Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0137 0.1918 0.4658 0.5753 0.6164 0.3930 0.2150 0.3836 0.6027 0.5470 0.2684 0.1009 0.1829 0.0137 0.6164 0.3930 0.2150 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.1744 0.3256 0.4070 0.6163 0.2818 0.1797 0.2326 0.6163 0.6378 0.0796 0.0001 0.1483 0.0000 0.6163 0.2818 0.1797 704-AH 0.0000 0.0000 0.0909 0.1818 0.2727 0.1119 0.0902 0.1818 0.2727 0.8062 0.0107 0.0000 0.0748 0.0000 0.2727 0.1119 0.0902 705-AH 0.1087 0.4674 0.5000 0.5543 0.5978 0.4724 0.1178 0.0870 0.4891 0.2493 0.4490 0.4078 0.0817 0.4022 0.5978 0.5143 0.0518 706-AH 0.0000 0.2222 0.3272 0.3457 0.4444 0.2645 0.1193 0.1235 0.4444 0.4512 0.1589 0.0003 0.0979 0.0741 0.4444 0.2860 0.0959 707-AH 0.0139 0.0417 0.1736 0.2778 0.4583 0.1859 0.1504 0.2361 0.4444 0.8091 0.1112 0.0531 0.1261 0.0139 0.4583 0.1859 0.1504 708-AH 0.0000 0.0222 0.1222 0.2444 0.2889 0.1368 0.1092 0.2222 0.2889 0.7983 0.0500 0.0001 0.0960 0.0000 0.2889 0.1368 0.1092 709-AH 0.0000 0.3774 0.5283 0.5849 0.6415 0.4615 0.1830 0.2075 0.6415 0.3966 0.2717 0.0003 0.1368 0.3208 0.6415 0.5185 0.0929 710-AH 0.0000 0.0000 0.0000 0.0909 0.0909 0.0385 0.0458 0.0909 0.0909 1.1909 0.0005 0.0000 0.0444 0.0000 0.0909 0.0385 0.0458 711-AH 0.0000 0.0000 0.0000 0.0000 0.1429 0.0055 0.0280 0.0000 0.1429 5.0990 0.0000 0.0000 0.0106 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.5000 0.7500 0.8333 0.8333 0.6538 0.2535 0.3333 0.8333 0.3877 0.2877 0.0001 0.1854 0.1667 0.8333 0.7083 0.1720 713-AH 0.0000 0.1064 0.1809 0.2979 0.6170 0.2169 0.1533 0.1915 0.6170 0.7070 0.1258 0.0003 0.1183 0.0000 0.3830 0.1844 0.1060 714-AH 0.0000 0.0000 0.0000 0.0323 0.2581 0.0484 0.0770 0.0323 0.2581 1.5916 0.0006 0.0000 0.0596 0.0000 0.0323 0.0097 0.0152 715-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0240 0.0502 0.0000 0.1250 2.0900 0.0001 0.0000 0.0388 0.0000 0.0000 0.0000 0.0000 716-AH 0.0303 0.4848 0.6061 0.6364 0.6970 0.5117 0.2058 0.1515 0.6667 0.4022 0.4099 0.2080 0.1584 0.3030 0.6970 0.5731 0.1177 717-AH 0.0476 0.1429 0.1905 0.2381 0.4286 0.2033 0.0967 0.0952 0.3810 0.4757 0.1767 0.1441 0.0697 0.0476 0.2857 0.1781 0.0692 718-AH 0.0000 0.0000 0.0714 0.1429 0.1786 0.0687 0.0707 0.1429 0.1786 1.0287 0.0021 0.0000 0.0607 0.0000 0.1786 0.0687 0.0707 719-AH 0.0000 0.0000 0.0435 0.1304 0.3478 0.0736 0.0893 0.1304 0.3478 1.2141 0.0038 0.0000 0.0648 0.0000 0.3043 0.0626 0.0711 720-AH 0.0000 0.0541 0.6892 0.7838 0.8378 0.5322 0.3313 0.7297 0.8378 0.6224 0.0668 0.0001 0.2803 0.0000 0.8378 0.5322 0.3313 721-AH 0.0000 0.0000 0.0513 0.5128 0.6154 0.2475 0.2573 0.5128 0.6154 1.0396 0.0099 0.0000 0.2488 0.0000 0.6154 0.2475 0.2573 722-AH 0.0000 0.0000 0.0000 0.1667 0.5000 0.0577 0.1149 0.1667 0.5000 1.9918 0.0001 0.0000 0.0843 0.0000 0.1667 0.0400 0.0726 723-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0577 0.1629 0.0000 0.5000 2.8237 0.0000 0.0000 0.1021 0.0000 0.0000 0.0000 0.0000 724-AH 0.0556 0.3333 0.3889 0.5556 0.6111 0.4017 0.1355 0.2222 0.5556 0.3372 0.3666 0.3018 0.1012 0.0556 0.6111 0.4017 0.1355 725-AH 0.0455 0.2727 0.3409 0.4545 0.5000 0.3462 0.1337 0.1818 0.4545 0.3861 0.3024 0.2241 0.1084 0.0455 0.5000 0.3462 0.1337 726-AH 0.0000 0.0000 0.2941 0.4118 0.4118 0.2285 0.1892 0.4118 0.4118 0.8280 0.0166 0.0000 0.1793 0.0000 0.4118 0.2285 0.1892 727-AH 0.0000 0.0000 0.0526 0.1053 0.2105 0.0628 0.0632 0.1053 0.2105 1.0070 0.0020 0.0000 0.0554 0.0000 0.2105 0.0628 0.0632 728-AH 0.0000 0.0357 0.0893 0.2143 0.5714 0.1360 0.1578 0.1786 0.5714 1.1604 0.0189 0.0001 0.1130 0.0000 0.3571 0.0997 0.0959 729-AH 0.0000 0.0000 0.0385 0.0769 0.0769 0.0385 0.0392 0.0769 0.0769 1.0198 0.0009 0.0000 0.0385 0.0000 0.0769 0.0385 0.0392 730-AH 0.0000 0.0741 0.1574 0.2037 0.3333 0.1517 0.0927 0.1296 0.3333 0.6108 0.0504 0.0001 0.0748 0.0000 0.3333 0.1517 0.0927 731-AH 0.0000 0.1304 0.1739 0.2174 0.2609 0.1706 0.0661 0.0870 0.2609 0.3877 0.1140 0.0003 0.0512 0.0435 0.2609 0.1774 0.0574 732-AH 0.0000 0.1176 0.1765 0.2059 0.2647 0.1538 0.0707 0.0882 0.2647 0.4598 0.0987 0.0003 0.0560 0.0000 0.2647 0.1538 0.0707 733-AH 0.0000 0.0000 0.0000 0.1667 0.1667 0.0641 0.0827 0.1667 0.1667 1.2900 0.0004 0.0000 0.0789 0.0000 0.1667 0.0641 0.0827 734-AH 0.0000 0.0500 0.0750 0.1500 0.2000 0.0904 0.0583 0.1000 0.2000 0.6455 0.0423 0.0001 0.0481 0.0000 0.2000 0.0904 0.0583 735-AH 0.0000 0.0392 0.0980 0.1373 0.2353 0.0905 0.0571 0.0980 0.2353 0.6312 0.0534 0.0003 0.0473 0.0000 0.2353 0.0905 0.0571 736-AH 0.0000 0.0345 0.0345 0.0690 0.1034 0.0438 0.0346 0.0345 0.1034 0.7897 0.0071 0.0000 0.0281 0.0000 0.1034 0.0438 0.0346 737-AH 0.0122 0.0488 0.1220 0.1829 0.2317 0.1205 0.0708 0.1341 0.2195 0.5873 0.0920 0.0581 0.0596 0.0122 0.2317 0.1205 0.0708 738-AH 0.0667 0.1333 0.2167 0.3250 0.5250 0.2538 0.1487 0.1917 0.4583 0.5856 0.2092 0.1672 0.1230 0.0667 0.5250 0.2538 0.1487 739-AH 0.0000 0.2500 0.3500 0.4500 0.6500 0.3635 0.1868 0.2000 0.6500 0.5141 0.2144 0.0003 0.1453 0.0000 0.6500 0.3635 0.1868 740-AH 0.0185 0.0741 0.2037 0.2963 0.4630 0.1916 0.1252 0.2222 0.4444 0.6532 0.1420 0.0896 0.1099 0.0185 0.4630 0.1916 0.1252 741-AH 0.0000 0.0000 0.0417 0.1667 0.4583 0.1106 0.1433 0.1667 0.4583 1.2963 0.0061 0.0000 0.1114 0.0000 0.4167 0.0967 0.1271 742-AH 0.0000 0.0000 0.0455 0.4091 0.5455 0.1573 0.2026 0.4091 0.5455 1.2874 0.0054 0.0000 0.1705 0.0000 0.5455 0.1573 0.2026 743-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.1290 0.4355 0.4839 0.5484 0.3151 0.2131 0.3548 0.5484 0.6761 0.0623 0.0001 0.1972 0.0000 0.5484 0.3151 0.2131 745-AH 0.0000 0.0159 0.1587 0.3016 0.4286 0.1801 0.1436 0.2857 0.4286 0.7973 0.0451 0.0001 0.1276 0.0000 0.4286 0.1801 0.1436 746-AH 0.0000 0.1833 0.3167 0.4333 0.5500 0.2981 0.1688 0.2500 0.5500 0.5663 0.0645 0.0001 0.1309 0.0000 0.5500 0.2981 0.1688 747-AH 0.0000 0.0159 0.0635 0.0952 0.1746 0.0617 0.0543 0.0794 0.1746 0.8808 0.0084 0.0000 0.0447 0.0000 0.1746 0.0617 0.0543 748-AH 0.0000 0.0000 0.1667 0.2667 0.3333 0.1615 0.1375 0.2667 0.3333 0.8512 0.0096 0.0000 0.1256 0.0000 0.3333 0.1615 0.1375 749-AH 0.0000 0.1695 0.2288 0.3390 0.5254 0.2497 0.1471 0.1695 0.5254 0.5892 0.1398 0.0003 0.1147 0.0000 0.5254 0.2497 0.1471 750-AH 0.0449 0.0899 0.1573 0.1798 0.3146 0.1456 0.0643 0.0899 0.2697 0.4416 0.1293 0.1105 0.0498 0.0449 0.2247 0.1389 0.0554 187 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Binary Preference Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0062 0.1411 0.5169 0.5857 0.6022 0.3968 0.2341 0.4445 0.5960 0.5900 0.2370 0.0565 0.2051 0.0062 0.6022 0.3968 0.2341 702-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.1920 0.4049 0.4116 0.5646 0.3085 0.1668 0.2196 0.5646 0.5407 0.0973 0.0001 0.1458 0.0000 0.5646 0.3085 0.1668 704-AH 0.0000 0.0331 0.0620 0.1240 0.2314 0.0776 0.0647 0.0909 0.2314 0.8342 0.0138 0.0001 0.0524 0.0000 0.2314 0.0776 0.0647 705-AH 0.2582 0.5144 0.5601 0.6263 0.6378 0.5446 0.0932 0.1119 0.3796 0.1712 0.5349 0.5224 0.0673 0.3507 0.6378 0.5560 0.0742 706-AH 0.0000 0.2978 0.3181 0.3967 0.4963 0.3085 0.1277 0.0989 0.4963 0.4141 0.1919 0.0003 0.0925 0.1617 0.4963 0.3511 0.0794 707-AH 0.0085 0.0781 0.1682 0.2510 0.4199 0.1804 0.1217 0.1728 0.4115 0.6747 0.1270 0.0679 0.0954 0.0085 0.4199 0.1804 0.1217 708-AH 0.0000 0.0341 0.1230 0.1768 0.2805 0.1231 0.0871 0.1427 0.2805 0.7080 0.0634 0.0003 0.0749 0.0000 0.2805 0.1231 0.0871 709-AH 0.0000 0.4400 0.5146 0.5913 0.6550 0.4656 0.1745 0.1513 0.6550 0.3747 0.2836 0.0003 0.1247 0.2161 0.6550 0.5036 0.1161 710-AH 0.0000 0.0000 0.0000 0.0744 0.0992 0.0312 0.0386 0.0744 0.0992 1.2406 0.0004 0.0000 0.0359 0.0000 0.0992 0.0312 0.0386 711-AH 0.0000 0.0000 0.0000 0.0000 0.0612 0.0031 0.0125 0.0000 0.0612 3.9825 0.0000 0.0000 0.0058 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.5278 0.7917 0.8333 0.8333 0.6538 0.2597 0.3056 0.8333 0.3971 0.2864 0.0001 0.2027 0.1667 0.8333 0.7083 0.1817 713-AH 0.0362 0.0969 0.1589 0.3640 0.5464 0.2200 0.1500 0.2671 0.5102 0.6817 0.1697 0.1253 0.1268 0.0362 0.5464 0.2200 0.1500 714-AH 0.0000 0.0000 0.0193 0.0791 0.1467 0.0373 0.0482 0.0791 0.1467 1.2907 0.0016 0.0000 0.0393 0.0000 0.1467 0.0373 0.0482 715-AH 0.0000 0.0000 0.0000 0.0469 0.1250 0.0270 0.0475 0.0469 0.1250 1.7567 0.0001 0.0000 0.0395 0.0000 0.1094 0.0189 0.0394 716-AH 0.1827 0.4472 0.6097 0.6703 0.7456 0.5456 0.1816 0.2231 0.5629 0.3329 0.5058 0.4544 0.1500 0.1827 0.7456 0.5456 0.1816 717-AH 0.0249 0.0703 0.1519 0.2154 0.3991 0.1613 0.1096 0.1451 0.3741 0.6792 0.1217 0.0824 0.0813 0.0249 0.3991 0.1613 0.1096 718-AH 0.0000 0.0000 0.0102 0.0893 0.1237 0.0391 0.0489 0.0893 0.1237 1.2488 0.0013 0.0000 0.0442 0.0000 0.1237 0.0391 0.0489 719-AH 0.0000 0.0000 0.0293 0.0907 0.2401 0.0515 0.0663 0.0907 0.2401 1.2865 0.0033 0.0000 0.0508 0.0000 0.2174 0.0440 0.0551 720-AH 0.0205 0.5807 0.6936 0.7677 0.8145 0.5577 0.2932 0.1870 0.7940 0.5258 0.3730 0.1463 0.2349 0.5807 0.8145 0.7104 0.0818 721-AH 0.0000 0.0204 0.2610 0.4872 0.5911 0.2712 0.2267 0.4668 0.5911 0.8360 0.0415 0.0001 0.2074 0.0000 0.5911 0.2712 0.2267 722-AH 0.0000 0.0000 0.0000 0.1111 0.3611 0.0481 0.0915 0.1111 0.3611 1.9027 0.0001 0.0000 0.0703 0.0000 0.1944 0.0356 0.0669 723-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0288 0.0815 0.0000 0.2500 2.8237 0.0000 0.0000 0.0510 0.0000 0.0000 0.0000 0.0000 724-AH 0.0710 0.2778 0.3750 0.4630 0.5278 0.3547 0.1259 0.1852 0.4568 0.3551 0.3235 0.2767 0.1007 0.0710 0.5278 0.3547 0.1259 725-AH 0.0723 0.2707 0.3388 0.4215 0.4649 0.3287 0.1107 0.1508 0.3926 0.3370 0.3030 0.2659 0.0874 0.0723 0.4649 0.3287 0.1107 726-AH 0.0000 0.0138 0.1834 0.3253 0.3668 0.1842 0.1522 0.3114 0.3668 0.8265 0.0408 0.0001 0.1443 0.0000 0.3668 0.1842 0.1522 727-AH 0.0000 0.0000 0.0235 0.0554 0.1025 0.0324 0.0334 0.0554 0.1025 1.0299 0.0023 0.0000 0.0285 0.0000 0.1025 0.0324 0.0334 728-AH 0.0000 0.0344 0.1103 0.1645 0.4439 0.1322 0.1320 0.1301 0.4439 0.9985 0.0577 0.0003 0.0930 0.0000 0.2717 0.0917 0.0701 729-AH 0.0000 0.0000 0.0089 0.0473 0.0651 0.0218 0.0242 0.0473 0.0651 1.1095 0.0010 0.0000 0.0223 0.0000 0.0651 0.0218 0.0242 730-AH 0.0000 0.0916 0.1248 0.1684 0.2606 0.1242 0.0608 0.0768 0.2606 0.4894 0.0809 0.0003 0.0470 0.0000 0.2606 0.1242 0.0608 731-AH 0.0057 0.0681 0.1181 0.1474 0.1947 0.1119 0.0493 0.0794 0.1890 0.4403 0.0921 0.0512 0.0389 0.0057 0.1947 0.1119 0.0493 732-AH 0.0000 0.0727 0.1051 0.1202 0.1817 0.0973 0.0443 0.0476 0.1817 0.4548 0.0649 0.0003 0.0349 0.0294 0.1817 0.1012 0.0404 733-AH 0.0000 0.0000 0.0000 0.0556 0.1667 0.0385 0.0599 0.0556 0.1667 1.5567 0.0003 0.0000 0.0490 0.0000 0.1389 0.0278 0.0485 734-AH 0.0000 0.0475 0.0525 0.0900 0.1375 0.0663 0.0399 0.0425 0.1375 0.6022 0.0320 0.0001 0.0325 0.0000 0.1375 0.0663 0.0399 735-AH 0.0173 0.0654 0.0938 0.1253 0.1546 0.0913 0.0419 0.0600 0.1373 0.4592 0.0788 0.0624 0.0340 0.0173 0.1546 0.0913 0.0419 736-AH 0.0000 0.0024 0.0279 0.0571 0.0975 0.0320 0.0301 0.0547 0.0975 0.9403 0.0048 0.0000 0.0240 0.0000 0.0975 0.0320 0.0301 737-AH 0.0214 0.0647 0.1080 0.1688 0.2786 0.1198 0.0748 0.1041 0.2571 0.6246 0.0969 0.0750 0.0595 0.0214 0.2786 0.1198 0.0748 738-AH 0.0925 0.2074 0.3207 0.4101 0.6265 0.3348 0.1681 0.2028 0.5340 0.5019 0.2913 0.2460 0.1293 0.0925 0.6265 0.3348 0.1681 739-AH 0.0050 0.1850 0.3363 0.4675 0.6250 0.3203 0.1905 0.2825 0.6200 0.5949 0.2211 0.0689 0.1609 0.0050 0.6250 0.3203 0.1905 740-AH 0.0034 0.1190 0.1891 0.2668 0.4242 0.1840 0.0993 0.1478 0.4208 0.5395 0.1308 0.0371 0.0774 0.0034 0.4242 0.1840 0.0993 741-AH 0.0000 0.0017 0.0182 0.0920 0.3385 0.0818 0.1164 0.0903 0.3385 1.4226 0.0064 0.0000 0.0918 0.0000 0.1997 0.0385 0.0577 742-AH 0.0000 0.0103 0.1105 0.3678 0.5599 0.1616 0.1845 0.3574 0.5599 1.1416 0.0293 0.0001 0.1525 0.0000 0.5599 0.1616 0.1845 743-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.0843 0.4209 0.4797 0.5349 0.2935 0.2073 0.3954 0.5349 0.7064 0.0579 0.0001 0.1933 0.0000 0.5349 0.2935 0.2073 745-AH 0.0000 0.0698 0.1418 0.2719 0.3933 0.1652 0.1169 0.2021 0.3933 0.7075 0.0906 0.0003 0.1003 0.0000 0.3933 0.1652 0.1169 746-AH 0.0000 0.2167 0.3092 0.3828 0.5500 0.2791 0.1563 0.1661 0.5500 0.5600 0.0632 0.0001 0.1195 0.0000 0.5500 0.2791 0.1563 747-AH 0.0013 0.0136 0.0448 0.0910 0.1650 0.0576 0.0484 0.0773 0.1638 0.8394 0.0334 0.0128 0.0405 0.0013 0.1650 0.0576 0.0484 748-AH 0.0000 0.0267 0.0578 0.1867 0.2578 0.1002 0.0910 0.1600 0.2578 0.9084 0.0119 0.0000 0.0828 0.0000 0.2578 0.1002 0.0910 749-AH 0.0072 0.1729 0.2472 0.3370 0.4806 0.2561 0.1276 0.1640 0.4734 0.4983 0.2036 0.0930 0.0991 0.0072 0.4806 0.2561 0.1276 750-AH 0.0385 0.1254 0.1551 0.1948 0.2433 0.1519 0.0594 0.0694 0.2048 0.3907 0.1356 0.1132 0.0461 0.0385 0.2433 0.1519 0.0594 188 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 0% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0244 0.7000 1.0000 1.0000 1.0000 0.7802 0.3664 0.3000 0.9756 0.4696 0.5671 0.2086 0.3043 0.2857 1.0000 0.9078 0.2197 702-AH 0.0000 0.0022 0.0043 0.0667 0.2000 0.0487 0.0655 0.0645 0.2000 1.3449 0.0085 0.0001 0.0533 0.0000 0.1429 0.0361 0.0501 703-AH 0.0000 0.3108 0.8667 1.0000 1.0000 0.6467 0.3943 0.6892 1.0000 0.6098 0.1732 0.0001 0.3600 0.0000 1.0000 0.6467 0.3943 704-AH 0.0049 0.1176 0.1742 0.3333 0.6000 0.2348 0.1720 0.2157 0.5951 0.7327 0.1583 0.0623 0.1402 0.0049 0.6000 0.2348 0.1720 705-AH 0.1376 1.0000 1.0000 1.0000 1.0000 0.9668 0.1691 0.0000 0.8624 0.1749 0.9266 0.8058 0.0638 1.0000 1.0000 1.0000 0.0000 706-AH 0.0000 0.6667 1.0000 1.0000 1.0000 0.8034 0.3344 0.3333 1.0000 0.4162 0.4747 0.0003 0.2722 0.2333 1.0000 0.8986 0.2114 707-AH 0.0293 0.2000 0.8571 1.0000 1.0000 0.6588 0.3898 0.8000 0.9707 0.5916 0.4740 0.2513 0.3497 0.0293 1.0000 0.6588 0.3898 708-AH 0.0000 0.1250 0.3889 0.5000 1.0000 0.3974 0.3205 0.3750 1.0000 0.8065 0.1690 0.0003 0.2555 0.0000 1.0000 0.3974 0.3205 709-AH 0.0053 1.0000 1.0000 1.0000 1.0000 0.8539 0.2994 0.0000 0.9947 0.3506 0.6693 0.1128 0.2248 1.0000 1.0000 1.0000 0.0000 710-AH 0.0000 0.0019 0.0390 0.3333 1.0000 0.1937 0.2832 0.3314 1.0000 1.4621 0.0157 0.0001 0.2126 0.0000 0.5000 0.1265 0.1609 711-AH 0.0000 0.0063 0.0175 0.0417 0.2000 0.0331 0.0447 0.0353 0.2000 1.3535 0.0103 0.0001 0.0288 0.0000 0.0833 0.0223 0.0218 712-AH 0.0048 1.0000 1.0000 1.0000 1.0000 0.9238 0.2693 0.0000 0.9952 0.2915 0.6896 0.0847 0.1407 1.0000 1.0000 1.0000 0.0000 713-AH 0.0056 0.3333 0.6548 1.0000 1.0000 0.6438 0.3536 0.6667 0.9944 0.5492 0.4584 0.1069 0.2998 0.0056 1.0000 0.6438 0.3536 714-AH 0.0000 0.0055 0.0374 0.2857 1.0000 0.1722 0.2536 0.2802 1.0000 1.4724 0.0108 0.0000 0.1944 0.0000 0.6667 0.1391 0.1931 715-AH 0.0030 0.0065 0.0408 0.1818 1.0000 0.1553 0.2736 0.1753 0.9970 1.7620 0.0361 0.0105 0.1742 0.0030 0.2500 0.0668 0.0813 716-AH 0.0952 1.0000 1.0000 1.0000 1.0000 0.8968 0.2913 0.0000 0.9048 0.3249 0.7715 0.5049 0.1825 1.0000 1.0000 1.0000 0.0000 717-AH 0.0588 0.1471 0.7500 1.0000 1.0000 0.6125 0.4077 0.8529 0.9412 0.6657 0.4320 0.2687 0.3875 0.0588 1.0000 0.6125 0.4077 718-AH 0.0000 0.0504 0.1208 0.2273 1.0000 0.2035 0.2637 0.1769 1.0000 1.2961 0.0356 0.0001 0.1750 0.0000 0.3333 0.1213 0.1016 719-AH 0.0000 0.0056 0.0883 0.3333 1.0000 0.2033 0.2955 0.3278 1.0000 1.4540 0.0278 0.0001 0.2175 0.0000 0.7500 0.1369 0.1874 720-AH 0.0182 0.5000 1.0000 1.0000 1.0000 0.7641 0.4057 0.5000 0.9818 0.5309 0.4686 0.1270 0.3447 0.0182 1.0000 0.7641 0.4057 721-AH 0.0000 0.0569 0.5000 0.6522 1.0000 0.4423 0.3813 0.5953 1.0000 0.8620 0.1538 0.0003 0.3296 0.0000 1.0000 0.4423 0.3813 722-AH 0.0000 0.0157 0.0272 0.3333 1.0000 0.1816 0.2995 0.3177 1.0000 1.6487 0.0350 0.0003 0.2304 0.0000 0.6000 0.1134 0.1854 723-AH 0.0000 0.0026 0.0050 0.0714 0.5000 0.0931 0.1747 0.0689 0.5000 1.8768 0.0065 0.0001 0.1314 0.0000 0.1000 0.0120 0.0251 724-AH 0.0741 0.5000 0.8333 1.0000 1.0000 0.7539 0.2884 0.5000 0.9259 0.3826 0.6580 0.4736 0.2461 0.0741 1.0000 0.7539 0.2884 725-AH 0.1667 0.7500 1.0000 1.0000 1.0000 0.8766 0.2347 0.2500 0.8333 0.2677 0.8244 0.7290 0.1804 0.3750 1.0000 0.9050 0.1885 726-AH 0.0000 0.0952 0.5000 1.0000 1.0000 0.4917 0.3886 0.9048 1.0000 0.7903 0.1934 0.0003 0.3378 0.0000 1.0000 0.4917 0.3886 727-AH 0.0000 0.0506 0.1406 0.2297 0.4000 0.1415 0.1134 0.1791 0.4000 0.8017 0.0650 0.0003 0.0949 0.0000 0.4000 0.1415 0.1134 728-AH 0.0020 0.0417 0.4621 0.6522 1.0000 0.4410 0.3577 0.6105 0.9980 0.8111 0.2052 0.0251 0.3022 0.0020 1.0000 0.4410 0.3577 729-AH 0.0000 0.0400 0.0745 0.1667 0.2000 0.0980 0.0700 0.1267 0.2000 0.7143 0.0500 0.0003 0.0628 0.0000 0.2000 0.0980 0.0700 730-AH 0.0000 0.2000 0.3063 0.4167 1.0000 0.3348 0.2397 0.2167 1.0000 0.7160 0.1864 0.0003 0.1622 0.0000 0.5000 0.2794 0.1441 731-AH 0.0172 0.4286 0.6333 1.0000 1.0000 0.6768 0.3356 0.5714 0.9828 0.4958 0.5300 0.2337 0.2983 0.0172 1.0000 0.6768 0.3356 732-AH 0.0444 0.2000 0.2500 0.3636 1.0000 0.3487 0.2658 0.1636 0.9556 0.7622 0.2753 0.2127 0.1864 0.0444 0.5000 0.2637 0.1220 733-AH 0.0000 0.0057 0.0873 0.2000 1.0000 0.1842 0.2781 0.1943 1.0000 1.5092 0.0276 0.0001 0.1866 0.0000 0.2500 0.0814 0.0899 734-AH 0.1217 0.2222 0.4375 0.5000 1.0000 0.4444 0.2787 0.2778 0.8783 0.6272 0.3658 0.2965 0.2094 0.1217 0.5000 0.3434 0.1517 735-AH 0.0238 0.1429 0.3667 1.0000 1.0000 0.4907 0.3863 0.8571 0.9762 0.7872 0.3022 0.1483 0.3387 0.0238 1.0000 0.4907 0.3863 736-AH 0.0262 0.0465 0.1429 0.3333 1.0000 0.2338 0.2768 0.2868 0.9738 1.1839 0.1280 0.0784 0.2074 0.0262 0.5000 0.1700 0.1673 737-AH 0.0909 0.1477 0.2288 0.3636 1.0000 0.3438 0.3027 0.2160 0.9091 0.8804 0.2574 0.2072 0.2198 0.0909 0.5000 0.2245 0.1102 738-AH 0.0847 1.0000 1.0000 1.0000 1.0000 0.8396 0.3241 0.0000 0.9153 0.3860 0.6997 0.4526 0.2467 1.0000 1.0000 1.0000 0.0000 739-AH 0.0909 0.5000 1.0000 1.0000 1.0000 0.8133 0.3099 0.5000 0.9091 0.3810 0.7024 0.5026 0.2586 0.0909 1.0000 0.8133 0.3099 740-AH 0.0294 0.1923 0.5000 1.0000 1.0000 0.5178 0.3452 0.8077 0.9706 0.6666 0.3684 0.2007 0.2844 0.0294 1.0000 0.5178 0.3452 741-AH 0.0000 0.0755 0.1294 0.3333 1.0000 0.2852 0.3522 0.2579 1.0000 1.2348 0.0470 0.0001 0.2759 0.0000 0.5000 0.1269 0.1254 742-AH 0.0000 0.0201 0.1591 1.0000 1.0000 0.4310 0.4578 0.9799 1.0000 1.0621 0.1000 0.0003 0.4280 0.0000 1.0000 0.4310 0.4578 743-AH 0.0000 0.0015 0.0106 0.0357 0.2000 0.0339 0.0548 0.0342 0.2000 1.6158 0.0045 0.0001 0.0402 0.0000 0.0833 0.0129 0.0195 744-AH 0.0000 0.4286 1.0000 1.0000 1.0000 0.7666 0.4047 0.5714 1.0000 0.5279 0.2059 0.0001 0.3412 0.0000 1.0000 0.7666 0.4047 745-AH 0.0135 0.1111 1.0000 1.0000 1.0000 0.6871 0.4443 0.8889 0.9865 0.6466 0.3548 0.0859 0.4092 0.0135 1.0000 0.6871 0.4443 746-AH 0.0000 0.5385 0.7500 1.0000 1.0000 0.6667 0.3502 0.4615 1.0000 0.5253 0.2430 0.0001 0.2769 0.0000 1.0000 0.6667 0.3502 747-AH 0.0179 0.0390 0.1410 0.3889 1.0000 0.3061 0.3654 0.3499 0.9821 1.1937 0.1397 0.0655 0.2895 0.0179 0.4667 0.1409 0.1336 748-AH 0.0000 0.0085 0.2679 0.4444 0.5000 0.2521 0.1804 0.4359 0.5000 0.7156 0.0418 0.0001 0.1532 0.0000 0.5000 0.2521 0.1804 749-AH 0.0037 0.8000 1.0000 1.0000 1.0000 0.8054 0.3715 0.2000 0.9963 0.4612 0.5254 0.0720 0.2843 0.8000 1.0000 0.9810 0.0602 750-AH 0.1250 0.2727 0.5000 1.0000 1.0000 0.5941 0.3519 0.7273 0.8750 0.5922 0.4766 0.3646 0.3178 0.1250 1.0000 0.5941 0.3519 189 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 10% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2836 0.6800 0.7222 0.8000 0.5183 0.2743 0.4386 0.8000 0.5292 0.2074 0.0001 0.2337 0.0000 0.8000 0.5183 0.2743 702-AH 0.0000 0.0022 0.0043 0.0667 0.2000 0.0487 0.0655 0.0645 0.2000 1.3449 0.0085 0.0001 0.0533 0.0000 0.1429 0.0361 0.0501 703-AH 0.0000 0.2857 0.5035 0.6667 0.9000 0.4612 0.2788 0.3810 0.9000 0.6044 0.1273 0.0001 0.2335 0.0000 0.9000 0.4612 0.2788 704-AH 0.0049 0.0714 0.1519 0.2857 0.6000 0.1994 0.1697 0.2143 0.5951 0.8509 0.1123 0.0397 0.1378 0.0049 0.6000 0.1994 0.1697 705-AH 0.1376 0.7222 0.7692 0.8462 1.0000 0.7811 0.1939 0.1239 0.8624 0.2482 0.7407 0.6575 0.1295 0.6471 1.0000 0.8245 0.1185 706-AH 0.0000 0.2581 0.6667 0.7059 0.9091 0.5343 0.2763 0.4478 0.9091 0.5172 0.2970 0.0003 0.2370 0.0000 0.9091 0.5343 0.2763 707-AH 0.0000 0.0696 0.4000 0.6667 1.0000 0.3867 0.3232 0.5971 1.0000 0.8358 0.0869 0.0001 0.2772 0.0000 1.0000 0.3867 0.3232 708-AH 0.0000 0.0311 0.1640 0.3333 0.8333 0.2252 0.2349 0.3023 0.8333 1.0431 0.0354 0.0001 0.1886 0.0000 0.6667 0.2009 0.2036 709-AH 0.0000 0.6400 0.9087 1.0000 1.0000 0.7498 0.3324 0.3600 1.0000 0.4433 0.3063 0.0001 0.2606 0.3559 1.0000 0.8453 0.2067 710-AH 0.0000 0.0000 0.0041 0.0185 0.1667 0.0151 0.0327 0.0185 0.1667 2.1697 0.0007 0.0000 0.0163 0.0000 0.0400 0.0090 0.0110 711-AH 0.0000 0.0063 0.0175 0.0417 0.2000 0.0331 0.0447 0.0353 0.2000 1.3535 0.0103 0.0001 0.0288 0.0000 0.0833 0.0223 0.0218 712-AH 0.0048 1.0000 1.0000 1.0000 1.0000 0.9238 0.2693 0.0000 0.9952 0.2915 0.6896 0.0847 0.1407 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.1875 0.4833 0.6429 0.8571 0.4462 0.2804 0.4554 0.8571 0.6285 0.2345 0.0003 0.2442 0.0000 0.8571 0.4462 0.2804 714-AH 0.0000 0.0000 0.0058 0.0667 0.2857 0.0589 0.0987 0.0667 0.2857 1.6773 0.0009 0.0000 0.0799 0.0000 0.1600 0.0146 0.0366 715-AH 0.0030 0.0065 0.0408 0.1818 1.0000 0.1553 0.2736 0.1753 0.9970 1.7620 0.0361 0.0105 0.1742 0.0030 0.2500 0.0668 0.0813 716-AH 0.0542 0.8333 1.0000 1.0000 1.0000 0.8417 0.3057 0.1667 0.9458 0.3632 0.6833 0.3493 0.2127 0.6364 1.0000 0.9433 0.1119 717-AH 0.0055 0.1471 0.3038 0.5000 1.0000 0.4183 0.3307 0.3529 0.9945 0.7906 0.2559 0.0579 0.2626 0.0055 1.0000 0.4183 0.3307 718-AH 0.0000 0.0504 0.1139 0.2083 0.3750 0.1355 0.1134 0.1580 0.3750 0.8368 0.0302 0.0001 0.0890 0.0000 0.3750 0.1355 0.1134 719-AH 0.0000 0.0045 0.0479 0.1364 0.7500 0.1013 0.1708 0.1318 0.7500 1.6862 0.0079 0.0000 0.1073 0.0000 0.2308 0.0576 0.0671 720-AH 0.0000 0.1478 1.0000 1.0000 1.0000 0.7349 0.4311 0.8522 1.0000 0.5866 0.2847 0.0003 0.3730 0.0000 1.0000 0.7349 0.4311 721-AH 0.0000 0.0465 0.1513 0.6522 1.0000 0.3590 0.3473 0.6056 1.0000 0.9672 0.0676 0.0001 0.3191 0.0000 1.0000 0.3590 0.3473 722-AH 0.0000 0.0157 0.0272 0.3333 1.0000 0.1816 0.2995 0.3177 1.0000 1.6487 0.0350 0.0003 0.2304 0.0000 0.6000 0.1134 0.1854 723-AH 0.0000 0.0026 0.0050 0.0714 0.5000 0.0931 0.1747 0.0689 0.5000 1.8768 0.0065 0.0001 0.1314 0.0000 0.1000 0.0120 0.0251 724-AH 0.0741 0.5000 0.6667 1.0000 1.0000 0.6907 0.2700 0.5000 0.9259 0.3909 0.6054 0.4484 0.2051 0.0741 1.0000 0.6907 0.2700 725-AH 0.0476 0.5714 0.7500 1.0000 1.0000 0.7213 0.3128 0.4286 0.9524 0.4337 0.5879 0.3519 0.2402 0.0476 1.0000 0.7213 0.3128 726-AH 0.0000 0.0652 0.3833 0.6250 0.8000 0.3598 0.2941 0.5598 0.8000 0.8173 0.1103 0.0001 0.2757 0.0000 0.8000 0.3598 0.2941 727-AH 0.0000 0.0506 0.1406 0.2297 0.4000 0.1415 0.1134 0.1791 0.4000 0.8017 0.0650 0.0003 0.0949 0.0000 0.4000 0.1415 0.1134 728-AH 0.0000 0.0354 0.1158 0.4167 0.6522 0.2321 0.2299 0.3813 0.6522 0.9903 0.0626 0.0001 0.2033 0.0000 0.6522 0.2321 0.2299 729-AH 0.0000 0.0400 0.0709 0.1250 0.1905 0.0795 0.0531 0.0850 0.1905 0.6674 0.0437 0.0003 0.0435 0.0000 0.1905 0.0795 0.0531 730-AH 0.0000 0.1094 0.1895 0.3158 0.4815 0.2076 0.1351 0.2064 0.4815 0.6506 0.1202 0.0003 0.1101 0.0000 0.4815 0.2076 0.1351 731-AH 0.0172 0.1765 0.2321 0.4000 0.6000 0.2830 0.1555 0.2235 0.5828 0.5494 0.2352 0.1569 0.1242 0.0172 0.6000 0.2830 0.1555 732-AH 0.0444 0.1176 0.2061 0.2692 0.3636 0.2048 0.0859 0.1516 0.3192 0.4193 0.1839 0.1589 0.0678 0.0444 0.3636 0.2048 0.0859 733-AH 0.0000 0.0057 0.0873 0.2000 1.0000 0.1842 0.2781 0.1943 1.0000 1.5092 0.0276 0.0001 0.1866 0.0000 0.2500 0.0814 0.0899 734-AH 0.0303 0.1217 0.1440 0.2500 1.0000 0.2667 0.2857 0.1283 0.9697 1.0711 0.1813 0.1310 0.1961 0.0303 0.4000 0.1711 0.0993 735-AH 0.0000 0.0252 0.0889 0.1892 0.5385 0.1370 0.1341 0.1640 0.5385 0.9788 0.0471 0.0001 0.1031 0.0000 0.3500 0.1210 0.1084 736-AH 0.0079 0.0290 0.0455 0.0964 0.4286 0.0888 0.1098 0.0674 0.4207 1.2361 0.0552 0.0380 0.0702 0.0079 0.1875 0.0605 0.0471 737-AH 0.0000 0.0699 0.1536 0.2400 0.4286 0.1715 0.1322 0.1701 0.4286 0.7708 0.0697 0.0001 0.1029 0.0000 0.4286 0.1715 0.1322 738-AH 0.0226 0.1970 0.3091 0.8667 1.0000 0.5169 0.3692 0.6697 0.9774 0.7143 0.3460 0.1734 0.3489 0.0226 1.0000 0.5169 0.3692 739-AH 0.0909 0.4545 0.7500 1.0000 1.0000 0.7006 0.3352 0.5455 0.9091 0.4784 0.5688 0.3893 0.2806 0.0909 1.0000 0.7006 0.3352 740-AH 0.0274 0.0964 0.2851 0.5000 0.8182 0.3099 0.2316 0.4036 0.7908 0.7473 0.2166 0.1377 0.1973 0.0274 0.8182 0.3099 0.2316 741-AH 0.0000 0.0111 0.1097 0.2308 0.7500 0.1843 0.2131 0.2196 0.7500 1.1563 0.0166 0.0000 0.1671 0.0000 0.5000 0.1446 0.1652 742-AH 0.0000 0.0103 0.0487 0.6667 1.0000 0.2740 0.3702 0.6564 1.0000 1.3514 0.0297 0.0001 0.3135 0.0000 1.0000 0.2740 0.3702 743-AH 0.0000 0.0015 0.0106 0.0357 0.2000 0.0339 0.0548 0.0342 0.2000 1.6158 0.0045 0.0001 0.0402 0.0000 0.0833 0.0129 0.0195 744-AH 0.0000 0.1429 0.6863 0.8889 1.0000 0.5471 0.3923 0.7460 1.0000 0.7170 0.0936 0.0001 0.3522 0.0000 1.0000 0.5471 0.3923 745-AH 0.0000 0.0360 0.2419 0.4762 0.7778 0.2807 0.2466 0.4402 0.7778 0.8784 0.0614 0.0001 0.2131 0.0000 0.7778 0.2807 0.2466 746-AH 0.0000 0.4167 0.6937 0.8571 1.0000 0.5921 0.3319 0.4405 1.0000 0.5605 0.2111 0.0001 0.2753 0.0000 1.0000 0.5921 0.3319 747-AH 0.0000 0.0202 0.0497 0.1061 1.0000 0.1307 0.2197 0.0858 1.0000 1.6808 0.0185 0.0001 0.1395 0.0000 0.2000 0.0514 0.0510 748-AH 0.0000 0.0000 0.2641 0.4444 0.5000 0.2488 0.1793 0.4444 0.5000 0.7205 0.0197 0.0000 0.1530 0.0000 0.5000 0.2488 0.1793 749-AH 0.0000 0.3529 0.6771 0.8000 1.0000 0.5771 0.3328 0.4471 1.0000 0.5766 0.2211 0.0001 0.2860 0.0000 1.0000 0.5771 0.3328 750-AH 0.0268 0.1043 0.2167 0.3462 0.4737 0.2259 0.1389 0.2418 0.4469 0.6147 0.1732 0.1158 0.1162 0.0268 0.4737 0.2259 0.1389 190 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 20% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2836 0.6667 0.7037 0.7391 0.5001 0.2658 0.4201 0.7391 0.5314 0.1979 0.0001 0.2279 0.0000 0.7391 0.5001 0.2658 702-AH 0.0000 0.0022 0.0043 0.0667 0.2000 0.0487 0.0655 0.0645 0.2000 1.3449 0.0085 0.0001 0.0533 0.0000 0.1429 0.0361 0.0501 703-AH 0.0000 0.1124 0.4545 0.5758 0.8519 0.3845 0.2616 0.4634 0.8519 0.6804 0.1038 0.0001 0.2251 0.0000 0.8519 0.3845 0.2616 704-AH 0.0000 0.0682 0.1250 0.2308 0.6000 0.1431 0.1331 0.1626 0.6000 0.9305 0.0658 0.0003 0.0934 0.0000 0.3750 0.1248 0.0971 705-AH 0.1173 0.6136 0.7185 0.7561 0.7692 0.6555 0.1665 0.1425 0.6519 0.2539 0.6138 0.5271 0.1079 0.5588 0.7692 0.6984 0.0718 706-AH 0.0000 0.2338 0.5967 0.6538 0.7407 0.4504 0.2493 0.4201 0.7407 0.5535 0.2450 0.0003 0.2242 0.0000 0.7407 0.4504 0.2493 707-AH 0.0000 0.0000 0.1351 0.3919 0.6571 0.2182 0.2252 0.3919 0.6571 1.0320 0.0139 0.0000 0.1933 0.0000 0.6571 0.2182 0.2252 708-AH 0.0000 0.0278 0.1328 0.3143 0.4762 0.1693 0.1593 0.2865 0.4762 0.9411 0.0173 0.0000 0.1346 0.0000 0.4762 0.1693 0.1593 709-AH 0.0000 0.6400 0.8745 0.9412 1.0000 0.7145 0.3209 0.3012 1.0000 0.4491 0.2920 0.0001 0.2531 0.3559 1.0000 0.8058 0.2038 710-AH 0.0000 0.0000 0.0041 0.0137 0.0652 0.0092 0.0140 0.0137 0.0652 1.5213 0.0006 0.0000 0.0093 0.0000 0.0250 0.0069 0.0082 711-AH 0.0000 0.0000 0.0036 0.0185 0.1250 0.0162 0.0295 0.0185 0.1250 1.8142 0.0009 0.0000 0.0183 0.0000 0.0351 0.0086 0.0112 712-AH 0.0048 1.0000 1.0000 1.0000 1.0000 0.8770 0.3205 0.0000 0.9952 0.3654 0.5920 0.0702 0.2082 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0573 0.1820 0.5200 0.7857 0.2657 0.2514 0.4627 0.7857 0.9462 0.0834 0.0001 0.2194 0.0000 0.7857 0.2657 0.2514 714-AH 0.0000 0.0000 0.0000 0.0187 0.2812 0.0424 0.0849 0.0187 0.2812 2.0035 0.0002 0.0000 0.0623 0.0000 0.0187 0.0019 0.0057 715-AH 0.0021 0.0065 0.0183 0.0377 0.2000 0.0430 0.0637 0.0313 0.1979 1.4814 0.0177 0.0088 0.0444 0.0021 0.0465 0.0169 0.0136 716-AH 0.0542 0.8000 0.8787 1.0000 1.0000 0.8049 0.2940 0.2000 0.9458 0.3653 0.6563 0.3440 0.1991 0.6364 1.0000 0.9018 0.1150 717-AH 0.0000 0.1250 0.1985 0.2963 1.0000 0.2669 0.2360 0.1713 1.0000 0.8842 0.1045 0.0001 0.1632 0.0000 0.3333 0.1797 0.1011 718-AH 0.0000 0.0464 0.0547 0.0986 0.1404 0.0670 0.0439 0.0522 0.1404 0.6546 0.0182 0.0001 0.0365 0.0000 0.1404 0.0670 0.0439 719-AH 0.0000 0.0000 0.0090 0.0216 0.4167 0.0461 0.1053 0.0216 0.4167 2.2851 0.0013 0.0000 0.0641 0.0000 0.0279 0.0082 0.0093 720-AH 0.0000 0.1478 0.9286 1.0000 1.0000 0.7066 0.4158 0.8522 1.0000 0.5885 0.1653 0.0001 0.3590 0.0000 1.0000 0.7066 0.4158 721-AH 0.0000 0.0465 0.1513 0.6364 0.9167 0.3348 0.3122 0.5898 0.9167 0.9327 0.0655 0.0001 0.2930 0.0000 0.9167 0.3348 0.3122 722-AH 0.0000 0.0064 0.0237 0.0536 0.6000 0.0745 0.1358 0.0471 0.6000 1.8230 0.0122 0.0001 0.0860 0.0000 0.0870 0.0246 0.0254 723-AH 0.0000 0.0026 0.0050 0.0714 0.5000 0.0931 0.1747 0.0689 0.5000 1.8768 0.0065 0.0001 0.1314 0.0000 0.1000 0.0120 0.0251 724-AH 0.0305 0.5000 0.6202 0.7143 1.0000 0.5971 0.2356 0.2143 0.9695 0.3947 0.5002 0.2725 0.1683 0.4000 1.0000 0.6437 0.1756 725-AH 0.0431 0.3929 0.5635 0.7500 1.0000 0.5857 0.2869 0.3571 0.9569 0.4898 0.4598 0.2591 0.2305 0.0431 1.0000 0.5857 0.2869 726-AH 0.0000 0.0247 0.3333 0.6000 0.8000 0.3280 0.2887 0.5753 0.8000 0.8804 0.0619 0.0001 0.2656 0.0000 0.8000 0.3280 0.2887 727-AH 0.0000 0.0486 0.0921 0.1333 0.2632 0.0990 0.0723 0.0848 0.2632 0.7297 0.0397 0.0001 0.0579 0.0000 0.2297 0.0925 0.0654 728-AH 0.0000 0.0186 0.0375 0.2500 0.6522 0.1376 0.1922 0.2314 0.6522 1.3971 0.0187 0.0001 0.1478 0.0000 0.4242 0.0951 0.1252 729-AH 0.0000 0.0385 0.0694 0.1250 0.1905 0.0767 0.0532 0.0865 0.1905 0.6930 0.0419 0.0003 0.0436 0.0000 0.1905 0.0767 0.0532 730-AH 0.0000 0.0679 0.1152 0.2500 0.4815 0.1600 0.1357 0.1821 0.4815 0.8480 0.0254 0.0001 0.1111 0.0000 0.4815 0.1600 0.1357 731-AH 0.0157 0.1364 0.2148 0.2273 0.3750 0.1918 0.0876 0.0909 0.3593 0.4567 0.1638 0.1166 0.0659 0.0157 0.3125 0.1766 0.0720 732-AH 0.0442 0.1068 0.1729 0.2195 0.3043 0.1763 0.0694 0.1127 0.2602 0.3936 0.1612 0.1438 0.0574 0.0442 0.3043 0.1763 0.0694 733-AH 0.0000 0.0000 0.0119 0.1053 0.2000 0.0515 0.0607 0.1053 0.2000 1.1775 0.0019 0.0000 0.0529 0.0000 0.2000 0.0515 0.0607 734-AH 0.0112 0.1217 0.1381 0.1556 0.2500 0.1388 0.0537 0.0338 0.2388 0.3871 0.1206 0.0818 0.0365 0.0889 0.2000 0.1400 0.0280 735-AH 0.0000 0.0165 0.0478 0.0707 0.2553 0.0534 0.0516 0.0542 0.2553 0.9651 0.0225 0.0001 0.0330 0.0000 0.1236 0.0453 0.0317 736-AH 0.0000 0.0110 0.0276 0.0462 0.1071 0.0352 0.0300 0.0351 0.1071 0.8518 0.0153 0.0001 0.0233 0.0000 0.0964 0.0323 0.0267 737-AH 0.0000 0.0454 0.0879 0.1932 0.3148 0.1163 0.0875 0.1478 0.3148 0.7522 0.0365 0.0001 0.0754 0.0000 0.3148 0.1163 0.0875 738-AH 0.0000 0.1491 0.2791 0.8125 0.9630 0.4218 0.3456 0.6634 0.9630 0.8195 0.1061 0.0001 0.3093 0.0000 0.9630 0.4218 0.3456 739-AH 0.0870 0.3000 0.4545 0.8571 1.0000 0.5605 0.3224 0.5571 0.9130 0.5752 0.4509 0.3330 0.2852 0.0870 1.0000 0.5605 0.3224 740-AH 0.0274 0.0764 0.2588 0.4000 0.7222 0.2590 0.1855 0.3236 0.6949 0.7161 0.1824 0.1166 0.1595 0.0274 0.7222 0.2590 0.1855 741-AH 0.0000 0.0111 0.1055 0.1607 0.4615 0.1503 0.1585 0.1496 0.4615 1.0543 0.0152 0.0000 0.1231 0.0000 0.3556 0.0960 0.0988 742-AH 0.0000 0.0088 0.0336 0.6000 1.0000 0.2405 0.3707 0.5912 1.0000 1.5415 0.0136 0.0001 0.3158 0.0000 1.0000 0.2405 0.3707 743-AH 0.0000 0.0015 0.0106 0.0357 0.2000 0.0339 0.0548 0.0342 0.2000 1.6158 0.0045 0.0001 0.0402 0.0000 0.0833 0.0129 0.0195 744-AH 0.0000 0.0761 0.5955 0.7000 1.0000 0.4443 0.3495 0.6239 1.0000 0.7866 0.0729 0.0001 0.3162 0.0000 1.0000 0.4443 0.3495 745-AH 0.0000 0.0000 0.2230 0.3810 0.7222 0.2229 0.2036 0.3810 0.7222 0.9131 0.0160 0.0000 0.1701 0.0000 0.7222 0.2229 0.2036 746-AH 0.0000 0.1625 0.4532 0.6216 1.0000 0.4502 0.3037 0.4591 1.0000 0.6746 0.1556 0.0001 0.2397 0.0000 1.0000 0.4502 0.3037 747-AH 0.0000 0.0000 0.0215 0.0445 0.1193 0.0324 0.0331 0.0445 0.1193 1.0227 0.0030 0.0000 0.0266 0.0000 0.0850 0.0289 0.0286 748-AH 0.0000 0.0000 0.2641 0.4444 0.5000 0.2488 0.1793 0.4444 0.5000 0.7205 0.0197 0.0000 0.1530 0.0000 0.5000 0.2488 0.1793 749-AH 0.0000 0.1290 0.2571 0.6316 0.7500 0.3478 0.2546 0.5025 0.7500 0.7321 0.1313 0.0001 0.2248 0.0000 0.7500 0.3478 0.2546 750-AH 0.0000 0.0746 0.1095 0.1652 0.3922 0.1255 0.0904 0.0906 0.3922 0.7204 0.0304 0.0001 0.0677 0.0000 0.2466 0.1148 0.0737 191 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 30% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2836 0.6043 0.6667 0.7097 0.4751 0.2496 0.3831 0.7097 0.5255 0.1891 0.0001 0.2127 0.0000 0.7097 0.4751 0.2496 702-AH 0.0000 0.0022 0.0043 0.0667 0.2000 0.0487 0.0655 0.0645 0.2000 1.3449 0.0085 0.0001 0.0533 0.0000 0.1429 0.0361 0.0501 703-AH 0.0000 0.0624 0.3874 0.5098 0.8125 0.3198 0.2533 0.4474 0.8125 0.7921 0.0427 0.0001 0.2210 0.0000 0.8125 0.3198 0.2533 704-AH 0.0000 0.0460 0.0676 0.1034 0.2500 0.0735 0.0528 0.0575 0.2500 0.7177 0.0412 0.0003 0.0380 0.0000 0.1389 0.0665 0.0394 705-AH 0.1033 0.5957 0.6551 0.7073 0.7561 0.5968 0.1723 0.1116 0.6528 0.2887 0.5502 0.4588 0.1200 0.4590 0.7561 0.6606 0.0658 706-AH 0.0000 0.1538 0.3626 0.5208 0.5909 0.3208 0.2044 0.3670 0.5909 0.6370 0.0910 0.0001 0.1798 0.0000 0.5909 0.3208 0.2044 707-AH 0.0000 0.0000 0.0740 0.2619 0.6571 0.1646 0.2085 0.2619 0.6571 1.2672 0.0058 0.0000 0.1670 0.0000 0.6500 0.1449 0.1865 708-AH 0.0000 0.0234 0.1057 0.2162 0.3214 0.1287 0.1139 0.1929 0.3214 0.8847 0.0145 0.0000 0.0999 0.0000 0.3214 0.1287 0.1139 709-AH 0.0000 0.5161 0.7089 0.8421 1.0000 0.6458 0.2891 0.3260 1.0000 0.4477 0.2659 0.0001 0.2157 0.0366 1.0000 0.6997 0.2271 710-AH 0.0000 0.0000 0.0000 0.0084 0.0207 0.0051 0.0074 0.0084 0.0207 1.4455 0.0002 0.0000 0.0063 0.0000 0.0207 0.0051 0.0074 711-AH 0.0000 0.0000 0.0000 0.0102 0.1250 0.0112 0.0270 0.0102 0.1250 2.4126 0.0002 0.0000 0.0149 0.0000 0.0234 0.0041 0.0067 712-AH 0.0048 1.0000 1.0000 1.0000 1.0000 0.8770 0.3205 0.0000 0.9952 0.3654 0.5920 0.0702 0.2082 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0315 0.0674 0.3148 0.6579 0.1776 0.2074 0.2833 0.6579 1.1676 0.0279 0.0001 0.1771 0.0000 0.6579 0.1776 0.2074 714-AH 0.0000 0.0000 0.0000 0.0000 0.1392 0.0072 0.0277 0.0000 0.1392 3.8406 0.0000 0.0000 0.0128 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0030 0.0105 0.0248 0.0414 0.0143 0.0124 0.0218 0.0414 0.8646 0.0035 0.0001 0.0103 0.0000 0.0414 0.0143 0.0124 716-AH 0.0542 0.7143 0.8333 0.9167 1.0000 0.7502 0.2792 0.2024 0.9458 0.3721 0.6146 0.3347 0.1989 0.5882 1.0000 0.8399 0.1249 717-AH 0.0000 0.0753 0.1181 0.2308 0.8750 0.1936 0.2114 0.1555 0.8750 1.0917 0.0699 0.0001 0.1437 0.0000 0.2963 0.1255 0.0836 718-AH 0.0000 0.0391 0.0463 0.0703 0.1343 0.0523 0.0339 0.0312 0.1343 0.6484 0.0147 0.0001 0.0264 0.0000 0.0968 0.0490 0.0301 719-AH 0.0000 0.0000 0.0000 0.0071 0.3810 0.0289 0.0933 0.0071 0.3810 3.2307 0.0001 0.0000 0.0487 0.0000 0.0094 0.0013 0.0030 720-AH 0.0000 0.1478 0.9258 0.9524 1.0000 0.6958 0.4091 0.8046 1.0000 0.5879 0.1626 0.0001 0.3537 0.0000 1.0000 0.6958 0.4091 721-AH 0.0000 0.0465 0.1513 0.6364 0.7500 0.3211 0.2954 0.5898 0.7500 0.9197 0.0364 0.0001 0.2815 0.0000 0.7500 0.3211 0.2954 722-AH 0.0000 0.0064 0.0237 0.0536 0.6000 0.0745 0.1358 0.0471 0.6000 1.8230 0.0122 0.0001 0.0860 0.0000 0.0870 0.0246 0.0254 723-AH 0.0000 0.0026 0.0050 0.0714 0.5000 0.0931 0.1747 0.0689 0.5000 1.8768 0.0065 0.0001 0.1314 0.0000 0.1000 0.0120 0.0251 724-AH 0.0278 0.4000 0.5000 0.6429 1.0000 0.5144 0.2209 0.2429 0.9722 0.4294 0.4251 0.2304 0.1640 0.2857 1.0000 0.5547 0.1761 725-AH 0.0000 0.1481 0.4540 0.6364 0.8750 0.4186 0.2549 0.4882 0.8750 0.6090 0.2265 0.0003 0.2109 0.0000 0.8750 0.4186 0.2549 726-AH 0.0000 0.0178 0.2800 0.5455 0.7500 0.3030 0.2805 0.5277 0.7500 0.9259 0.0234 0.0000 0.2626 0.0000 0.7500 0.3030 0.2805 727-AH 0.0000 0.0486 0.0854 0.1286 0.2632 0.0938 0.0727 0.0800 0.2632 0.7747 0.0226 0.0001 0.0563 0.0000 0.2297 0.0871 0.0653 728-AH 0.0000 0.0000 0.0219 0.2371 0.6522 0.1250 0.1968 0.2371 0.6522 1.5743 0.0022 0.0000 0.1514 0.0000 0.4242 0.0815 0.1280 729-AH 0.0000 0.0278 0.0678 0.1087 0.1905 0.0723 0.0507 0.0809 0.1905 0.7016 0.0388 0.0003 0.0409 0.0000 0.1905 0.0723 0.0507 730-AH 0.0000 0.0214 0.0756 0.1848 0.3542 0.1109 0.1056 0.1634 0.3542 0.9514 0.0129 0.0000 0.0891 0.0000 0.3542 0.1109 0.1056 731-AH 0.0092 0.0737 0.1186 0.1556 0.2333 0.1168 0.0608 0.0819 0.2241 0.5208 0.0965 0.0672 0.0486 0.0092 0.2333 0.1168 0.0608 732-AH 0.0442 0.0942 0.1315 0.1875 0.2340 0.1407 0.0556 0.0933 0.1899 0.3953 0.1292 0.1170 0.0474 0.0442 0.2340 0.1407 0.0556 733-AH 0.0000 0.0000 0.0119 0.1053 0.2000 0.0515 0.0607 0.1053 0.2000 1.1775 0.0019 0.0000 0.0529 0.0000 0.2000 0.0515 0.0607 734-AH 0.0112 0.0968 0.1251 0.1556 0.1897 0.1211 0.0494 0.0588 0.1785 0.4083 0.1031 0.0687 0.0383 0.0112 0.1897 0.1211 0.0494 735-AH 0.0000 0.0000 0.0212 0.0341 0.0571 0.0187 0.0186 0.0341 0.0571 0.9936 0.0010 0.0000 0.0159 0.0000 0.0571 0.0187 0.0186 736-AH 0.0000 0.0092 0.0182 0.0325 0.0438 0.0191 0.0151 0.0233 0.0438 0.7865 0.0037 0.0000 0.0128 0.0000 0.0438 0.0191 0.0151 737-AH 0.0000 0.0277 0.0863 0.1381 0.2138 0.0880 0.0705 0.1104 0.2138 0.8010 0.0157 0.0001 0.0589 0.0000 0.2138 0.0880 0.0705 738-AH 0.0000 0.1324 0.1963 0.7031 0.8810 0.3349 0.3141 0.5707 0.8810 0.9380 0.0593 0.0001 0.2648 0.0000 0.8810 0.3349 0.3141 739-AH 0.0000 0.2500 0.4202 0.7500 1.0000 0.4928 0.3338 0.5000 1.0000 0.6775 0.1798 0.0001 0.2763 0.0000 1.0000 0.4928 0.3338 740-AH 0.0262 0.0720 0.2138 0.3117 0.5556 0.2133 0.1476 0.2397 0.5294 0.6919 0.1564 0.1057 0.1210 0.0262 0.5556 0.2133 0.1476 741-AH 0.0000 0.0111 0.1021 0.1607 0.4615 0.1488 0.1589 0.1496 0.4615 1.0675 0.0150 0.0000 0.1240 0.0000 0.3556 0.0942 0.0985 742-AH 0.0000 0.0000 0.0322 0.5263 1.0000 0.2308 0.3633 0.5263 1.0000 1.5746 0.0060 0.0000 0.3053 0.0000 1.0000 0.2308 0.3633 743-AH 0.0000 0.0015 0.0106 0.0357 0.2000 0.0339 0.0548 0.0342 0.2000 1.6158 0.0045 0.0001 0.0402 0.0000 0.0833 0.0129 0.0195 744-AH 0.0000 0.0304 0.5147 0.6111 1.0000 0.3863 0.3215 0.5807 1.0000 0.8322 0.0560 0.0001 0.2926 0.0000 1.0000 0.3863 0.3215 745-AH 0.0000 0.0000 0.2175 0.3235 0.6471 0.1995 0.1792 0.3235 0.6471 0.8980 0.0150 0.0000 0.1513 0.0000 0.6471 0.1995 0.1792 746-AH 0.0000 0.0760 0.4045 0.5625 0.9091 0.3764 0.2593 0.4865 0.9091 0.6889 0.1289 0.0001 0.2064 0.0000 0.9091 0.3764 0.2593 747-AH 0.0000 0.0000 0.0000 0.0369 0.0655 0.0161 0.0211 0.0369 0.0655 1.3151 0.0003 0.0000 0.0185 0.0000 0.0655 0.0161 0.0211 748-AH 0.0000 0.0000 0.2140 0.3438 0.4545 0.2117 0.1550 0.3438 0.4545 0.7321 0.0175 0.0000 0.1240 0.0000 0.4545 0.2117 0.1550 749-AH 0.0000 0.1086 0.1677 0.3396 0.6667 0.2544 0.2167 0.2311 0.6667 0.8518 0.0940 0.0001 0.1797 0.0000 0.6667 0.2544 0.2167 750-AH 0.0000 0.0452 0.0791 0.1107 0.3506 0.0854 0.0810 0.0655 0.3506 0.9479 0.0115 0.0000 0.0548 0.0000 0.1239 0.0618 0.0435 192 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 40% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2836 0.4975 0.6200 0.6809 0.4141 0.2508 0.3364 0.6809 0.6057 0.0604 0.0001 0.2179 0.0000 0.6809 0.4141 0.2508 702-AH 0.0000 0.0022 0.0043 0.0667 0.2000 0.0487 0.0655 0.0645 0.2000 1.3449 0.0085 0.0001 0.0533 0.0000 0.1429 0.0361 0.0501 703-AH 0.0000 0.0624 0.2842 0.4167 0.7917 0.2775 0.2299 0.3543 0.7917 0.8287 0.0383 0.0001 0.1873 0.0000 0.7917 0.2775 0.2299 704-AH 0.0000 0.0390 0.0648 0.0980 0.1562 0.0656 0.0415 0.0590 0.1562 0.6321 0.0379 0.0003 0.0327 0.0000 0.1562 0.0656 0.0415 705-AH 0.0842 0.5211 0.5769 0.6438 0.7097 0.5377 0.1775 0.1227 0.6255 0.3301 0.4842 0.3856 0.1268 0.4111 0.7097 0.6047 0.0756 706-AH 0.0000 0.1336 0.1551 0.2538 0.4853 0.1843 0.1424 0.1202 0.4853 0.7725 0.0217 0.0000 0.1134 0.0000 0.4135 0.1722 0.1311 707-AH 0.0000 0.0000 0.0538 0.1289 0.6170 0.1282 0.1893 0.1289 0.6170 1.4765 0.0019 0.0000 0.1408 0.0000 0.1765 0.0434 0.0569 708-AH 0.0000 0.0000 0.0773 0.1837 0.3214 0.1050 0.1003 0.1837 0.3214 0.9551 0.0089 0.0000 0.0879 0.0000 0.3214 0.1050 0.1003 709-AH 0.0000 0.4028 0.5789 0.7027 0.8148 0.5309 0.2352 0.2999 0.8148 0.4430 0.2238 0.0001 0.1803 0.0000 0.8148 0.5309 0.2352 710-AH 0.0000 0.0000 0.0000 0.0000 0.0160 0.0021 0.0048 0.0000 0.0160 2.2288 0.0000 0.0000 0.0035 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0102 0.1250 0.0112 0.0270 0.0102 0.1250 2.4126 0.0002 0.0000 0.0149 0.0000 0.0234 0.0041 0.0067 712-AH 0.0041 1.0000 1.0000 1.0000 1.0000 0.8418 0.3316 0.0000 0.9959 0.3939 0.5415 0.0496 0.2434 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0290 0.0403 0.2346 0.6579 0.1385 0.1842 0.2056 0.6579 1.3300 0.0121 0.0000 0.1459 0.0000 0.3878 0.0974 0.1178 714-AH 0.0000 0.0000 0.0000 0.0000 0.1238 0.0054 0.0244 0.0000 0.1238 4.5060 0.0000 0.0000 0.0100 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0087 0.0163 0.0414 0.0117 0.0123 0.0163 0.0414 1.0496 0.0015 0.0000 0.0096 0.0000 0.0331 0.0105 0.0109 716-AH 0.0542 0.5000 0.7527 0.8750 1.0000 0.6421 0.2978 0.3750 0.9458 0.4638 0.5092 0.2968 0.2426 0.0542 1.0000 0.6421 0.2978 717-AH 0.0000 0.0299 0.1054 0.1905 0.4286 0.1381 0.1256 0.1606 0.4286 0.9097 0.0376 0.0001 0.1000 0.0000 0.4286 0.1381 0.1256 718-AH 0.0000 0.0267 0.0399 0.0484 0.1333 0.0394 0.0296 0.0217 0.1333 0.7501 0.0089 0.0001 0.0195 0.0000 0.0794 0.0335 0.0208 719-AH 0.0000 0.0000 0.0000 0.0000 0.0556 0.0021 0.0109 0.0000 0.0556 5.0990 0.0000 0.0000 0.0041 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.1478 0.8944 0.9524 1.0000 0.6810 0.4009 0.8046 1.0000 0.5887 0.1598 0.0001 0.3458 0.0000 1.0000 0.6810 0.4009 721-AH 0.0000 0.0465 0.1513 0.6216 0.7391 0.3182 0.2919 0.5751 0.7391 0.9172 0.0362 0.0001 0.2783 0.0000 0.7391 0.3182 0.2919 722-AH 0.0000 0.0049 0.0215 0.0536 0.6000 0.0703 0.1365 0.0487 0.6000 1.9416 0.0068 0.0001 0.0856 0.0000 0.0549 0.0197 0.0192 723-AH 0.0000 0.0026 0.0050 0.0714 0.5000 0.0931 0.1747 0.0689 0.5000 1.8768 0.0065 0.0001 0.1314 0.0000 0.1000 0.0120 0.0251 724-AH 0.0278 0.3889 0.4375 0.6154 0.8000 0.4543 0.1838 0.2265 0.7722 0.4046 0.3820 0.2202 0.1333 0.2857 0.8000 0.4895 0.1409 725-AH 0.0000 0.1475 0.3929 0.5625 0.6923 0.3744 0.2178 0.4150 0.6923 0.5817 0.2067 0.0003 0.1826 0.0000 0.6923 0.3744 0.2178 726-AH 0.0000 0.0000 0.2200 0.4667 0.5385 0.2533 0.2320 0.4667 0.5385 0.9158 0.0118 0.0000 0.2191 0.0000 0.5385 0.2533 0.2320 727-AH 0.0000 0.0486 0.0819 0.1286 0.2632 0.0930 0.0727 0.0800 0.2632 0.7816 0.0224 0.0001 0.0565 0.0000 0.2297 0.0862 0.0652 728-AH 0.0000 0.0000 0.0000 0.2371 0.6522 0.1213 0.1976 0.2371 0.6522 1.6296 0.0007 0.0000 0.1526 0.0000 0.4242 0.0779 0.1300 729-AH 0.0000 0.0201 0.0443 0.0789 0.1765 0.0512 0.0427 0.0588 0.1765 0.8347 0.0128 0.0001 0.0336 0.0000 0.1091 0.0462 0.0350 730-AH 0.0000 0.0000 0.0677 0.1571 0.2785 0.0853 0.0896 0.1571 0.2785 1.0508 0.0024 0.0000 0.0778 0.0000 0.2785 0.0853 0.0896 731-AH 0.0000 0.0325 0.0488 0.0924 0.1370 0.0627 0.0422 0.0599 0.1370 0.6720 0.0380 0.0003 0.0346 0.0000 0.1370 0.0627 0.0422 732-AH 0.0442 0.0875 0.1134 0.1400 0.1972 0.1155 0.0388 0.0525 0.1530 0.3357 0.1087 0.1015 0.0311 0.0442 0.1972 0.1155 0.0388 733-AH 0.0000 0.0000 0.0056 0.0462 0.0938 0.0236 0.0299 0.0462 0.0938 1.2680 0.0010 0.0000 0.0256 0.0000 0.0938 0.0236 0.0299 734-AH 0.0095 0.0684 0.1251 0.1481 0.1897 0.1145 0.0536 0.0798 0.1801 0.4680 0.0938 0.0594 0.0444 0.0095 0.1897 0.1145 0.0536 735-AH 0.0000 0.0000 0.0000 0.0000 0.0401 0.0035 0.0102 0.0000 0.0401 2.9038 0.0000 0.0000 0.0062 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0248 0.0438 0.0137 0.0167 0.0248 0.0438 1.2153 0.0004 0.0000 0.0148 0.0000 0.0438 0.0137 0.0167 737-AH 0.0000 0.0000 0.0755 0.1000 0.2037 0.0665 0.0570 0.1000 0.2037 0.8566 0.0054 0.0000 0.0477 0.0000 0.2037 0.0665 0.0570 738-AH 0.0000 0.1200 0.1459 0.2692 0.6800 0.2266 0.2315 0.1492 0.6800 1.0217 0.0316 0.0001 0.1791 0.0000 0.3252 0.1224 0.0875 739-AH 0.0000 0.2340 0.3905 0.6154 1.0000 0.4453 0.3157 0.3813 1.0000 0.7090 0.1467 0.0001 0.2515 0.0000 1.0000 0.4453 0.3157 740-AH 0.0249 0.0622 0.1846 0.3014 0.5116 0.1928 0.1336 0.2392 0.4867 0.6930 0.1387 0.0894 0.1113 0.0249 0.5116 0.1928 0.1336 741-AH 0.0000 0.0000 0.0913 0.1467 0.4615 0.1427 0.1609 0.1467 0.4615 1.1273 0.0108 0.0000 0.1258 0.0000 0.3556 0.0870 0.0981 742-AH 0.0000 0.0000 0.0301 0.4348 1.0000 0.2107 0.3351 0.4348 1.0000 1.5908 0.0034 0.0000 0.2785 0.0000 1.0000 0.2107 0.3351 743-AH 0.0000 0.0000 0.0000 0.0159 0.0308 0.0073 0.0095 0.0159 0.0308 1.2976 0.0002 0.0000 0.0084 0.0000 0.0308 0.0073 0.0095 744-AH 0.0000 0.0241 0.4667 0.5833 0.7368 0.3383 0.2859 0.5593 0.7368 0.8450 0.0472 0.0001 0.2691 0.0000 0.7368 0.3383 0.2859 745-AH 0.0000 0.0000 0.2018 0.2946 0.4643 0.1764 0.1518 0.2946 0.4643 0.8605 0.0139 0.0000 0.1303 0.0000 0.4643 0.1764 0.1518 746-AH 0.0000 0.0450 0.2625 0.4808 0.8333 0.3044 0.2416 0.4357 0.8333 0.7937 0.0756 0.0001 0.1948 0.0000 0.8333 0.3044 0.2416 747-AH 0.0000 0.0000 0.0000 0.0304 0.0440 0.0102 0.0172 0.0304 0.0440 1.6946 0.0001 0.0000 0.0149 0.0000 0.0440 0.0102 0.0172 748-AH 0.0000 0.0000 0.2105 0.3000 0.3750 0.1905 0.1316 0.3000 0.3750 0.6908 0.0165 0.0000 0.1071 0.0000 0.3750 0.1905 0.1316 749-AH 0.0000 0.0866 0.1224 0.3038 0.5957 0.2009 0.1923 0.2172 0.5957 0.9572 0.0533 0.0001 0.1527 0.0000 0.5957 0.2009 0.1923 750-AH 0.0000 0.0000 0.0566 0.0705 0.2028 0.0548 0.0557 0.0705 0.2028 1.0169 0.0034 0.0000 0.0397 0.0000 0.1569 0.0435 0.0404 193 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 50% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2500 0.4775 0.6154 0.6406 0.3913 0.2412 0.3654 0.6406 0.6165 0.0573 0.0001 0.2083 0.0000 0.6406 0.3913 0.2412 702-AH 0.0000 0.0022 0.0043 0.0667 0.2000 0.0487 0.0655 0.0645 0.2000 1.3449 0.0085 0.0001 0.0533 0.0000 0.1429 0.0361 0.0501 703-AH 0.0000 0.0000 0.2134 0.4019 0.7143 0.2340 0.2075 0.4019 0.7143 0.8867 0.0173 0.0000 0.1743 0.0000 0.7143 0.2340 0.2075 704-AH 0.0000 0.0343 0.0528 0.0732 0.1304 0.0522 0.0341 0.0389 0.1304 0.6523 0.0182 0.0001 0.0256 0.0000 0.1304 0.0522 0.0341 705-AH 0.0842 0.4476 0.5112 0.6438 0.7015 0.4733 0.1929 0.1962 0.6173 0.4077 0.4099 0.3167 0.1460 0.2386 0.7015 0.5400 0.1179 706-AH 0.0000 0.0000 0.1172 0.2092 0.4200 0.1287 0.1336 0.2092 0.4200 1.0384 0.0042 0.0000 0.1046 0.0000 0.4200 0.1287 0.1336 707-AH 0.0000 0.0000 0.0000 0.0960 0.2236 0.0507 0.0705 0.0960 0.2236 1.3907 0.0005 0.0000 0.0587 0.0000 0.2236 0.0507 0.0705 708-AH 0.0000 0.0000 0.0519 0.1712 0.2110 0.0767 0.0819 0.1712 0.2110 1.0678 0.0022 0.0000 0.0724 0.0000 0.2110 0.0767 0.0819 709-AH 0.0000 0.4028 0.5500 0.6429 0.7714 0.4812 0.2450 0.2401 0.7714 0.5091 0.1934 0.0001 0.1942 0.1346 0.7714 0.5424 0.1850 710-AH 0.0000 0.0000 0.0000 0.0000 0.0088 0.0003 0.0017 0.0000 0.0088 5.0990 0.0000 0.0000 0.0006 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0068 0.0755 0.0082 0.0195 0.0068 0.0755 2.3871 0.0001 0.0000 0.0120 0.0000 0.0162 0.0022 0.0052 712-AH 0.0041 1.0000 1.0000 1.0000 1.0000 0.8418 0.3316 0.0000 0.9959 0.3939 0.5415 0.0496 0.2434 1.0000 1.0000 1.0000 0.0000 713-AH 0.0000 0.0000 0.0370 0.1116 0.6579 0.1110 0.1776 0.1116 0.6579 1.5997 0.0030 0.0000 0.1247 0.0000 0.2737 0.0577 0.0828 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0087 0.0163 0.0414 0.0117 0.0123 0.0163 0.0414 1.0496 0.0015 0.0000 0.0096 0.0000 0.0331 0.0105 0.0109 716-AH 0.0542 0.4706 0.6862 0.8000 0.8182 0.5803 0.2672 0.3294 0.7640 0.4604 0.4605 0.2751 0.2225 0.0542 0.8182 0.5803 0.2672 717-AH 0.0000 0.0266 0.0949 0.1467 0.3667 0.1040 0.0933 0.1201 0.3667 0.8974 0.0230 0.0001 0.0718 0.0000 0.2821 0.0935 0.0780 718-AH 0.0000 0.0000 0.0353 0.0465 0.1029 0.0319 0.0291 0.0465 0.1029 0.9119 0.0025 0.0000 0.0226 0.0000 0.1029 0.0319 0.0291 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.1383 0.8241 0.9500 0.9583 0.6451 0.3937 0.8117 0.9583 0.6103 0.0791 0.0001 0.3365 0.0000 0.9583 0.6451 0.3937 721-AH 0.0000 0.0465 0.1513 0.5250 0.6452 0.2883 0.2620 0.4785 0.6452 0.9087 0.0256 0.0000 0.2480 0.0000 0.6452 0.2883 0.2620 722-AH 0.0000 0.0049 0.0215 0.0536 0.6000 0.0703 0.1365 0.0487 0.6000 1.9416 0.0068 0.0001 0.0856 0.0000 0.0549 0.0197 0.0192 723-AH 0.0000 0.0026 0.0050 0.0714 0.5000 0.0931 0.1747 0.0689 0.5000 1.8768 0.0065 0.0001 0.1314 0.0000 0.1000 0.0120 0.0251 724-AH 0.0278 0.3889 0.4375 0.5882 0.7500 0.4458 0.1724 0.1993 0.7222 0.3867 0.3772 0.2192 0.1251 0.2857 0.7500 0.4804 0.1269 725-AH 0.0000 0.1053 0.3500 0.4400 0.6111 0.3019 0.1821 0.3347 0.6111 0.6031 0.1677 0.0003 0.1556 0.0000 0.6111 0.3019 0.1821 726-AH 0.0000 0.0000 0.1005 0.2727 0.3913 0.1349 0.1397 0.2727 0.3913 1.0358 0.0056 0.0000 0.1195 0.0000 0.3913 0.1349 0.1397 727-AH 0.0000 0.0444 0.0764 0.1224 0.2632 0.0888 0.0732 0.0781 0.2632 0.8247 0.0211 0.0001 0.0565 0.0000 0.2297 0.0818 0.0653 728-AH 0.0000 0.0000 0.0000 0.2371 0.6522 0.1202 0.1969 0.2371 0.6522 1.6379 0.0007 0.0000 0.1525 0.0000 0.4242 0.0770 0.1296 729-AH 0.0000 0.0113 0.0248 0.0640 0.1373 0.0385 0.0368 0.0527 0.1373 0.9539 0.0059 0.0000 0.0296 0.0000 0.1373 0.0385 0.0368 730-AH 0.0000 0.0000 0.0639 0.1304 0.2545 0.0717 0.0744 0.1304 0.2545 1.0374 0.0022 0.0000 0.0644 0.0000 0.2545 0.0717 0.0744 731-AH 0.0000 0.0296 0.0355 0.0585 0.1212 0.0439 0.0328 0.0290 0.1212 0.7465 0.0124 0.0001 0.0252 0.0000 0.0863 0.0377 0.0253 732-AH 0.0243 0.0568 0.0893 0.1090 0.1339 0.0843 0.0275 0.0522 0.1096 0.3267 0.0789 0.0722 0.0219 0.0243 0.1339 0.0843 0.0275 733-AH 0.0000 0.0000 0.0056 0.0462 0.0938 0.0236 0.0299 0.0462 0.0938 1.2680 0.0010 0.0000 0.0256 0.0000 0.0938 0.0236 0.0299 734-AH 0.0000 0.0426 0.1222 0.1333 0.1897 0.0946 0.0544 0.0908 0.1897 0.5752 0.0575 0.0003 0.0494 0.0000 0.1897 0.0946 0.0544 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0172 0.0436 0.0078 0.0124 0.0172 0.0436 1.5870 0.0001 0.0000 0.0102 0.0000 0.0369 0.0064 0.0102 737-AH 0.0000 0.0000 0.0542 0.0832 0.1897 0.0523 0.0506 0.0832 0.1897 0.9678 0.0025 0.0000 0.0411 0.0000 0.1897 0.0523 0.0506 738-AH 0.0000 0.0000 0.1215 0.2469 0.5345 0.1610 0.1875 0.2469 0.5345 1.1647 0.0046 0.0000 0.1487 0.0000 0.5345 0.1610 0.1875 739-AH 0.0000 0.1294 0.3661 0.4545 1.0000 0.3861 0.2955 0.3251 1.0000 0.7654 0.0742 0.0001 0.2205 0.0000 0.8571 0.3350 0.2438 740-AH 0.0000 0.0444 0.1790 0.2571 0.4576 0.1707 0.1274 0.2127 0.4576 0.7468 0.0484 0.0001 0.1069 0.0000 0.4576 0.1707 0.1274 741-AH 0.0000 0.0000 0.0757 0.1441 0.4615 0.1359 0.1614 0.1441 0.4615 1.1878 0.0098 0.0000 0.1275 0.0000 0.3556 0.0799 0.0982 742-AH 0.0000 0.0000 0.0000 0.0667 0.9167 0.1351 0.2551 0.0667 0.9167 1.8879 0.0008 0.0000 0.1864 0.0000 0.1667 0.0212 0.0401 743-AH 0.0000 0.0000 0.0000 0.0159 0.0308 0.0073 0.0095 0.0159 0.0308 1.2976 0.0002 0.0000 0.0084 0.0000 0.0308 0.0073 0.0095 744-AH 0.0000 0.0197 0.4301 0.5385 0.6538 0.2965 0.2626 0.5187 0.6538 0.8857 0.0233 0.0000 0.2510 0.0000 0.6538 0.2965 0.2626 745-AH 0.0000 0.0000 0.1539 0.2391 0.4000 0.1471 0.1310 0.2391 0.4000 0.8906 0.0090 0.0000 0.1127 0.0000 0.4000 0.1471 0.1310 746-AH 0.0000 0.0000 0.1479 0.2679 0.6522 0.1881 0.1877 0.2679 0.6522 0.9982 0.0145 0.0000 0.1411 0.0000 0.6522 0.1881 0.1877 747-AH 0.0000 0.0000 0.0000 0.0000 0.0440 0.0058 0.0141 0.0000 0.0440 2.4063 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.2051 0.2273 0.3438 0.1607 0.1164 0.2273 0.3438 0.7245 0.0139 0.0000 0.0996 0.0000 0.3438 0.1607 0.1164 749-AH 0.0000 0.0000 0.1155 0.2263 0.5769 0.1589 0.1723 0.2263 0.5769 1.0847 0.0090 0.0000 0.1316 0.0000 0.5263 0.1422 0.1528 750-AH 0.0000 0.0000 0.0000 0.0569 0.1867 0.0326 0.0549 0.0569 0.1867 1.6831 0.0002 0.0000 0.0426 0.0000 0.0712 0.0154 0.0267 194 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 60% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2098 0.4000 0.5714 0.6164 0.3643 0.2330 0.3616 0.6164 0.6397 0.0534 0.0001 0.2002 0.0000 0.6164 0.3643 0.2330 702-AH 0.0000 0.0000 0.0040 0.0074 0.1429 0.0190 0.0414 0.0074 0.1429 2.1801 0.0011 0.0000 0.0272 0.0000 0.0078 0.0029 0.0027 703-AH 0.0000 0.0000 0.1278 0.3333 0.6310 0.1694 0.1754 0.3333 0.6310 1.0354 0.0068 0.0000 0.1469 0.0000 0.6310 0.1694 0.1754 704-AH 0.0000 0.0333 0.0411 0.0574 0.1045 0.0410 0.0274 0.0240 0.1045 0.6679 0.0071 0.0000 0.0204 0.0000 0.0721 0.0385 0.0246 705-AH 0.0000 0.4357 0.4775 0.5085 0.5895 0.4006 0.1923 0.0728 0.5895 0.4801 0.1208 0.0001 0.1490 0.4357 0.5895 0.4974 0.0431 706-AH 0.0000 0.0000 0.0975 0.1346 0.3906 0.1098 0.1190 0.1346 0.3906 1.0842 0.0038 0.0000 0.0914 0.0000 0.3141 0.0880 0.0944 707-AH 0.0000 0.0000 0.0000 0.0771 0.2028 0.0357 0.0629 0.0771 0.2028 1.7618 0.0002 0.0000 0.0495 0.0000 0.1849 0.0290 0.0540 708-AH 0.0000 0.0000 0.0512 0.1576 0.2000 0.0701 0.0734 0.1576 0.2000 1.0469 0.0021 0.0000 0.0653 0.0000 0.2000 0.0701 0.0734 709-AH 0.0000 0.3478 0.4731 0.5714 0.7273 0.4161 0.2189 0.2236 0.7273 0.5260 0.1249 0.0001 0.1742 0.1217 0.7273 0.4704 0.1666 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0079 0.0006 0.0021 0.0000 0.0079 3.5328 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.4545 0.9000 1.0000 1.0000 0.6959 0.3855 0.5455 1.0000 0.5540 0.2472 0.0001 0.3164 0.0000 1.0000 0.6959 0.3855 713-AH 0.0000 0.0000 0.0000 0.1017 0.6304 0.0854 0.1682 0.1017 0.6304 1.9686 0.0004 0.0000 0.1157 0.0000 0.2397 0.0431 0.0791 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0077 0.0148 0.0414 0.0106 0.0125 0.0148 0.0414 1.1852 0.0007 0.0000 0.0098 0.0000 0.0323 0.0094 0.0111 716-AH 0.0000 0.4286 0.6256 0.7333 0.8077 0.5294 0.2572 0.3048 0.8077 0.4859 0.2186 0.0001 0.2045 0.0000 0.8077 0.5294 0.2572 717-AH 0.0000 0.0000 0.0691 0.1102 0.2131 0.0707 0.0641 0.1102 0.2131 0.9066 0.0055 0.0000 0.0507 0.0000 0.2131 0.0707 0.0641 718-AH 0.0000 0.0000 0.0312 0.0369 0.0533 0.0234 0.0186 0.0369 0.0533 0.7945 0.0021 0.0000 0.0165 0.0000 0.0533 0.0234 0.0186 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.1383 0.7273 0.9000 0.9583 0.5894 0.3773 0.7617 0.9583 0.6401 0.0544 0.0000 0.3195 0.0000 0.9583 0.5894 0.3773 721-AH 0.0000 0.0465 0.1426 0.5000 0.6154 0.2623 0.2347 0.4535 0.6154 0.8946 0.0242 0.0000 0.2214 0.0000 0.6154 0.2623 0.2347 722-AH 0.0000 0.0000 0.0043 0.0308 0.3333 0.0422 0.0859 0.0308 0.3333 2.0369 0.0007 0.0000 0.0547 0.0000 0.0727 0.0132 0.0202 723-AH 0.0000 0.0000 0.0031 0.0077 0.0769 0.0070 0.0149 0.0077 0.0769 2.1312 0.0008 0.0000 0.0072 0.0000 0.0139 0.0042 0.0043 724-AH 0.0249 0.3684 0.3964 0.5238 0.6471 0.4044 0.1450 0.1554 0.6222 0.3586 0.3433 0.1927 0.0999 0.2857 0.6471 0.4359 0.0968 725-AH 0.0000 0.0714 0.2227 0.2727 0.4000 0.1895 0.1271 0.2013 0.4000 0.6710 0.1017 0.0003 0.1119 0.0000 0.4000 0.1895 0.1271 726-AH 0.0000 0.0000 0.0156 0.0727 0.1618 0.0385 0.0486 0.0727 0.1618 1.2629 0.0008 0.0000 0.0398 0.0000 0.1618 0.0385 0.0486 727-AH 0.0000 0.0444 0.0721 0.1224 0.2297 0.0831 0.0661 0.0781 0.2297 0.7951 0.0155 0.0001 0.0518 0.0000 0.2297 0.0831 0.0661 728-AH 0.0000 0.0000 0.0000 0.2371 0.3953 0.0949 0.1443 0.2371 0.3953 1.5210 0.0005 0.0000 0.1199 0.0000 0.3953 0.0949 0.1443 729-AH 0.0000 0.0000 0.0212 0.0640 0.1026 0.0316 0.0313 0.0640 0.1026 0.9918 0.0039 0.0000 0.0260 0.0000 0.1026 0.0316 0.0313 730-AH 0.0000 0.0000 0.0574 0.1111 0.2230 0.0593 0.0620 0.1111 0.2230 1.0453 0.0020 0.0000 0.0526 0.0000 0.2230 0.0593 0.0620 731-AH 0.0000 0.0202 0.0318 0.0397 0.0886 0.0332 0.0226 0.0194 0.0886 0.6813 0.0101 0.0001 0.0162 0.0000 0.0534 0.0273 0.0160 732-AH 0.0000 0.0531 0.0599 0.0764 0.0909 0.0619 0.0198 0.0232 0.0909 0.3193 0.0447 0.0003 0.0149 0.0404 0.0909 0.0644 0.0155 733-AH 0.0000 0.0000 0.0000 0.0357 0.0635 0.0141 0.0222 0.0357 0.0635 1.5730 0.0002 0.0000 0.0191 0.0000 0.0635 0.0141 0.0222 734-AH 0.0000 0.0275 0.0426 0.1176 0.1333 0.0597 0.0447 0.0901 0.1333 0.7488 0.0268 0.0001 0.0387 0.0000 0.1333 0.0597 0.0447 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0412 0.0016 0.0081 0.0000 0.0412 5.0990 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0584 0.1736 0.0282 0.0447 0.0584 0.1736 1.5820 0.0002 0.0000 0.0369 0.0000 0.0906 0.0224 0.0341 738-AH 0.0000 0.0000 0.1157 0.1870 0.4096 0.1266 0.1513 0.1870 0.4096 1.1952 0.0021 0.0000 0.1199 0.0000 0.4096 0.1266 0.1513 739-AH 0.0000 0.0349 0.2941 0.4286 0.8571 0.2853 0.2451 0.3937 0.8571 0.8592 0.0499 0.0001 0.1995 0.0000 0.8571 0.2853 0.2451 740-AH 0.0000 0.0369 0.1511 0.2171 0.3367 0.1403 0.1082 0.1802 0.3367 0.7711 0.0169 0.0000 0.0908 0.0000 0.3367 0.1403 0.1082 741-AH 0.0000 0.0000 0.0661 0.1441 0.3659 0.1183 0.1369 0.1441 0.3659 1.1575 0.0089 0.0000 0.1096 0.0000 0.3571 0.0978 0.1211 742-AH 0.0000 0.0000 0.0000 0.0281 0.2857 0.0379 0.0811 0.0281 0.2857 2.1414 0.0002 0.0000 0.0557 0.0000 0.0447 0.0053 0.0123 743-AH 0.0000 0.0000 0.0000 0.0159 0.0308 0.0073 0.0095 0.0159 0.0308 1.2976 0.0002 0.0000 0.0084 0.0000 0.0308 0.0073 0.0095 744-AH 0.0000 0.0000 0.3146 0.4524 0.5588 0.2480 0.2292 0.4524 0.5588 0.9243 0.0086 0.0000 0.2157 0.0000 0.5588 0.2480 0.2292 745-AH 0.0000 0.0000 0.1312 0.2209 0.3455 0.1311 0.1180 0.2209 0.3455 0.9003 0.0083 0.0000 0.1013 0.0000 0.3455 0.1311 0.1180 746-AH 0.0000 0.0000 0.0661 0.1731 0.4744 0.1254 0.1552 0.1731 0.4744 1.2378 0.0052 0.0000 0.1205 0.0000 0.3789 0.0814 0.0993 747-AH 0.0000 0.0000 0.0000 0.0000 0.0440 0.0017 0.0086 0.0000 0.0440 5.0990 0.0000 0.0000 0.0033 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.1968 0.2143 0.3438 0.1550 0.1133 0.2143 0.3438 0.7309 0.0136 0.0000 0.0956 0.0000 0.3438 0.1550 0.1133 749-AH 0.0000 0.0000 0.0935 0.1784 0.4444 0.1279 0.1415 0.1784 0.4444 1.1065 0.0056 0.0000 0.1101 0.0000 0.4444 0.1279 0.1415 750-AH 0.0000 0.0000 0.0000 0.0000 0.1429 0.0213 0.0435 0.0000 0.1429 2.0393 0.0001 0.0000 0.0328 0.0000 0.0000 0.0000 0.0000 195 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 70% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0663 0.2916 0.5417 0.5909 0.2933 0.2300 0.4753 0.5909 0.7841 0.0293 0.0000 0.2058 0.0000 0.5909 0.2933 0.2300 702-AH 0.0000 0.0000 0.0040 0.0074 0.1429 0.0190 0.0414 0.0074 0.1429 2.1801 0.0011 0.0000 0.0272 0.0000 0.0078 0.0029 0.0027 703-AH 0.0000 0.0000 0.0000 0.1550 0.2844 0.0694 0.1050 0.1550 0.2844 1.5142 0.0003 0.0000 0.0907 0.0000 0.2844 0.0694 0.1050 704-AH 0.0000 0.0000 0.0215 0.0541 0.0721 0.0297 0.0257 0.0541 0.0721 0.8648 0.0039 0.0000 0.0228 0.0000 0.0721 0.0297 0.0257 705-AH 0.0000 0.4074 0.4416 0.4710 0.5285 0.3672 0.1893 0.0636 0.5285 0.5156 0.0574 0.0001 0.1480 0.4074 0.5285 0.4634 0.0391 706-AH 0.0000 0.0000 0.0386 0.1054 0.2651 0.0668 0.0811 0.1054 0.2651 1.2135 0.0011 0.0000 0.0668 0.0000 0.2603 0.0589 0.0717 707-AH 0.0000 0.0000 0.0000 0.0000 0.1284 0.0098 0.0345 0.0000 0.1284 3.5330 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0000 0.0000 0.1190 0.1943 0.0549 0.0694 0.1190 0.1943 1.2647 0.0005 0.0000 0.0633 0.0000 0.1943 0.0549 0.0694 709-AH 0.0000 0.1357 0.4537 0.4946 0.6032 0.3408 0.1964 0.3589 0.6032 0.5764 0.1018 0.0001 0.1742 0.0000 0.6032 0.3408 0.1964 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0079 0.0006 0.0021 0.0000 0.0079 3.5328 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.1923 0.8571 1.0000 1.0000 0.6530 0.4137 0.8077 1.0000 0.6336 0.2096 0.0001 0.3659 0.0000 1.0000 0.6530 0.4137 713-AH 0.0000 0.0000 0.0000 0.0406 0.4853 0.0611 0.1390 0.0406 0.4853 2.2757 0.0001 0.0000 0.0908 0.0000 0.0710 0.0079 0.0209 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0069 0.0139 0.0414 0.0086 0.0108 0.0139 0.0414 1.2569 0.0005 0.0000 0.0083 0.0000 0.0247 0.0072 0.0086 716-AH 0.0000 0.3731 0.5209 0.5510 0.7059 0.4510 0.2208 0.1779 0.7059 0.4896 0.1363 0.0001 0.1704 0.2449 0.7059 0.5294 0.1263 717-AH 0.0000 0.0000 0.0404 0.0649 0.1376 0.0392 0.0401 0.0649 0.1376 1.0229 0.0016 0.0000 0.0335 0.0000 0.1376 0.0392 0.0401 718-AH 0.0000 0.0000 0.0278 0.0338 0.0533 0.0192 0.0189 0.0338 0.0533 0.9861 0.0008 0.0000 0.0177 0.0000 0.0533 0.0192 0.0189 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.1383 0.6921 0.8788 0.9310 0.5542 0.3743 0.7405 0.9310 0.6753 0.0509 0.0000 0.3335 0.0000 0.9310 0.5542 0.3743 721-AH 0.0000 0.0465 0.1318 0.4412 0.5833 0.2415 0.2197 0.3946 0.5833 0.9101 0.0228 0.0000 0.2036 0.0000 0.5833 0.2415 0.2197 722-AH 0.0000 0.0000 0.0000 0.0157 0.1786 0.0138 0.0357 0.0157 0.1786 2.5839 0.0002 0.0000 0.0171 0.0000 0.0211 0.0052 0.0074 723-AH 0.0000 0.0000 0.0031 0.0077 0.0769 0.0070 0.0149 0.0077 0.0769 2.1312 0.0008 0.0000 0.0072 0.0000 0.0139 0.0042 0.0043 724-AH 0.0000 0.2941 0.3255 0.3784 0.4643 0.3174 0.1028 0.0843 0.4643 0.3238 0.2053 0.0003 0.0661 0.2800 0.4643 0.3428 0.0520 725-AH 0.0000 0.0406 0.0826 0.2424 0.3721 0.1346 0.1196 0.2018 0.3721 0.8887 0.0282 0.0001 0.1019 0.0000 0.3721 0.1346 0.1196 726-AH 0.0000 0.0000 0.0064 0.0719 0.1429 0.0308 0.0415 0.0719 0.1429 1.3466 0.0007 0.0000 0.0350 0.0000 0.1429 0.0308 0.0415 727-AH 0.0000 0.0329 0.0721 0.1224 0.2297 0.0809 0.0674 0.0896 0.2297 0.8337 0.0111 0.0000 0.0532 0.0000 0.2297 0.0809 0.0674 728-AH 0.0000 0.0000 0.0000 0.0935 0.3279 0.0652 0.1035 0.0935 0.3279 1.5889 0.0004 0.0000 0.0814 0.0000 0.0939 0.0185 0.0349 729-AH 0.0000 0.0000 0.0148 0.0382 0.0694 0.0220 0.0243 0.0382 0.0694 1.1059 0.0014 0.0000 0.0202 0.0000 0.0694 0.0220 0.0243 730-AH 0.0000 0.0000 0.0424 0.0783 0.1639 0.0437 0.0480 0.0783 0.1639 1.0979 0.0012 0.0000 0.0406 0.0000 0.1639 0.0437 0.0480 731-AH 0.0000 0.0000 0.0223 0.0339 0.0637 0.0191 0.0200 0.0339 0.0637 1.0471 0.0008 0.0000 0.0176 0.0000 0.0637 0.0191 0.0200 732-AH 0.0000 0.0289 0.0435 0.0615 0.0909 0.0448 0.0253 0.0326 0.0909 0.5637 0.0177 0.0001 0.0199 0.0000 0.0909 0.0448 0.0253 733-AH 0.0000 0.0000 0.0000 0.0233 0.0403 0.0092 0.0147 0.0233 0.0403 1.6043 0.0001 0.0000 0.0127 0.0000 0.0403 0.0092 0.0147 734-AH 0.0000 0.0000 0.0217 0.0338 0.1333 0.0380 0.0480 0.0338 0.1333 1.2628 0.0023 0.0000 0.0385 0.0000 0.0338 0.0130 0.0127 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.1084 0.0096 0.0278 0.0000 0.1084 2.8965 0.0000 0.0000 0.0170 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0896 0.1335 0.2927 0.0941 0.1088 0.1335 0.2927 1.1558 0.0018 0.0000 0.0876 0.0000 0.2927 0.0941 0.1088 739-AH 0.0000 0.0000 0.1479 0.3784 0.5600 0.2044 0.2058 0.3784 0.5600 1.0071 0.0126 0.0000 0.1884 0.0000 0.5600 0.2044 0.2058 740-AH 0.0000 0.0000 0.1129 0.1638 0.2671 0.1045 0.0847 0.1638 0.2671 0.8103 0.0101 0.0000 0.0684 0.0000 0.2671 0.1045 0.0847 741-AH 0.0000 0.0000 0.0513 0.1429 0.3091 0.0816 0.0947 0.1429 0.3091 1.1610 0.0041 0.0000 0.0734 0.0000 0.3091 0.0816 0.0947 742-AH 0.0000 0.0000 0.0000 0.0000 0.2105 0.0165 0.0471 0.0000 0.2105 2.8574 0.0001 0.0000 0.0266 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0092 0.0196 0.0048 0.0069 0.0092 0.0196 1.4287 0.0002 0.0000 0.0059 0.0000 0.0196 0.0048 0.0069 744-AH 0.0000 0.0000 0.2184 0.3934 0.5366 0.2120 0.2028 0.3934 0.5366 0.9567 0.0077 0.0000 0.1897 0.0000 0.5366 0.2120 0.2028 745-AH 0.0000 0.0000 0.0912 0.1968 0.2893 0.1015 0.0996 0.1968 0.2893 0.9812 0.0037 0.0000 0.0869 0.0000 0.2893 0.1015 0.0996 746-AH 0.0000 0.0000 0.0000 0.1272 0.4200 0.0847 0.1200 0.1272 0.4200 1.4173 0.0009 0.0000 0.0945 0.0000 0.2745 0.0610 0.0884 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.1731 0.2037 0.3438 0.1403 0.1053 0.2037 0.3438 0.7505 0.0126 0.0000 0.0857 0.0000 0.3438 0.1403 0.1053 749-AH 0.0000 0.0000 0.0636 0.1536 0.4158 0.0981 0.1124 0.1536 0.4158 1.1455 0.0034 0.0000 0.0881 0.0000 0.3231 0.0854 0.0938 750-AH 0.0000 0.0000 0.0000 0.0000 0.0989 0.0038 0.0194 0.0000 0.0989 5.0990 0.0000 0.0000 0.0073 0.0000 0.0000 0.0000 0.0000 196 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 80% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0466 0.4370 0.4758 0.1604 0.1972 0.4370 0.4758 1.2298 0.0017 0.0000 0.1734 0.0000 0.4758 0.1604 0.1972 702-AH 0.0000 0.0000 0.0040 0.0074 0.1429 0.0190 0.0414 0.0074 0.1429 2.1801 0.0011 0.0000 0.0272 0.0000 0.0078 0.0029 0.0027 703-AH 0.0000 0.0000 0.0000 0.0000 0.1550 0.0119 0.0421 0.0000 0.1550 3.5327 0.0000 0.0000 0.0220 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0125 0.0437 0.0608 0.0212 0.0235 0.0437 0.0608 1.1086 0.0008 0.0000 0.0215 0.0000 0.0608 0.0212 0.0235 705-AH 0.0000 0.3713 0.3957 0.4458 0.4684 0.3295 0.1705 0.0745 0.4684 0.5175 0.0526 0.0001 0.1341 0.3713 0.4684 0.4167 0.0350 706-AH 0.0000 0.0000 0.0000 0.0851 0.1321 0.0424 0.0490 0.0851 0.1321 1.1553 0.0007 0.0000 0.0457 0.0000 0.1321 0.0424 0.0490 707-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0000 0.0000 0.0891 0.1525 0.0434 0.0597 0.0891 0.1525 1.3775 0.0004 0.0000 0.0534 0.0000 0.1525 0.0434 0.0597 709-AH 0.0000 0.1141 0.3859 0.4526 0.5000 0.2879 0.1854 0.3386 0.5000 0.6441 0.0827 0.0001 0.1694 0.0000 0.5000 0.2879 0.1854 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.1923 0.8571 1.0000 1.0000 0.6530 0.4137 0.8077 1.0000 0.6336 0.2096 0.0001 0.3659 0.0000 1.0000 0.6530 0.4137 713-AH 0.0000 0.0000 0.0000 0.0000 0.4043 0.0295 0.1043 0.0000 0.4043 3.5385 0.0000 0.0000 0.0544 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0112 0.0247 0.0054 0.0089 0.0112 0.0247 1.6537 0.0001 0.0000 0.0075 0.0000 0.0247 0.0054 0.0089 716-AH 0.0000 0.3544 0.5000 0.5510 0.6429 0.4238 0.2059 0.1966 0.6429 0.4857 0.1290 0.0001 0.1627 0.0786 0.6429 0.4791 0.1431 717-AH 0.0000 0.0000 0.0000 0.0359 0.1049 0.0190 0.0269 0.0359 0.1049 1.4150 0.0003 0.0000 0.0220 0.0000 0.0601 0.0156 0.0209 718-AH 0.0000 0.0000 0.0000 0.0293 0.0427 0.0136 0.0165 0.0293 0.0427 1.2162 0.0003 0.0000 0.0157 0.0000 0.0427 0.0136 0.0165 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0915 0.4054 0.5882 0.8824 0.3580 0.2998 0.4968 0.8824 0.8375 0.0334 0.0000 0.2536 0.0000 0.8824 0.3580 0.2998 721-AH 0.0000 0.0000 0.1179 0.4103 0.5818 0.2201 0.2133 0.4103 0.5818 0.9691 0.0152 0.0000 0.1930 0.0000 0.5818 0.2201 0.2133 722-AH 0.0000 0.0000 0.0000 0.0157 0.1786 0.0138 0.0357 0.0157 0.1786 2.5839 0.0002 0.0000 0.0171 0.0000 0.0211 0.0052 0.0074 723-AH 0.0000 0.0000 0.0031 0.0077 0.0769 0.0070 0.0149 0.0077 0.0769 2.1312 0.0008 0.0000 0.0072 0.0000 0.0139 0.0042 0.0043 724-AH 0.0000 0.1128 0.2857 0.3061 0.3846 0.2295 0.1150 0.1933 0.3846 0.5009 0.1015 0.0001 0.0988 0.0000 0.3846 0.2295 0.1150 725-AH 0.0000 0.0000 0.0404 0.0684 0.2432 0.0567 0.0653 0.0684 0.2432 1.1518 0.0042 0.0000 0.0484 0.0000 0.1667 0.0439 0.0481 726-AH 0.0000 0.0000 0.0000 0.0260 0.0993 0.0184 0.0299 0.0260 0.0993 1.6306 0.0002 0.0000 0.0226 0.0000 0.0356 0.0069 0.0119 727-AH 0.0000 0.0000 0.0721 0.1184 0.2297 0.0767 0.0682 0.1184 0.2297 0.8892 0.0078 0.0000 0.0535 0.0000 0.2297 0.0767 0.0682 728-AH 0.0000 0.0000 0.0000 0.0706 0.2824 0.0520 0.0944 0.0706 0.2824 1.8163 0.0002 0.0000 0.0735 0.0000 0.0712 0.0083 0.0219 729-AH 0.0000 0.0000 0.0000 0.0000 0.0237 0.0027 0.0068 0.0000 0.0237 2.4971 0.0000 0.0000 0.0046 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0622 0.1103 0.0307 0.0357 0.0622 0.1103 1.1620 0.0006 0.0000 0.0330 0.0000 0.1103 0.0307 0.0357 731-AH 0.0000 0.0000 0.0000 0.0000 0.0516 0.0064 0.0146 0.0000 0.0516 2.2838 0.0000 0.0000 0.0103 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0144 0.0438 0.0651 0.0213 0.0229 0.0438 0.0651 1.0766 0.0006 0.0000 0.0213 0.0000 0.0651 0.0213 0.0229 733-AH 0.0000 0.0000 0.0000 0.0233 0.0403 0.0092 0.0147 0.0233 0.0403 1.6043 0.0001 0.0000 0.0127 0.0000 0.0403 0.0092 0.0147 734-AH 0.0000 0.0000 0.0000 0.0185 0.1081 0.0107 0.0238 0.0185 0.1081 2.2246 0.0001 0.0000 0.0156 0.0000 0.0312 0.0050 0.0103 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0698 0.0027 0.0137 0.0000 0.0698 5.0990 0.0000 0.0000 0.0052 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.1263 0.0087 0.0310 0.0000 0.1263 3.5589 0.0000 0.0000 0.0161 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0395 0.3200 0.3810 0.1323 0.1588 0.3200 0.3810 1.1999 0.0020 0.0000 0.1466 0.0000 0.3810 0.1323 0.1588 740-AH 0.0000 0.0000 0.0638 0.0967 0.2115 0.0600 0.0665 0.0967 0.2115 1.1073 0.0014 0.0000 0.0554 0.0000 0.2115 0.0600 0.0665 741-AH 0.0000 0.0000 0.0000 0.0000 0.0269 0.0021 0.0073 0.0000 0.0269 3.5328 0.0000 0.0000 0.0038 0.0000 0.0000 0.0000 0.0000 742-AH 0.0000 0.0000 0.0000 0.0000 0.1395 0.0101 0.0357 0.0000 0.1395 3.5408 0.0000 0.0000 0.0186 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0092 0.0196 0.0048 0.0069 0.0092 0.0196 1.4287 0.0002 0.0000 0.0059 0.0000 0.0196 0.0048 0.0069 744-AH 0.0000 0.0000 0.1193 0.3425 0.4310 0.1687 0.1698 0.3425 0.4310 1.0067 0.0065 0.0000 0.1541 0.0000 0.4310 0.1687 0.1698 745-AH 0.0000 0.0000 0.0277 0.1656 0.2488 0.0766 0.0883 0.1656 0.2488 1.1522 0.0012 0.0000 0.0789 0.0000 0.2488 0.0766 0.0883 746-AH 0.0000 0.0000 0.0000 0.0800 0.2945 0.0575 0.0895 0.0800 0.2945 1.5566 0.0005 0.0000 0.0672 0.0000 0.1822 0.0304 0.0489 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.1613 0.1935 0.3429 0.1349 0.1014 0.1935 0.3429 0.7515 0.0121 0.0000 0.0837 0.0000 0.3429 0.1349 0.1014 749-AH 0.0000 0.0000 0.0514 0.1034 0.2462 0.0619 0.0692 0.1034 0.2462 1.1182 0.0015 0.0000 0.0587 0.0000 0.2462 0.0619 0.0692 750-AH 0.0000 0.0000 0.0000 0.0000 0.0828 0.0032 0.0162 0.0000 0.0828 5.0990 0.0000 0.0000 0.0061 0.0000 0.0000 0.0000 0.0000 197 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 90% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.1126 0.0043 0.0221 0.0000 0.1126 5.0990 0.0000 0.0000 0.0083 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0040 0.0074 0.1429 0.0190 0.0414 0.0074 0.1429 2.1801 0.0011 0.0000 0.0272 0.0000 0.0078 0.0029 0.0027 703-AH 0.0000 0.0000 0.0000 0.0000 0.1545 0.0119 0.0420 0.0000 0.1545 3.5327 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0000 0.0245 0.0446 0.0117 0.0155 0.0245 0.0446 1.3212 0.0003 0.0000 0.0135 0.0000 0.0446 0.0117 0.0155 705-AH 0.0000 0.1540 0.3435 0.3529 0.4019 0.2706 0.1502 0.1990 0.4019 0.5549 0.0437 0.0001 0.1269 0.0000 0.4019 0.2706 0.1502 706-AH 0.0000 0.0000 0.0000 0.0000 0.0944 0.0036 0.0185 0.0000 0.0944 5.0990 0.0000 0.0000 0.0070 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0000 0.0000 0.0562 0.1090 0.0276 0.0406 0.0562 0.1090 1.4696 0.0002 0.0000 0.0361 0.0000 0.1090 0.0276 0.0406 709-AH 0.0000 0.0000 0.2804 0.4034 0.4444 0.2267 0.1822 0.4034 0.4444 0.8039 0.0124 0.0000 0.1670 0.0000 0.4444 0.2267 0.1822 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.1154 0.0110 0.0283 0.0000 0.1154 2.5607 0.0000 0.0000 0.0187 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0106 0.0004 0.0021 0.0000 0.0106 5.0990 0.0000 0.0000 0.0008 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.2679 0.4286 0.4545 0.5769 0.3540 0.1785 0.1867 0.5769 0.5043 0.1084 0.0001 0.1458 0.0000 0.5769 0.3540 0.1785 717-AH 0.0000 0.0000 0.0000 0.0202 0.0960 0.0097 0.0209 0.0202 0.0960 2.1670 0.0001 0.0000 0.0141 0.0000 0.0351 0.0062 0.0116 718-AH 0.0000 0.0000 0.0000 0.0000 0.0367 0.0035 0.0101 0.0000 0.0367 2.8578 0.0000 0.0000 0.0062 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0429 0.0850 0.1735 0.0504 0.0489 0.0850 0.1735 0.9709 0.0032 0.0000 0.0390 0.0000 0.1735 0.0504 0.0489 721-AH 0.0000 0.0000 0.0596 0.3956 0.4865 0.1753 0.2024 0.3956 0.4865 1.1546 0.0044 0.0000 0.1897 0.0000 0.4865 0.1753 0.2024 722-AH 0.0000 0.0000 0.0000 0.0000 0.0188 0.0007 0.0037 0.0000 0.0188 5.0990 0.0000 0.0000 0.0014 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0031 0.0077 0.0769 0.0070 0.0149 0.0077 0.0769 2.1312 0.0008 0.0000 0.0072 0.0000 0.0139 0.0042 0.0043 724-AH 0.0000 0.0525 0.2237 0.2615 0.2833 0.1762 0.1039 0.2091 0.2833 0.5900 0.0541 0.0001 0.0910 0.0000 0.2833 0.1762 0.1039 725-AH 0.0000 0.0000 0.0000 0.0000 0.0593 0.0091 0.0186 0.0000 0.0593 2.0389 0.0001 0.0000 0.0140 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0640 0.0101 0.0226 0.0000 0.0640 2.2399 0.0001 0.0000 0.0163 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0645 0.1184 0.2143 0.0722 0.0664 0.1184 0.2143 0.9195 0.0055 0.0000 0.0531 0.0000 0.2143 0.0722 0.0664 728-AH 0.0000 0.0000 0.0000 0.0482 0.1871 0.0356 0.0669 0.0482 0.1871 1.8796 0.0001 0.0000 0.0520 0.0000 0.1193 0.0098 0.0283 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0491 0.0706 0.0172 0.0267 0.0491 0.0706 1.5491 0.0001 0.0000 0.0239 0.0000 0.0706 0.0172 0.0267 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0571 0.0074 0.0178 0.0000 0.0571 2.4133 0.0000 0.0000 0.0125 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.1176 0.3051 0.0645 0.0974 0.1176 0.3051 1.5096 0.0007 0.0000 0.0788 0.0000 0.2857 0.0549 0.0858 740-AH 0.0000 0.0000 0.0000 0.0549 0.1445 0.0266 0.0420 0.0549 0.1445 1.5801 0.0002 0.0000 0.0347 0.0000 0.1273 0.0218 0.0351 741-AH 0.0000 0.0000 0.0000 0.0000 0.0231 0.0017 0.0062 0.0000 0.0231 3.5333 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000 742-AH 0.0000 0.0000 0.0000 0.0000 0.1075 0.0070 0.0250 0.0000 0.1075 3.6008 0.0000 0.0000 0.0128 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0092 0.0196 0.0048 0.0069 0.0092 0.0196 1.4287 0.0002 0.0000 0.0059 0.0000 0.0196 0.0048 0.0069 744-AH 0.0000 0.0000 0.0406 0.3043 0.3889 0.1200 0.1493 0.3043 0.3889 1.2448 0.0019 0.0000 0.1325 0.0000 0.3889 0.1200 0.1493 745-AH 0.0000 0.0000 0.0000 0.1201 0.1902 0.0522 0.0672 0.1201 0.1902 1.2873 0.0005 0.0000 0.0603 0.0000 0.1902 0.0522 0.0672 746-AH 0.0000 0.0000 0.0000 0.0000 0.1057 0.0199 0.0380 0.0000 0.1057 1.9091 0.0001 0.0000 0.0306 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.1266 0.1609 0.1972 0.0847 0.0820 0.1609 0.1972 0.9673 0.0018 0.0000 0.0782 0.0000 0.1972 0.0847 0.0820 749-AH 0.0000 0.0000 0.0000 0.0000 0.0973 0.0120 0.0292 0.0000 0.0973 2.4395 0.0000 0.0000 0.0203 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 198 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for Precision at the 100% interpolated recall level Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 702-AH 0.0000 0.0000 0.0040 0.0074 0.1429 0.0190 0.0414 0.0074 0.1429 2.1801 0.0011 0.0000 0.0272 0.0000 0.0078 0.0029 0.0027 703-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 704-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 705-AH 0.0000 0.0000 0.0000 0.0000 0.1726 0.0187 0.0528 0.0000 0.1726 2.8275 0.0000 0.0000 0.0330 0.0000 0.0000 0.0000 0.0000 706-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 707-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 708-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 709-AH 0.0000 0.0000 0.0000 0.0000 0.1432 0.0100 0.0354 0.0000 0.1432 3.5547 0.0000 0.0000 0.0184 0.0000 0.0000 0.0000 0.0000 710-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 711-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.0000 0.0000 0.0000 0.1154 0.0110 0.0283 0.0000 0.1154 2.5607 0.0000 0.0000 0.0187 0.0000 0.0000 0.0000 0.0000 713-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 714-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 715-AH 0.0000 0.0000 0.0000 0.0000 0.0106 0.0004 0.0021 0.0000 0.0106 5.0990 0.0000 0.0000 0.0008 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.1154 0.3128 0.3235 0.5077 0.2384 0.1580 0.2081 0.5077 0.6627 0.0272 0.0000 0.1350 0.0000 0.5077 0.2384 0.1580 717-AH 0.0000 0.0000 0.0000 0.0000 0.0239 0.0009 0.0047 0.0000 0.0239 5.0990 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000 718-AH 0.0000 0.0000 0.0000 0.0000 0.0285 0.0011 0.0056 0.0000 0.0285 5.0990 0.0000 0.0000 0.0021 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 720-AH 0.0000 0.0000 0.0000 0.0397 0.1031 0.0159 0.0296 0.0397 0.1031 1.8651 0.0001 0.0000 0.0232 0.0000 0.0905 0.0124 0.0242 721-AH 0.0000 0.0000 0.0000 0.0394 0.4239 0.0921 0.1685 0.0394 0.4239 1.8295 0.0002 0.0000 0.1386 0.0000 0.0394 0.0020 0.0088 722-AH 0.0000 0.0000 0.0000 0.0000 0.0188 0.0007 0.0037 0.0000 0.0188 5.0990 0.0000 0.0000 0.0014 0.0000 0.0000 0.0000 0.0000 723-AH 0.0000 0.0000 0.0031 0.0077 0.0769 0.0070 0.0149 0.0077 0.0769 2.1312 0.0008 0.0000 0.0072 0.0000 0.0139 0.0042 0.0043 724-AH 0.0000 0.0000 0.0195 0.1698 0.2250 0.0766 0.0922 0.1698 0.2250 1.2038 0.0015 0.0000 0.0861 0.0000 0.2250 0.0766 0.0922 725-AH 0.0000 0.0000 0.0000 0.0000 0.0408 0.0031 0.0111 0.0000 0.0408 3.5327 0.0000 0.0000 0.0058 0.0000 0.0000 0.0000 0.0000 726-AH 0.0000 0.0000 0.0000 0.0000 0.0541 0.0021 0.0106 0.0000 0.0541 5.0990 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000 727-AH 0.0000 0.0000 0.0222 0.0383 0.0597 0.0225 0.0224 0.0383 0.0597 0.9979 0.0011 0.0000 0.0193 0.0000 0.0597 0.0225 0.0224 728-AH 0.0000 0.0000 0.0000 0.0000 0.0455 0.0060 0.0145 0.0000 0.0455 2.4108 0.0000 0.0000 0.0102 0.0000 0.0000 0.0000 0.0000 729-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 731-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 732-AH 0.0000 0.0000 0.0000 0.0000 0.0422 0.0031 0.0109 0.0000 0.0422 3.5377 0.0000 0.0000 0.0057 0.0000 0.0000 0.0000 0.0000 733-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 734-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 735-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 736-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 737-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 738-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 739-AH 0.0000 0.0000 0.0000 0.0000 0.1370 0.0170 0.0355 0.0000 0.1370 2.0878 0.0001 0.0000 0.0261 0.0000 0.0000 0.0000 0.0000 740-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 741-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 742-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 743-AH 0.0000 0.0000 0.0000 0.0092 0.0196 0.0048 0.0069 0.0092 0.0196 1.4287 0.0002 0.0000 0.0059 0.0000 0.0196 0.0048 0.0069 744-AH 0.0000 0.0000 0.0000 0.0000 0.0609 0.0063 0.0158 0.0000 0.0609 2.5018 0.0000 0.0000 0.0107 0.0000 0.0000 0.0000 0.0000 745-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 746-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 747-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0945 0.1531 0.1948 0.0796 0.0792 0.1531 0.1948 0.9949 0.0017 0.0000 0.0745 0.0000 0.1948 0.0796 0.0792 749-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 750-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 199 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@5 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.4000 0.6000 0.6000 1.0000 0.4923 0.2897 0.2000 1.0000 0.5885 0.1009 0.0001 0.2320 0.2000 0.8000 0.5400 0.1729 702-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0154 0.0543 0.0000 0.2000 3.5327 0.0000 0.0000 0.0284 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.0000 0.6000 0.8000 1.0000 0.4462 0.4012 0.8000 1.0000 0.8993 0.0093 0.0000 0.3811 0.0000 1.0000 0.4462 0.4012 704-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1154 0.1804 0.2000 0.6000 1.5637 0.0004 0.0000 0.1509 0.0000 0.4000 0.0960 0.1541 705-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7692 0.2695 0.4000 1.0000 0.3503 0.4952 0.0003 0.2118 0.4000 1.0000 0.8000 0.2236 706-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5308 0.3247 0.4000 1.0000 0.6117 0.1070 0.0001 0.2592 0.0000 1.0000 0.5308 0.3247 707-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.4077 0.3857 0.6000 1.0000 0.9460 0.0252 0.0000 0.3325 0.0000 1.0000 0.4077 0.3857 708-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2538 0.2687 0.4000 0.8000 1.0584 0.0064 0.0000 0.2201 0.0000 0.8000 0.2538 0.2687 709-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7231 0.3491 0.4000 1.0000 0.4827 0.2096 0.0001 0.2852 0.2000 1.0000 0.8174 0.2406 710-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0769 0.0992 0.2000 0.2000 1.2900 0.0005 0.0000 0.0947 0.0000 0.2000 0.0769 0.0992 711-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0077 0.0392 0.0000 0.2000 5.0990 0.0000 0.0000 0.0148 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.6000 0.9000 1.0000 1.0000 0.7385 0.3188 0.4000 1.0000 0.4318 0.3171 0.0001 0.2663 0.2000 1.0000 0.8000 0.2432 713-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3923 0.3019 0.4000 0.8000 0.7695 0.0379 0.0000 0.2550 0.0000 0.8000 0.3923 0.3019 714-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0769 0.1275 0.2000 0.4000 1.6570 0.0002 0.0000 0.1065 0.0000 0.4000 0.0769 0.1275 715-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0308 0.0736 0.0000 0.2000 2.3917 0.0000 0.0000 0.0521 0.0000 0.0000 0.0000 0.0000 716-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8000 0.3200 0.2000 1.0000 0.4000 0.2398 0.0001 0.2154 0.6000 1.0000 0.9043 0.1331 717-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.2846 0.3258 0.4000 1.0000 1.1447 0.0046 0.0000 0.2734 0.0000 1.0000 0.2846 0.3258 718-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0538 0.1208 0.0000 0.4000 2.2428 0.0001 0.0000 0.0870 0.0000 0.0000 0.0000 0.0000 719-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.0769 0.1505 0.2000 0.6000 1.9563 0.0002 0.0000 0.1124 0.0000 0.4000 0.0560 0.1083 720-AH 0.0000 0.2000 1.0000 1.0000 1.0000 0.7308 0.4231 0.8000 1.0000 0.5790 0.0949 0.0001 0.3627 0.0000 1.0000 0.7308 0.4231 721-AH 0.0000 0.0000 0.0000 0.4000 1.0000 0.2231 0.3266 0.4000 1.0000 1.4639 0.0009 0.0000 0.2627 0.0000 1.0000 0.2231 0.3266 722-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.0692 0.1379 0.2000 0.6000 1.9918 0.0002 0.0000 0.1012 0.0000 0.2000 0.0480 0.0872 723-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0385 0.0804 0.0000 0.2000 2.0900 0.0001 0.0000 0.0621 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.4923 0.2727 0.4000 1.0000 0.5538 0.1451 0.0001 0.2178 0.0000 1.0000 0.4923 0.2727 725-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5769 0.2903 0.4000 1.0000 0.5031 0.2426 0.0001 0.2183 0.0000 1.0000 0.5769 0.2903 726-AH 0.0000 0.0000 0.3000 0.4000 0.8000 0.2615 0.2451 0.4000 0.8000 0.9370 0.0067 0.0000 0.2154 0.0000 0.8000 0.2615 0.2451 727-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0308 0.0928 0.0000 0.4000 3.0166 0.0000 0.0000 0.0544 0.0000 0.0000 0.0000 0.0000 728-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1923 0.1917 0.4000 0.6000 0.9967 0.0055 0.0000 0.1479 0.0000 0.6000 0.1923 0.1917 729-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0231 0.0652 0.0000 0.2000 2.8237 0.0000 0.0000 0.0408 0.0000 0.0000 0.0000 0.0000 730-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1154 0.1287 0.2000 0.4000 1.1151 0.0015 0.0000 0.1154 0.0000 0.4000 0.1154 0.1287 731-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2615 0.1675 0.2000 0.6000 0.6405 0.0827 0.0001 0.1314 0.0000 0.6000 0.2615 0.1675 732-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1308 0.1692 0.2000 0.6000 1.2936 0.0015 0.0000 0.1308 0.0000 0.2000 0.0917 0.1018 733-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0615 0.0941 0.2000 0.2000 1.5297 0.0002 0.0000 0.0852 0.0000 0.2000 0.0615 0.0941 734-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1615 0.1388 0.2000 0.4000 0.8592 0.0072 0.0000 0.1118 0.0000 0.4000 0.1615 0.1388 735-AH 0.0000 0.0000 0.2000 0.6000 0.8000 0.2769 0.2776 0.6000 0.8000 1.0023 0.0068 0.0000 0.2426 0.0000 0.8000 0.2769 0.2776 736-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0692 0.1258 0.2000 0.4000 1.8165 0.0002 0.0000 0.1012 0.0000 0.4000 0.0692 0.1258 737-AH 0.0000 0.0000 0.2000 0.2000 0.8000 0.1923 0.2497 0.2000 0.8000 1.2983 0.0026 0.0000 0.1775 0.0000 0.4000 0.1000 0.1195 738-AH 0.0000 0.4000 0.8000 0.8000 1.0000 0.6000 0.3441 0.4000 1.0000 0.5735 0.1193 0.0001 0.2923 0.0000 1.0000 0.6000 0.3441 739-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5231 0.3350 0.6000 1.0000 0.6405 0.1462 0.0001 0.2828 0.0000 1.0000 0.5231 0.3350 740-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2615 0.2174 0.4000 0.8000 0.8312 0.0197 0.0000 0.1787 0.0000 0.8000 0.2615 0.2174 741-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1154 0.1891 0.2000 0.6000 1.6388 0.0003 0.0000 0.1598 0.0000 0.4000 0.0960 0.1645 742-AH 0.0000 0.0000 0.1000 0.6000 1.0000 0.2615 0.3430 0.6000 1.0000 1.3115 0.0021 0.0000 0.2852 0.0000 1.0000 0.2615 0.3430 743-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0077 0.0392 0.0000 0.2000 5.0990 0.0000 0.0000 0.0148 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5308 0.3620 0.6000 1.0000 0.6820 0.0709 0.0001 0.3107 0.0000 1.0000 0.5308 0.3620 745-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.3846 0.2880 0.6000 0.8000 0.7488 0.0188 0.0000 0.2367 0.0000 0.8000 0.3846 0.2880 746-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5385 0.3238 0.4000 1.0000 0.6014 0.0752 0.0001 0.2651 0.0000 1.0000 0.5385 0.3238 747-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1077 0.2544 0.0000 1.0000 2.3626 0.0001 0.0000 0.1657 0.0000 0.0000 0.0000 0.0000 748-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1077 0.1412 0.2000 0.4000 1.3112 0.0007 0.0000 0.1243 0.0000 0.4000 0.1077 0.1412 749-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6000 0.3394 0.2000 1.0000 0.5657 0.0839 0.0001 0.2462 0.4000 1.0000 0.7429 0.1805 750-AH 0.0000 0.0000 0.2000 0.6000 0.8000 0.2923 0.2607 0.6000 0.8000 0.8917 0.0207 0.0000 0.2213 0.0000 0.8000 0.2923 0.2607 200 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@10 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.3000 0.6000 0.7000 0.8000 0.4846 0.2634 0.4000 0.8000 0.5434 0.1008 0.0001 0.2136 0.0000 0.8000 0.4846 0.2634 702-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0231 0.0430 0.0000 0.1000 1.8619 0.0001 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 703-AH 0.0000 0.1000 0.5000 0.7000 0.9000 0.4000 0.3250 0.6000 0.9000 0.8124 0.0356 0.0000 0.3000 0.0000 0.9000 0.4000 0.3250 704-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1115 0.0952 0.2000 0.3000 0.8534 0.0077 0.0000 0.0766 0.0000 0.3000 0.1115 0.0952 705-AH 0.0000 0.7000 0.7000 0.9000 1.0000 0.7385 0.2334 0.2000 1.0000 0.3160 0.4842 0.0003 0.1722 0.4000 1.0000 0.7680 0.1819 706-AH 0.0000 0.2000 0.5000 0.7000 0.9000 0.4769 0.2761 0.5000 0.9000 0.5790 0.1355 0.0001 0.2243 0.0000 0.9000 0.4769 0.2761 707-AH 0.0000 0.1000 0.3000 0.7000 0.8000 0.3885 0.2930 0.6000 0.8000 0.7543 0.1981 0.0003 0.2636 0.0000 0.8000 0.3885 0.2930 708-AH 0.0000 0.1000 0.3000 0.4000 0.6000 0.2423 0.1901 0.3000 0.6000 0.7845 0.0358 0.0001 0.1621 0.0000 0.6000 0.2423 0.1901 709-AH 0.0000 0.6000 0.8500 1.0000 1.0000 0.7000 0.3298 0.4000 1.0000 0.4712 0.2903 0.0001 0.2692 0.1000 1.0000 0.7583 0.2685 710-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0423 0.0504 0.1000 0.1000 1.1909 0.0005 0.0000 0.0488 0.0000 0.1000 0.0423 0.0504 711-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0077 0.0272 0.0000 0.1000 3.5327 0.0000 0.0000 0.0142 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.4000 0.5000 0.5000 0.5000 0.4115 0.1558 0.1000 0.5000 0.3785 0.1879 0.0001 0.1157 0.3000 0.5000 0.4609 0.0722 713-AH 0.0000 0.2000 0.4000 0.6000 0.7000 0.3692 0.2276 0.4000 0.7000 0.6165 0.1068 0.0001 0.1970 0.0000 0.7000 0.3692 0.2276 714-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0615 0.0804 0.1000 0.2000 1.3062 0.0006 0.0000 0.0710 0.0000 0.2000 0.0615 0.0804 715-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0385 0.0571 0.1000 0.2000 1.4849 0.0002 0.0000 0.0503 0.0000 0.2000 0.0385 0.0571 716-AH 0.0000 0.8000 0.8000 0.9000 1.0000 0.7462 0.2716 0.1000 1.0000 0.3640 0.4549 0.0003 0.1828 0.7000 1.0000 0.8571 0.0870 717-AH 0.0000 0.1000 0.3000 0.4000 0.7000 0.2731 0.1991 0.3000 0.7000 0.7291 0.0410 0.0001 0.1562 0.0000 0.7000 0.2731 0.1991 718-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0654 0.1129 0.1000 0.3000 1.7272 0.0002 0.0000 0.0905 0.0000 0.2000 0.0227 0.0528 719-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0654 0.1164 0.1000 0.4000 1.7806 0.0003 0.0000 0.0855 0.0000 0.2000 0.0375 0.0647 720-AH 0.0000 0.1000 0.9000 1.0000 1.0000 0.6846 0.4106 0.9000 1.0000 0.5997 0.0864 0.0001 0.3533 0.0000 1.0000 0.6846 0.4106 721-AH 0.0000 0.0000 0.1000 0.5000 0.9000 0.2385 0.2886 0.5000 0.9000 1.2101 0.0039 0.0000 0.2503 0.0000 0.9000 0.2385 0.2886 722-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0500 0.0949 0.1000 0.3000 1.8974 0.0001 0.0000 0.0731 0.0000 0.2000 0.0292 0.0624 723-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0231 0.0430 0.0000 0.1000 1.8619 0.0001 0.0000 0.0355 0.0000 0.0000 0.0000 0.0000 724-AH 0.0000 0.4000 0.5000 0.6000 0.8000 0.4846 0.1759 0.2000 0.8000 0.3630 0.2233 0.0001 0.1148 0.3000 0.8000 0.5250 0.1073 725-AH 0.1000 0.4000 0.5000 0.6000 0.8000 0.4846 0.2014 0.2000 0.7000 0.4155 0.4212 0.3307 0.1586 0.1000 0.8000 0.4846 0.2014 726-AH 0.0000 0.0000 0.2000 0.5000 0.6000 0.2808 0.2514 0.5000 0.6000 0.8955 0.0188 0.0000 0.2346 0.0000 0.6000 0.2808 0.2514 727-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0812 0.1000 0.2000 1.6248 0.0002 0.0000 0.0692 0.0000 0.2000 0.0500 0.0812 728-AH 0.0000 0.0000 0.2000 0.3000 0.5000 0.1769 0.1608 0.3000 0.5000 0.9087 0.0103 0.0000 0.1325 0.0000 0.5000 0.1769 0.1608 729-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0308 0.0471 0.1000 0.1000 1.5297 0.0002 0.0000 0.0426 0.0000 0.1000 0.0308 0.0471 730-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1500 0.0990 0.1000 0.3000 0.6600 0.0495 0.0001 0.0846 0.0000 0.3000 0.1500 0.0990 731-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1846 0.1084 0.2000 0.4000 0.5872 0.0832 0.0001 0.0935 0.0000 0.4000 0.1846 0.1084 732-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1231 0.0908 0.1000 0.3000 0.7378 0.0221 0.0001 0.0704 0.0000 0.3000 0.1231 0.0908 733-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0462 0.0582 0.1000 0.2000 1.2605 0.0005 0.0000 0.0533 0.0000 0.2000 0.0462 0.0582 734-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1385 0.0941 0.1000 0.3000 0.6799 0.0337 0.0001 0.0781 0.0000 0.3000 0.1385 0.0941 735-AH 0.0000 0.0000 0.1500 0.4000 0.5000 0.1962 0.1732 0.4000 0.5000 0.8828 0.0152 0.0000 0.1500 0.0000 0.5000 0.1962 0.1732 736-AH 0.0000 0.0000 0.0500 0.1000 0.3000 0.0654 0.0846 0.1000 0.3000 1.2936 0.0011 0.0000 0.0654 0.0000 0.1000 0.0458 0.0509 737-AH 0.0000 0.1000 0.1000 0.2000 0.5000 0.1615 0.1525 0.1000 0.5000 0.9442 0.0182 0.0000 0.1219 0.0000 0.3000 0.1091 0.0921 738-AH 0.0000 0.2000 0.7000 0.9000 1.0000 0.5538 0.3723 0.7000 1.0000 0.6722 0.1022 0.0001 0.3337 0.0000 1.0000 0.5538 0.3723 739-AH 0.0000 0.3000 0.4000 0.7000 1.0000 0.4615 0.2968 0.4000 1.0000 0.6430 0.1827 0.0001 0.2402 0.0000 1.0000 0.4615 0.2968 740-AH 0.0000 0.1000 0.2000 0.5000 0.8000 0.2808 0.2367 0.4000 0.8000 0.8430 0.0285 0.0000 0.1947 0.0000 0.8000 0.2808 0.2367 741-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1497 0.2000 0.4000 1.4967 0.0005 0.0000 0.1231 0.0000 0.4000 0.1000 0.1497 742-AH 0.0000 0.0000 0.0500 0.5000 1.0000 0.2538 0.3432 0.5000 1.0000 1.3520 0.0020 0.0000 0.2858 0.0000 1.0000 0.2538 0.3432 743-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0154 0.0368 0.0000 0.1000 2.3917 0.0000 0.0000 0.0260 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.3000 0.5000 0.6000 1.0000 0.4346 0.2911 0.3000 1.0000 0.6698 0.0610 0.0001 0.2396 0.0000 1.0000 0.4346 0.2911 745-AH 0.0000 0.1000 0.4000 0.5000 0.7000 0.3154 0.2275 0.4000 0.7000 0.7213 0.0325 0.0000 0.1911 0.0000 0.7000 0.3154 0.2275 746-AH 0.0000 0.3000 0.6000 0.8000 1.0000 0.5462 0.3313 0.5000 1.0000 0.6067 0.1067 0.0001 0.2734 0.0000 1.0000 0.5462 0.3313 747-AH 0.0000 0.0000 0.0500 0.2000 0.7000 0.1231 0.1796 0.2000 0.7000 1.4590 0.0014 0.0000 0.1337 0.0000 0.5000 0.1000 0.1384 748-AH 0.0000 0.0000 0.1000 0.4000 0.4000 0.1692 0.1619 0.4000 0.4000 0.9568 0.0096 0.0000 0.1414 0.0000 0.4000 0.1692 0.1619 749-AH 0.0000 0.4000 0.6000 0.8000 0.9000 0.5192 0.3007 0.4000 0.9000 0.5791 0.0741 0.0001 0.2408 0.0000 0.9000 0.5192 0.3007 750-AH 0.0000 0.1000 0.2000 0.4000 0.5000 0.2500 0.1631 0.3000 0.5000 0.6524 0.0761 0.0001 0.1385 0.0000 0.5000 0.2500 0.1631 201 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@15 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.3333 0.5333 0.6667 0.7333 0.4564 0.2435 0.3333 0.7333 0.5334 0.1836 0.0001 0.2024 0.0000 0.7333 0.4564 0.2435 702-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0256 0.0425 0.0667 0.1333 1.6570 0.0002 0.0000 0.0355 0.0000 0.1333 0.0256 0.0425 703-AH 0.0000 0.1333 0.5000 0.6667 0.8000 0.4051 0.2884 0.5333 0.8000 0.7119 0.0394 0.0000 0.2560 0.0000 0.8000 0.4051 0.2884 704-AH 0.0000 0.0667 0.1333 0.2000 0.2000 0.1103 0.0753 0.1333 0.2000 0.6829 0.0149 0.0000 0.0643 0.0000 0.2000 0.1103 0.0753 705-AH 0.0667 0.6667 0.7333 0.8000 0.9333 0.7000 0.1647 0.1333 0.8667 0.2352 0.6550 0.5176 0.1128 0.5333 0.9333 0.7253 0.1042 706-AH 0.0000 0.2000 0.6000 0.6667 0.8667 0.4795 0.2739 0.4667 0.8667 0.5713 0.1344 0.0001 0.2345 0.0000 0.8667 0.4795 0.2739 707-AH 0.0000 0.0667 0.2667 0.5333 0.6667 0.3179 0.2372 0.4667 0.6667 0.7462 0.1563 0.0003 0.2205 0.0000 0.6667 0.3179 0.2372 708-AH 0.0000 0.0667 0.2000 0.2667 0.4667 0.1897 0.1517 0.2000 0.4667 0.7993 0.0396 0.0001 0.1247 0.0000 0.4667 0.1897 0.1517 709-AH 0.0000 0.5333 0.8667 0.9333 1.0000 0.6667 0.3250 0.4000 1.0000 0.4874 0.2699 0.0001 0.2667 0.0000 1.0000 0.6667 0.3250 710-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0308 0.0388 0.0667 0.1333 1.2605 0.0004 0.0000 0.0355 0.0000 0.1333 0.0308 0.0388 711-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0103 0.0245 0.0000 0.0667 2.3917 0.0000 0.0000 0.0174 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.2667 0.3333 0.3333 0.3333 0.2769 0.1045 0.0667 0.3333 0.3772 0.1303 0.0001 0.0781 0.2000 0.3333 0.3101 0.0476 713-AH 0.0000 0.1333 0.3333 0.5333 0.7333 0.3385 0.2238 0.4000 0.7333 0.6614 0.0958 0.0001 0.1854 0.0000 0.7333 0.3385 0.2238 714-AH 0.0000 0.0000 0.0000 0.0667 0.2667 0.0590 0.0850 0.0667 0.2667 1.4415 0.0005 0.0000 0.0680 0.0000 0.1333 0.0222 0.0385 715-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0359 0.0507 0.0667 0.1333 1.4125 0.0003 0.0000 0.0442 0.0000 0.1333 0.0359 0.0507 716-AH 0.0667 0.6667 0.8000 0.8667 0.9333 0.6897 0.2571 0.2000 0.8667 0.3728 0.5745 0.3436 0.1836 0.5333 0.9333 0.7710 0.1236 717-AH 0.0000 0.0667 0.2667 0.2667 0.5333 0.2231 0.1472 0.2000 0.5333 0.6599 0.0671 0.0001 0.1170 0.0000 0.5333 0.2231 0.1472 718-AH 0.0000 0.0000 0.0000 0.1333 0.2000 0.0538 0.0778 0.1333 0.2000 1.4447 0.0004 0.0000 0.0663 0.0000 0.2000 0.0538 0.0778 719-AH 0.0000 0.0000 0.0667 0.1333 0.3333 0.0769 0.0992 0.1333 0.3333 1.2900 0.0016 0.0000 0.0757 0.0000 0.3333 0.0769 0.0992 720-AH 0.0000 0.1333 0.8667 0.9333 1.0000 0.6667 0.3978 0.8000 1.0000 0.5967 0.0844 0.0001 0.3436 0.0000 1.0000 0.6667 0.3978 721-AH 0.0000 0.0000 0.1000 0.5333 0.7333 0.2513 0.2849 0.5333 0.7333 1.1338 0.0041 0.0000 0.2580 0.0000 0.7333 0.2513 0.2849 722-AH 0.0000 0.0000 0.0000 0.0667 0.2667 0.0385 0.0758 0.0667 0.2667 1.9716 0.0001 0.0000 0.0562 0.0000 0.1333 0.0145 0.0346 723-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0179 0.0302 0.0667 0.0667 1.6801 0.0001 0.0000 0.0262 0.0000 0.0667 0.0179 0.0302 724-AH 0.0000 0.4000 0.4000 0.5333 0.6667 0.4308 0.1546 0.1333 0.6667 0.3589 0.2786 0.0003 0.1101 0.3333 0.6667 0.4639 0.1049 725-AH 0.0667 0.3333 0.4000 0.5333 0.6000 0.4000 0.1707 0.2000 0.5333 0.4269 0.3399 0.2495 0.1282 0.0667 0.6000 0.4000 0.1707 726-AH 0.0000 0.0000 0.3333 0.4667 0.4667 0.2538 0.2100 0.4667 0.4667 0.8272 0.0180 0.0000 0.1984 0.0000 0.4667 0.2538 0.2100 727-AH 0.0000 0.0000 0.0333 0.1333 0.2000 0.0564 0.0645 0.1333 0.2000 1.1430 0.0010 0.0000 0.0564 0.0000 0.2000 0.0564 0.0645 728-AH 0.0000 0.0000 0.1333 0.2667 0.6000 0.1641 0.1720 0.2667 0.6000 1.0483 0.0092 0.0000 0.1357 0.0000 0.6000 0.1641 0.1720 729-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0410 0.0381 0.0667 0.1333 0.9280 0.0017 0.0000 0.0347 0.0000 0.1333 0.0410 0.0381 730-AH 0.0000 0.0667 0.1333 0.2667 0.4000 0.1718 0.1165 0.2000 0.4000 0.6781 0.0545 0.0001 0.0957 0.0000 0.4000 0.1718 0.1165 731-AH 0.0000 0.0667 0.2000 0.2667 0.3333 0.1744 0.0981 0.2000 0.3333 0.5627 0.0786 0.0001 0.0840 0.0000 0.3333 0.1744 0.0981 732-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1385 0.0903 0.1333 0.3333 0.6520 0.0456 0.0001 0.0730 0.0000 0.3333 0.1385 0.0903 733-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0359 0.0431 0.0667 0.1333 1.2014 0.0006 0.0000 0.0387 0.0000 0.1333 0.0359 0.0431 734-AH 0.0000 0.0667 0.0667 0.2000 0.2000 0.1026 0.0686 0.1333 0.2000 0.6687 0.0351 0.0001 0.0596 0.0000 0.2000 0.1026 0.0686 735-AH 0.0000 0.0667 0.1333 0.2667 0.4667 0.1538 0.1276 0.2000 0.4667 0.8292 0.0180 0.0000 0.1057 0.0000 0.4667 0.1538 0.1276 736-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0590 0.0635 0.0667 0.2000 1.0761 0.0019 0.0000 0.0499 0.0000 0.1333 0.0472 0.0500 737-AH 0.0000 0.0667 0.1333 0.2000 0.4667 0.1667 0.1376 0.1333 0.4667 0.8256 0.0922 0.0003 0.1103 0.0000 0.3333 0.1182 0.0795 738-AH 0.0000 0.2000 0.6667 0.8667 1.0000 0.5436 0.3566 0.6667 1.0000 0.6561 0.1035 0.0001 0.3164 0.0000 1.0000 0.5436 0.3566 739-AH 0.0000 0.2000 0.3667 0.6000 0.8000 0.3846 0.2281 0.4000 0.8000 0.5930 0.1570 0.0001 0.1846 0.0000 0.8000 0.3846 0.2281 740-AH 0.0000 0.0667 0.1667 0.3333 0.6667 0.2256 0.2014 0.2667 0.6667 0.8926 0.0234 0.0000 0.1680 0.0000 0.6667 0.2256 0.2014 741-AH 0.0000 0.0000 0.0667 0.2000 0.3333 0.1026 0.1282 0.2000 0.3333 1.2500 0.0018 0.0000 0.1085 0.0000 0.3333 0.1026 0.1282 742-AH 0.0000 0.0000 0.0333 0.4667 0.8000 0.2051 0.2815 0.4667 0.8000 1.3725 0.0017 0.0000 0.2331 0.0000 0.8000 0.2051 0.2815 743-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0128 0.0268 0.0000 0.0667 2.0900 0.0001 0.0000 0.0207 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.2000 0.4667 0.6000 0.8000 0.3897 0.2583 0.4000 0.8000 0.6628 0.0774 0.0001 0.2272 0.0000 0.8000 0.3897 0.2583 745-AH 0.0000 0.0667 0.2667 0.4000 0.6667 0.2667 0.2083 0.3333 0.6667 0.7810 0.0277 0.0000 0.1641 0.0000 0.6667 0.2667 0.2083 746-AH 0.0000 0.2000 0.6000 0.6667 1.0000 0.4872 0.3027 0.4667 1.0000 0.6214 0.0948 0.0001 0.2465 0.0000 1.0000 0.4872 0.3027 747-AH 0.0000 0.0000 0.0667 0.2667 0.4667 0.1308 0.1583 0.2667 0.4667 1.2106 0.0028 0.0000 0.1304 0.0000 0.4667 0.1308 0.1583 748-AH 0.0000 0.0000 0.1667 0.2667 0.3333 0.1615 0.1375 0.2667 0.3333 0.8512 0.0096 0.0000 0.1256 0.0000 0.3333 0.1615 0.1375 749-AH 0.0000 0.3333 0.4667 0.6667 0.7333 0.4256 0.2509 0.3333 0.7333 0.5895 0.0630 0.0001 0.2032 0.0000 0.7333 0.4256 0.2509 750-AH 0.0667 0.1333 0.2667 0.3333 0.4667 0.2487 0.1327 0.2000 0.4000 0.5337 0.2065 0.1625 0.1130 0.0667 0.4667 0.2487 0.1327 202 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@20 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.3000 0.6000 0.6500 0.7000 0.4519 0.2594 0.3500 0.7000 0.5740 0.1732 0.0001 0.2324 0.0000 0.7000 0.4519 0.2594 702-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0212 0.0322 0.0500 0.1000 1.5205 0.0002 0.0000 0.0277 0.0000 0.1000 0.0212 0.0322 703-AH 0.0000 0.1000 0.4500 0.6000 0.8500 0.3788 0.2673 0.5000 0.8500 0.7055 0.0512 0.0001 0.2337 0.0000 0.8500 0.3788 0.2673 704-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.0942 0.0554 0.1000 0.2000 0.5876 0.0250 0.0001 0.0426 0.0000 0.2000 0.0942 0.0554 705-AH 0.0500 0.6500 0.7000 0.8000 0.8000 0.6788 0.1589 0.1500 0.7500 0.2340 0.6295 0.4614 0.0985 0.5500 0.8000 0.7167 0.0732 706-AH 0.0000 0.1500 0.5750 0.6500 0.7500 0.4615 0.2605 0.5000 0.7500 0.5644 0.1778 0.0001 0.2272 0.0000 0.7500 0.4615 0.2605 707-AH 0.0000 0.0500 0.3750 0.5000 0.6500 0.3000 0.2258 0.4500 0.6500 0.7528 0.1421 0.0003 0.2077 0.0000 0.6500 0.3000 0.2258 708-AH 0.0000 0.0500 0.2000 0.2500 0.4500 0.1808 0.1364 0.2000 0.4500 0.7548 0.0706 0.0001 0.1130 0.0000 0.4500 0.1808 0.1364 709-AH 0.0000 0.5500 0.7500 0.8000 0.9000 0.6077 0.2813 0.2500 0.9000 0.4629 0.3441 0.0003 0.2251 0.2000 0.9000 0.6826 0.1975 710-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0231 0.0291 0.0500 0.1000 1.2605 0.0004 0.0000 0.0266 0.0000 0.1000 0.0231 0.0291 711-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0096 0.0246 0.0000 0.1000 2.5556 0.0000 0.0000 0.0163 0.0000 0.0000 0.0000 0.0000 712-AH 0.0000 0.2000 0.2500 0.2500 0.2500 0.2096 0.0788 0.0500 0.2500 0.3758 0.1008 0.0001 0.0590 0.1500 0.2500 0.2348 0.0351 713-AH 0.0000 0.1500 0.3000 0.4500 0.6500 0.3058 0.1873 0.3000 0.6500 0.6124 0.1263 0.0001 0.1528 0.0000 0.6500 0.3058 0.1873 714-AH 0.0000 0.0000 0.0000 0.0500 0.2500 0.0558 0.0841 0.0500 0.2500 1.5072 0.0005 0.0000 0.0666 0.0000 0.0500 0.0125 0.0222 715-AH 0.0000 0.0000 0.0250 0.0500 0.1000 0.0327 0.0373 0.0500 0.1000 1.1398 0.0008 0.0000 0.0327 0.0000 0.1000 0.0327 0.0373 716-AH 0.0500 0.5500 0.7000 0.8000 0.8000 0.6231 0.2367 0.2500 0.7500 0.3800 0.5085 0.2768 0.1716 0.5000 0.8000 0.6978 0.1143 717-AH 0.0500 0.1000 0.2000 0.2500 0.4000 0.2058 0.0993 0.1500 0.3500 0.4827 0.1777 0.1448 0.0720 0.0500 0.4000 0.2058 0.0993 718-AH 0.0000 0.0000 0.0000 0.1500 0.2000 0.0596 0.0860 0.1500 0.2000 1.4433 0.0004 0.0000 0.0749 0.0000 0.2000 0.0596 0.0860 719-AH 0.0000 0.0000 0.0500 0.1000 0.3500 0.0731 0.0919 0.1000 0.3500 1.2576 0.0021 0.0000 0.0689 0.0000 0.1500 0.0521 0.0561 720-AH 0.0000 0.1000 0.8500 0.9500 0.9500 0.6519 0.3948 0.8500 0.9500 0.6056 0.0813 0.0001 0.3395 0.0000 0.9500 0.6519 0.3948 721-AH 0.0000 0.0000 0.0750 0.6000 0.7000 0.2673 0.2881 0.6000 0.7000 1.0777 0.0042 0.0000 0.2725 0.0000 0.7000 0.2673 0.2881 722-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0385 0.0683 0.0500 0.2000 1.7752 0.0002 0.0000 0.0503 0.0000 0.0500 0.0114 0.0214 723-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0135 0.0226 0.0500 0.0500 1.6801 0.0001 0.0000 0.0197 0.0000 0.0500 0.0135 0.0226 724-AH 0.0500 0.3500 0.3750 0.5000 0.5500 0.3904 0.1349 0.1500 0.5000 0.3456 0.3536 0.2850 0.1058 0.2500 0.5500 0.4167 0.1018 725-AH 0.0500 0.3000 0.3750 0.5000 0.5500 0.3654 0.1454 0.2000 0.5000 0.3981 0.3181 0.2376 0.1192 0.0500 0.5500 0.3654 0.1454 726-AH 0.0000 0.0500 0.2500 0.3500 0.4000 0.2038 0.1630 0.3000 0.4000 0.7999 0.0289 0.0001 0.1538 0.0000 0.4000 0.2038 0.1630 727-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0596 0.0600 0.1000 0.2000 1.0070 0.0020 0.0000 0.0527 0.0000 0.2000 0.0596 0.0600 728-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1442 0.1614 0.2000 0.6000 1.1194 0.0113 0.0000 0.1169 0.0000 0.2500 0.1063 0.0936 729-AH 0.0000 0.0000 0.0500 0.0500 0.1500 0.0404 0.0448 0.0500 0.1500 1.1085 0.0016 0.0000 0.0342 0.0000 0.1000 0.0313 0.0323 730-AH 0.0000 0.1000 0.1500 0.3000 0.4000 0.1846 0.1302 0.2000 0.4000 0.7053 0.0570 0.0001 0.1130 0.0000 0.4000 0.1846 0.1302 731-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1654 0.0772 0.1000 0.3000 0.4666 0.0798 0.0001 0.0604 0.0000 0.3000 0.1654 0.0772 732-AH 0.0000 0.0500 0.1250 0.2000 0.3000 0.1346 0.0925 0.1500 0.3000 0.6870 0.0432 0.0001 0.0769 0.0000 0.3000 0.1346 0.0925 733-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0423 0.0440 0.1000 0.1000 1.0407 0.0012 0.0000 0.0391 0.0000 0.1000 0.0423 0.0440 734-AH 0.0000 0.0500 0.0750 0.1500 0.2000 0.0904 0.0583 0.1000 0.2000 0.6455 0.0423 0.0001 0.0481 0.0000 0.2000 0.0904 0.0583 735-AH 0.0000 0.0500 0.1250 0.2500 0.3500 0.1462 0.1113 0.2000 0.3500 0.7614 0.0241 0.0001 0.0962 0.0000 0.3500 0.1462 0.1113 736-AH 0.0000 0.0000 0.0500 0.0500 0.1500 0.0519 0.0519 0.0500 0.1500 1.0000 0.0033 0.0000 0.0376 0.0000 0.1000 0.0341 0.0323 737-AH 0.0500 0.0500 0.1000 0.2000 0.4000 0.1577 0.1189 0.1500 0.3500 0.7540 0.1204 0.0943 0.0985 0.0500 0.4000 0.1577 0.1189 738-AH 0.0000 0.2000 0.5000 0.8000 1.0000 0.5231 0.3456 0.6000 1.0000 0.6607 0.1908 0.0001 0.3056 0.0000 1.0000 0.5231 0.3456 739-AH 0.0000 0.2500 0.3500 0.4500 0.6500 0.3635 0.1868 0.2000 0.6500 0.5141 0.2144 0.0003 0.1453 0.0000 0.6500 0.3635 0.1868 740-AH 0.0000 0.0500 0.2000 0.4000 0.7000 0.2269 0.1883 0.3500 0.7000 0.8297 0.0327 0.0001 0.1615 0.0000 0.7000 0.2269 0.1883 741-AH 0.0000 0.0000 0.0500 0.1500 0.4000 0.1115 0.1388 0.1500 0.4000 1.2443 0.0047 0.0000 0.1092 0.0000 0.3500 0.0739 0.0952 742-AH 0.0000 0.0000 0.0500 0.4000 0.6000 0.1673 0.2186 0.4000 0.6000 1.3066 0.0041 0.0000 0.1830 0.0000 0.6000 0.1673 0.2186 743-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0096 0.0201 0.0000 0.0500 2.0900 0.0001 0.0000 0.0155 0.0000 0.0000 0.0000 0.0000 744-AH 0.0000 0.1500 0.4500 0.6000 0.7000 0.3712 0.2511 0.4500 0.7000 0.6764 0.0723 0.0001 0.2294 0.0000 0.7000 0.3712 0.2511 745-AH 0.0000 0.0500 0.2250 0.4500 0.7000 0.2481 0.2017 0.4000 0.7000 0.8132 0.0348 0.0001 0.1673 0.0000 0.7000 0.2481 0.2017 746-AH 0.0000 0.3000 0.5000 0.6000 0.9000 0.4327 0.2584 0.3000 0.9000 0.5973 0.0874 0.0001 0.2084 0.0000 0.9000 0.4327 0.2584 747-AH 0.0000 0.0000 0.0500 0.2000 0.4500 0.1115 0.1395 0.2000 0.4500 1.2507 0.0025 0.0000 0.1151 0.0000 0.4500 0.1115 0.1395 748-AH 0.0000 0.0000 0.2000 0.2500 0.3000 0.1462 0.1174 0.2500 0.3000 0.8033 0.0093 0.0000 0.1044 0.0000 0.3000 0.1462 0.1174 749-AH 0.0000 0.3000 0.4000 0.5500 0.7000 0.3788 0.2250 0.2500 0.7000 0.5940 0.0573 0.0001 0.1766 0.0000 0.7000 0.3788 0.2250 750-AH 0.0500 0.1000 0.2500 0.3000 0.4500 0.2212 0.1176 0.2000 0.4000 0.5318 0.1850 0.1461 0.1003 0.0500 0.4500 0.2212 0.1176 203 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@30 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0000 0.2000 0.6000 0.6667 0.7000 0.4526 0.2599 0.4667 0.7000 0.5744 0.1702 0.0001 0.2250 0.0000 0.7000 0.4526 0.2599 702-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0179 0.0235 0.0333 0.0667 1.3112 0.0003 0.0000 0.0207 0.0000 0.0667 0.0179 0.0235 703-AH 0.0000 0.0667 0.4000 0.5333 0.8000 0.3462 0.2621 0.4667 0.8000 0.7573 0.0458 0.0001 0.2298 0.0000 0.8000 0.3462 0.2621 704-AH 0.0000 0.0667 0.1000 0.1000 0.1333 0.0769 0.0350 0.0333 0.1333 0.4548 0.0389 0.0001 0.0292 0.0333 0.1333 0.0833 0.0278 705-AH 0.0667 0.5667 0.6833 0.7000 0.7333 0.6205 0.1482 0.1333 0.6667 0.2388 0.5813 0.4715 0.1008 0.5000 0.7333 0.6556 0.0753 706-AH 0.0000 0.2000 0.5667 0.6000 0.6667 0.4308 0.2347 0.4000 0.6667 0.5449 0.2298 0.0003 0.2085 0.0000 0.6667 0.4308 0.2347 707-AH 0.0000 0.0333 0.3333 0.3667 0.6333 0.2603 0.2051 0.3333 0.6333 0.7879 0.1167 0.0003 0.1818 0.0000 0.6333 0.2603 0.2051 708-AH 0.0000 0.0333 0.1500 0.2667 0.4000 0.1551 0.1258 0.2333 0.4000 0.8107 0.0567 0.0001 0.1064 0.0000 0.4000 0.1551 0.1258 709-AH 0.0000 0.5000 0.6000 0.7000 0.7667 0.5359 0.2422 0.2000 0.7667 0.4519 0.3037 0.0003 0.1860 0.4667 0.7667 0.6460 0.0799 710-AH 0.0000 0.0000 0.0333 0.0333 0.0667 0.0205 0.0190 0.0333 0.0667 0.9280 0.0011 0.0000 0.0174 0.0000 0.0667 0.0205 0.0190 711-AH 0.0000 0.0000 0.0000 0.0333 0.1000 0.0141 0.0253 0.0333 0.1000 1.7905 0.0001 0.0000 0.0195 0.0000 0.0667 0.0107 0.0186 712-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1410 0.0528 0.0000 0.1667 0.3741 0.0699 0.0001 0.0394 0.1667 0.1667 0.1667 0.0000 713-AH 0.0000 0.1333 0.2333 0.4000 0.6333 0.2590 0.1708 0.2667 0.6333 0.6596 0.1418 0.0003 0.1379 0.0000 0.6333 0.2590 0.1708 714-AH 0.0000 0.0000 0.0000 0.0333 0.2333 0.0474 0.0743 0.0333 0.2333 1.5672 0.0006 0.0000 0.0576 0.0000 0.0333 0.0100 0.0157 715-AH 0.0000 0.0000 0.0167 0.0333 0.0667 0.0218 0.0248 0.0333 0.0667 1.1398 0.0006 0.0000 0.0218 0.0000 0.0667 0.0218 0.0248 716-AH 0.0333 0.4667 0.6333 0.6667 0.7333 0.5372 0.2142 0.2000 0.7000 0.3988 0.4332 0.2254 0.1668 0.3333 0.7333 0.6014 0.1212 717-AH 0.0333 0.1333 0.1500 0.2000 0.3667 0.1731 0.0833 0.0667 0.3333 0.4812 0.1514 0.1238 0.0622 0.0667 0.2667 0.1619 0.0463 718-AH 0.0000 0.0000 0.0667 0.1333 0.1667 0.0692 0.0625 0.1333 0.1667 0.9025 0.0053 0.0000 0.0521 0.0000 0.1667 0.0692 0.0625 719-AH 0.0000 0.0000 0.0500 0.1000 0.2667 0.0641 0.0754 0.1000 0.2667 1.1759 0.0035 0.0000 0.0538 0.0000 0.1667 0.0472 0.0481 720-AH 0.0000 0.0667 0.7333 0.8667 0.9000 0.5923 0.3658 0.8000 0.9000 0.6176 0.0734 0.0001 0.3112 0.0000 0.9000 0.5923 0.3658 721-AH 0.0000 0.0000 0.0667 0.5667 0.6333 0.2718 0.2820 0.5667 0.6333 1.0376 0.0080 0.0000 0.2722 0.0000 0.6333 0.2718 0.2820 722-AH 0.0000 0.0000 0.0000 0.0333 0.1667 0.0295 0.0502 0.0333 0.1667 1.7017 0.0002 0.0000 0.0386 0.0000 0.0667 0.0106 0.0215 723-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0103 0.0183 0.0333 0.0667 1.7847 0.0001 0.0000 0.0150 0.0000 0.0667 0.0103 0.0183 724-AH 0.0667 0.3333 0.3667 0.3667 0.4333 0.3282 0.0922 0.0333 0.3667 0.2810 0.3041 0.2579 0.0621 0.3000 0.4000 0.3603 0.0227 725-AH 0.0333 0.2000 0.3333 0.3667 0.4333 0.2923 0.1175 0.1667 0.4000 0.4020 0.2503 0.1757 0.0972 0.0333 0.4333 0.2923 0.1175 726-AH 0.0000 0.0333 0.2000 0.2667 0.3000 0.1603 0.1178 0.2333 0.3000 0.7348 0.0253 0.0001 0.1069 0.0000 0.3000 0.1603 0.1178 727-AH 0.0000 0.0000 0.0667 0.1000 0.1333 0.0538 0.0472 0.1000 0.1333 0.8768 0.0034 0.0000 0.0420 0.0000 0.1333 0.0538 0.0472 728-AH 0.0000 0.0333 0.0833 0.2000 0.5333 0.1308 0.1526 0.1667 0.5333 1.1668 0.0181 0.0001 0.1099 0.0000 0.4000 0.0972 0.1002 729-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0500 0.0474 0.1000 0.1333 0.9475 0.0032 0.0000 0.0410 0.0000 0.1333 0.0500 0.0474 730-AH 0.0000 0.1000 0.1667 0.2667 0.4333 0.1744 0.1076 0.1667 0.4333 0.6173 0.0577 0.0001 0.0838 0.0000 0.4333 0.1744 0.1076 731-AH 0.0000 0.1333 0.1667 0.2000 0.2333 0.1526 0.0518 0.0667 0.2333 0.3395 0.1052 0.0003 0.0404 0.0667 0.2333 0.1587 0.0423 732-AH 0.0000 0.0667 0.1667 0.2000 0.2667 0.1462 0.0772 0.1333 0.2667 0.5283 0.0911 0.0003 0.0631 0.0000 0.2667 0.1462 0.0772 733-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0308 0.0312 0.0667 0.0667 1.0127 0.0010 0.0000 0.0284 0.0000 0.0667 0.0308 0.0312 734-AH 0.0333 0.0667 0.0667 0.1333 0.1667 0.0872 0.0433 0.0667 0.1333 0.4965 0.0761 0.0655 0.0375 0.0333 0.1667 0.0872 0.0433 735-AH 0.0000 0.0333 0.1333 0.1667 0.3000 0.1192 0.0849 0.1333 0.3000 0.7124 0.0372 0.0001 0.0716 0.0000 0.3000 0.1192 0.0849 736-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0436 0.0337 0.0333 0.1000 0.7729 0.0071 0.0000 0.0280 0.0000 0.1000 0.0436 0.0337 737-AH 0.0333 0.0667 0.1000 0.2000 0.4000 0.1500 0.1175 0.1333 0.3667 0.7832 0.1093 0.0787 0.0949 0.0333 0.3667 0.1292 0.0955 738-AH 0.0000 0.2000 0.3667 0.8000 0.9000 0.4577 0.3157 0.6000 0.9000 0.6899 0.1648 0.0001 0.2826 0.0000 0.9000 0.4577 0.3157 739-AH 0.0667 0.2000 0.3500 0.4000 0.4667 0.3026 0.1247 0.2000 0.4000 0.4121 0.2695 0.2281 0.1073 0.0667 0.4667 0.3026 0.1247 740-AH 0.0000 0.1000 0.2333 0.3667 0.5333 0.2269 0.1614 0.2667 0.5333 0.7112 0.0644 0.0001 0.1423 0.0000 0.5333 0.2269 0.1614 741-AH 0.0000 0.0333 0.0333 0.1333 0.4333 0.1179 0.1530 0.1000 0.4333 1.2969 0.0111 0.0000 0.1223 0.0000 0.2667 0.0508 0.0629 742-AH 0.0000 0.0000 0.0333 0.3000 0.4333 0.1269 0.1583 0.3000 0.4333 1.2474 0.0063 0.0000 0.1331 0.0000 0.4333 0.1269 0.1583 743-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0090 0.0151 0.0333 0.0333 1.6801 0.0001 0.0000 0.0131 0.0000 0.0333 0.0090 0.0151 744-AH 0.0000 0.1333 0.4333 0.5000 0.5667 0.3179 0.2146 0.3667 0.5667 0.6750 0.0630 0.0001 0.1972 0.0000 0.5667 0.3179 0.2146 745-AH 0.0000 0.0333 0.1833 0.4000 0.6000 0.2154 0.1792 0.3667 0.6000 0.8320 0.0302 0.0001 0.1525 0.0000 0.6000 0.2154 0.1792 746-AH 0.0000 0.3000 0.4000 0.5333 0.8333 0.3859 0.2308 0.2333 0.8333 0.5980 0.0792 0.0001 0.1697 0.0000 0.8333 0.3859 0.2308 747-AH 0.0000 0.0000 0.0667 0.1667 0.3667 0.0936 0.1058 0.1667 0.3667 1.1309 0.0059 0.0000 0.0865 0.0000 0.3667 0.0936 0.1058 748-AH 0.0000 0.0000 0.1833 0.2333 0.3000 0.1462 0.1071 0.2333 0.3000 0.7329 0.0132 0.0000 0.0929 0.0000 0.3000 0.1462 0.1071 749-AH 0.0000 0.2667 0.3333 0.4667 0.6000 0.3308 0.1953 0.2000 0.6000 0.5903 0.0949 0.0001 0.1491 0.0000 0.6000 0.3308 0.1953 750-AH 0.0333 0.1000 0.2167 0.3000 0.4000 0.2038 0.1167 0.2000 0.3667 0.5727 0.1621 0.1157 0.0987 0.0333 0.4000 0.2038 0.1167 204 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@100 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0100 0.2100 0.4150 0.5200 0.5400 0.3508 0.1895 0.3100 0.5300 0.5402 0.2429 0.0848 0.1629 0.0100 0.5400 0.3508 0.1895 702-AH 0.0000 0.0000 0.0000 0.0100 0.0200 0.0062 0.0075 0.0100 0.0200 1.2227 0.0003 0.0000 0.0066 0.0000 0.0200 0.0062 0.0075 703-AH 0.0000 0.1500 0.3000 0.4100 0.5400 0.2619 0.1647 0.2600 0.5400 0.6288 0.0745 0.0001 0.1379 0.0000 0.5400 0.2619 0.1647 704-AH 0.0000 0.0400 0.0500 0.0600 0.0700 0.0427 0.0220 0.0200 0.0700 0.5156 0.0211 0.0001 0.0177 0.0100 0.0700 0.0462 0.0188 705-AH 0.1100 0.4500 0.4900 0.5300 0.5700 0.4558 0.1132 0.0800 0.4600 0.2483 0.4333 0.3945 0.0797 0.3900 0.5700 0.4968 0.0463 706-AH 0.0000 0.1800 0.2700 0.3000 0.4200 0.2381 0.1094 0.1200 0.4200 0.4597 0.1474 0.0003 0.0854 0.0000 0.4200 0.2381 0.1094 707-AH 0.0100 0.0700 0.1300 0.2300 0.3300 0.1492 0.1048 0.1600 0.3200 0.7023 0.1025 0.0539 0.0869 0.0100 0.3300 0.1492 0.1048 708-AH 0.0000 0.0200 0.1100 0.1800 0.2200 0.1081 0.0802 0.1600 0.2200 0.7416 0.0408 0.0001 0.0735 0.0000 0.2200 0.1081 0.0802 709-AH 0.0000 0.3200 0.4100 0.4400 0.4700 0.3415 0.1376 0.1200 0.4700 0.4029 0.2016 0.0003 0.1028 0.2300 0.4700 0.3835 0.0743 710-AH 0.0000 0.0000 0.0100 0.0100 0.0300 0.0085 0.0078 0.0100 0.0300 0.9271 0.0010 0.0000 0.0059 0.0000 0.0200 0.0076 0.0066 711-AH 0.0000 0.0000 0.0100 0.0100 0.0400 0.0096 0.0111 0.0100 0.0400 1.1574 0.0008 0.0000 0.0074 0.0000 0.0200 0.0071 0.0069 712-AH 0.0000 0.0500 0.0500 0.0500 0.0600 0.0454 0.0136 0.0000 0.0600 0.3004 0.0326 0.0003 0.0086 0.0500 0.0500 0.0500 0.0000 713-AH 0.0000 0.0800 0.1050 0.2100 0.3800 0.1454 0.0998 0.1300 0.3800 0.6865 0.0876 0.0003 0.0824 0.0000 0.3800 0.1454 0.0998 714-AH 0.0000 0.0000 0.0100 0.0500 0.1200 0.0269 0.0347 0.0500 0.1200 1.2900 0.0029 0.0000 0.0278 0.0000 0.1200 0.0269 0.0347 715-AH 0.0000 0.0000 0.0100 0.0200 0.0400 0.0112 0.0111 0.0200 0.0400 0.9928 0.0008 0.0000 0.0097 0.0000 0.0400 0.0112 0.0111 716-AH 0.0200 0.2900 0.3200 0.3200 0.3300 0.2746 0.0970 0.0300 0.3100 0.3534 0.2313 0.1353 0.0706 0.2900 0.3300 0.3205 0.0083 717-AH 0.0100 0.0700 0.0950 0.1200 0.1400 0.0896 0.0341 0.0500 0.1300 0.3807 0.0796 0.0614 0.0273 0.0100 0.1400 0.0896 0.0341 718-AH 0.0000 0.0300 0.0500 0.0700 0.1200 0.0488 0.0334 0.0400 0.1200 0.6835 0.0080 0.0000 0.0261 0.0000 0.1200 0.0488 0.0334 719-AH 0.0000 0.0000 0.0300 0.0400 0.0900 0.0269 0.0256 0.0400 0.0900 0.9500 0.0022 0.0000 0.0192 0.0000 0.0900 0.0269 0.0256 720-AH 0.0100 0.1300 0.3000 0.3100 0.3200 0.2304 0.1212 0.1800 0.3100 0.5261 0.1565 0.0630 0.1033 0.0100 0.3200 0.2304 0.1212 721-AH 0.0000 0.0100 0.1100 0.3700 0.3900 0.1838 0.1671 0.3600 0.3900 0.9089 0.0225 0.0001 0.1588 0.0000 0.3900 0.1838 0.1671 722-AH 0.0000 0.0000 0.0200 0.0300 0.0500 0.0188 0.0170 0.0300 0.0500 0.9046 0.0022 0.0000 0.0143 0.0000 0.0500 0.0188 0.0170 723-AH 0.0000 0.0000 0.0000 0.0100 0.0200 0.0035 0.0056 0.0100 0.0200 1.6224 0.0001 0.0000 0.0048 0.0000 0.0200 0.0035 0.0056 724-AH 0.0200 0.1400 0.1700 0.1700 0.1800 0.1535 0.0398 0.0300 0.1600 0.2593 0.1424 0.1165 0.0267 0.1300 0.1800 0.1638 0.0166 725-AH 0.0400 0.0900 0.1500 0.1600 0.1800 0.1285 0.0429 0.0700 0.1400 0.3337 0.1191 0.1068 0.0365 0.0400 0.1800 0.1285 0.0429 726-AH 0.0000 0.0300 0.0900 0.1000 0.1200 0.0665 0.0385 0.0700 0.1200 0.5781 0.0308 0.0001 0.0350 0.0000 0.1200 0.0665 0.0385 727-AH 0.0000 0.0100 0.0650 0.0900 0.1800 0.0662 0.0561 0.0800 0.1800 0.8488 0.0116 0.0001 0.0469 0.0000 0.1800 0.0662 0.0561 728-AH 0.0000 0.0200 0.0500 0.1800 0.2400 0.0858 0.0845 0.1600 0.2400 0.9856 0.0241 0.0001 0.0706 0.0000 0.2400 0.0858 0.0845 729-AH 0.0000 0.0300 0.0500 0.0600 0.0900 0.0423 0.0258 0.0300 0.0900 0.6102 0.0097 0.0001 0.0204 0.0000 0.0900 0.0423 0.0258 730-AH 0.0000 0.0700 0.1050 0.1700 0.2500 0.1165 0.0681 0.1000 0.2500 0.5845 0.0408 0.0001 0.0552 0.0000 0.2500 0.1165 0.0681 731-AH 0.0100 0.0600 0.0800 0.0900 0.1200 0.0773 0.0236 0.0300 0.1100 0.3051 0.0718 0.0602 0.0177 0.0500 0.1200 0.0800 0.0196 732-AH 0.0300 0.0800 0.1200 0.1400 0.1400 0.1104 0.0297 0.0600 0.1100 0.2693 0.1052 0.0977 0.0249 0.0300 0.1400 0.1104 0.0297 733-AH 0.0000 0.0000 0.0100 0.0300 0.0400 0.0169 0.0154 0.0300 0.0400 0.9119 0.0020 0.0000 0.0136 0.0000 0.0400 0.0169 0.0154 734-AH 0.0300 0.0700 0.1000 0.1100 0.1300 0.0888 0.0273 0.0400 0.1000 0.3075 0.0834 0.0763 0.0223 0.0300 0.1300 0.0888 0.0273 735-AH 0.0100 0.0400 0.0700 0.0900 0.1200 0.0662 0.0306 0.0500 0.1100 0.4626 0.0567 0.0445 0.0255 0.0100 0.1200 0.0662 0.0306 736-AH 0.0100 0.0200 0.0300 0.0500 0.0800 0.0377 0.0192 0.0300 0.0700 0.5106 0.0333 0.0293 0.0152 0.0100 0.0800 0.0377 0.0192 737-AH 0.0100 0.0700 0.1200 0.1700 0.2300 0.1185 0.0665 0.1000 0.2200 0.5613 0.0921 0.0587 0.0563 0.0100 0.2300 0.1185 0.0665 738-AH 0.0600 0.1500 0.2400 0.3800 0.5600 0.2754 0.1730 0.2300 0.5000 0.6281 0.2176 0.1642 0.1439 0.0600 0.5600 0.2754 0.1730 739-AH 0.0500 0.1100 0.1400 0.1700 0.1900 0.1319 0.0460 0.0600 0.1400 0.3484 0.1219 0.1095 0.0381 0.0500 0.1900 0.1319 0.0460 740-AH 0.0200 0.0700 0.1750 0.2600 0.3300 0.1700 0.0988 0.1900 0.3100 0.5811 0.1334 0.0925 0.0831 0.0200 0.3300 0.1700 0.0988 741-AH 0.0000 0.0200 0.0850 0.1300 0.1700 0.0796 0.0651 0.1100 0.1700 0.8182 0.0104 0.0000 0.0551 0.0000 0.1700 0.0796 0.0651 742-AH 0.0000 0.0100 0.0350 0.1000 0.1700 0.0527 0.0539 0.0900 0.1700 1.0221 0.0146 0.0001 0.0437 0.0000 0.1700 0.0527 0.0539 743-AH 0.0000 0.0000 0.0000 0.0100 0.0200 0.0046 0.0065 0.0100 0.0200 1.4016 0.0002 0.0000 0.0057 0.0000 0.0200 0.0046 0.0065 744-AH 0.0000 0.0700 0.2150 0.2800 0.2900 0.1662 0.1132 0.2100 0.2900 0.6811 0.0366 0.0001 0.1041 0.0000 0.2900 0.1662 0.1132 745-AH 0.0000 0.0100 0.2050 0.2800 0.3600 0.1642 0.1273 0.2700 0.3600 0.7752 0.0511 0.0001 0.1154 0.0000 0.3600 0.1642 0.1273 746-AH 0.0000 0.1300 0.2450 0.2800 0.4200 0.2165 0.1245 0.1500 0.4200 0.5750 0.0498 0.0001 0.0961 0.0000 0.4200 0.2165 0.1245 747-AH 0.0100 0.0100 0.0500 0.0900 0.1100 0.0546 0.0360 0.0800 0.1000 0.6596 0.0394 0.0254 0.0319 0.0100 0.1100 0.0546 0.0360 748-AH 0.0000 0.0000 0.1300 0.1500 0.1500 0.0965 0.0628 0.1500 0.1500 0.6505 0.0101 0.0000 0.0548 0.0000 0.1500 0.0965 0.0628 749-AH 0.0000 0.1200 0.1650 0.2700 0.4100 0.1869 0.1111 0.1500 0.4100 0.5941 0.1047 0.0003 0.0880 0.0000 0.4100 0.1869 0.1111 750-AH 0.0400 0.0900 0.1450 0.1600 0.2900 0.1335 0.0587 0.0700 0.2500 0.4399 0.1186 0.1012 0.0452 0.0400 0.2000 0.1272 0.0503 205 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@200 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0100 0.2000 0.2650 0.2950 0.3100 0.2233 0.0953 0.0950 0.3000 0.4268 0.1756 0.0801 0.0759 0.1100 0.3100 0.2496 0.0634 702-AH 0.0000 0.0000 0.0000 0.0050 0.0100 0.0031 0.0038 0.0050 0.0100 1.2227 0.0002 0.0000 0.0033 0.0000 0.0100 0.0031 0.0038 703-AH 0.0000 0.1000 0.2125 0.2800 0.2950 0.1794 0.1027 0.1800 0.2950 0.5725 0.0579 0.0001 0.0899 0.0000 0.2950 0.1794 0.1027 704-AH 0.0000 0.0300 0.0350 0.0400 0.0450 0.0317 0.0138 0.0100 0.0450 0.4343 0.0212 0.0003 0.0107 0.0150 0.0450 0.0366 0.0079 705-AH 0.1000 0.3700 0.3800 0.3900 0.4100 0.3412 0.0918 0.0200 0.3100 0.2691 0.3225 0.2938 0.0698 0.3700 0.4100 0.3865 0.0110 706-AH 0.0000 0.1400 0.1600 0.2050 0.2800 0.1623 0.0686 0.0650 0.2800 0.4229 0.1073 0.0003 0.0498 0.0750 0.2800 0.1744 0.0558 707-AH 0.0100 0.0400 0.0950 0.1400 0.2050 0.0954 0.0600 0.1000 0.1950 0.6287 0.0701 0.0419 0.0504 0.0100 0.2050 0.0954 0.0600 708-AH 0.0000 0.0150 0.0750 0.1400 0.1750 0.0800 0.0589 0.1250 0.1750 0.7365 0.0311 0.0001 0.0512 0.0000 0.1750 0.0800 0.0589 709-AH 0.0000 0.1850 0.2500 0.2550 0.2600 0.2019 0.0808 0.0700 0.2600 0.4001 0.1221 0.0003 0.0630 0.1300 0.2600 0.2261 0.0455 710-AH 0.0000 0.0000 0.0050 0.0100 0.0200 0.0069 0.0058 0.0100 0.0200 0.8442 0.0014 0.0000 0.0049 0.0000 0.0200 0.0069 0.0058 711-AH 0.0000 0.0050 0.0050 0.0100 0.0200 0.0065 0.0056 0.0050 0.0200 0.8589 0.0016 0.0000 0.0043 0.0000 0.0150 0.0054 0.0041 712-AH 0.0000 0.0250 0.0250 0.0250 0.0300 0.0237 0.0069 0.0000 0.0300 0.2902 0.0175 0.0003 0.0039 0.0250 0.0250 0.0250 0.0000 713-AH 0.0000 0.0500 0.0650 0.1150 0.2000 0.0846 0.0552 0.0650 0.2000 0.6524 0.0524 0.0003 0.0453 0.0000 0.2000 0.0846 0.0552 714-AH 0.0000 0.0000 0.0050 0.0250 0.0650 0.0148 0.0187 0.0250 0.0650 1.2615 0.0019 0.0000 0.0151 0.0000 0.0450 0.0128 0.0159 715-AH 0.0000 0.0000 0.0100 0.0150 0.0300 0.0096 0.0097 0.0150 0.0300 1.0075 0.0011 0.0000 0.0077 0.0000 0.0300 0.0096 0.0097 716-AH 0.0350 0.1600 0.1650 0.1650 0.1650 0.1454 0.0416 0.0050 0.1300 0.2861 0.1347 0.1162 0.0290 0.1600 0.1650 0.1643 0.0018 717-AH 0.0100 0.0400 0.0650 0.0700 0.0950 0.0562 0.0208 0.0300 0.0850 0.3704 0.0504 0.0409 0.0170 0.0100 0.0950 0.0562 0.0208 718-AH 0.0000 0.0350 0.0400 0.0500 0.0800 0.0390 0.0217 0.0150 0.0800 0.5554 0.0121 0.0001 0.0153 0.0200 0.0550 0.0413 0.0085 719-AH 0.0000 0.0050 0.0150 0.0200 0.0500 0.0154 0.0133 0.0150 0.0500 0.8619 0.0030 0.0000 0.0100 0.0000 0.0300 0.0127 0.0097 720-AH 0.0050 0.1350 0.1500 0.1550 0.1700 0.1225 0.0568 0.0200 0.1650 0.4635 0.0899 0.0366 0.0462 0.1350 0.1700 0.1525 0.0075 721-AH 0.0000 0.0100 0.1300 0.1850 0.1950 0.1108 0.0817 0.1750 0.1950 0.7374 0.0445 0.0003 0.0741 0.0000 0.1950 0.1108 0.0817 722-AH 0.0000 0.0050 0.0150 0.0200 0.0250 0.0117 0.0086 0.0150 0.0250 0.7327 0.0032 0.0001 0.0078 0.0000 0.0250 0.0117 0.0086 723-AH 0.0000 0.0000 0.0050 0.0050 0.0100 0.0037 0.0039 0.0050 0.0100 1.0640 0.0003 0.0000 0.0034 0.0000 0.0100 0.0037 0.0039 724-AH 0.0250 0.0750 0.0850 0.0900 0.0900 0.0798 0.0173 0.0150 0.0650 0.2174 0.0766 0.0710 0.0111 0.0700 0.0900 0.0844 0.0066 725-AH 0.0250 0.0700 0.0775 0.0850 0.0950 0.0735 0.0169 0.0150 0.0700 0.2300 0.0709 0.0674 0.0127 0.0500 0.0950 0.0769 0.0121 726-AH 0.0000 0.0200 0.0450 0.0600 0.0750 0.0413 0.0219 0.0400 0.0750 0.5294 0.0267 0.0003 0.0184 0.0000 0.0750 0.0413 0.0219 727-AH 0.0000 0.0300 0.0500 0.0900 0.0900 0.0527 0.0336 0.0600 0.0900 0.6370 0.0181 0.0001 0.0279 0.0000 0.0900 0.0527 0.0336 728-AH 0.0000 0.0200 0.0250 0.0950 0.1300 0.0510 0.0475 0.0750 0.1300 0.9316 0.0156 0.0001 0.0420 0.0000 0.1300 0.0510 0.0475 729-AH 0.0000 0.0200 0.0300 0.0400 0.0500 0.0294 0.0156 0.0200 0.0500 0.5316 0.0150 0.0001 0.0119 0.0000 0.0500 0.0294 0.0156 730-AH 0.0000 0.0600 0.0750 0.1250 0.1750 0.0888 0.0456 0.0650 0.1750 0.5134 0.0583 0.0003 0.0391 0.0000 0.1750 0.0888 0.0456 731-AH 0.0100 0.0400 0.0475 0.0550 0.0750 0.0475 0.0141 0.0150 0.0650 0.2966 0.0448 0.0405 0.0110 0.0300 0.0750 0.0490 0.0121 732-AH 0.0300 0.0700 0.0850 0.0850 0.0950 0.0792 0.0136 0.0150 0.0650 0.1718 0.0776 0.0752 0.0095 0.0550 0.0950 0.0812 0.0094 733-AH 0.0000 0.0000 0.0075 0.0200 0.0250 0.0110 0.0099 0.0200 0.0250 0.9033 0.0018 0.0000 0.0088 0.0000 0.0250 0.0110 0.0099 734-AH 0.0150 0.0450 0.0500 0.0600 0.0800 0.0525 0.0160 0.0150 0.0650 0.3051 0.0493 0.0445 0.0119 0.0400 0.0800 0.0556 0.0121 735-AH 0.0100 0.0250 0.0500 0.0600 0.0650 0.0431 0.0188 0.0350 0.0550 0.4369 0.0377 0.0314 0.0166 0.0100 0.0650 0.0431 0.0188 736-AH 0.0100 0.0200 0.0250 0.0350 0.0400 0.0267 0.0089 0.0150 0.0300 0.3344 0.0252 0.0235 0.0075 0.0100 0.0400 0.0267 0.0089 737-AH 0.0150 0.0600 0.0850 0.1250 0.1800 0.0883 0.0476 0.0650 0.1650 0.5395 0.0720 0.0529 0.0398 0.0150 0.1800 0.0883 0.0476 738-AH 0.0450 0.1350 0.1850 0.2500 0.4000 0.2046 0.1098 0.1150 0.3550 0.5365 0.1745 0.1436 0.0872 0.0450 0.4000 0.2046 0.1098 739-AH 0.0250 0.0550 0.0700 0.0900 0.1000 0.0685 0.0231 0.0350 0.0750 0.3380 0.0636 0.0577 0.0188 0.0250 0.1000 0.0685 0.0231 740-AH 0.0150 0.0650 0.1550 0.1800 0.2150 0.1319 0.0623 0.1150 0.2000 0.4719 0.1116 0.0843 0.0553 0.0150 0.2150 0.1319 0.0623 741-AH 0.0000 0.0100 0.0650 0.0850 0.0900 0.0525 0.0363 0.0750 0.0900 0.6922 0.0080 0.0000 0.0315 0.0000 0.0900 0.0525 0.0363 742-AH 0.0000 0.0050 0.0300 0.0550 0.1000 0.0344 0.0302 0.0500 0.1000 0.8767 0.0105 0.0001 0.0263 0.0000 0.1000 0.0344 0.0302 743-AH 0.0000 0.0000 0.0050 0.0100 0.0150 0.0058 0.0054 0.0100 0.0150 0.9396 0.0006 0.0000 0.0047 0.0000 0.0150 0.0058 0.0054 744-AH 0.0000 0.0400 0.1225 0.1450 0.1500 0.0896 0.0596 0.1050 0.1500 0.6647 0.0221 0.0001 0.0550 0.0000 0.1500 0.0896 0.0596 745-AH 0.0050 0.0150 0.1525 0.2100 0.2450 0.1240 0.0920 0.1950 0.2400 0.7415 0.0684 0.0249 0.0846 0.0050 0.2450 0.1240 0.0920 746-AH 0.0000 0.0850 0.1475 0.1750 0.2500 0.1340 0.0739 0.0900 0.2500 0.5511 0.0587 0.0001 0.0570 0.0000 0.2500 0.1340 0.0739 747-AH 0.0050 0.0250 0.0350 0.0550 0.0750 0.0385 0.0216 0.0300 0.0700 0.5622 0.0306 0.0214 0.0185 0.0050 0.0750 0.0385 0.0216 748-AH 0.0000 0.0050 0.0725 0.0750 0.0750 0.0515 0.0324 0.0700 0.0750 0.6280 0.0103 0.0001 0.0286 0.0000 0.0750 0.0515 0.0324 749-AH 0.0000 0.0900 0.1175 0.1750 0.2400 0.1250 0.0666 0.0850 0.2400 0.5329 0.0742 0.0003 0.0531 0.0000 0.2400 0.1250 0.0666 750-AH 0.0200 0.0750 0.0975 0.1200 0.1850 0.0973 0.0410 0.0450 0.1650 0.4218 0.0866 0.0720 0.0300 0.0200 0.1850 0.0973 0.0410 206 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@500 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0080 0.0980 0.1160 0.1220 0.1260 0.0986 0.0371 0.0240 0.1180 0.3764 0.0829 0.0509 0.0279 0.0920 0.1260 0.1155 0.0092 702-AH 0.0000 0.0020 0.0030 0.0040 0.0040 0.0027 0.0015 0.0020 0.0040 0.5536 0.0013 0.0001 0.0013 0.0000 0.0040 0.0027 0.0015 703-AH 0.0000 0.0500 0.1110 0.1240 0.1500 0.0918 0.0446 0.0740 0.1500 0.4855 0.0340 0.0001 0.0362 0.0000 0.1500 0.0918 0.0446 704-AH 0.0040 0.0140 0.0160 0.0200 0.0200 0.0153 0.0050 0.0060 0.0160 0.3263 0.0141 0.0124 0.0039 0.0080 0.0200 0.0163 0.0039 705-AH 0.0700 0.1640 0.1760 0.1780 0.1820 0.1587 0.0347 0.0140 0.1120 0.2184 0.1538 0.1475 0.0263 0.1560 0.1820 0.1749 0.0068 706-AH 0.0000 0.0660 0.0970 0.1040 0.1300 0.0849 0.0346 0.0380 0.1300 0.4075 0.0577 0.0003 0.0285 0.0220 0.1300 0.0883 0.0306 707-AH 0.0060 0.0260 0.0530 0.0740 0.1080 0.0516 0.0324 0.0480 0.1020 0.6275 0.0385 0.0242 0.0282 0.0060 0.1080 0.0516 0.0324 708-AH 0.0000 0.0220 0.0480 0.0780 0.0840 0.0464 0.0305 0.0560 0.0840 0.6584 0.0207 0.0001 0.0278 0.0000 0.0840 0.0464 0.0305 709-AH 0.0020 0.0860 0.1020 0.1020 0.1060 0.0878 0.0288 0.0160 0.1040 0.3280 0.0712 0.0256 0.0186 0.0780 0.1060 0.0974 0.0084 710-AH 0.0000 0.0000 0.0020 0.0080 0.0100 0.0041 0.0036 0.0080 0.0100 0.8936 0.0009 0.0000 0.0033 0.0000 0.0100 0.0041 0.0036 711-AH 0.0000 0.0020 0.0030 0.0060 0.0080 0.0038 0.0028 0.0040 0.0080 0.7553 0.0015 0.0001 0.0024 0.0000 0.0080 0.0038 0.0028 712-AH 0.0040 0.0100 0.0100 0.0100 0.0120 0.0098 0.0019 0.0000 0.0080 0.1899 0.0096 0.0092 0.0009 0.0100 0.0100 0.0100 0.0000 713-AH 0.0040 0.0280 0.0370 0.0620 0.0800 0.0438 0.0194 0.0340 0.0760 0.4442 0.0383 0.0291 0.0163 0.0040 0.0800 0.0438 0.0194 714-AH 0.0000 0.0000 0.0040 0.0140 0.0260 0.0081 0.0081 0.0140 0.0260 1.0040 0.0014 0.0000 0.0070 0.0000 0.0260 0.0081 0.0081 715-AH 0.0000 0.0040 0.0060 0.0120 0.0140 0.0075 0.0045 0.0080 0.0140 0.6044 0.0050 0.0002 0.0039 0.0000 0.0140 0.0075 0.0045 716-AH 0.0360 0.0660 0.0660 0.0660 0.0660 0.0625 0.0091 0.0000 0.0300 0.1457 0.0617 0.0606 0.0057 0.0660 0.0660 0.0660 0.0000 717-AH 0.0040 0.0240 0.0310 0.0340 0.0400 0.0275 0.0092 0.0100 0.0360 0.3340 0.0247 0.0191 0.0069 0.0140 0.0400 0.0295 0.0063 718-AH 0.0000 0.0240 0.0310 0.0340 0.0420 0.0264 0.0130 0.0100 0.0420 0.4941 0.0088 0.0001 0.0098 0.0140 0.0420 0.0312 0.0068 719-AH 0.0000 0.0020 0.0080 0.0100 0.0200 0.0075 0.0058 0.0080 0.0200 0.7664 0.0026 0.0001 0.0047 0.0000 0.0200 0.0075 0.0058 720-AH 0.0040 0.0620 0.0640 0.0680 0.0740 0.0557 0.0217 0.0060 0.0700 0.3889 0.0458 0.0267 0.0166 0.0620 0.0740 0.0665 0.0044 721-AH 0.0000 0.0140 0.0690 0.0740 0.0780 0.0520 0.0312 0.0600 0.0780 0.5997 0.0258 0.0003 0.0280 0.0000 0.0780 0.0520 0.0312 722-AH 0.0000 0.0040 0.0070 0.0100 0.0120 0.0068 0.0033 0.0060 0.0120 0.4806 0.0049 0.0002 0.0028 0.0000 0.0120 0.0068 0.0033 723-AH 0.0000 0.0000 0.0020 0.0040 0.0040 0.0023 0.0017 0.0040 0.0040 0.7227 0.0006 0.0000 0.0014 0.0000 0.0040 0.0023 0.0017 724-AH 0.0220 0.0340 0.0340 0.0360 0.0360 0.0338 0.0035 0.0020 0.0140 0.1037 0.0336 0.0333 0.0021 0.0320 0.0360 0.0349 0.0012 725-AH 0.0100 0.0320 0.0350 0.0360 0.0400 0.0334 0.0061 0.0040 0.0300 0.1831 0.0325 0.0310 0.0041 0.0300 0.0400 0.0350 0.0031 726-AH 0.0000 0.0120 0.0210 0.0260 0.0340 0.0192 0.0096 0.0140 0.0340 0.5010 0.0129 0.0003 0.0079 0.0000 0.0340 0.0192 0.0096 727-AH 0.0000 0.0240 0.0360 0.0380 0.0380 0.0290 0.0132 0.0140 0.0380 0.4546 0.0186 0.0003 0.0107 0.0040 0.0380 0.0302 0.0120 728-AH 0.0000 0.0120 0.0180 0.0500 0.0540 0.0268 0.0191 0.0380 0.0540 0.7106 0.0156 0.0003 0.0173 0.0000 0.0540 0.0268 0.0191 729-AH 0.0000 0.0120 0.0180 0.0200 0.0220 0.0152 0.0060 0.0080 0.0220 0.3949 0.0111 0.0003 0.0049 0.0060 0.0220 0.0158 0.0053 730-AH 0.0000 0.0280 0.0560 0.0760 0.0900 0.0511 0.0269 0.0480 0.0900 0.5275 0.0333 0.0003 0.0245 0.0000 0.0900 0.0511 0.0269 731-AH 0.0100 0.0240 0.0290 0.0320 0.0380 0.0281 0.0071 0.0080 0.0280 0.2520 0.0270 0.0256 0.0055 0.0160 0.0380 0.0288 0.0062 732-AH 0.0300 0.0440 0.0460 0.0520 0.0580 0.0469 0.0059 0.0080 0.0280 0.1266 0.0465 0.0461 0.0044 0.0380 0.0580 0.0476 0.0049 733-AH 0.0000 0.0020 0.0040 0.0100 0.0100 0.0050 0.0038 0.0080 0.0100 0.7611 0.0019 0.0001 0.0033 0.0000 0.0100 0.0050 0.0038 734-AH 0.0080 0.0240 0.0250 0.0280 0.0320 0.0248 0.0054 0.0040 0.0240 0.2162 0.0240 0.0228 0.0036 0.0220 0.0320 0.0261 0.0032 735-AH 0.0060 0.0180 0.0260 0.0320 0.0400 0.0248 0.0089 0.0140 0.0340 0.3583 0.0227 0.0196 0.0073 0.0060 0.0400 0.0248 0.0089 736-AH 0.0040 0.0100 0.0170 0.0220 0.0380 0.0176 0.0083 0.0120 0.0340 0.4720 0.0155 0.0133 0.0067 0.0040 0.0380 0.0176 0.0083 737-AH 0.0080 0.0400 0.0680 0.0800 0.1140 0.0595 0.0266 0.0400 0.1060 0.4462 0.0511 0.0379 0.0227 0.0080 0.1140 0.0595 0.0266 738-AH 0.0220 0.0980 0.1180 0.1520 0.1840 0.1135 0.0480 0.0540 0.1620 0.4233 0.0990 0.0791 0.0380 0.0220 0.1840 0.1135 0.0480 739-AH 0.0100 0.0240 0.0310 0.0380 0.0400 0.0298 0.0099 0.0140 0.0300 0.3326 0.0276 0.0247 0.0080 0.0100 0.0400 0.0298 0.0099 740-AH 0.0220 0.0500 0.0820 0.0900 0.1000 0.0713 0.0234 0.0400 0.0780 0.3278 0.0667 0.0610 0.0206 0.0220 0.1000 0.0713 0.0234 741-AH 0.0000 0.0060 0.0360 0.0360 0.0360 0.0253 0.0152 0.0300 0.0360 0.6014 0.0091 0.0001 0.0135 0.0000 0.0360 0.0253 0.0152 742-AH 0.0000 0.0080 0.0170 0.0280 0.0400 0.0173 0.0123 0.0200 0.0400 0.7115 0.0097 0.0003 0.0108 0.0000 0.0400 0.0173 0.0123 743-AH 0.0000 0.0000 0.0020 0.0060 0.0060 0.0031 0.0025 0.0060 0.0060 0.8269 0.0008 0.0000 0.0023 0.0000 0.0060 0.0031 0.0025 744-AH 0.0000 0.0240 0.0530 0.0600 0.0600 0.0411 0.0225 0.0360 0.0600 0.5471 0.0125 0.0001 0.0194 0.0000 0.0600 0.0411 0.0225 745-AH 0.0040 0.0220 0.0890 0.1160 0.1200 0.0731 0.0434 0.0940 0.1160 0.5937 0.0514 0.0264 0.0378 0.0040 0.1200 0.0731 0.0434 746-AH 0.0000 0.0460 0.0700 0.0900 0.1060 0.0662 0.0306 0.0440 0.1060 0.4633 0.0338 0.0001 0.0235 0.0000 0.1060 0.0662 0.0306 747-AH 0.0020 0.0140 0.0220 0.0320 0.0440 0.0225 0.0125 0.0180 0.0420 0.5553 0.0174 0.0105 0.0104 0.0020 0.0440 0.0225 0.0125 748-AH 0.0000 0.0020 0.0300 0.0300 0.0300 0.0212 0.0128 0.0280 0.0300 0.6028 0.0062 0.0001 0.0109 0.0000 0.0300 0.0212 0.0128 749-AH 0.0020 0.0520 0.0750 0.0960 0.1040 0.0713 0.0303 0.0440 0.1020 0.4253 0.0553 0.0192 0.0245 0.0020 0.1040 0.0713 0.0303 750-AH 0.0240 0.0480 0.0630 0.0700 0.1140 0.0610 0.0253 0.0220 0.0900 0.4144 0.0557 0.0500 0.0185 0.0240 0.0800 0.0543 0.0177 207 AH-TEL-CLEF2009 Track Overview Results and Graphs AH-TEL-BILI-X2FR-CLEF2009 Statistics for P@1000 Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO 701-AH 0.0050 0.0540 0.0590 0.0630 0.0670 0.0520 0.0184 0.0090 0.0620 0.3548 0.0449 0.0298 0.0137 0.0500 0.0670 0.0604 0.0043 702-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0016 0.0006 0.0010 0.0020 0.3945 0.0011 0.0001 0.0005 0.0000 0.0020 0.0016 0.0006 703-AH 0.0000 0.0380 0.0580 0.0630 0.0810 0.0495 0.0226 0.0250 0.0810 0.4578 0.0199 0.0001 0.0173 0.0230 0.0810 0.0559 0.0143 704-AH 0.0020 0.0070 0.0090 0.0100 0.0100 0.0082 0.0021 0.0030 0.0080 0.2579 0.0078 0.0072 0.0017 0.0050 0.0100 0.0085 0.0017 705-AH 0.0550 0.0840 0.0880 0.0890 0.0920 0.0820 0.0130 0.0050 0.0370 0.1584 0.0808 0.0794 0.0098 0.0830 0.0920 0.0881 0.0027 706-AH 0.0000 0.0330 0.0585 0.0670 0.0740 0.0501 0.0209 0.0340 0.0740 0.4178 0.0347 0.0003 0.0184 0.0000 0.0740 0.0501 0.0209 707-AH 0.0030 0.0140 0.0320 0.0460 0.0550 0.0302 0.0170 0.0320 0.0520 0.5625 0.0230 0.0137 0.0144 0.0030 0.0550 0.0302 0.0170 708-AH 0.0000 0.0150 0.0310 0.0430 0.0440 0.0269 0.0158 0.0280 0.0440 0.5891 0.0154 0.0003 0.0138 0.0000 0.0440 0.0269 0.0158 709-AH 0.0010 0.0450 0.0510 0.0510 0.0530 0.0452 0.0136 0.0060 0.0520 0.3018 0.0379 0.0148 0.0083 0.0430 0.0530 0.0497 0.0030 710-AH 0.0000 0.0010 0.0030 0.0040 0.0060 0.0026 0.0019 0.0030 0.0060 0.7261 0.0011 0.0001 0.0017 0.0000 0.0060 0.0026 0.0019 711-AH 0.0000 0.0010 0.0020 0.0040 0.0050 0.0023 0.0015 0.0030 0.0050 0.6459 0.0014 0.0001 0.0013 0.0000 0.0050 0.0023 0.0015 712-AH 0.0030 0.0050 0.0050 0.0050 0.0060 0.0050 0.0007 0.0000 0.0030 0.1386 0.0049 0.0049 0.0003 0.0050 0.0050 0.0050 0.0000 713-AH 0.0030 0.0200 0.0275 0.0330 0.0400 0.0254 0.0094 0.0130 0.0370 0.3682 0.0229 0.0183 0.0076 0.0030 0.0400 0.0254 0.0094 714-AH 0.0000 0.0010 0.0050 0.0070 0.0140 0.0048 0.0043 0.0060 0.0140 0.8884 0.0012 0.0000 0.0036 0.0000 0.0140 0.0048 0.0043 715-AH 0.0020 0.0030 0.0060 0.0070 0.0080 0.0050 0.0020 0.0040 0.0060 0.4090 0.0045 0.0040 0.0018 0.0020 0.0080 0.0050 0.0020 716-AH 0.0180 0.0330 0.0330 0.0330 0.0330 0.0313 0.0046 0.0000 0.0150 0.1457 0.0308 0.0303 0.0028 0.0330 0.0330 0.0330 0.0000 717-AH 0.0030 0.0120 0.0155 0.0190 0.0210 0.0147 0.0048 0.0070 0.0180 0.3304 0.0134 0.0113 0.0037 0.0030 0.0210 0.0147 0.0048 718-AH 0.0000 0.0120 0.0210 0.0230 0.0280 0.0171 0.0090 0.0110 0.0280 0.5268 0.0060 0.0001 0.0074 0.0000 0.0280 0.0171 0.0090 719-AH 0.0000 0.0030 0.0050 0.0070 0.0100 0.0048 0.0028 0.0040 0.0100 0.5969 0.0023 0.0001 0.0023 0.0000 0.0100 0.0048 0.0028 720-AH 0.0020 0.0320 0.0340 0.0370 0.0370 0.0297 0.0107 0.0050 0.0350 0.3594 0.0257 0.0171 0.0083 0.0320 0.0370 0.0351 0.0017 721-AH 0.0000 0.0290 0.0370 0.0390 0.0390 0.0297 0.0136 0.0100 0.0390 0.4561 0.0178 0.0003 0.0108 0.0180 0.0390 0.0358 0.0048 722-AH 0.0000 0.0030 0.0035 0.0050 0.0060 0.0036 0.0016 0.0020 0.0060 0.4290 0.0027 0.0002 0.0013 0.0010 0.0060 0.0038 0.0014 723-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0016 0.0007 0.0010 0.0020 0.4456 0.0009 0.0001 0.0006 0.0000 0.0020 0.0016 0.0007 724-AH 0.0120 0.0170 0.0180 0.0180 0.0180 0.0172 0.0015 0.0010 0.0060 0.0868 0.0171 0.0170 0.0009 0.0160 0.0180 0.0175 0.0006 725-AH 0.0060 0.0170 0.0185 0.0190 0.0220 0.0178 0.0031 0.0020 0.0160 0.1719 0.0175 0.0168 0.0020 0.0150 0.0200 0.0180 0.0017 726-AH 0.0000 0.0060 0.0110 0.0150 0.0170 0.0103 0.0051 0.0090 0.0170 0.4977 0.0070 0.0003 0.0043 0.0000 0.0170 0.0103 0.0051 727-AH 0.0000 0.0150 0.0190 0.0190 0.0190 0.0156 0.0059 0.0040 0.0190 0.3791 0.0112 0.0003 0.0046 0.0110 0.0190 0.0179 0.0023 728-AH 0.0010 0.0070 0.0105 0.0260 0.0280 0.0143 0.0096 0.0190 0.0270 0.6724 0.0106 0.0067 0.0086 0.0010 0.0280 0.0143 0.0096 729-AH 0.0000 0.0070 0.0100 0.0100 0.0110 0.0085 0.0028 0.0030 0.0110 0.3316 0.0066 0.0003 0.0022 0.0040 0.0110 0.0089 0.0023 730-AH 0.0000 0.0180 0.0390 0.0490 0.0520 0.0325 0.0182 0.0310 0.0520 0.5578 0.0207 0.0003 0.0168 0.0000 0.0520 0.0325 0.0182 731-AH 0.0070 0.0150 0.0175 0.0180 0.0200 0.0162 0.0033 0.0030 0.0130 0.2037 0.0158 0.0153 0.0025 0.0110 0.0200 0.0168 0.0025 732-AH 0.0170 0.0250 0.0275 0.0290 0.0340 0.0272 0.0039 0.0040 0.0170 0.1433 0.0269 0.0266 0.0028 0.0210 0.0340 0.0276 0.0034 733-AH 0.0000 0.0010 0.0030 0.0050 0.0050 0.0028 0.0018 0.0040 0.0050 0.6564 0.0016 0.0001 0.0016 0.0000 0.0050 0.0028 0.0018 734-AH 0.0090 0.0130 0.0140 0.0160 0.0160 0.0141 0.0018 0.0030 0.0070 0.1301 0.0139 0.0138 0.0014 0.0090 0.0160 0.0141 0.0018 735-AH 0.0040 0.0110 0.0160 0.0170 0.0250 0.0150 0.0050 0.0060 0.0210 0.3320 0.0139 0.0124 0.0038 0.0040 0.0250 0.0150 0.0050 736-AH 0.0040 0.0090 0.0110 0.0150 0.0190 0.0114 0.0040 0.0060 0.0150 0.3538 0.0106 0.0098 0.0034 0.0040 0.0190 0.0114 0.0040 737-AH 0.0050 0.0250 0.0465 0.0510 0.0660 0.0399 0.0172 0.0260 0.0610 0.4304 0.0340 0.0246 0.0143 0.0050 0.0660 0.0399 0.0172 738-AH 0.0130 0.0500 0.0840 0.0880 0.1020 0.0680 0.0269 0.0380 0.0890 0.3950 0.0602 0.0489 0.0231 0.0130 0.1020 0.0680 0.0269 739-AH 0.0050 0.0130 0.0165 0.0190 0.0200 0.0156 0.0046 0.0060 0.0150 0.2923 0.0147 0.0134 0.0036 0.0050 0.0200 0.0156 0.0046 740-AH 0.0230 0.0350 0.0455 0.0490 0.0520 0.0415 0.0095 0.0140 0.0290 0.2286 0.0403 0.0389 0.0079 0.0230 0.0520 0.0415 0.0095 741-AH 0.0000 0.0090 0.0180 0.0180 0.0220 0.0138 0.0077 0.0090 0.0220 0.5570 0.0055 0.0001 0.0064 0.0000 0.0220 0.0138 0.0077 742-AH 0.0000 0.0060 0.0100 0.0150 0.0200 0.0100 0.0058 0.0090 0.0200 0.5795 0.0064 0.0002 0.0047 0.0000 0.0200 0.0100 0.0058 743-AH 0.0000 0.0010 0.0010 0.0030 0.0030 0.0017 0.0012 0.0020 0.0030 0.7039 0.0008 0.0001 0.0011 0.0000 0.0030 0.0017 0.0012 744-AH 0.0000 0.0170 0.0285 0.0300 0.0310 0.0223 0.0110 0.0130 0.0310 0.4927 0.0108 0.0001 0.0092 0.0000 0.0310 0.0223 0.0110 745-AH 0.0030 0.0110 0.0505 0.0600 0.0620 0.0413 0.0224 0.0490 0.0590 0.5425 0.0305 0.0173 0.0192 0.0030 0.0620 0.0413 0.0224 746-AH 0.0000 0.0280 0.0395 0.0530 0.0550 0.0387 0.0159 0.0250 0.0550 0.4109 0.0212 0.0001 0.0124 0.0000 0.0550 0.0387 0.0159 747-AH 0.0010 0.0090 0.0165 0.0260 0.0390 0.0177 0.0106 0.0170 0.0380 0.6002 0.0134 0.0070 0.0082 0.0010 0.0390 0.0177 0.0106 748-AH 0.0000 0.0010 0.0150 0.0150 0.0150 0.0107 0.0064 0.0140 0.0150 0.6001 0.0035 0.0001 0.0055 0.0000 0.0150 0.0107 0.0064 749-AH 0.0020 0.0290 0.0480 0.0520 0.0550 0.0401 0.0156 0.0230 0.0530 0.3883 0.0334 0.0181 0.0129 0.0020 0.0550 0.0401 0.0156 750-AH 0.0140 0.0300 0.0395 0.0520 0.0740 0.0393 0.0161 0.0220 0.0600 0.4089 0.0357 0.0317 0.0124 0.0140 0.0740 0.0393 0.0161 208 Individual Experiment Results and Graphs 209 210 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_ALLEXPANDED AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,841 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,510 Pooled false Geometric Mean Average Precision 0.1615 Monolingual | query expansion Binary Preference (BPREF) 0.2731 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.31 CACAO_ENBL_ALLEXPANDED 10 56.30 90% 20 47.22 80% 30 37.99 40 30.31 70% 50 25.07 60% 60 19.39 Precision 70 12.34 50% 80 5.28 40% 90 1.65 30% 100 0.20 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.80 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7816 Minimum 0.0115 First Quartile 0.0888 Second Quartile 0.1831 Third Quartile 0.4327 Interquartile range 0.3439 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2580 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2121 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0115 8 Upper Outlier Threshold 0.7816 6 Mean With No Outliers 0.2580 4 Std With No Outliers 0.2121 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_ALLEXPANDED 0.8 701-AH 11.17 726-AH 13.73 0.6 702-AH 45.97 727-AH 9.63 0.4 703-AH 37.25 728-AH 28.55 0.2 Difference 704-AH 8.88 729-AH 3.16 0 705-AH 46.97 730-AH 4.70 −0.2 −0.4 706-AH 48.73 731-AH 54.54 −0.6 707-AH 38.19 732-AH 1.83 −0.8 708-AH 62.17 733-AH 20.61 −1 709-AH 36.60 734-AH 43.27 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.15 735-AH 6.47 711-AH 19.44 736-AH 1.81 712-AH 60.00 737-AH 4.53 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_ALLEXPANDED 713-AH 9.34 738-AH 17.15 0.8 714-AH 25.23 739-AH 61.40 0.6 715-AH 15.18 740-AH 1.69 0.4 716-AH 47.01 741-AH 34.53 0.2 Difference 717-AH 17.19 742-AH 53.76 0 718-AH 36.74 743-AH 8.21 −0.2 −0.4 719-AH 2.37 744-AH 20.04 −0.6 720-AH 73.97 745-AH 8.25 −0.8 721-AH 14.62 746-AH 9.67 −1 722-AH 38.50 747-AH 26.04 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 8.89 748-AH 11.78 724-AH 78.16 749-AH 12.36 725-AH 44.49 750-AH 4.03 211 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_ALLEXPANDED AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.20 CACAO_ENBL_ALLEXPANDED 10 docs 46.20 90% 15 docs 40.80 80% 20 docs 37.60 30 docs 33.00 70% 100 docs 19.34 60% 200 docs 11.92 Precision 500 docs 5.60 50% 1000 docs 3.02 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.73 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7143 Minimum 0.0000 First Quartile 0.1385 Second Quartile 0.2550 Third Quartile 0.4490 Interquartile range 0.3105 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2973 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1947 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7143 5 Mean With No Outliers 0.2973 4 3 Std With No Outliers 0.1947 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_ALLEXPANDED 0.8 701-AH 28.57 726-AH 26.98 0.6 702-AH 34.48 727-AH 25.00 0.4 703-AH 41.67 728-AH 20.00 0.2 Difference 704-AH 9.26 729-AH 4.55 0 705-AH 59.52 730-AH 18.89 −0.2 −0.4 706-AH 53.27 731-AH 53.01 −0.6 707-AH 44.83 732-AH 8.00 −0.8 708-AH 61.19 733-AH 27.87 −1 709-AH 48.89 734-AH 43.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.44 735-AH 15.74 711-AH 25.00 736-AH 5.66 712-AH 60.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_ALLEXPANDED 713-AH 14.89 738-AH 29.25 0.8 714-AH 26.00 739-AH 63.64 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 38.10 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 44.90 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 22.73 −0.6 720-AH 67.92 745-AH 13.85 −0.8 721-AH 20.00 746-AH 22.86 −1 722-AH 38.46 747-AH 46.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 7.69 724-AH 71.43 749-AH 13.95 725-AH 48.11 750-AH 13.33 212 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_BASE AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,549 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,381 Pooled false Geometric Mean Average Precision 0.1548 Monolingual | base search Binary Preference (BPREF) 0.2714 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.18 CACAO_ENBL_BASE 10 57.73 90% 20 44.20 80% 30 34.49 40 28.63 70% 50 25.35 60% 60 18.63 Precision 70 12.64 50% 80 4.66 40% 90 1.22 30% 100 0.20 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.89 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7779 Minimum 0.0086 First Quartile 0.0804 Second Quartile 0.1920 Third Quartile 0.3875 Interquartile range 0.3071 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2489 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2088 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0086 8 Upper Outlier Threshold 0.7779 6 Mean With No Outliers 0.2489 4 Std With No Outliers 0.2088 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_BASE 0.8 701-AH 9.80 726-AH 8.04 0.6 702-AH 29.31 727-AH 5.59 0.4 703-AH 44.95 728-AH 26.05 0.2 Difference 704-AH 13.07 729-AH 2.18 0 705-AH 50.80 730-AH 4.91 −0.2 −0.4 706-AH 38.75 731-AH 44.76 −0.6 707-AH 44.01 732-AH 2.39 −0.8 708-AH 62.34 733-AH 19.49 −1 709-AH 33.11 734-AH 27.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.86 735-AH 4.31 711-AH 23.04 736-AH 1.44 712-AH 70.00 737-AH 4.84 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_BASE 713-AH 25.09 738-AH 13.32 0.8 714-AH 22.08 739-AH 58.01 0.6 715-AH 15.43 740-AH 1.95 0.4 716-AH 46.34 741-AH 37.93 0.2 Difference 717-AH 21.67 742-AH 57.27 0 718-AH 33.28 743-AH 11.11 −0.2 −0.4 719-AH 14.67 744-AH 18.91 −0.6 720-AH 77.79 745-AH 8.58 −0.8 721-AH 16.71 746-AH 9.77 −1 722-AH 29.73 747-AH 5.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.37 748-AH 10.88 724-AH 70.70 749-AH 13.84 725-AH 44.18 750-AH 2.70 213 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_BASE AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 48.80 CACAO_ENBL_BASE 10 docs 43.60 90% 15 docs 40.00 80% 20 docs 37.40 30 docs 33.20 70% 100 docs 18.46 60% 200 docs 10.81 Precision 500 docs 5.08 50% 1000 docs 2.76 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.51 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7170 Minimum 0.0000 First Quartile 0.1362 Second Quartile 0.2664 Third Quartile 0.4717 Interquartile range 0.3355 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2951 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2001 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7170 5 Mean With No Outliers 0.2951 4 3 Std With No Outliers 0.2001 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_BASE 0.8 701-AH 23.81 726-AH 19.05 0.6 702-AH 27.59 727-AH 0.00 0.4 703-AH 50.00 728-AH 30.00 0.2 Difference 704-AH 14.81 729-AH 4.55 0 705-AH 63.10 730-AH 14.44 −0.2 −0.4 706-AH 49.53 731-AH 48.19 −0.6 707-AH 58.62 732-AH 8.00 −0.8 708-AH 61.19 733-AH 27.87 −1 709-AH 47.78 734-AH 38.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 13.62 711-AH 37.50 736-AH 5.66 712-AH 70.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_BASE 713-AH 31.91 738-AH 23.58 0.8 714-AH 26.00 739-AH 61.36 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 38.10 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 40.82 743-AH 12.50 −0.2 −0.4 719-AH 22.22 744-AH 27.27 −0.6 720-AH 71.70 745-AH 13.85 −0.8 721-AH 30.00 746-AH 22.86 −1 722-AH 33.33 747-AH 12.43 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 7.69 724-AH 66.67 749-AH 16.28 725-AH 47.17 750-AH 13.33 214 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_ML AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,518 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,373 Pooled false Geometric Mean Average Precision 0.1548 Monolingual+ | base search Binary Preference (BPREF) 0.2712 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.29 CACAO_ENBL_ML 10 58.29 90% 20 44.75 80% 30 34.96 40 28.90 70% 50 25.04 60% 60 17.92 Precision 70 12.26 50% 80 3.88 40% 90 1.40 30% 100 0.21 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.93 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7657 Minimum 0.0088 First Quartile 0.0891 Second Quartile 0.1861 Third Quartile 0.3961 Interquartile range 0.3070 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2493 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2076 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0088 8 Upper Outlier Threshold 0.7657 6 Mean With No Outliers 0.2493 4 Std With No Outliers 0.2076 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_ML 0.8 701-AH 9.66 726-AH 9.30 0.6 702-AH 31.38 727-AH 5.80 0.4 703-AH 46.86 728-AH 26.26 0.2 Difference 704-AH 15.82 729-AH 1.68 0 705-AH 50.00 730-AH 4.83 −0.2 −0.4 706-AH 42.93 731-AH 45.60 −0.6 707-AH 39.61 732-AH 2.79 −0.8 708-AH 62.24 733-AH 18.97 −1 709-AH 32.93 734-AH 28.65 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.88 735-AH 3.94 711-AH 23.80 736-AH 1.93 712-AH 70.00 737-AH 4.85 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_ML 713-AH 25.18 738-AH 13.55 0.8 714-AH 22.21 739-AH 54.37 0.6 715-AH 16.08 740-AH 1.93 0.4 716-AH 46.86 741-AH 34.79 0.2 Difference 717-AH 21.69 742-AH 57.27 0 718-AH 32.00 743-AH 11.11 −0.2 −0.4 719-AH 14.10 744-AH 18.25 −0.6 720-AH 76.57 745-AH 9.05 −0.8 721-AH 15.13 746-AH 8.91 −1 722-AH 34.21 747-AH 5.69 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.30 748-AH 10.54 724-AH 71.67 749-AH 14.22 725-AH 43.62 750-AH 1.71 215 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_ML AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 50.80 CACAO_ENBL_ML 10 docs 44.40 90% 15 docs 40.80 80% 20 docs 37.70 30 docs 33.07 70% 100 docs 18.48 60% 200 docs 10.82 Precision 500 docs 5.05 50% 1000 docs 2.75 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.07 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7170 Minimum 0.0000 First Quartile 0.1319 Second Quartile 0.2664 Third Quartile 0.4667 Interquartile range 0.3348 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2907 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1967 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7170 5 Mean With No Outliers 0.2907 4 3 Std With No Outliers 0.1967 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_ML 0.8 701-AH 23.81 726-AH 20.63 0.6 702-AH 27.59 727-AH 0.00 0.4 703-AH 50.00 728-AH 30.00 0.2 Difference 704-AH 18.52 729-AH 4.55 0 705-AH 61.90 730-AH 14.44 −0.2 −0.4 706-AH 51.40 731-AH 50.60 −0.6 707-AH 48.28 732-AH 12.00 −0.8 708-AH 61.19 733-AH 27.87 −1 709-AH 46.67 734-AH 36.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 13.19 711-AH 31.25 736-AH 5.66 712-AH 70.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_ML 713-AH 31.91 738-AH 23.58 0.8 714-AH 26.00 739-AH 59.09 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 38.10 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 38.78 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 27.27 −0.6 720-AH 71.70 745-AH 15.38 −0.8 721-AH 30.00 746-AH 22.86 −1 722-AH 35.90 747-AH 13.51 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 7.69 724-AH 66.67 749-AH 16.28 725-AH 46.70 750-AH 10.00 216 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_SEMVECTEXPANDED AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,805 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,491 Pooled false Geometric Mean Average Precision 0.1667 Monolingual | query expansion Binary Preference (BPREF) 0.2796 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 74.90 CACAO_ENBL_SEMVECTEXPANDED 10 58.68 90% 20 47.30 80% 30 37.21 40 29.29 70% 50 24.72 60% 60 19.01 Precision 70 12.77 50% 80 6.02 40% 90 2.34 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 26.08 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8013 Minimum 0.0146 First Quartile 0.0964 Second Quartile 0.1949 Third Quartile 0.4315 Interquartile range 0.3350 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2608 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2117 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0146 8 Upper Outlier Threshold 0.8013 6 Mean With No Outliers 0.2608 4 Std With No Outliers 0.2117 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_SEMVECTEXPANDED 0.8 701-AH 11.13 726-AH 14.31 0.6 702-AH 46.70 727-AH 9.64 0.4 703-AH 40.04 728-AH 29.69 0.2 Difference 704-AH 12.49 729-AH 2.24 0 705-AH 48.02 730-AH 4.53 −0.2 −0.4 706-AH 45.86 731-AH 54.59 −0.6 707-AH 44.42 732-AH 2.77 −0.8 708-AH 61.16 733-AH 19.36 −1 709-AH 35.82 734-AH 43.15 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 1.46 735-AH 5.69 711-AH 22.27 736-AH 1.83 712-AH 60.00 737-AH 4.79 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_SEMVECTEXPANDED 713-AH 13.11 738-AH 17.94 0.8 714-AH 21.72 739-AH 60.53 0.6 715-AH 15.66 740-AH 1.82 0.4 716-AH 45.98 741-AH 35.19 0.2 Difference 717-AH 21.06 742-AH 53.60 0 718-AH 35.69 743-AH 17.30 −0.2 −0.4 719-AH 2.99 744-AH 19.62 −0.6 720-AH 78.07 745-AH 7.39 −0.8 721-AH 14.91 746-AH 9.77 −1 722-AH 29.41 747-AH 21.28 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 8.69 748-AH 10.70 724-AH 80.13 749-AH 13.57 725-AH 42.61 750-AH 3.34 217 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_SEMVECTEXPANDED AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 52.80 CACAO_ENBL_SEMVECTEXPANDED 10 docs 46.20 90% 15 docs 41.60 80% 20 docs 37.80 30 docs 33.20 70% 100 docs 19.30 60% 200 docs 11.70 Precision 500 docs 5.52 50% 1000 docs 2.98 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.54 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7619 Minimum 0.0000 First Quartile 0.1385 Second Quartile 0.2713 Third Quartile 0.4444 Interquartile range 0.3060 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3054 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1957 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.7619 6 Mean With No Outliers 0.3054 4 Std With No Outliers 0.1957 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_SEMVECTEXPANDED 0.8 701-AH 28.57 726-AH 26.98 0.6 702-AH 34.48 727-AH 25.00 0.4 703-AH 44.44 728-AH 20.00 0.2 Difference 704-AH 12.96 729-AH 4.55 0 705-AH 60.71 730-AH 18.89 −0.2 −0.4 706-AH 50.47 731-AH 54.22 −0.6 707-AH 58.62 732-AH 12.00 −0.8 708-AH 61.19 733-AH 27.87 −1 709-AH 47.78 734-AH 43.18 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 4.44 735-AH 15.32 711-AH 25.00 736-AH 5.66 712-AH 60.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_SEMVECTEXPANDED 713-AH 14.89 738-AH 30.19 0.8 714-AH 26.00 739-AH 63.64 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 38.10 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 38.78 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 27.27 −0.6 720-AH 73.58 745-AH 13.85 −0.8 721-AH 30.00 746-AH 20.00 −1 722-AH 33.33 747-AH 40.54 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 76.19 749-AH 13.95 725-AH 46.70 750-AH 13.33 218 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_TOPDOCSEXPANDED AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,525 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,425 Pooled false Geometric Mean Average Precision 0.1559 Monolingual | query expansion Binary Preference (BPREF) 0.2730 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.86 CACAO_ENBL_TOPDOCSEXPANDED 10 58.91 90% 20 46.28 80% 30 35.58 40 28.59 70% 50 24.21 60% 60 18.11 Precision 70 12.09 50% 80 4.79 40% 90 1.91 30% 100 0.23 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.48 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8395 Minimum 0.0093 First Quartile 0.0928 Second Quartile 0.2023 Third Quartile 0.4277 Interquartile range 0.3349 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2548 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2154 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0093 8 Upper Outlier Threshold 0.8395 6 Mean With No Outliers 0.2548 4 Std With No Outliers 0.2154 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_TOPDOCSEXPANDED 0.8 701-AH 10.10 726-AH 9.28 0.6 702-AH 39.10 727-AH 6.46 0.4 703-AH 46.27 728-AH 25.40 0.2 Difference 704-AH 12.41 729-AH 1.96 0 705-AH 47.68 730-AH 4.81 −0.2 −0.4 706-AH 44.25 731-AH 48.20 −0.6 707-AH 40.49 732-AH 1.53 −0.8 708-AH 62.34 733-AH 20.60 −1 709-AH 35.87 734-AH 26.70 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.94 735-AH 4.39 711-AH 20.12 736-AH 0.93 712-AH 70.00 737-AH 4.85 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_TOPDOCSEXPANDED 713-AH 25.72 738-AH 19.53 0.8 714-AH 25.25 739-AH 59.98 0.6 715-AH 15.33 740-AH 1.78 0.4 716-AH 42.95 741-AH 42.77 0.2 Difference 717-AH 20.33 742-AH 56.65 0 718-AH 25.31 743-AH 8.96 −0.2 −0.4 719-AH 14.23 744-AH 21.05 −0.6 720-AH 74.34 745-AH 9.44 −0.8 721-AH 12.94 746-AH 9.75 −1 722-AH 32.79 747-AH 10.18 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 5.73 748-AH 9.77 724-AH 83.95 749-AH 12.59 725-AH 45.20 750-AH 2.81 219 celi 10.2415/AH-TEL-MONO-EN-CLEF2009.CELI.CACAO_ENBL_TOPDOCSEXPANDED AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 50.80 CACAO_ENBL_TOPDOCSEXPANDED 10 docs 45.00 90% 15 docs 41.60 80% 20 docs 38.00 30 docs 33.40 70% 100 docs 18.48 60% 200 docs 11.08 Precision 500 docs 5.25 50% 1000 docs 2.85 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.33 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7619 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.2550 Third Quartile 0.4556 Interquartile range 0.3222 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2933 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1993 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7619 5 Mean With No Outliers 0.2933 4 3 Std With No Outliers 0.1993 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBL_TOPDOCSEXPANDED 0.8 701-AH 23.81 726-AH 20.63 0.6 702-AH 27.59 727-AH 0.00 0.4 703-AH 52.78 728-AH 35.00 0.2 Difference 704-AH 14.81 729-AH 4.55 0 705-AH 61.90 730-AH 13.33 −0.2 −0.4 706-AH 50.47 731-AH 46.99 −0.6 707-AH 48.28 732-AH 4.00 −0.8 708-AH 61.19 733-AH 27.87 −1 709-AH 45.56 734-AH 36.36 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 4.44 735-AH 11.91 711-AH 25.00 736-AH 5.66 712-AH 70.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBL_TOPDOCSEXPANDED 713-AH 31.91 738-AH 33.02 0.8 714-AH 26.00 739-AH 63.64 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 33.33 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 34.69 743-AH 12.50 −0.2 −0.4 719-AH 22.22 744-AH 31.82 −0.6 720-AH 67.92 745-AH 13.85 −0.8 721-AH 20.00 746-AH 22.86 −1 722-AH 35.90 747-AH 19.46 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 15.79 748-AH 7.69 724-AH 76.19 749-AH 13.95 725-AH 49.06 750-AH 13.33 220 chemnitz 10.2415/AH-TEL-MONO-EN-CLEF2009.CHEMNITZ.CUT_10_MONO_EN_LU_PORTER_10_7 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,973 Pooled true Geometric Mean Average Precision 0.2293 monolingual lucene porter Binary Preference (BPREF) 0.3760 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 77.22 CUT_10_MONO_EN_LU_PORTER_10_7 10 66.26 90% 20 56.84 80% 30 49.81 40 44.31 70% 50 39.11 60% 60 31.43 Precision 70 24.33 50% 80 17.10 40% 90 11.21 30% 100 4.52 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.72 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0027 First Quartile 0.1557 Second Quartile 0.3472 Third Quartile 0.5575 Interquartile range 0.4018 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3672 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2616 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0027 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3672 3 Std With No Outliers 0.2616 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_10_MONO_EN_LU_PORTER_10_7 0.8 701-AH 26.88 726-AH 16.78 0.6 702-AH 80.72 727-AH 5.70 0.4 703-AH 56.06 728-AH 17.07 0.2 Difference 704-AH 3.82 729-AH 9.55 0 705-AH 35.05 730-AH 24.62 −0.2 −0.4 706-AH 56.28 731-AH 29.36 −0.6 707-AH 50.82 732-AH 1.15 −0.8 708-AH 70.02 733-AH 64.40 −1 709-AH 43.87 734-AH 55.44 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.27 735-AH 12.98 711-AH 18.21 736-AH 15.57 712-AH 100.00 737-AH 0.85 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_10_MONO_EN_LU_PORTER_10_7 713-AH 43.55 738-AH 41.08 0.8 714-AH 55.75 739-AH 69.79 0.6 715-AH 47.70 740-AH 3.88 0.4 716-AH 55.11 741-AH 53.29 0.2 Difference 717-AH 19.87 742-AH 55.83 0 718-AH 49.49 743-AH 34.39 −0.2 −0.4 719-AH 21.29 744-AH 39.91 −0.6 720-AH 95.14 745-AH 28.48 −0.8 721-AH 23.75 746-AH 10.53 −1 722-AH 23.28 747-AH 42.08 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 5.36 748-AH 7.65 724-AH 75.13 749-AH 69.61 725-AH 65.13 750-AH 3.23 221 chemnitz 10.2415/AH-TEL-MONO-EN-CLEF2009.CHEMNITZ.CUT_10_MONO_EN_LU_PORTER_10_7 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 58.40 CUT_10_MONO_EN_LU_PORTER_10_7 10 docs 54.60 90% 15 docs 49.33 80% 20 docs 45.90 30 docs 40.20 70% 100 docs 22.98 60% 200 docs 14.75 Precision 500 docs 7.19 50% 1000 docs 3.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.03 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.3452 Third Quartile 0.6000 Interquartile range 0.4000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3903 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2514 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3903 4 3 Std With No Outliers 0.2514 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_10_MONO_EN_LU_PORTER_10_7 0.8 701-AH 28.57 726-AH 31.75 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 50.00 728-AH 20.00 0.2 Difference 704-AH 0.00 729-AH 13.64 0 705-AH 35.71 730-AH 31.11 −0.2 −0.4 706-AH 60.75 731-AH 31.33 −0.6 707-AH 65.52 732-AH 0.00 −0.8 708-AH 64.18 733-AH 65.57 −1 709-AH 44.44 734-AH 63.64 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 2.22 735-AH 23.40 711-AH 18.75 736-AH 28.30 712-AH 100.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_10_MONO_EN_LU_PORTER_10_7 713-AH 53.19 738-AH 48.11 0.8 714-AH 60.00 739-AH 68.18 0.6 715-AH 47.06 740-AH 4.35 0.4 716-AH 52.38 741-AH 58.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 59.18 743-AH 50.00 −0.2 −0.4 719-AH 33.33 744-AH 31.82 −0.6 720-AH 86.79 745-AH 30.77 −0.8 721-AH 30.00 746-AH 14.29 −1 722-AH 28.21 747-AH 45.41 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 61.90 749-AH 72.09 725-AH 61.32 750-AH 6.67 222 chemnitz 10.2415/AH-TEL-MONO-EN-CLEF2009.CHEMNITZ.CUT_11_MONO_MERGED_EN_9_10 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,134 Pooled false Geometric Mean Average Precision 0.2917 monolingual merged reference cut_9 cut_10 Binary Preference (BPREF) 0.4013 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 81.13 CUT_11_MONO_MERGED_EN_9_10 10 71.26 90% 20 62.08 80% 30 54.85 40 48.98 70% 50 42.22 60% 60 32.58 Precision 70 27.71 50% 80 20.82 40% 90 15.15 30% 100 6.10 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.71 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0150 First Quartile 0.1688 Second Quartile 0.3839 Third Quartile 0.5727 Interquartile range 0.4039 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4071 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2672 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0150 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.4071 3 Std With No Outliers 0.2672 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_11_MONO_MERGED_EN_9_10 0.8 701-AH 35.99 726-AH 9.54 0.6 702-AH 81.10 727-AH 7.44 0.4 703-AH 55.86 728-AH 18.94 0.2 Difference 704-AH 4.85 729-AH 10.71 0 705-AH 30.10 730-AH 33.73 −0.2 −0.4 706-AH 65.88 731-AH 50.53 −0.6 707-AH 56.89 732-AH 1.50 −0.8 708-AH 74.75 733-AH 75.53 −1 709-AH 44.46 734-AH 67.87 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 14.40 735-AH 29.73 711-AH 22.55 736-AH 4.61 712-AH 100.00 737-AH 4.88 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_11_MONO_MERGED_EN_9_10 713-AH 40.68 738-AH 40.29 0.8 714-AH 40.11 739-AH 75.47 0.6 715-AH 47.96 740-AH 9.72 0.4 716-AH 64.97 741-AH 53.92 0.2 Difference 717-AH 16.88 742-AH 54.58 0 718-AH 57.27 743-AH 35.63 −0.2 −0.4 719-AH 36.66 744-AH 49.51 −0.6 720-AH 96.14 745-AH 31.66 −0.8 721-AH 24.20 746-AH 19.06 −1 722-AH 32.89 747-AH 53.81 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 6.55 748-AH 7.64 724-AH 79.39 749-AH 77.21 725-AH 72.02 750-AH 9.51 223 chemnitz 10.2415/AH-TEL-MONO-EN-CLEF2009.CHEMNITZ.CUT_11_MONO_MERGED_EN_9_10 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 62.00 CUT_11_MONO_MERGED_EN_9_10 10 docs 58.20 90% 15 docs 53.07 80% 20 docs 49.20 30 docs 43.33 70% 100 docs 25.30 60% 200 docs 15.97 Precision 500 docs 7.82 50% 1000 docs 4.27 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.76 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2500 Second Quartile 0.4008 Third Quartile 0.6122 Interquartile range 0.3622 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4176 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2387 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.4176 4 3 Std With No Outliers 0.2387 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_11_MONO_MERGED_EN_9_10 0.8 701-AH 33.33 726-AH 20.63 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 50.00 728-AH 25.00 0.2 Difference 704-AH 9.26 729-AH 15.91 0 705-AH 30.95 730-AH 34.44 −0.2 −0.4 706-AH 68.22 731-AH 45.78 −0.6 707-AH 65.52 732-AH 4.00 −0.8 708-AH 68.66 733-AH 63.93 −1 709-AH 48.89 734-AH 65.91 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 26.67 735-AH 41.70 711-AH 31.25 736-AH 9.43 712-AH 100.00 737-AH 11.11 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_11_MONO_MERGED_EN_9_10 713-AH 55.32 738-AH 47.17 0.8 714-AH 54.00 739-AH 65.91 0.6 715-AH 52.94 740-AH 13.04 0.4 716-AH 57.14 741-AH 58.33 0.2 Difference 717-AH 16.67 742-AH 47.06 0 718-AH 61.22 743-AH 37.50 −0.2 −0.4 719-AH 33.33 744-AH 31.82 −0.6 720-AH 90.57 745-AH 30.77 −0.8 721-AH 30.00 746-AH 28.57 −1 722-AH 38.46 747-AH 50.81 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 61.90 749-AH 74.42 725-AH 67.45 750-AH 23.33 224 chemnitz 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,137 Pooled false Geometric Mean Average Precision 0.2782 monolingual+ merged multilingual reference cut_9 Binary Preference (BPREF) 0.3914 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 81.14 CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 10 66.42 90% 20 59.44 80% 30 53.26 40 46.61 70% 50 39.59 60% 60 31.57 Precision 70 26.85 50% 80 20.90 40% 90 14.77 30% 100 6.52 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 39.14 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0137 First Quartile 0.1316 Second Quartile 0.3856 Third Quartile 0.6226 Interquartile range 0.4910 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3914 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2704 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0137 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3914 4 3 Std With No Outliers 0.2704 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 0.8 701-AH 35.74 726-AH 7.15 0.6 702-AH 78.39 727-AH 10.01 0.4 703-AH 48.65 728-AH 14.27 0.2 Difference 704-AH 8.19 729-AH 10.95 0 705-AH 24.30 730-AH 33.74 −0.2 −0.4 706-AH 70.33 731-AH 53.62 −0.6 707-AH 60.06 732-AH 3.36 −0.8 708-AH 75.97 733-AH 63.63 −1 709-AH 43.68 734-AH 69.79 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 18.09 735-AH 25.94 711-AH 20.80 736-AH 1.37 712-AH 100.00 737-AH 9.34 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 713-AH 38.64 738-AH 41.00 0.8 714-AH 35.75 739-AH 81.04 0.6 715-AH 44.50 740-AH 13.16 0.4 716-AH 65.38 741-AH 40.22 0.2 Difference 717-AH 10.92 742-AH 53.48 0 718-AH 39.33 743-AH 10.55 −0.2 −0.4 719-AH 42.96 744-AH 67.74 −0.6 720-AH 96.12 745-AH 22.49 −0.8 721-AH 14.09 746-AH 38.47 −1 722-AH 20.66 747-AH 51.28 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 6.80 748-AH 7.02 724-AH 77.74 749-AH 77.90 725-AH 62.26 750-AH 10.34 225 chemnitz 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 61.60 CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 10 docs 56.00 90% 15 docs 51.60 80% 20 docs 48.30 30 docs 43.07 70% 100 docs 24.44 60% 200 docs 15.59 Precision 500 docs 7.66 50% 1000 docs 4.27 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.99 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4083 Third Quartile 0.5909 Interquartile range 0.3909 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3999 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2441 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3999 4 3 Std With No Outliers 0.2441 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 0.8 701-AH 33.33 726-AH 17.46 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 41.67 728-AH 20.00 0.2 Difference 704-AH 11.11 729-AH 13.64 0 705-AH 23.81 730-AH 32.22 −0.2 −0.4 706-AH 66.36 731-AH 51.81 −0.6 707-AH 65.52 732-AH 8.00 −0.8 708-AH 70.15 733-AH 55.74 −1 709-AH 52.22 734-AH 68.18 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 28.89 735-AH 34.04 711-AH 25.00 736-AH 9.43 712-AH 100.00 737-AH 20.00 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_12_MONO_EN_MERGED_LANG_SPEC_REF_CUT_9 713-AH 51.06 738-AH 42.45 0.8 714-AH 52.00 739-AH 72.73 0.6 715-AH 47.06 740-AH 17.39 0.4 716-AH 61.90 741-AH 33.33 0.2 Difference 717-AH 11.11 742-AH 47.06 0 718-AH 44.90 743-AH 12.50 −0.2 −0.4 719-AH 44.44 744-AH 59.09 −0.6 720-AH 90.57 745-AH 21.54 −0.8 721-AH 20.00 746-AH 40.00 −1 722-AH 20.51 747-AH 55.68 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 61.90 749-AH 74.42 725-AH 59.43 750-AH 20.00 226 chemnitz 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,134 Pooled true Geometric Mean Average Precision 0.2689 monolingual terrier porter Binary Preference (BPREF) 0.3846 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 81.08 CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 10 67.01 90% 20 59.20 80% 30 52.03 40 45.58 70% 50 38.46 60% 60 31.08 Precision 70 26.73 50% 80 21.98 40% 90 14.24 30% 100 6.16 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.64 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0140 First Quartile 0.1295 Second Quartile 0.3847 Third Quartile 0.6028 Interquartile range 0.4733 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3864 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2704 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0140 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3864 4 3 Std With No Outliers 0.2704 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 0.8 701-AH 37.04 726-AH 5.96 0.6 702-AH 79.45 727-AH 11.89 0.4 703-AH 47.23 728-AH 14.40 0.2 Difference 704-AH 5.72 729-AH 9.78 0 705-AH 24.43 730-AH 43.43 −0.2 −0.4 706-AH 70.07 731-AH 53.83 −0.6 707-AH 58.35 732-AH 5.96 −0.8 708-AH 76.30 733-AH 65.90 −1 709-AH 43.51 734-AH 69.88 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 18.76 735-AH 26.69 711-AH 20.55 736-AH 1.40 712-AH 100.00 737-AH 4.81 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 713-AH 36.12 738-AH 39.97 0.8 714-AH 35.09 739-AH 72.62 0.6 715-AH 43.65 740-AH 12.95 0.4 716-AH 65.70 741-AH 43.79 0.2 Difference 717-AH 11.17 742-AH 53.04 0 718-AH 39.89 743-AH 5.06 −0.2 −0.4 719-AH 44.56 744-AH 67.47 −0.6 720-AH 95.60 745-AH 22.22 −0.8 721-AH 13.54 746-AH 30.70 −1 722-AH 15.60 747-AH 50.18 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 6.15 748-AH 6.80 724-AH 73.88 749-AH 78.79 725-AH 60.28 750-AH 11.75 227 chemnitz 10.2415/AH-TEL-MONO-EN- AH-TEL-MONO-EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 62.40 CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 10 docs 55.80 90% 15 docs 51.07 80% 20 docs 47.70 30 docs 42.27 70% 100 docs 24.20 60% 200 docs 15.38 Precision 500 docs 7.72 50% 1000 docs 4.27 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.57 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.3844 Third Quartile 0.5519 Interquartile range 0.3519 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3957 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2420 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3957 4 3 Std With No Outliers 0.2420 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 0.8 701-AH 38.10 726-AH 14.29 0.6 702-AH 82.76 727-AH 12.50 0.4 703-AH 41.67 728-AH 20.00 0.2 Difference 704-AH 9.26 729-AH 15.91 0 705-AH 25.00 730-AH 38.89 −0.2 −0.4 706-AH 68.22 731-AH 51.81 −0.6 707-AH 65.52 732-AH 4.00 −0.8 708-AH 68.66 733-AH 55.74 −1 709-AH 51.11 734-AH 70.45 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 26.67 735-AH 37.45 711-AH 25.00 736-AH 9.43 712-AH 100.00 737-AH 11.11 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_9_MONO_DE_TE_PORTER_BB2_BO2_3_11 713-AH 51.06 738-AH 36.79 0.8 714-AH 52.00 739-AH 59.09 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 61.90 741-AH 33.33 0.2 Difference 717-AH 11.11 742-AH 47.06 0 718-AH 38.78 743-AH 12.50 −0.2 −0.4 719-AH 44.44 744-AH 54.55 −0.6 720-AH 90.57 745-AH 21.54 −0.8 721-AH 20.00 746-AH 37.14 −1 722-AH 20.51 747-AH 54.59 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 61.90 749-AH 76.74 725-AH 55.19 750-AH 23.33 228 cheshire 10.2415/AH-TEL-MONO-EN-CLEF2009.CHESHIRE.MOENT2FB AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,945 Pooled true Geometric Mean Average Precision 0.1956 English topics using Trec2 with Blind Feedback Binary Preference (BPREF) 0.3275 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 79.80 MOENT2FB 10 61.60 90% 20 48.85 80% 30 44.23 40 40.55 70% 50 33.55 60% 60 26.66 Precision 70 21.39 50% 80 13.57 40% 90 9.11 30% 100 3.55 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 32.67 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9125 Minimum 0.0000 First Quartile 0.1263 Second Quartile 0.2319 Third Quartile 0.4716 Interquartile range 0.3453 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3267 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2467 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 0.9125 4 Mean With No Outliers 0.3267 3 Std With No Outliers 0.2467 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MOENT2FB 0.8 701-AH 18.70 726-AH 11.87 0.6 702-AH 78.03 727-AH 3.98 0.4 703-AH 37.22 728-AH 15.50 0.2 Difference 704-AH 8.33 729-AH 7.30 0 705-AH 22.14 730-AH 35.52 −0.2 −0.4 706-AH 47.16 731-AH 59.00 −0.6 707-AH 41.82 732-AH 12.02 −0.8 708-AH 71.04 733-AH 17.76 −1 709-AH 38.36 734-AH 70.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 7.12 735-AH 18.31 711-AH 0.00 736-AH 5.73 712-AH 88.97 737-AH 2.13 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MOENT2FB 713-AH 3.80 738-AH 48.12 0.8 714-AH 45.35 739-AH 79.21 0.6 715-AH 46.47 740-AH 12.63 0.4 716-AH 68.09 741-AH 27.39 0.2 Difference 717-AH 20.19 742-AH 53.85 0 718-AH 41.37 743-AH 21.43 −0.2 −0.4 719-AH 23.08 744-AH 43.65 −0.6 720-AH 91.25 745-AH 18.26 −0.8 721-AH 23.30 746-AH 12.69 −1 722-AH 33.18 747-AH 9.48 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.77 748-AH 7.51 724-AH 61.85 749-AH 30.92 725-AH 53.71 750-AH 15.90 229 cheshire 10.2415/AH-TEL-MONO-EN-CLEF2009.CHESHIRE.MOENT2FB AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.20 MOENT2FB 10 docs 48.60 90% 15 docs 45.07 80% 20 docs 42.50 30 docs 36.73 70% 100 docs 21.16 60% 200 docs 13.37 Precision 500 docs 6.82 50% 1000 docs 3.89 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.31 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8491 Minimum 0.0000 First Quartile 0.1778 Second Quartile 0.2814 Third Quartile 0.5181 Interquartile range 0.3403 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3431 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2292 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8491 5 Mean With No Outliers 0.3431 4 3 Std With No Outliers 0.2292 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MOENT2FB 0.8 701-AH 9.52 726-AH 23.81 0.6 702-AH 75.86 727-AH 0.00 0.4 703-AH 36.11 728-AH 20.00 0.2 Difference 704-AH 1.85 729-AH 15.91 0 705-AH 23.81 730-AH 38.89 −0.2 −0.4 706-AH 53.27 731-AH 51.81 −0.6 707-AH 44.83 732-AH 16.00 −0.8 708-AH 67.16 733-AH 18.03 −1 709-AH 43.33 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.78 735-AH 28.51 711-AH 0.00 736-AH 9.43 712-AH 80.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MOENT2FB 713-AH 6.38 738-AH 61.32 0.8 714-AH 54.00 739-AH 65.91 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 71.43 741-AH 25.00 0.2 Difference 717-AH 27.78 742-AH 47.06 0 718-AH 38.78 743-AH 25.00 −0.2 −0.4 719-AH 22.22 744-AH 50.00 −0.6 720-AH 84.91 745-AH 21.54 −0.8 721-AH 30.00 746-AH 22.86 −1 722-AH 46.15 747-AH 16.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 0.00 724-AH 61.90 749-AH 30.23 725-AH 53.30 750-AH 23.33 230 cheshire 10.2415/AH-TEL-MONO-EN-CLEF2009.CHESHIRE.MOENT2FB3 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,810 Pooled true Geometric Mean Average Precision 0.1184 English, French and German topics using Trec2 with Binary Preference (BPREF) 0.2431 Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.74 MOENT2FB3 10 46.92 90% 20 37.81 80% 30 32.52 40 26.85 70% 50 21.18 60% 60 17.66 Precision 70 13.63 50% 80 9.65 40% 90 7.33 30% 100 3.22 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.91 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8684 Minimum 0.0000 First Quartile 0.0651 Second Quartile 0.1476 Third Quartile 0.3287 Interquartile range 0.2635 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2291 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2195 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6351 10 Mean With No Outliers 0.1928 Std With No Outliers 0.1697 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MOENT2FB3 0.8 701-AH 4.15 726-AH 8.07 0.6 702-AH 58.01 727-AH 3.53 0.4 703-AH 32.87 728-AH 9.05 0.2 Difference 704-AH 14.80 729-AH 10.57 0 705-AH 20.36 730-AH 14.73 −0.2 −0.4 706-AH 42.22 731-AH 26.33 −0.6 707-AH 44.28 732-AH 6.51 −0.8 708-AH 27.21 733-AH 6.76 −1 709-AH 31.98 734-AH 63.51 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.74 735-AH 15.19 711-AH 0.00 736-AH 4.24 712-AH 86.84 737-AH 24.55 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MOENT2FB3 713-AH 1.72 738-AH 44.56 0.8 714-AH 7.58 739-AH 76.39 0.6 715-AH 11.80 740-AH 3.50 0.4 716-AH 12.99 741-AH 4.44 0.2 Difference 717-AH 31.67 742-AH 52.46 0 718-AH 40.50 743-AH 6.60 −0.2 −0.4 719-AH 25.10 744-AH 16.58 −0.6 720-AH 75.68 745-AH 31.99 −0.8 721-AH 23.03 746-AH 3.78 −1 722-AH 2.36 747-AH 3.60 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.77 748-AH 7.92 724-AH 48.16 749-AH 6.37 725-AH 33.22 750-AH 9.06 231 cheshire 10.2415/AH-TEL-MONO-EN-CLEF2009.CHESHIRE.MOENT2FB3 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 38.80 MOENT2FB3 10 docs 36.40 90% 15 docs 33.87 80% 20 docs 31.90 30 docs 28.87 70% 100 docs 16.64 60% 200 docs 11.00 Precision 500 docs 5.91 50% 1000 docs 3.62 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.89 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7736 Minimum 0.0000 First Quartile 0.0870 Second Quartile 0.2000 Third Quartile 0.3731 Interquartile range 0.2862 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2489 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2092 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7736 5 Mean With No Outliers 0.2489 4 3 Std With No Outliers 0.2092 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MOENT2FB3 0.8 701-AH 4.76 726-AH 15.87 0.6 702-AH 68.97 727-AH 0.00 0.4 703-AH 38.89 728-AH 10.00 0.2 Difference 704-AH 22.22 729-AH 11.36 0 705-AH 22.62 730-AH 31.11 −0.2 −0.4 706-AH 45.79 731-AH 26.51 −0.6 707-AH 44.83 732-AH 8.00 −0.8 708-AH 37.31 733-AH 13.11 −1 709-AH 36.67 734-AH 63.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 27.23 711-AH 0.00 736-AH 7.55 712-AH 70.00 737-AH 28.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MOENT2FB3 713-AH 2.13 738-AH 43.40 0.8 714-AH 12.00 739-AH 68.18 0.6 715-AH 11.76 740-AH 8.70 0.4 716-AH 9.52 741-AH 0.00 0.2 Difference 717-AH 27.78 742-AH 47.06 0 718-AH 48.98 743-AH 12.50 −0.2 −0.4 719-AH 33.33 744-AH 13.64 −0.6 720-AH 77.36 745-AH 29.23 −0.8 721-AH 20.00 746-AH 11.43 −1 722-AH 7.69 747-AH 4.86 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.26 748-AH 0.00 724-AH 47.62 749-AH 9.30 725-AH 35.38 750-AH 20.00 232 cheshire 10.2415/AH-TEL-MONO-EN-CLEF2009.CHESHIRE.MOENT2FBX AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,669 Pooled false Geometric Mean Average Precision 0.1005 English topics, with French and German translations Binary Preference (BPREF) 0.2623 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.48 MOENT2FBX 10 43.97 90% 20 34.94 80% 30 30.53 40 26.70 70% 50 20.79 60% 60 17.85 Precision 70 14.46 50% 80 10.55 40% 90 6.91 30% 100 3.18 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.24 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9622 Minimum 0.0000 First Quartile 0.0511 Second Quartile 0.1457 Third Quartile 0.3538 Interquartile range 0.3027 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2224 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2317 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7767 10 Mean With No Outliers 0.2073 Std With No Outliers 0.2078 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MOENT2FBX 0.8 701-AH 9.85 726-AH 5.11 0.6 702-AH 67.96 727-AH 5.24 0.4 703-AH 33.45 728-AH 9.55 0.2 Difference 704-AH 13.68 729-AH 3.52 0 705-AH 17.92 730-AH 4.35 −0.2 −0.4 706-AH 47.66 731-AH 28.26 −0.6 707-AH 38.13 732-AH 6.28 −0.8 708-AH 0.07 733-AH 6.44 −1 709-AH 6.28 734-AH 68.13 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.77 735-AH 12.30 711-AH 0.00 736-AH 2.79 712-AH 96.22 737-AH 9.10 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MOENT2FBX 713-AH 2.61 738-AH 45.97 0.8 714-AH 1.66 739-AH 77.67 0.6 715-AH 16.54 740-AH 1.54 0.4 716-AH 52.95 741-AH 21.00 0.2 Difference 717-AH 15.47 742-AH 35.38 0 718-AH 39.57 743-AH 3.19 −0.2 −0.4 719-AH 24.54 744-AH 16.45 −0.6 720-AH 36.82 745-AH 25.64 −0.8 721-AH 24.18 746-AH 3.75 −1 722-AH 4.06 747-AH 18.54 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.54 748-AH 15.65 724-AH 69.44 749-AH 6.89 725-AH 43.90 750-AH 7.80 233 cheshire 10.2415/AH-TEL-MONO-EN-CLEF2009.CHESHIRE.MOENT2FBX AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 35.60 MOENT2FBX 10 docs 34.00 90% 15 docs 31.20 80% 20 docs 30.60 30 docs 26.40 70% 100 docs 16.48 60% 200 docs 10.64 Precision 500 docs 5.74 50% 1000 docs 3.34 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.01 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.1026 Second Quartile 0.1983 Third Quartile 0.4483 Interquartile range 0.3457 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2701 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2178 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.9000 5 Mean With No Outliers 0.2701 4 3 Std With No Outliers 0.2178 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MOENT2FBX 0.8 701-AH 9.52 726-AH 12.70 0.6 702-AH 75.86 727-AH 12.50 0.4 703-AH 38.89 728-AH 10.00 0.2 Difference 704-AH 22.22 729-AH 18.18 0 705-AH 21.43 730-AH 12.22 −0.2 −0.4 706-AH 59.81 731-AH 30.12 −0.6 707-AH 44.83 732-AH 8.00 −0.8 708-AH 1.49 733-AH 13.11 −1 709-AH 15.56 734-AH 65.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.44 735-AH 23.40 711-AH 0.00 736-AH 7.55 712-AH 90.00 737-AH 15.56 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MOENT2FBX 713-AH 6.38 738-AH 45.28 0.8 714-AH 4.00 739-AH 68.18 0.6 715-AH 35.29 740-AH 8.70 0.4 716-AH 47.62 741-AH 25.00 0.2 Difference 717-AH 11.11 742-AH 47.06 0 718-AH 48.98 743-AH 0.00 −0.2 −0.4 719-AH 33.33 744-AH 18.18 −0.6 720-AH 45.28 745-AH 24.62 −0.8 721-AH 40.00 746-AH 11.43 −1 722-AH 10.26 747-AH 29.73 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 7.69 724-AH 66.67 749-AH 18.60 725-AH 46.23 750-AH 16.67 234 cuza 10.2415/AH-TEL-MONO-EN-CLEF2009.CUZA.RUN01 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 800 Pooled true Geometric Mean Average Precision 0.0123 First run Binary Preference (BPREF) 0.0871 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 32.16 RUN01 10 19.89 90% 20 13.99 80% 30 11.02 40 7.79 70% 50 5.45 60% 60 2.26 Precision 70 0.87 50% 80 0.52 40% 90 0.12 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 7.09 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6324 Minimum 0.0000 First Quartile 0.0051 Second Quartile 0.0210 Third Quartile 0.0949 Interquartile range 0.0898 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0709 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1165 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.2210 25 Mean With No Outliers 0.0449 20 15 Std With No Outliers 0.0635 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN01 0.8 701-AH 0.51 726-AH 0.08 0.6 702-AH 5.59 727-AH 0.89 0.4 703-AH 20.02 728-AH 2.43 0.2 Difference 704-AH 21.66 729-AH 5.41 0 705-AH 0.05 730-AH 0.11 −0.2 −0.4 706-AH 23.28 731-AH 1.04 −0.6 707-AH 31.47 732-AH 0.54 −0.8 708-AH 1.17 733-AH 0.99 −1 709-AH 3.38 734-AH 5.20 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.04 711-AH 0.98 736-AH 0.27 712-AH 29.79 737-AH 0.01 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN01 713-AH 9.14 738-AH 1.54 0.8 714-AH 0.72 739-AH 11.05 0.6 715-AH 0.99 740-AH 0.01 0.4 716-AH 3.89 741-AH 2.04 0.2 Difference 717-AH 1.20 742-AH 2.75 0 718-AH 2.28 743-AH 0.45 −0.2 −0.4 719-AH 0.02 744-AH 3.40 −0.6 720-AH 63.24 745-AH 1.11 −0.8 721-AH 11.36 746-AH 0.00 −1 722-AH 11.92 747-AH 15.83 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.07 748-AH 19.84 724-AH 22.10 749-AH 2.15 725-AH 9.49 750-AH 2.92 235 cuza 10.2415/AH-TEL-MONO-EN-CLEF2009.CUZA.RUN01 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 16.80 RUN01 10 docs 16.40 90% 15 docs 14.27 80% 20 docs 14.60 30 docs 12.73 70% 100 docs 7.08 60% 200 docs 4.70 Precision 500 docs 2.64 50% 1000 docs 1.60 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 10.76 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5849 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0476 Third Quartile 0.1667 Interquartile range 0.1667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1076 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1433 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.3846 20 Mean With No Outliers 0.0899 15 Std With No Outliers 0.1151 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN01 0.8 701-AH 4.76 726-AH 3.17 0.6 702-AH 10.34 727-AH 0.00 0.4 703-AH 33.33 728-AH 0.00 0.2 Difference 704-AH 29.63 729-AH 9.09 0 705-AH 1.19 730-AH 2.22 −0.2 −0.4 706-AH 34.58 731-AH 6.02 −0.6 707-AH 48.28 732-AH 0.00 −0.8 708-AH 0.00 733-AH 0.00 −1 709-AH 10.00 734-AH 4.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 0.00 736-AH 1.89 712-AH 30.00 737-AH 0.00 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN01 713-AH 17.02 738-AH 5.66 0.8 714-AH 2.00 739-AH 15.91 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 4.76 741-AH 8.33 0.2 Difference 717-AH 5.56 742-AH 5.88 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 9.09 −0.6 720-AH 58.49 745-AH 1.54 −0.8 721-AH 30.00 746-AH 0.00 −1 722-AH 17.95 747-AH 31.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 38.46 724-AH 23.81 749-AH 0.00 725-AH 16.51 750-AH 16.67 236 cuza 10.2415/AH-TEL-MONO-EN-CLEF2009.CUZA.RUN02 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 951 Pooled true Geometric Mean Average Precision 0.0256 Second run Binary Preference (BPREF) 0.1039 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.35 RUN02 10 25.66 90% 20 16.63 80% 30 13.15 40 10.14 70% 50 7.12 60% 60 3.88 Precision 70 1.94 50% 80 0.66 40% 90 0.35 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 8.94 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5984 Minimum 0.0001 First Quartile 0.0126 Second Quartile 0.0422 Third Quartile 0.1017 Interquartile range 0.0891 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0894 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1214 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 25 Upper Outlier Threshold 0.2286 20 Mean With No Outliers 0.0488 15 Std With No Outliers 0.0544 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN02 0.8 701-AH 1.28 726-AH 0.62 0.6 702-AH 6.28 727-AH 1.59 0.4 703-AH 22.86 728-AH 2.76 0.2 Difference 704-AH 26.69 729-AH 5.78 0 705-AH 12.22 730-AH 0.23 −0.2 −0.4 706-AH 25.86 731-AH 2.11 −0.6 707-AH 17.77 732-AH 0.60 −0.8 708-AH 2.32 733-AH 4.11 −1 709-AH 4.45 734-AH 7.03 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.01 735-AH 0.06 711-AH 5.36 736-AH 0.33 712-AH 37.79 737-AH 0.04 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN02 713-AH 9.22 738-AH 1.31 0.8 714-AH 1.26 739-AH 26.28 0.6 715-AH 4.32 740-AH 0.05 0.4 716-AH 7.00 741-AH 10.17 0.2 Difference 717-AH 2.60 742-AH 7.98 0 718-AH 5.80 743-AH 2.22 −0.2 −0.4 719-AH 0.02 744-AH 3.98 −0.6 720-AH 59.84 745-AH 3.33 −0.8 721-AH 10.05 746-AH 0.02 −1 722-AH 7.83 747-AH 28.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.18 748-AH 19.22 724-AH 32.51 749-AH 1.06 725-AH 11.39 750-AH 2.87 237 cuza 10.2415/AH-TEL-MONO-EN-CLEF2009.CUZA.RUN02 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 20.80 RUN02 10 docs 18.80 90% 15 docs 18.00 80% 20 docs 17.40 30 docs 15.60 70% 100 docs 8.64 60% 200 docs 5.80 Precision 500 docs 3.09 50% 1000 docs 1.90 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 12.77 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5849 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0976 Third Quartile 0.1840 Interquartile range 0.1840 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1277 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1397 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4595 Mean With No Outliers 0.1183 10 Std With No Outliers 0.1244 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN02 0.8 701-AH 9.52 726-AH 4.76 0.6 702-AH 10.34 727-AH 0.00 0.4 703-AH 30.56 728-AH 0.00 0.2 Difference 704-AH 33.33 729-AH 11.36 0 705-AH 27.38 730-AH 1.11 −0.2 −0.4 706-AH 36.45 731-AH 7.23 −0.6 707-AH 13.79 732-AH 0.00 −0.8 708-AH 0.00 733-AH 6.56 −1 709-AH 12.22 734-AH 15.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 0.00 736-AH 1.89 712-AH 30.00 737-AH 0.00 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN02 713-AH 14.89 738-AH 3.77 0.8 714-AH 8.00 739-AH 27.27 0.6 715-AH 17.65 740-AH 0.00 0.4 716-AH 4.76 741-AH 8.33 0.2 Difference 717-AH 5.56 742-AH 11.76 0 718-AH 0.00 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 13.64 −0.6 720-AH 58.49 745-AH 10.77 −0.8 721-AH 20.00 746-AH 0.00 −1 722-AH 20.51 747-AH 45.95 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 30.77 724-AH 42.86 749-AH 0.00 725-AH 18.40 750-AH 10.00 238 cuza 10.2415/AH-TEL-MONO-EN-CLEF2009.CUZA.RUN03 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 962 Pooled false Geometric Mean Average Precision 0.0262 Third run Binary Preference (BPREF) 0.1082 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.53 RUN03 10 25.48 90% 20 17.57 80% 30 13.59 40 10.55 70% 50 7.36 60% 60 4.34 Precision 70 1.87 50% 80 0.84 40% 90 0.36 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 9.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6295 Minimum 0.0000 First Quartile 0.0142 Second Quartile 0.0450 Third Quartile 0.1031 Interquartile range 0.0889 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0931 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1270 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.2139 20 Mean With No Outliers 0.0460 15 Std With No Outliers 0.0485 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN03 0.8 701-AH 0.68 726-AH 0.60 0.6 702-AH 8.12 727-AH 1.76 0.4 703-AH 21.39 728-AH 2.78 0.2 Difference 704-AH 27.42 729-AH 5.48 0 705-AH 12.78 730-AH 0.27 −0.2 −0.4 706-AH 31.90 731-AH 1.81 −0.6 707-AH 24.45 732-AH 0.62 −0.8 708-AH 2.21 733-AH 6.25 −1 709-AH 6.03 734-AH 6.72 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.01 735-AH 0.05 711-AH 3.77 736-AH 0.52 712-AH 39.86 737-AH 0.04 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN03 713-AH 6.36 738-AH 1.82 0.8 714-AH 1.42 739-AH 25.39 0.6 715-AH 3.86 740-AH 0.04 0.4 716-AH 6.15 741-AH 10.31 0.2 Difference 717-AH 3.41 742-AH 9.80 0 718-AH 5.40 743-AH 2.21 −0.2 −0.4 719-AH 0.05 744-AH 4.77 −0.6 720-AH 62.95 745-AH 3.50 −0.8 721-AH 10.11 746-AH 0.00 −1 722-AH 7.40 747-AH 28.41 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.13 748-AH 17.08 724-AH 31.81 749-AH 1.70 725-AH 11.43 750-AH 4.23 239 cuza 10.2415/AH-TEL-MONO-EN-CLEF2009.CUZA.RUN03 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 22.00 RUN03 10 docs 17.80 90% 15 docs 17.60 80% 20 docs 18.10 30 docs 16.67 70% 100 docs 8.96 60% 200 docs 5.88 Precision 500 docs 3.12 50% 1000 docs 1.92 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 13.51 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6038 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1094 Third Quartile 0.2000 Interquartile range 0.2000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1351 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1474 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4649 Mean With No Outliers 0.1255 10 Std With No Outliers 0.1323 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN03 0.8 701-AH 4.76 726-AH 1.59 0.6 702-AH 13.79 727-AH 0.00 0.4 703-AH 33.33 728-AH 0.00 0.2 Difference 704-AH 35.19 729-AH 11.36 0 705-AH 28.57 730-AH 1.11 −0.2 −0.4 706-AH 39.25 731-AH 7.23 −0.6 707-AH 34.48 732-AH 0.00 −0.8 708-AH 0.00 733-AH 6.56 −1 709-AH 12.22 734-AH 11.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 0.00 736-AH 1.89 712-AH 30.00 737-AH 0.00 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN03 713-AH 12.77 738-AH 4.72 0.8 714-AH 8.00 739-AH 27.27 0.6 715-AH 17.65 740-AH 0.00 0.4 716-AH 4.76 741-AH 8.33 0.2 Difference 717-AH 11.11 742-AH 11.76 0 718-AH 0.00 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 18.18 −0.6 720-AH 60.38 745-AH 10.77 −0.8 721-AH 20.00 746-AH 0.00 −1 722-AH 15.38 747-AH 46.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 30.77 724-AH 42.86 749-AH 0.00 725-AH 18.87 750-AH 20.00 240 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTD10T40 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title Relevant retrieved 1,807 Pooled true Geometric Mean Average Precision 0.1788 title, kl-divergence, pseudo feedback 40 terms Binary Preference (BPREF) 0.3465 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 79.77 MTD10T40 10 64.26 90% 20 53.32 80% 30 48.94 40 42.09 70% 50 35.88 60% 60 28.28 Precision 70 21.09 50% 80 15.10 40% 90 11.71 30% 100 4.91 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 35.03 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0844 Second Quartile 0.3141 Third Quartile 0.5737 Interquartile range 0.4893 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3503 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2753 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3503 4 3 Std With No Outliers 0.2753 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MTD10T40 0.8 701-AH 27.51 726-AH 14.35 0.6 702-AH 66.21 727-AH 4.19 0.4 703-AH 49.82 728-AH 20.40 0.2 Difference 704-AH 8.44 729-AH 6.36 0 705-AH 43.91 730-AH 4.55 −0.2 −0.4 706-AH 54.04 731-AH 6.89 −0.6 707-AH 64.46 732-AH 3.81 −0.8 708-AH 71.91 733-AH 59.80 −1 709-AH 48.82 734-AH 58.60 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.28 735-AH 7.33 711-AH 0.00 736-AH 15.03 712-AH 100.00 737-AH 3.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MTD10T40 713-AH 46.81 738-AH 59.17 0.8 714-AH 47.72 739-AH 80.81 0.6 715-AH 47.09 740-AH 7.03 0.4 716-AH 27.08 741-AH 57.37 0.2 Difference 717-AH 17.40 742-AH 53.91 0 718-AH 44.60 743-AH 36.46 −0.2 −0.4 719-AH 35.30 744-AH 59.28 −0.6 720-AH 97.44 745-AH 25.12 −0.8 721-AH 19.20 746-AH 10.25 −1 722-AH 23.64 747-AH 44.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.93 748-AH 6.02 724-AH 83.98 749-AH 1.12 725-AH 60.99 750-AH 8.48 241 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTD10T40 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.60 MTD10T40 10 docs 49.40 90% 15 docs 43.47 80% 20 docs 39.80 30 docs 37.27 70% 100 docs 22.52 60% 200 docs 13.90 Precision 500 docs 6.70 50% 1000 docs 3.61 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.18 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1053 Second Quartile 0.3254 Third Quartile 0.5510 Interquartile range 0.4458 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3618 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2642 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3618 3 Std With No Outliers 0.2642 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MTD10T40 0.8 701-AH 19.05 726-AH 31.75 0.6 702-AH 68.97 727-AH 0.00 0.4 703-AH 44.44 728-AH 25.00 0.2 Difference 704-AH 3.70 729-AH 9.09 0 705-AH 48.81 730-AH 8.89 −0.2 −0.4 706-AH 59.81 731-AH 10.84 −0.6 707-AH 65.52 732-AH 8.00 −0.8 708-AH 64.18 733-AH 60.66 −1 709-AH 47.78 734-AH 63.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 20.85 711-AH 0.00 736-AH 22.64 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MTD10T40 713-AH 57.45 738-AH 67.92 0.8 714-AH 54.00 739-AH 77.27 0.6 715-AH 52.94 740-AH 8.70 0.4 716-AH 23.81 741-AH 50.00 0.2 Difference 717-AH 11.11 742-AH 47.06 0 718-AH 55.10 743-AH 50.00 −0.2 −0.4 719-AH 33.33 744-AH 40.91 −0.6 720-AH 94.34 745-AH 23.08 −0.8 721-AH 20.00 746-AH 20.00 −1 722-AH 30.77 747-AH 47.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 71.43 749-AH 2.33 725-AH 54.72 750-AH 10.00 242 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTDD0T20 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,002 Pooled false Geometric Mean Average Precision 0.2024 td, kl-divergence Binary Preference (BPREF) 0.3466 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 80.57 MTDD0T20 10 61.14 90% 20 54.68 80% 30 47.83 40 40.97 70% 50 33.96 60% 60 27.37 Precision 70 20.08 50% 80 13.68 40% 90 10.92 30% 100 4.13 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 33.90 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1245 Second Quartile 0.2787 Third Quartile 0.5134 Interquartile range 0.3889 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3390 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2555 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3390 3 Std With No Outliers 0.2555 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MTDD0T20 0.8 701-AH 31.21 726-AH 11.03 0.6 702-AH 68.49 727-AH 7.93 0.4 703-AH 47.27 728-AH 14.76 0.2 Difference 704-AH 15.22 729-AH 4.86 0 705-AH 14.59 730-AH 24.54 −0.2 −0.4 706-AH 51.34 731-AH 42.69 −0.6 707-AH 62.42 732-AH 3.55 −0.8 708-AH 63.84 733-AH 33.34 −1 709-AH 43.61 734-AH 59.85 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 12.05 735-AH 22.47 711-AH 0.00 736-AH 6.08 712-AH 100.00 737-AH 1.81 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MTDD0T20 713-AH 35.61 738-AH 47.58 0.8 714-AH 36.66 739-AH 79.23 0.6 715-AH 42.73 740-AH 9.61 0.4 716-AH 62.61 741-AH 37.65 0.2 Difference 717-AH 21.48 742-AH 54.29 0 718-AH 38.20 743-AH 12.45 −0.2 −0.4 719-AH 24.33 744-AH 55.30 −0.6 720-AH 94.03 745-AH 18.74 −0.8 721-AH 18.94 746-AH 16.32 −1 722-AH 20.76 747-AH 17.69 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.68 748-AH 8.15 724-AH 84.97 749-AH 32.69 725-AH 64.58 750-AH 10.66 243 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTDD0T20 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 58.00 MTDD0T20 10 docs 50.40 90% 15 docs 46.00 80% 20 docs 41.30 30 docs 37.33 70% 100 docs 21.80 60% 200 docs 14.16 Precision 500 docs 7.18 50% 1000 docs 4.00 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.88 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.3278 Third Quartile 0.5333 Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3688 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2399 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3688 4 3 Std With No Outliers 0.2399 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MTDD0T20 0.8 701-AH 28.57 726-AH 20.63 0.6 702-AH 72.41 727-AH 0.00 0.4 703-AH 33.33 728-AH 20.00 0.2 Difference 704-AH 14.81 729-AH 4.55 0 705-AH 19.05 730-AH 32.22 −0.2 −0.4 706-AH 57.94 731-AH 43.37 −0.6 707-AH 65.52 732-AH 8.00 −0.8 708-AH 58.21 733-AH 39.34 −1 709-AH 53.33 734-AH 61.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 20.00 735-AH 29.36 711-AH 0.00 736-AH 9.43 712-AH 100.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MTDD0T20 713-AH 46.81 738-AH 66.98 0.8 714-AH 48.00 739-AH 68.18 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 66.67 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 44.90 743-AH 25.00 −0.2 −0.4 719-AH 33.33 744-AH 50.00 −0.6 720-AH 90.57 745-AH 23.08 −0.8 721-AH 20.00 746-AH 28.57 −1 722-AH 28.21 747-AH 20.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 7.69 724-AH 76.19 749-AH 34.88 725-AH 63.68 750-AH 13.33 244 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTDD10T20 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,153 Pooled false Geometric Mean Average Precision 0.2291 td, kl-divergence, pseudo feedback 20 terms Binary Preference (BPREF) 0.3843 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 76.00 MTDD10T20 10 63.66 90% 20 57.99 80% 30 54.61 40 48.68 70% 50 42.33 60% 60 36.54 Precision 70 27.57 50% 80 20.51 40% 90 15.18 30% 100 5.61 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 39.24 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1378 Second Quartile 0.3727 Third Quartile 0.6140 Interquartile range 0.4762 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3924 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2806 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3924 4 Std With No Outliers 0.2806 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MTDD10T20 0.8 701-AH 40.42 726-AH 11.30 0.6 702-AH 74.40 727-AH 14.02 0.4 703-AH 55.59 728-AH 14.15 0.2 Difference 704-AH 7.23 729-AH 3.47 0 705-AH 26.49 730-AH 40.87 −0.2 −0.4 706-AH 55.62 731-AH 76.04 −0.6 707-AH 65.20 732-AH 2.25 −0.8 708-AH 71.71 733-AH 33.70 −1 709-AH 42.11 734-AH 77.99 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.78 735-AH 34.12 711-AH 0.00 736-AH 10.57 712-AH 100.00 737-AH 2.87 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MTDD10T20 713-AH 41.70 738-AH 48.12 0.8 714-AH 51.71 739-AH 83.74 0.6 715-AH 50.40 740-AH 8.78 0.4 716-AH 61.40 741-AH 29.82 0.2 Difference 717-AH 13.50 742-AH 54.99 0 718-AH 51.68 743-AH 7.87 −0.2 −0.4 719-AH 33.80 744-AH 66.33 −0.6 720-AH 94.76 745-AH 14.92 −0.8 721-AH 19.37 746-AH 20.59 −1 722-AH 23.76 747-AH 46.37 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.10 748-AH 5.79 724-AH 84.96 749-AH 75.98 725-AH 70.86 750-AH 13.79 245 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTDD10T20 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 58.80 MTDD10T20 10 docs 54.40 90% 15 docs 49.73 80% 20 docs 46.20 30 docs 41.00 70% 100 docs 25.26 60% 200 docs 15.79 Precision 500 docs 8.02 50% 1000 docs 4.31 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.37 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.3803 Third Quartile 0.6269 Interquartile range 0.4269 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4037 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2634 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.4037 3 Std With No Outliers 0.2634 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MTDD10T20 0.8 701-AH 33.33 726-AH 23.81 0.6 702-AH 72.41 727-AH 12.50 0.4 703-AH 41.67 728-AH 20.00 0.2 Difference 704-AH 1.85 729-AH 9.09 0 705-AH 23.81 730-AH 33.33 −0.2 −0.4 706-AH 59.81 731-AH 75.90 −0.6 707-AH 65.52 732-AH 4.00 −0.8 708-AH 62.69 733-AH 36.07 −1 709-AH 51.11 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 20.00 735-AH 40.00 711-AH 0.00 736-AH 9.43 712-AH 100.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MTDD10T20 713-AH 51.06 738-AH 66.98 0.8 714-AH 56.00 739-AH 77.27 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 66.67 741-AH 33.33 0.2 Difference 717-AH 11.11 742-AH 52.94 0 718-AH 48.98 743-AH 12.50 −0.2 −0.4 719-AH 44.44 744-AH 50.00 −0.6 720-AH 92.45 745-AH 15.38 −0.8 721-AH 20.00 746-AH 34.29 −1 722-AH 25.64 747-AH 51.89 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 80.95 749-AH 76.74 725-AH 68.87 750-AH 23.33 246 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTDD10T40 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,151 Pooled true Geometric Mean Average Precision 0.2316 td, kl-divergence, pseudo feedback 40 terms Binary Preference (BPREF) 0.3842 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 76.16 MTDD10T40 10 64.11 90% 20 58.46 80% 30 55.17 40 48.94 70% 50 42.31 60% 60 36.79 Precision 70 28.10 50% 80 20.62 40% 90 15.32 30% 100 5.78 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 39.36 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1375 Second Quartile 0.3795 Third Quartile 0.6101 Interquartile range 0.4726 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3936 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2801 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3936 4 3 Std With No Outliers 0.2801 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MTDD10T40 0.8 701-AH 41.06 726-AH 11.19 0.6 702-AH 74.56 727-AH 14.31 0.4 703-AH 55.59 728-AH 14.49 0.2 Difference 704-AH 7.84 729-AH 4.81 0 705-AH 26.22 730-AH 40.79 −0.2 −0.4 706-AH 55.78 731-AH 74.23 −0.6 707-AH 64.68 732-AH 2.33 −0.8 708-AH 71.71 733-AH 33.91 −1 709-AH 42.37 734-AH 78.49 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.75 735-AH 34.02 711-AH 0.00 736-AH 10.75 712-AH 100.00 737-AH 2.68 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MTDD10T40 713-AH 42.48 738-AH 48.19 0.8 714-AH 51.45 739-AH 83.67 0.6 715-AH 50.55 740-AH 9.26 0.4 716-AH 61.01 741-AH 29.67 0.2 Difference 717-AH 15.04 742-AH 55.03 0 718-AH 51.68 743-AH 8.38 −0.2 −0.4 719-AH 35.11 744-AH 66.85 −0.6 720-AH 94.76 745-AH 14.94 −0.8 721-AH 19.37 746-AH 19.66 −1 722-AH 24.52 747-AH 48.13 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.00 748-AH 5.73 724-AH 85.17 749-AH 76.42 725-AH 71.03 750-AH 11.43 247 hit 10.2415/AH-TEL-MONO-EN-CLEF2009.HIT.MTDD10T40 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 58.80 MTDD10T40 10 docs 53.80 90% 15 docs 49.47 80% 20 docs 46.30 30 docs 40.93 70% 100 docs 25.36 60% 200 docs 15.84 Precision 500 docs 8.06 50% 1000 docs 4.30 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 40.51 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1667 Second Quartile 0.3887 Third Quartile 0.6269 Interquartile range 0.4602 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4051 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2646 5 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 4 Upper Outlier Threshold 1.0000 3 Mean With No Outliers 0.4051 2 Std With No Outliers 0.2646 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MTDD10T40 0.8 701-AH 33.33 726-AH 23.81 0.6 702-AH 72.41 727-AH 12.50 0.4 703-AH 41.67 728-AH 20.00 0.2 Difference 704-AH 1.85 729-AH 9.09 0 705-AH 22.62 730-AH 33.33 −0.2 −0.4 706-AH 59.81 731-AH 75.90 −0.6 707-AH 65.52 732-AH 4.00 −0.8 708-AH 62.69 733-AH 36.07 −1 709-AH 52.22 734-AH 70.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 22.22 735-AH 42.13 711-AH 0.00 736-AH 9.43 712-AH 100.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MTDD10T40 713-AH 53.19 738-AH 67.92 0.8 714-AH 58.00 739-AH 77.27 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 66.67 741-AH 33.33 0.2 Difference 717-AH 16.67 742-AH 52.94 0 718-AH 48.98 743-AH 12.50 −0.2 −0.4 719-AH 44.44 744-AH 50.00 −0.6 720-AH 92.45 745-AH 15.38 −0.8 721-AH 20.00 746-AH 34.29 −1 722-AH 25.64 747-AH 54.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 80.95 749-AH 74.42 725-AH 68.40 750-AH 13.33 248 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN10 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,988 Pooled true Geometric Mean Average Precision 0.2480 run-10-lm-Stemming_lmstem-qe_text-filter_t_sp- Binary Preference (BPREF) 0.3757 order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 78.13 RUN10 10 64.39 90% 20 59.22 80% 30 53.25 40 46.12 70% 50 38.92 60% 60 31.60 Precision 70 25.06 50% 80 20.71 40% 90 14.16 30% 100 6.06 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 38.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0080 First Quartile 0.1373 Second Quartile 0.3798 Third Quartile 0.5425 Interquartile range 0.4052 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3823 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2705 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0080 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3823 3 Std With No Outliers 0.2705 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN10 0.8 701-AH 39.01 726-AH 10.06 0.6 702-AH 83.52 727-AH 10.27 0.4 703-AH 43.53 728-AH 13.73 0.2 Difference 704-AH 2.63 729-AH 8.25 0 705-AH 26.06 730-AH 36.11 −0.2 −0.4 706-AH 69.18 731-AH 36.50 −0.6 707-AH 59.95 732-AH 2.11 −0.8 708-AH 78.49 733-AH 72.51 −1 709-AH 44.34 734-AH 71.66 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.35 735-AH 22.35 711-AH 5.56 736-AH 12.19 712-AH 100.00 737-AH 6.41 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN10 713-AH 37.96 738-AH 49.82 0.8 714-AH 39.41 739-AH 78.97 0.6 715-AH 49.37 740-AH 6.21 0.4 716-AH 62.72 741-AH 43.33 0.2 Difference 717-AH 34.51 742-AH 54.01 0 718-AH 46.27 743-AH 31.79 −0.2 −0.4 719-AH 58.66 744-AH 54.25 −0.6 720-AH 92.73 745-AH 21.23 −0.8 721-AH 15.17 746-AH 27.79 −1 722-AH 44.33 747-AH 48.98 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.85 748-AH 15.91 724-AH 84.40 749-AH 0.80 725-AH 37.99 750-AH 3.43 249 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN10 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.20 RUN10 10 docs 55.20 90% 15 docs 50.53 80% 20 docs 46.70 30 docs 41.40 70% 100 docs 23.98 60% 200 docs 14.75 Precision 500 docs 7.27 50% 1000 docs 3.98 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.01 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1905 Second Quartile 0.3819 Third Quartile 0.5510 Interquartile range 0.3605 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3901 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2562 5 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 4 Upper Outlier Threshold 1.0000 3 Mean With No Outliers 0.3901 2 Std With No Outliers 0.2562 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN10 0.8 701-AH 33.33 726-AH 19.05 0.6 702-AH 82.76 727-AH 0.00 0.4 703-AH 38.89 728-AH 20.00 0.2 Difference 704-AH 1.85 729-AH 13.64 0 705-AH 27.38 730-AH 33.33 −0.2 −0.4 706-AH 69.16 731-AH 33.73 −0.6 707-AH 48.28 732-AH 0.00 −0.8 708-AH 71.64 733-AH 72.13 −1 709-AH 47.78 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 28.51 711-AH 6.25 736-AH 15.09 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN10 713-AH 51.06 738-AH 57.55 0.8 714-AH 54.00 739-AH 68.18 0.6 715-AH 47.06 740-AH 8.70 0.4 716-AH 61.90 741-AH 50.00 0.2 Difference 717-AH 33.33 742-AH 47.06 0 718-AH 55.10 743-AH 37.50 −0.2 −0.4 719-AH 55.56 744-AH 45.45 −0.6 720-AH 88.68 745-AH 23.08 −0.8 721-AH 30.00 746-AH 37.14 −1 722-AH 41.03 747-AH 51.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 76.19 749-AH 0.00 725-AH 41.04 750-AH 6.67 250 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN11 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,095 Pooled false Geometric Mean Average Precision 0.2344 run-11-vs-Stemming_lmstem2_6grams-qe_text- Binary Preference (BPREF) 0.4062 filter_t_sp-order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 77.13 RUN11 10 67.68 90% 20 58.66 80% 30 53.03 40 47.63 70% 50 41.27 60% 60 33.90 Precision 70 30.40 50% 80 25.53 40% 90 19.37 30% 100 7.11 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.84 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0022 First Quartile 0.1022 Second Quartile 0.3735 Third Quartile 0.6882 Interquartile range 0.5859 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4084 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2993 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0022 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.4084 4 3 Std With No Outliers 0.2993 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN11 0.8 701-AH 24.62 726-AH 23.51 0.6 702-AH 84.05 727-AH 8.00 0.4 703-AH 48.06 728-AH 23.95 0.2 Difference 704-AH 0.22 729-AH 0.87 0 705-AH 36.22 730-AH 36.95 −0.2 −0.4 706-AH 70.57 731-AH 43.41 −0.6 707-AH 68.82 732-AH 1.32 −0.8 708-AH 84.85 733-AH 79.64 −1 709-AH 45.38 734-AH 80.83 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.68 735-AH 8.19 711-AH 4.07 736-AH 5.53 712-AH 100.00 737-AH 6.42 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN11 713-AH 39.29 738-AH 61.93 0.8 714-AH 35.65 739-AH 85.02 0.6 715-AH 46.44 740-AH 9.04 0.4 716-AH 76.85 741-AH 55.99 0.2 Difference 717-AH 37.74 742-AH 58.00 0 718-AH 54.91 743-AH 23.30 −0.2 −0.4 719-AH 69.76 744-AH 65.80 −0.6 720-AH 93.03 745-AH 20.70 −0.8 721-AH 20.96 746-AH 24.31 −1 722-AH 33.13 747-AH 60.18 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.74 748-AH 7.08 724-AH 83.36 749-AH 3.18 725-AH 69.30 750-AH 10.22 251 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN11 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 58.40 RUN11 10 docs 53.60 90% 15 docs 48.80 80% 20 docs 44.90 30 docs 40.80 70% 100 docs 24.38 60% 200 docs 15.63 Precision 500 docs 7.70 50% 1000 docs 4.19 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.76 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1957 Second Quartile 0.3869 Third Quartile 0.6122 Interquartile range 0.4165 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3976 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2740 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3976 4 3 Std With No Outliers 0.2740 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN11 0.8 701-AH 23.81 726-AH 38.10 0.6 702-AH 86.21 727-AH 0.00 0.4 703-AH 47.22 728-AH 20.00 0.2 Difference 704-AH 0.00 729-AH 4.55 0 705-AH 39.29 730-AH 33.33 −0.2 −0.4 706-AH 67.29 731-AH 51.81 −0.6 707-AH 51.72 732-AH 0.00 −0.8 708-AH 76.12 733-AH 75.41 −1 709-AH 48.89 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 19.57 711-AH 6.25 736-AH 9.43 712-AH 100.00 737-AH 11.11 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN11 713-AH 44.68 738-AH 61.32 0.8 714-AH 38.00 739-AH 75.00 0.6 715-AH 47.06 740-AH 4.35 0.4 716-AH 71.43 741-AH 50.00 0.2 Difference 717-AH 33.33 742-AH 58.82 0 718-AH 61.22 743-AH 25.00 −0.2 −0.4 719-AH 55.56 744-AH 54.55 −0.6 720-AH 83.02 745-AH 20.00 −0.8 721-AH 20.00 746-AH 34.29 −1 722-AH 35.90 747-AH 54.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 0.00 724-AH 76.19 749-AH 0.00 725-AH 61.79 750-AH 13.33 252 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN12 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,960 Pooled false Geometric Mean Average Precision 0.2263 run-12-lm-Stemming_lmstem2_6grams-qe_text- Binary Preference (BPREF) 0.3897 filter_t_sp-order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.79 RUN12 10 66.50 90% 20 58.69 80% 30 53.67 40 48.87 70% 50 41.79 60% 60 32.05 Precision 70 25.72 50% 80 19.25 40% 90 15.02 30% 100 5.80 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 39.06 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0027 First Quartile 0.1352 Second Quartile 0.4002 Third Quartile 0.5793 Interquartile range 0.4441 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3906 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2805 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0027 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3906 3 Std With No Outliers 0.2805 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN12 0.8 701-AH 30.72 726-AH 20.70 0.6 702-AH 82.25 727-AH 7.43 0.4 703-AH 51.50 728-AH 15.23 0.2 Difference 704-AH 2.05 729-AH 1.40 0 705-AH 35.14 730-AH 29.26 −0.2 −0.4 706-AH 66.68 731-AH 41.04 −0.6 707-AH 61.37 732-AH 0.60 −0.8 708-AH 69.38 733-AH 71.16 −1 709-AH 37.24 734-AH 79.42 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.27 735-AH 0.79 711-AH 5.97 736-AH 5.47 712-AH 100.00 737-AH 7.41 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN12 713-AH 50.91 738-AH 44.06 0.8 714-AH 40.66 739-AH 78.26 0.6 715-AH 45.97 740-AH 13.52 0.4 716-AH 73.30 741-AH 50.64 0.2 Difference 717-AH 45.07 742-AH 57.93 0 718-AH 48.05 743-AH 39.38 −0.2 −0.4 719-AH 57.32 744-AH 53.92 −0.6 720-AH 96.67 745-AH 19.88 −0.8 721-AH 21.80 746-AH 21.01 −1 722-AH 33.62 747-AH 54.11 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 11.90 748-AH 7.93 724-AH 82.30 749-AH 2.60 725-AH 64.62 750-AH 15.17 253 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN12 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.60 RUN12 10 docs 52.80 90% 15 docs 47.07 80% 20 docs 44.20 30 docs 40.20 70% 100 docs 23.22 60% 200 docs 14.53 Precision 500 docs 7.29 50% 1000 docs 3.92 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.66 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4278 Third Quartile 0.5532 Interquartile range 0.3532 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3966 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2536 5 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 4 Upper Outlier Threshold 1.0000 3 Mean With No Outliers 0.3966 2 Std With No Outliers 0.2536 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN12 0.8 701-AH 28.57 726-AH 31.75 0.6 702-AH 79.31 727-AH 12.50 0.4 703-AH 47.22 728-AH 25.00 0.2 Difference 704-AH 9.26 729-AH 2.27 0 705-AH 36.90 730-AH 27.78 −0.2 −0.4 706-AH 69.16 731-AH 48.19 −0.6 707-AH 65.52 732-AH 0.00 −0.8 708-AH 62.69 733-AH 72.13 −1 709-AH 41.11 734-AH 72.73 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 5.11 711-AH 6.25 736-AH 20.75 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN12 713-AH 55.32 738-AH 53.77 0.8 714-AH 50.00 739-AH 70.45 0.6 715-AH 47.06 740-AH 17.39 0.4 716-AH 61.90 741-AH 50.00 0.2 Difference 717-AH 44.44 742-AH 52.94 0 718-AH 55.10 743-AH 37.50 −0.2 −0.4 719-AH 44.44 744-AH 45.45 −0.6 720-AH 92.45 745-AH 23.08 −0.8 721-AH 20.00 746-AH 20.00 −1 722-AH 41.03 747-AH 51.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 61.90 749-AH 0.00 725-AH 61.32 750-AH 26.67 254 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN9 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,039 Pooled true Geometric Mean Average Precision 0.2411 run-9-vs-Stemming_lmstem-qe_text-filter_t_sp- Binary Preference (BPREF) 0.3678 order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.27 RUN9 10 63.36 90% 20 55.58 80% 30 49.71 40 44.69 70% 50 37.60 60% 60 31.03 Precision 70 26.27 50% 80 20.31 40% 90 13.53 30% 100 5.17 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.75 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9833 Minimum 0.0083 First Quartile 0.0972 Second Quartile 0.3255 Third Quartile 0.5220 Interquartile range 0.4247 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3675 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2706 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0083 6 Upper Outlier Threshold 0.9833 5 Mean With No Outliers 0.3675 4 3 Std With No Outliers 0.2706 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN9 0.8 701-AH 33.83 726-AH 8.02 0.6 702-AH 75.06 727-AH 8.77 0.4 703-AH 44.31 728-AH 24.63 0.2 Difference 704-AH 0.83 729-AH 7.63 0 705-AH 23.25 730-AH 31.67 −0.2 −0.4 706-AH 71.26 731-AH 52.20 −0.6 707-AH 65.64 732-AH 1.80 −0.8 708-AH 75.44 733-AH 76.75 −1 709-AH 49.79 734-AH 72.99 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.54 735-AH 19.11 711-AH 4.38 736-AH 8.43 712-AH 98.33 737-AH 8.43 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN9 713-AH 22.75 738-AH 32.80 0.8 714-AH 32.58 739-AH 79.03 0.6 715-AH 50.45 740-AH 5.47 0.4 716-AH 49.63 741-AH 36.83 0.2 Difference 717-AH 27.64 742-AH 47.60 0 718-AH 51.79 743-AH 15.27 −0.2 −0.4 719-AH 63.59 744-AH 61.35 −0.6 720-AH 86.05 745-AH 19.42 −0.8 721-AH 8.22 746-AH 24.27 −1 722-AH 32.53 747-AH 41.45 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 18.32 748-AH 9.72 724-AH 87.57 749-AH 22.19 725-AH 41.77 750-AH 4.06 255 inesc 10.2415/AH-TEL-MONO-EN-CLEF2009.INESC.RUN9 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.60 RUN9 10 docs 52.00 90% 15 docs 47.33 80% 20 docs 44.30 30 docs 39.13 70% 100 docs 23.14 60% 200 docs 14.92 Precision 500 docs 7.42 50% 1000 docs 4.08 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.69 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.1887 Second Quartile 0.3684 Third Quartile 0.5301 Interquartile range 0.3414 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3769 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2465 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.9000 5 Mean With No Outliers 0.3769 4 3 Std With No Outliers 0.2465 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN9 0.8 701-AH 33.33 726-AH 15.87 0.6 702-AH 75.86 727-AH 0.00 0.4 703-AH 38.89 728-AH 20.00 0.2 Difference 704-AH 1.85 729-AH 11.36 0 705-AH 20.24 730-AH 34.44 −0.2 −0.4 706-AH 67.29 731-AH 53.01 −0.6 707-AH 48.28 732-AH 0.00 −0.8 708-AH 74.63 733-AH 70.49 −1 709-AH 53.33 734-AH 79.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 30.64 711-AH 6.25 736-AH 18.87 712-AH 90.00 737-AH 15.56 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN9 713-AH 36.17 738-AH 46.23 0.8 714-AH 42.00 739-AH 68.18 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 47.62 741-AH 50.00 0.2 Difference 717-AH 22.22 742-AH 47.06 0 718-AH 57.14 743-AH 37.50 −0.2 −0.4 719-AH 55.56 744-AH 45.45 −0.6 720-AH 79.25 745-AH 23.08 −0.8 721-AH 0.00 746-AH 34.29 −1 722-AH 35.90 747-AH 46.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 7.69 724-AH 80.95 749-AH 30.23 725-AH 45.28 750-AH 3.33 256 karlsruhe 10.2415/AH-TEL-MONO-EN-CLEF2009.KARLSRUHE.INDEXALL AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,934 Pooled true Geometric Mean Average Precision 0.2420 IR with multiple indexes and aggregated scores Binary Preference (BPREF) 0.3355 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 81.00 INDEXALL 10 62.13 90% 20 54.00 80% 30 48.71 40 40.45 70% 50 31.04 60% 60 25.40 Precision 70 20.25 50% 80 13.20 40% 90 8.54 30% 100 1.54 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 32.87 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9475 Minimum 0.0360 First Quartile 0.1287 Second Quartile 0.2926 Third Quartile 0.5227 Interquartile range 0.3940 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3287 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2288 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0360 5 Upper Outlier Threshold 0.9475 4 Mean With No Outliers 0.3287 3 Std With No Outliers 0.2288 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALL 0.8 701-AH 27.84 726-AH 8.51 0.6 702-AH 52.27 727-AH 7.94 0.4 703-AH 54.25 728-AH 20.09 0.2 Difference 704-AH 18.75 729-AH 4.06 0 705-AH 11.51 730-AH 27.77 −0.2 −0.4 706-AH 58.44 731-AH 57.07 −0.6 707-AH 62.65 732-AH 5.05 −0.8 708-AH 69.81 733-AH 39.07 −1 709-AH 42.30 734-AH 34.11 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 12.28 735-AH 23.71 711-AH 34.46 736-AH 4.51 712-AH 70.00 737-AH 3.60 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) INDEXALL 713-AH 40.32 738-AH 22.32 0.8 714-AH 39.45 739-AH 79.79 0.6 715-AH 35.54 740-AH 7.66 0.4 716-AH 36.72 741-AH 38.95 0.2 Difference 717-AH 15.56 742-AH 52.36 0 718-AH 30.68 743-AH 12.87 −0.2 −0.4 719-AH 25.32 744-AH 61.42 −0.6 720-AH 94.75 745-AH 20.91 −0.8 721-AH 18.63 746-AH 15.77 −1 722-AH 34.28 747-AH 16.24 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.46 748-AH 8.02 724-AH 65.96 749-AH 37.75 725-AH 66.71 750-AH 5.01 257 karlsruhe 10.2415/AH-TEL-MONO-EN-CLEF2009.KARLSRUHE.INDEXALL AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 53.20 INDEXALL 10 docs 49.60 90% 15 docs 46.53 80% 20 docs 43.80 30 docs 39.53 70% 100 docs 22.06 60% 200 docs 14.10 Precision 500 docs 6.91 50% 1000 docs 3.87 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.50 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9057 Minimum 0.0000 First Quartile 0.1892 Second Quartile 0.3468 Third Quartile 0.5106 Interquartile range 0.3214 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3650 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2093 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 0.9057 4 Mean With No Outliers 0.3650 3 Std With No Outliers 0.2093 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALL 0.8 701-AH 28.57 726-AH 22.22 0.6 702-AH 51.72 727-AH 0.00 0.4 703-AH 44.44 728-AH 30.00 0.2 Difference 704-AH 18.52 729-AH 9.09 0 705-AH 20.24 730-AH 32.22 −0.2 −0.4 706-AH 60.75 731-AH 61.45 −0.6 707-AH 65.52 732-AH 16.00 −0.8 708-AH 65.67 733-AH 40.98 −1 709-AH 46.67 734-AH 45.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 15.56 735-AH 34.47 711-AH 37.50 736-AH 11.32 712-AH 70.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) INDEXALL 713-AH 51.06 738-AH 35.85 0.8 714-AH 48.00 739-AH 70.45 0.6 715-AH 47.06 740-AH 8.70 0.4 716-AH 42.86 741-AH 33.33 0.2 Difference 717-AH 16.67 742-AH 52.94 0 718-AH 40.82 743-AH 12.50 −0.2 −0.4 719-AH 33.33 744-AH 54.55 −0.6 720-AH 90.57 745-AH 27.69 −0.8 721-AH 10.00 746-AH 25.71 −1 722-AH 41.03 747-AH 18.92 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 71.43 749-AH 34.88 725-AH 67.45 750-AH 20.00 258 karlsruhe 10.2415/AH-TEL-MONO-EN-CLEF2009.KARLSRUHE.INDEXALLESA AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,948 Pooled true Geometric Mean Average Precision 0.2462 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.3384 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 79.49 INDEXALLESA 10 66.45 90% 20 55.52 80% 30 48.13 40 41.31 70% 50 32.56 60% 60 25.83 Precision 70 20.04 50% 80 12.35 40% 90 7.72 30% 100 1.09 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 33.43 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9545 Minimum 0.0288 First Quartile 0.1846 Second Quartile 0.2807 Third Quartile 0.5001 Interquartile range 0.3155 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3343 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2262 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0288 6 Upper Outlier Threshold 0.9545 5 Mean With No Outliers 0.3343 4 3 Std With No Outliers 0.2262 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALLESA 0.8 701-AH 22.45 726-AH 5.83 0.6 702-AH 46.60 727-AH 5.30 0.4 703-AH 57.81 728-AH 20.38 0.2 Difference 704-AH 39.28 729-AH 6.68 0 705-AH 26.56 730-AH 26.62 −0.2 −0.4 706-AH 50.80 731-AH 59.37 −0.6 707-AH 62.29 732-AH 2.88 −0.8 708-AH 70.40 733-AH 50.73 −1 709-AH 40.40 734-AH 41.25 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 11.90 735-AH 24.70 711-AH 22.70 736-AH 3.03 712-AH 70.00 737-AH 4.49 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) INDEXALLESA 713-AH 37.68 738-AH 18.46 0.8 714-AH 37.11 739-AH 78.08 0.6 715-AH 32.27 740-AH 6.66 0.4 716-AH 37.20 741-AH 35.28 0.2 Difference 717-AH 23.57 742-AH 52.89 0 718-AH 23.05 743-AH 16.61 −0.2 −0.4 719-AH 22.18 744-AH 50.01 −0.6 720-AH 95.45 745-AH 19.96 −0.8 721-AH 21.47 746-AH 19.29 −1 722-AH 39.56 747-AH 29.52 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 9.33 748-AH 7.06 724-AH 72.29 749-AH 39.40 725-AH 67.59 750-AH 7.27 259 karlsruhe 10.2415/AH-TEL-MONO-EN-CLEF2009.KARLSRUHE.INDEXALLESA AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.20 INDEXALLESA 10 docs 51.80 90% 15 docs 47.20 80% 20 docs 44.60 30 docs 39.33 70% 100 docs 22.70 60% 200 docs 14.51 Precision 500 docs 7.00 50% 1000 docs 3.90 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.58 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9057 Minimum 0.0000 First Quartile 0.2222 Second Quartile 0.3333 Third Quartile 0.4800 Interquartile range 0.2578 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3658 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2023 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7045 5 Mean With No Outliers 0.3548 4 3 Std With No Outliers 0.1887 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALLESA 0.8 701-AH 33.33 726-AH 17.46 0.6 702-AH 41.38 727-AH 0.00 0.4 703-AH 44.44 728-AH 30.00 0.2 Difference 704-AH 37.04 729-AH 11.36 0 705-AH 21.43 730-AH 33.33 −0.2 −0.4 706-AH 59.81 731-AH 62.65 −0.6 707-AH 65.52 732-AH 8.00 −0.8 708-AH 67.16 733-AH 45.90 −1 709-AH 50.00 734-AH 40.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 15.56 735-AH 31.06 711-AH 25.00 736-AH 11.32 712-AH 70.00 737-AH 11.11 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) INDEXALLESA 713-AH 53.19 738-AH 29.25 0.8 714-AH 48.00 739-AH 70.45 0.6 715-AH 41.18 740-AH 4.35 0.4 716-AH 42.86 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 36.73 743-AH 25.00 −0.2 −0.4 719-AH 33.33 744-AH 40.91 −0.6 720-AH 90.57 745-AH 27.69 −0.8 721-AH 20.00 746-AH 31.43 −1 722-AH 43.59 747-AH 36.22 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 66.67 749-AH 32.56 725-AH 66.51 750-AH 20.00 260 karlsruhe 10.2415/AH-TEL-MONO-EN-CLEF2009.KARLSRUHE.INDEXBL AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,020 Pooled false Geometric Mean Average Precision 0.2588 Baseline using standard IR single index Binary Preference (BPREF) 0.3508 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 83.02 INDEXBL 10 62.55 90% 20 54.43 80% 30 49.67 40 41.35 70% 50 34.10 60% 60 28.20 Precision 70 20.83 50% 80 15.13 40% 90 11.37 30% 100 4.09 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.80 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0305 First Quartile 0.1518 Second Quartile 0.3046 Third Quartile 0.5256 Interquartile range 0.3739 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3480 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2440 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0305 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3480 3 Std With No Outliers 0.2440 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries INDEXBL 0.8 701-AH 28.18 726-AH 10.21 0.6 702-AH 52.56 727-AH 7.08 0.4 703-AH 53.82 728-AH 22.91 0.2 Difference 704-AH 18.59 729-AH 6.59 0 705-AH 11.30 730-AH 27.09 −0.2 −0.4 706-AH 58.46 731-AH 57.11 −0.6 707-AH 63.62 732-AH 5.29 −0.8 708-AH 71.87 733-AH 38.59 −1 709-AH 42.80 734-AH 29.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 12.40 735-AH 24.40 711-AH 34.75 736-AH 4.31 712-AH 100.00 737-AH 3.05 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) INDEXBL 713-AH 37.20 738-AH 46.78 0.8 714-AH 35.03 739-AH 80.71 0.6 715-AH 41.45 740-AH 8.43 0.4 716-AH 55.95 741-AH 39.08 0.2 Difference 717-AH 17.45 742-AH 52.39 0 718-AH 31.01 743-AH 13.01 −0.2 −0.4 719-AH 25.33 744-AH 61.38 −0.6 720-AH 95.50 745-AH 20.84 −0.8 721-AH 18.55 746-AH 15.38 −1 722-AH 31.79 747-AH 15.18 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.67 748-AH 7.93 724-AH 71.59 749-AH 37.58 725-AH 66.65 750-AH 18.16 261 karlsruhe 10.2415/AH-TEL-MONO-EN-CLEF2009.KARLSRUHE.INDEXBL AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 56.00 INDEXBL 10 docs 51.20 90% 15 docs 46.40 80% 20 docs 45.00 30 docs 39.40 70% 100 docs 23.08 60% 200 docs 14.60 Precision 500 docs 7.23 50% 1000 docs 4.04 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.80 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1852 Second Quartile 0.3468 Third Quartile 0.5294 Interquartile range 0.3442 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3780 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2261 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3780 3 Std With No Outliers 0.2261 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries INDEXBL 0.8 701-AH 28.57 726-AH 22.22 0.6 702-AH 51.72 727-AH 0.00 0.4 703-AH 44.44 728-AH 35.00 0.2 Difference 704-AH 18.52 729-AH 11.36 0 705-AH 17.86 730-AH 32.22 −0.2 −0.4 706-AH 60.75 731-AH 61.45 −0.6 707-AH 65.52 732-AH 16.00 −0.8 708-AH 65.67 733-AH 44.26 −1 709-AH 46.67 734-AH 29.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 15.56 735-AH 34.47 711-AH 37.50 736-AH 11.32 712-AH 100.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) INDEXBL 713-AH 46.81 738-AH 62.26 0.8 714-AH 48.00 739-AH 70.45 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 66.67 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 52.94 0 718-AH 38.78 743-AH 12.50 −0.2 −0.4 719-AH 33.33 744-AH 54.55 −0.6 720-AH 90.57 745-AH 23.08 −0.8 721-AH 10.00 746-AH 25.71 −1 722-AH 38.46 747-AH 13.51 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 66.67 749-AH 34.88 725-AH 67.45 750-AH 26.67 262 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09T AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 46,023 Source Language English Relevant 2,527 Topic Fields title Relevant retrieved 1,767 Pooled true Geometric Mean Average Precision 0.1779 title-only, inflectional stemmer Binary Preference (BPREF) 0.2934 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.90 OTEN09T 10 57.31 90% 20 45.97 80% 30 38.66 40 33.34 70% 50 28.55 60% 60 21.56 Precision 70 16.45 50% 80 13.20 40% 90 10.50 30% 100 4.87 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.61 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0023 First Quartile 0.0951 Second Quartile 0.2508 Third Quartile 0.3682 Interquartile range 0.2732 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2861 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2369 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0023 6 Upper Outlier Threshold 0.7516 5 Mean With No Outliers 0.2581 4 3 Std With No Outliers 0.1961 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09T 0.8 701-AH 32.37 726-AH 15.00 0.6 702-AH 36.82 727-AH 3.87 0.4 703-AH 40.78 728-AH 23.96 0.2 Difference 704-AH 7.57 729-AH 7.02 0 705-AH 52.81 730-AH 7.17 −0.2 −0.4 706-AH 72.37 731-AH 5.60 −0.6 707-AH 48.39 732-AH 5.44 −0.8 708-AH 75.16 733-AH 26.57 −1 709-AH 32.45 734-AH 24.19 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.23 735-AH 1.11 711-AH 30.71 736-AH 12.56 712-AH 100.00 737-AH 2.20 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTEN09T 713-AH 31.80 738-AH 33.59 0.8 714-AH 28.96 739-AH 63.23 0.6 715-AH 28.20 740-AH 10.37 0.4 716-AH 19.71 741-AH 57.51 0.2 Difference 717-AH 14.25 742-AH 28.37 0 718-AH 35.00 743-AH 25.96 −0.2 −0.4 719-AH 28.32 744-AH 56.69 −0.6 720-AH 91.43 745-AH 20.08 −0.8 721-AH 18.69 746-AH 9.20 −1 722-AH 18.83 747-AH 18.56 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 4.06 748-AH 9.51 724-AH 42.86 749-AH 1.42 725-AH 58.15 750-AH 11.28 263 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09T AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 47.60 OTEN09T 10 docs 41.80 90% 15 docs 38.80 80% 20 docs 35.80 30 docs 32.40 70% 100 docs 18.82 60% 200 docs 12.28 Precision 500 docs 6.52 50% 1000 docs 3.53 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 31.85 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1556 Second Quartile 0.2929 Third Quartile 0.4694 Interquartile range 0.3138 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3185 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2269 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 0.8868 4 Mean With No Outliers 0.3046 3 Std With No Outliers 0.2066 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09T 0.8 701-AH 28.57 726-AH 26.98 0.6 702-AH 41.38 727-AH 0.00 0.4 703-AH 30.56 728-AH 40.00 0.2 Difference 704-AH 3.70 729-AH 6.82 0 705-AH 63.10 730-AH 15.56 −0.2 −0.4 706-AH 65.42 731-AH 8.43 −0.6 707-AH 65.52 732-AH 12.00 −0.8 708-AH 67.16 733-AH 32.79 −1 709-AH 34.44 734-AH 22.73 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 6.38 711-AH 31.25 736-AH 16.98 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTEN09T 713-AH 48.94 738-AH 26.42 0.8 714-AH 48.00 739-AH 54.55 0.6 715-AH 41.18 740-AH 8.70 0.4 716-AH 19.05 741-AH 58.33 0.2 Difference 717-AH 11.11 742-AH 41.18 0 718-AH 46.94 743-AH 37.50 −0.2 −0.4 719-AH 33.33 744-AH 50.00 −0.6 720-AH 88.68 745-AH 20.00 −0.8 721-AH 20.00 746-AH 22.86 −1 722-AH 20.51 747-AH 24.32 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 0.00 724-AH 38.10 749-AH 4.65 725-AH 51.42 750-AH 30.00 264 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09TD AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,922 Pooled false Geometric Mean Average Precision 0.2277 same as otEN09t except both title and description Binary Preference (BPREF) 0.3270 fields used Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 80.39 OTEN09TD 10 60.35 90% 20 48.33 80% 30 42.49 40 35.60 70% 50 30.83 60% 60 25.42 Precision 70 21.05 50% 80 15.82 40% 90 9.81 30% 100 4.71 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 31.60 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0233 First Quartile 0.1029 Second Quartile 0.2473 Third Quartile 0.4835 Interquartile range 0.3806 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3160 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2438 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0233 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3160 4 Std With No Outliers 0.2438 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09TD 0.8 701-AH 24.33 726-AH 9.34 0.6 702-AH 75.66 727-AH 8.94 0.4 703-AH 45.58 728-AH 22.17 0.2 Difference 704-AH 8.64 729-AH 4.68 0 705-AH 14.19 730-AH 30.99 −0.2 −0.4 706-AH 72.57 731-AH 48.35 −0.6 707-AH 49.97 732-AH 9.52 −0.8 708-AH 67.49 733-AH 17.74 −1 709-AH 37.59 734-AH 55.86 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 6.82 735-AH 6.34 711-AH 34.01 736-AH 5.76 712-AH 100.00 737-AH 2.33 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTEN09TD 713-AH 29.56 738-AH 34.64 0.8 714-AH 24.13 739-AH 72.08 0.6 715-AH 33.95 740-AH 10.98 0.4 716-AH 57.94 741-AH 25.39 0.2 Difference 717-AH 9.96 742-AH 21.32 0 718-AH 19.76 743-AH 17.06 −0.2 −0.4 719-AH 28.58 744-AH 59.13 −0.6 720-AH 90.63 745-AH 19.17 −0.8 721-AH 19.07 746-AH 25.12 −1 722-AH 27.23 747-AH 12.01 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.29 748-AH 7.85 724-AH 60.77 749-AH 35.54 725-AH 59.32 750-AH 9.65 265 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09TD AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.20 OTEN09TD 10 docs 48.00 90% 15 docs 44.93 80% 20 docs 41.30 30 docs 37.07 70% 100 docs 20.80 60% 200 docs 13.41 Precision 500 docs 6.76 50% 1000 docs 3.84 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.35 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1617 Second Quartile 0.3063 Third Quartile 0.4706 Interquartile range 0.3089 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3435 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2284 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 0.8868 4 Mean With No Outliers 0.3301 3 Std With No Outliers 0.2099 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09TD 0.8 701-AH 23.81 726-AH 20.63 0.6 702-AH 82.76 727-AH 12.50 0.4 703-AH 36.11 728-AH 30.00 0.2 Difference 704-AH 3.70 729-AH 9.09 0 705-AH 22.62 730-AH 36.67 −0.2 −0.4 706-AH 65.42 731-AH 50.60 −0.6 707-AH 65.52 732-AH 16.00 −0.8 708-AH 61.19 733-AH 19.67 −1 709-AH 40.00 734-AH 50.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 15.56 735-AH 16.17 711-AH 31.25 736-AH 9.43 712-AH 100.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTEN09TD 713-AH 34.04 738-AH 29.25 0.8 714-AH 40.00 739-AH 61.36 0.6 715-AH 47.06 740-AH 8.70 0.4 716-AH 66.67 741-AH 33.33 0.2 Difference 717-AH 16.67 742-AH 23.53 0 718-AH 34.69 743-AH 12.50 −0.2 −0.4 719-AH 33.33 744-AH 54.55 −0.6 720-AH 88.68 745-AH 20.00 −0.8 721-AH 10.00 746-AH 28.57 −1 722-AH 41.03 747-AH 15.68 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 42.86 749-AH 46.51 725-AH 58.96 750-AH 20.00 266 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09TDE AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,036 Pooled false Geometric Mean Average Precision 0.2463 blind feedback based on top-3 rows of otEN09td Binary Preference (BPREF) 0.3565 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 79.23 OTEN09TDE 10 62.79 90% 20 55.05 80% 30 47.67 40 39.35 70% 50 33.36 60% 60 27.39 Precision 70 23.90 50% 80 18.67 40% 90 13.08 30% 100 5.67 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.61 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0287 First Quartile 0.1713 Second Quartile 0.2780 Third Quartile 0.4598 Interquartile range 0.2885 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3461 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2537 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0287 8 Upper Outlier Threshold 0.7615 6 Mean With No Outliers 0.3203 4 Std With No Outliers 0.2239 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09TDE 0.8 701-AH 20.64 726-AH 7.33 0.6 702-AH 76.15 727-AH 9.49 0.4 703-AH 45.98 728-AH 27.00 0.2 Difference 704-AH 5.45 729-AH 6.95 0 705-AH 26.60 730-AH 40.28 −0.2 −0.4 706-AH 74.57 731-AH 37.79 −0.6 707-AH 57.63 732-AH 6.27 −0.8 708-AH 73.14 733-AH 37.76 −1 709-AH 40.32 734-AH 72.38 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.51 735-AH 5.28 711-AH 30.31 736-AH 2.87 712-AH 100.00 737-AH 3.73 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTEN09TDE 713-AH 22.95 738-AH 34.08 0.8 714-AH 35.35 739-AH 73.82 0.6 715-AH 41.13 740-AH 9.64 0.4 716-AH 64.82 741-AH 28.40 0.2 Difference 717-AH 7.45 742-AH 27.21 0 718-AH 26.29 743-AH 22.56 −0.2 −0.4 719-AH 35.35 744-AH 67.42 −0.6 720-AH 92.79 745-AH 17.13 −0.8 721-AH 21.41 746-AH 23.70 −1 722-AH 38.49 747-AH 22.02 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 17.93 748-AH 6.44 724-AH 68.49 749-AH 39.51 725-AH 55.14 750-AH 17.47 267 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09TDE AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 55.60 OTEN09TDE 10 docs 51.00 90% 15 docs 48.13 80% 20 docs 43.90 30 docs 38.40 70% 100 docs 21.06 60% 200 docs 13.87 Precision 500 docs 7.17 50% 1000 docs 4.07 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.97 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1692 Second Quartile 0.3499 Third Quartile 0.5000 Interquartile range 0.3308 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3697 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2385 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 0.8868 4 Mean With No Outliers 0.3568 3 Std With No Outliers 0.2228 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09TDE 0.8 701-AH 19.05 726-AH 15.87 0.6 702-AH 82.76 727-AH 12.50 0.4 703-AH 41.67 728-AH 40.00 0.2 Difference 704-AH 1.85 729-AH 13.64 0 705-AH 25.00 730-AH 31.11 −0.2 −0.4 706-AH 71.03 731-AH 38.55 −0.6 707-AH 62.07 732-AH 8.00 −0.8 708-AH 67.16 733-AH 40.98 −1 709-AH 40.00 734-AH 72.73 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.33 735-AH 16.17 711-AH 25.00 736-AH 7.55 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTEN09TDE 713-AH 31.91 738-AH 30.19 0.8 714-AH 50.00 739-AH 65.91 0.6 715-AH 41.18 740-AH 8.70 0.4 716-AH 71.43 741-AH 41.67 0.2 Difference 717-AH 5.56 742-AH 35.29 0 718-AH 34.69 743-AH 37.50 −0.2 −0.4 719-AH 33.33 744-AH 54.55 −0.6 720-AH 88.68 745-AH 16.92 −0.8 721-AH 20.00 746-AH 28.57 −1 722-AH 48.72 747-AH 36.22 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 0.00 724-AH 61.90 749-AH 39.53 725-AH 59.91 750-AH 30.00 268 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09TDZ AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,917 Pooled true Geometric Mean Average Precision 0.1590 depth-10000 sampling run (orig ranks in first 5 Binary Preference (BPREF) 0.2111 decimal places of rsv) Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 79.97 OTEN09TDZ 10 54.59 90% 20 35.56 80% 30 25.74 40 17.36 70% 50 15.20 60% 60 13.67 Precision 70 12.12 50% 80 10.07 40% 90 7.04 30% 100 4.28 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.60 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0195 First Quartile 0.0940 Second Quartile 0.1656 Third Quartile 0.2836 Interquartile range 0.1895 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2160 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1760 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0195 8 Upper Outlier Threshold 0.4825 6 Mean With No Outliers 0.2000 4 Std With No Outliers 0.1362 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09TDZ 0.8 701-AH 16.56 726-AH 4.80 0.6 702-AH 37.45 727-AH 5.37 0.4 703-AH 37.80 728-AH 12.28 0.2 Difference 704-AH 7.79 729-AH 3.89 0 705-AH 10.06 730-AH 21.89 −0.2 −0.4 706-AH 48.25 731-AH 27.60 −0.6 707-AH 24.70 732-AH 6.87 −0.8 708-AH 40.39 733-AH 14.37 −1 709-AH 24.60 734-AH 29.74 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.68 735-AH 5.53 711-AH 28.36 736-AH 5.64 712-AH 100.00 737-AH 1.95 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTEN09TDZ 713-AH 22.13 738-AH 22.33 0.8 714-AH 13.95 739-AH 48.18 0.6 715-AH 26.76 740-AH 9.60 0.4 716-AH 34.62 741-AH 19.62 0.2 Difference 717-AH 7.07 742-AH 16.56 0 718-AH 10.59 743-AH 10.95 −0.2 −0.4 719-AH 24.94 744-AH 42.80 −0.6 720-AH 46.24 745-AH 15.01 −0.8 721-AH 13.97 746-AH 18.50 −1 722-AH 16.33 747-AH 9.90 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 7.46 748-AH 4.48 724-AH 39.83 749-AH 21.17 725-AH 46.84 750-AH 9.40 269 opentext 10.2415/AH-TEL-MONO-EN-CLEF2009.OPENTEXT.OTEN09TDZ AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.20 OTEN09TDZ 10 docs 48.00 90% 15 docs 39.07 80% 20 docs 31.20 30 docs 21.93 70% 100 docs 9.06 60% 200 docs 12.01 Precision 500 docs 6.68 50% 1000 docs 3.83 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 21.61 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0222 First Quartile 0.1111 Second Quartile 0.1796 Third Quartile 0.3056 Interquartile range 0.1944 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2161 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1617 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0222 8 Upper Outlier Threshold 0.5425 6 Mean With No Outliers 0.2001 4 Std With No Outliers 0.1168 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTEN09TDZ 0.8 701-AH 14.29 726-AH 4.76 0.6 702-AH 34.48 727-AH 12.50 0.4 703-AH 30.56 728-AH 20.00 0.2 Difference 704-AH 5.56 729-AH 2.27 0 705-AH 10.71 730-AH 17.78 −0.2 −0.4 706-AH 30.84 731-AH 19.28 −0.6 707-AH 20.69 732-AH 8.00 −0.8 708-AH 29.85 733-AH 13.11 −1 709-AH 11.11 734-AH 25.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 15.74 711-AH 31.25 736-AH 11.32 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTEN09TDZ 713-AH 23.40 738-AH 17.92 0.8 714-AH 18.00 739-AH 43.18 0.6 715-AH 35.29 740-AH 8.70 0.4 716-AH 33.33 741-AH 25.00 0.2 Difference 717-AH 5.56 742-AH 17.65 0 718-AH 14.29 743-AH 12.50 −0.2 −0.4 719-AH 33.33 744-AH 40.91 −0.6 720-AH 33.96 745-AH 10.77 −0.8 721-AH 10.00 746-AH 22.86 −1 722-AH 15.38 747-AH 16.22 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 7.69 724-AH 38.10 749-AH 20.93 725-AH 54.25 750-AH 20.00 270 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN1 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,551 Pooled true Geometric Mean Average Precision 0.0845 WM-Wikifier, Google Translate Binary Preference (BPREF) 0.2045 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 54.95 IAUTELEN1 10 40.93 90% 20 33.57 80% 30 27.02 40 20.43 70% 50 18.06 60% 60 14.78 Precision 70 11.04 50% 80 8.87 40% 90 4.79 30% 100 1.04 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.50 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8125 Minimum 0.0012 First Quartile 0.0332 Second Quartile 0.1301 Third Quartile 0.3155 Interquartile range 0.2822 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1950 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1997 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0012 Upper Outlier Threshold 0.6126 10 Mean With No Outliers 0.1824 Std With No Outliers 0.1806 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN1 0.8 701-AH 0.81 726-AH 0.71 0.6 702-AH 35.95 727-AH 17.20 0.4 703-AH 24.79 728-AH 7.12 0.2 Difference 704-AH 3.57 729-AH 26.90 0 705-AH 26.18 730-AH 3.79 −0.2 −0.4 706-AH 59.62 731-AH 3.32 −0.6 707-AH 37.02 732-AH 10.72 −0.8 708-AH 56.36 733-AH 9.07 −1 709-AH 35.89 734-AH 56.20 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.59 735-AH 14.19 711-AH 16.73 736-AH 0.12 712-AH 0.43 737-AH 1.99 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN1 713-AH 1.10 738-AH 19.09 0.8 714-AH 33.24 739-AH 55.05 0.6 715-AH 12.49 740-AH 6.05 0.4 716-AH 23.54 741-AH 2.98 0.2 Difference 717-AH 31.55 742-AH 23.25 0 718-AH 6.35 743-AH 5.92 −0.2 −0.4 719-AH 13.53 744-AH 0.33 −0.6 720-AH 81.25 745-AH 12.20 −0.8 721-AH 6.51 746-AH 2.87 −1 722-AH 37.43 747-AH 0.88 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 17.62 748-AH 5.08 724-AH 61.26 749-AH 25.36 725-AH 40.63 750-AH 0.38 271 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN1 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 36.00 IAUTELEN1 10 docs 31.80 90% 15 docs 28.67 80% 20 docs 27.50 30 docs 24.93 70% 100 docs 15.62 60% 200 docs 10.33 Precision 500 docs 5.36 50% 1000 docs 3.10 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 22.75 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8302 Minimum 0.0000 First Quartile 0.0222 Second Quartile 0.1752 Third Quartile 0.3590 Interquartile range 0.3368 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2275 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2097 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8302 10 Mean With No Outliers 0.2275 Std With No Outliers 0.2097 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN1 0.8 701-AH 4.76 726-AH 0.00 0.6 702-AH 34.48 727-AH 25.00 0.4 703-AH 16.67 728-AH 10.00 0.2 Difference 704-AH 1.85 729-AH 36.36 0 705-AH 25.00 730-AH 14.44 −0.2 −0.4 706-AH 58.88 731-AH 1.20 −0.6 707-AH 44.83 732-AH 16.00 −0.8 708-AH 52.24 733-AH 13.11 −1 709-AH 41.11 734-AH 54.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 23.83 711-AH 25.00 736-AH 0.00 712-AH 0.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN1 713-AH 0.00 738-AH 28.30 0.8 714-AH 50.00 739-AH 68.18 0.6 715-AH 17.65 740-AH 17.39 0.4 716-AH 33.33 741-AH 0.00 0.2 Difference 717-AH 33.33 742-AH 23.53 0 718-AH 12.24 743-AH 0.00 −0.2 −0.4 719-AH 33.33 744-AH 0.00 −0.6 720-AH 83.02 745-AH 16.92 −0.8 721-AH 0.00 746-AH 8.57 −1 722-AH 35.90 747-AH 5.95 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 36.84 748-AH 0.00 724-AH 61.90 749-AH 27.91 725-AH 37.26 750-AH 0.00 272 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN2 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,518 Pooled true Geometric Mean Average Precision 0.0800 (Title+Desc), Google Translate, Field Structure Binary Preference (BPREF) 0.1987 Query, PRF(10,10) Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 51.49 IAUTELEN2 10 39.22 90% 20 32.95 80% 30 28.67 40 21.72 70% 50 18.62 60% 60 14.76 Precision 70 10.96 50% 80 8.78 40% 90 4.74 30% 100 1.17 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.37 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7984 Minimum 0.0016 First Quartile 0.0328 Second Quartile 0.0948 Third Quartile 0.3265 Interquartile range 0.2938 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1937 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2049 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0016 15 Upper Outlier Threshold 0.6279 Mean With No Outliers 0.1814 10 Std With No Outliers 0.1873 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN2 0.8 701-AH 27.78 726-AH 0.72 0.6 702-AH 52.35 727-AH 8.82 0.4 703-AH 30.76 728-AH 7.54 0.2 Difference 704-AH 3.65 729-AH 26.90 0 705-AH 27.31 730-AH 4.52 −0.2 −0.4 706-AH 58.56 731-AH 3.49 −0.6 707-AH 37.97 732-AH 17.51 −0.8 708-AH 56.03 733-AH 6.90 −1 709-AH 35.85 734-AH 48.59 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.56 735-AH 0.53 711-AH 7.48 736-AH 0.18 712-AH 0.78 737-AH 0.98 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN2 713-AH 0.99 738-AH 18.80 0.8 714-AH 33.24 739-AH 55.73 0.6 715-AH 11.55 740-AH 2.91 0.4 716-AH 23.72 741-AH 4.08 0.2 Difference 717-AH 32.65 742-AH 25.80 0 718-AH 7.02 743-AH 3.28 −0.2 −0.4 719-AH 12.19 744-AH 0.16 −0.6 720-AH 79.84 745-AH 10.15 −0.8 721-AH 6.81 746-AH 1.54 −1 722-AH 37.47 747-AH 2.83 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 14.83 748-AH 5.09 724-AH 62.79 749-AH 7.04 725-AH 41.90 750-AH 0.38 273 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN2 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 32.40 IAUTELEN2 10 docs 30.00 90% 15 docs 27.87 80% 20 docs 26.90 30 docs 24.27 70% 100 docs 14.80 60% 200 docs 9.99 Precision 500 docs 5.34 50% 1000 docs 3.04 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 22.77 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8302 Minimum 0.0000 First Quartile 0.0333 Second Quartile 0.1603 Third Quartile 0.3684 Interquartile range 0.3351 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2277 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2163 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8302 10 Mean With No Outliers 0.2277 Std With No Outliers 0.2163 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN2 0.8 701-AH 33.33 726-AH 3.17 0.6 702-AH 48.28 727-AH 12.50 0.4 703-AH 16.67 728-AH 5.00 0.2 Difference 704-AH 1.85 729-AH 36.36 0 705-AH 25.00 730-AH 16.67 −0.2 −0.4 706-AH 56.07 731-AH 1.20 −0.6 707-AH 44.83 732-AH 24.00 −0.8 708-AH 52.24 733-AH 8.20 −1 709-AH 38.89 734-AH 54.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 4.26 711-AH 18.75 736-AH 0.00 712-AH 0.00 737-AH 2.22 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN2 713-AH 0.00 738-AH 27.36 0.8 714-AH 50.00 739-AH 68.18 0.6 715-AH 11.76 740-AH 8.70 0.4 716-AH 33.33 741-AH 8.33 0.2 Difference 717-AH 33.33 742-AH 29.41 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 33.33 744-AH 0.00 −0.6 720-AH 83.02 745-AH 15.38 −0.8 721-AH 0.00 746-AH 5.71 −1 722-AH 46.15 747-AH 9.73 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 36.84 748-AH 0.00 724-AH 66.67 749-AH 9.30 725-AH 38.21 750-AH 3.33 274 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN3 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,521 Pooled false Geometric Mean Average Precision 0.1043 (Title+Desc) , Google Translate, Wikipedia Concepts Binary Preference (BPREF) 0.2208 (WM-Wikifier), Field Structure Query Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.40 IAUTELEN3 10 47.52 90% 20 40.64 80% 30 29.07 40 20.43 70% 50 16.67 60% 60 14.16 Precision 70 10.17 50% 80 7.60 40% 90 3.29 30% 100 0.94 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 20.92 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7471 Minimum 0.0027 First Quartile 0.0404 Second Quartile 0.1562 Third Quartile 0.3322 Interquartile range 0.2917 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2092 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1878 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0027 Upper Outlier Threshold 0.7471 10 Mean With No Outliers 0.2092 Std With No Outliers 0.1878 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN3 0.8 701-AH 11.42 726-AH 0.43 0.6 702-AH 40.18 727-AH 30.16 0.4 703-AH 40.18 728-AH 9.40 0.2 Difference 704-AH 4.04 729-AH 16.49 0 705-AH 22.34 730-AH 2.62 −0.2 −0.4 706-AH 58.83 731-AH 4.06 −0.6 707-AH 33.22 732-AH 13.65 −0.8 708-AH 52.40 733-AH 8.13 −1 709-AH 25.74 734-AH 50.43 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.59 735-AH 14.76 711-AH 40.48 736-AH 1.15 712-AH 1.10 737-AH 1.88 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN3 713-AH 1.47 738-AH 17.83 0.8 714-AH 26.93 739-AH 51.96 0.6 715-AH 17.38 740-AH 32.01 0.4 716-AH 24.82 741-AH 5.71 0.2 Difference 717-AH 35.98 742-AH 24.40 0 718-AH 9.90 743-AH 3.89 −0.2 −0.4 719-AH 31.28 744-AH 0.27 −0.6 720-AH 74.71 745-AH 13.41 −0.8 721-AH 8.92 746-AH 3.27 −1 722-AH 37.94 747-AH 1.18 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 14.74 748-AH 8.33 724-AH 56.62 749-AH 21.83 725-AH 37.41 750-AH 0.32 275 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN3 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 40.40 IAUTELEN3 10 docs 35.00 90% 15 docs 30.93 80% 20 docs 28.60 30 docs 25.40 70% 100 docs 15.56 60% 200 docs 10.28 Precision 500 docs 5.28 50% 1000 docs 3.04 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.61 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7925 Minimum 0.0000 First Quartile 0.0833 Second Quartile 0.2440 Third Quartile 0.3396 Interquartile range 0.2563 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2361 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1953 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6591 10 Mean With No Outliers 0.2247 Std With No Outliers 0.1799 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN3 0.8 701-AH 9.52 726-AH 1.59 0.6 702-AH 41.38 727-AH 25.00 0.4 703-AH 30.56 728-AH 10.00 0.2 Difference 704-AH 3.70 729-AH 25.00 0 705-AH 23.81 730-AH 8.89 −0.2 −0.4 706-AH 58.88 731-AH 1.20 −0.6 707-AH 48.28 732-AH 12.00 −0.8 708-AH 53.73 733-AH 16.39 −1 709-AH 25.56 734-AH 45.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 25.11 711-AH 31.25 736-AH 1.89 712-AH 0.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN3 713-AH 0.00 738-AH 27.36 0.8 714-AH 40.00 739-AH 65.91 0.6 715-AH 17.65 740-AH 34.78 0.4 716-AH 33.33 741-AH 8.33 0.2 Difference 717-AH 38.89 742-AH 23.53 0 718-AH 26.53 743-AH 12.50 −0.2 −0.4 719-AH 33.33 744-AH 0.00 −0.6 720-AH 79.25 745-AH 16.92 −0.8 721-AH 10.00 746-AH 11.43 −1 722-AH 38.46 747-AH 3.24 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 31.58 748-AH 0.00 724-AH 61.90 749-AH 25.58 725-AH 33.96 750-AH 0.00 276 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN4 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,479 Pooled false Geometric Mean Average Precision 0.0988 (Title+Desc) , Google Translate, Simple Structure Binary Preference (BPREF) 0.2059 Query Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.63 IAUTELEN4 10 43.16 90% 20 33.29 80% 30 27.73 40 20.87 70% 50 15.73 60% 60 12.86 Precision 70 9.60 50% 80 7.36 40% 90 3.17 30% 100 1.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.25 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7427 Minimum 0.0006 First Quartile 0.0412 Second Quartile 0.1414 Third Quartile 0.3041 Interquartile range 0.2629 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1925 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1805 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0006 Upper Outlier Threshold 0.5892 10 Mean With No Outliers 0.1813 Std With No Outliers 0.1638 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN4 0.8 701-AH 32.26 726-AH 0.92 0.6 702-AH 41.86 727-AH 10.08 0.4 703-AH 35.37 728-AH 9.29 0.2 Difference 704-AH 4.09 729-AH 16.49 0 705-AH 22.24 730-AH 2.63 −0.2 −0.4 706-AH 58.92 731-AH 4.12 −0.6 707-AH 33.51 732-AH 17.11 −0.8 708-AH 51.90 733-AH 7.08 −1 709-AH 25.53 734-AH 43.93 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.35 735-AH 2.16 711-AH 12.01 736-AH 3.27 712-AH 1.76 737-AH 1.72 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN4 713-AH 1.35 738-AH 17.96 0.8 714-AH 26.93 739-AH 51.33 0.6 715-AH 19.76 740-AH 15.31 0.4 716-AH 23.35 741-AH 14.62 0.2 Difference 717-AH 36.90 742-AH 30.41 0 718-AH 10.58 743-AH 4.12 −0.2 −0.4 719-AH 21.92 744-AH 0.06 −0.6 720-AH 74.27 745-AH 13.66 −0.8 721-AH 9.21 746-AH 4.19 −1 722-AH 19.75 747-AH 2.19 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.52 748-AH 9.39 724-AH 54.23 749-AH 8.32 725-AH 40.65 750-AH 0.85 277 qazviniau 10.2415/AH-TEL-MONO-EN-CLEF2009.QAZVINIAU.IAUTELEN4 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 39.20 IAUTELEN4 10 docs 32.00 90% 15 docs 29.20 80% 20 docs 26.90 30 docs 24.80 70% 100 docs 14.70 60% 200 docs 10.10 Precision 500 docs 5.16 50% 1000 docs 2.96 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 22.28 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8113 Minimum 0.0000 First Quartile 0.0556 Second Quartile 0.1729 Third Quartile 0.3333 Interquartile range 0.2778 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2228 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1935 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6591 10 Mean With No Outliers 0.2108 Std With No Outliers 0.1756 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELEN4 0.8 701-AH 33.33 726-AH 4.76 0.6 702-AH 37.93 727-AH 12.50 0.4 703-AH 25.00 728-AH 5.00 0.2 Difference 704-AH 5.56 729-AH 25.00 0 705-AH 23.81 730-AH 3.33 −0.2 −0.4 706-AH 58.88 731-AH 1.20 −0.6 707-AH 48.28 732-AH 16.00 −0.8 708-AH 46.27 733-AH 13.11 −1 709-AH 25.56 734-AH 45.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 11.06 711-AH 12.50 736-AH 3.77 712-AH 0.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELEN4 713-AH 0.00 738-AH 26.42 0.8 714-AH 40.00 739-AH 65.91 0.6 715-AH 17.65 740-AH 26.09 0.4 716-AH 33.33 741-AH 8.33 0.2 Difference 717-AH 38.89 742-AH 29.41 0 718-AH 26.53 743-AH 0.00 −0.2 −0.4 719-AH 33.33 744-AH 0.00 −0.6 720-AH 81.13 745-AH 16.92 −0.8 721-AH 10.00 746-AH 14.29 −1 722-AH 33.33 747-AH 6.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 57.14 749-AH 9.30 725-AH 41.51 750-AH 6.67 278 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN1 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,935 Pooled false Geometric Mean Average Precision 0.1542 LM-dir Binary Preference (BPREF) 0.3001 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 65.11 TCDENRUN1 10 51.49 90% 20 44.07 80% 30 39.39 40 33.66 70% 50 29.77 60% 60 24.29 Precision 70 20.85 50% 80 15.54 40% 90 12.66 30% 100 5.57 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0004 First Quartile 0.0737 Second Quartile 0.2330 Third Quartile 0.4486 Interquartile range 0.3749 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2905 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2491 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0004 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.2905 4 Std With No Outliers 0.2491 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN1 0.8 701-AH 17.86 726-AH 14.79 0.6 702-AH 50.18 727-AH 7.62 0.4 703-AH 40.69 728-AH 24.80 0.2 Difference 704-AH 0.04 729-AH 2.23 0 705-AH 23.38 730-AH 35.66 −0.2 −0.4 706-AH 57.06 731-AH 32.96 −0.6 707-AH 53.78 732-AH 5.38 −0.8 708-AH 67.52 733-AH 36.39 −1 709-AH 38.95 734-AH 57.94 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.48 735-AH 13.50 711-AH 27.09 736-AH 4.83 712-AH 100.00 737-AH 0.74 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN1 713-AH 8.57 738-AH 20.61 0.8 714-AH 42.91 739-AH 77.45 0.6 715-AH 1.84 740-AH 1.36 0.4 716-AH 64.04 741-AH 36.62 0.2 Difference 717-AH 5.77 742-AH 28.19 0 718-AH 45.56 743-AH 6.30 −0.2 −0.4 719-AH 39.24 744-AH 66.55 −0.6 720-AH 84.45 745-AH 17.53 −0.8 721-AH 18.40 746-AH 2.52 −1 722-AH 14.72 747-AH 23.22 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.75 748-AH 7.37 724-AH 52.98 749-AH 13.46 725-AH 44.86 750-AH 2.18 279 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN1 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 45.60 TCDENRUN1 10 docs 41.40 90% 15 docs 39.73 80% 20 docs 36.70 30 docs 31.93 70% 100 docs 19.88 60% 200 docs 12.77 Precision 500 docs 7.06 50% 1000 docs 3.87 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 31.11 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0909 Second Quartile 0.3158 Third Quartile 0.4444 Interquartile range 0.3535 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3111 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2450 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8679 6 Mean With No Outliers 0.2971 4 Std With No Outliers 0.2262 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN1 0.8 701-AH 14.29 726-AH 28.57 0.6 702-AH 58.62 727-AH 0.00 0.4 703-AH 36.11 728-AH 40.00 0.2 Difference 704-AH 1.85 729-AH 9.09 0 705-AH 20.24 730-AH 36.67 −0.2 −0.4 706-AH 59.81 731-AH 39.76 −0.6 707-AH 48.28 732-AH 4.00 −0.8 708-AH 68.66 733-AH 36.07 −1 709-AH 41.11 734-AH 59.09 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 22.55 711-AH 37.50 736-AH 5.66 712-AH 100.00 737-AH 0.00 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN1 713-AH 19.15 738-AH 19.81 0.8 714-AH 48.00 739-AH 72.73 0.6 715-AH 0.00 740-AH 4.35 0.4 716-AH 66.67 741-AH 41.67 0.2 Difference 717-AH 5.56 742-AH 35.29 0 718-AH 38.78 743-AH 12.50 −0.2 −0.4 719-AH 44.44 744-AH 59.09 −0.6 720-AH 86.79 745-AH 20.00 −0.8 721-AH 10.00 746-AH 8.57 −1 722-AH 28.21 747-AH 34.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 0.00 724-AH 42.86 749-AH 20.93 725-AH 48.58 750-AH 3.33 280 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN2 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,067 Pooled true Geometric Mean Average Precision 0.2890 LM-abs Binary Preference (BPREF) 0.4054 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 83.65 TCDENRUN2 10 69.74 90% 20 59.19 80% 30 54.32 40 49.76 70% 50 42.22 60% 60 34.82 Precision 70 28.29 50% 80 20.31 40% 90 14.39 30% 100 5.23 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.35 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0242 First Quartile 0.1199 Second Quartile 0.3599 Third Quartile 0.6556 Interquartile range 0.5357 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4035 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2770 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0242 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.4035 4 3 Std With No Outliers 0.2770 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN2 0.8 701-AH 33.35 726-AH 8.30 0.6 702-AH 81.79 727-AH 8.94 0.4 703-AH 61.20 728-AH 10.54 0.2 Difference 704-AH 10.06 729-AH 2.85 0 705-AH 24.41 730-AH 32.90 −0.2 −0.4 706-AH 57.17 731-AH 66.47 −0.6 707-AH 60.19 732-AH 6.93 −0.8 708-AH 74.74 733-AH 65.56 −1 709-AH 51.07 734-AH 75.74 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.79 735-AH 22.66 711-AH 33.90 736-AH 11.26 712-AH 100.00 737-AH 2.42 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN2 713-AH 38.87 738-AH 45.07 0.8 714-AH 45.21 739-AH 81.67 0.6 715-AH 45.15 740-AH 13.37 0.4 716-AH 72.41 741-AH 39.43 0.2 Difference 717-AH 16.65 742-AH 55.09 0 718-AH 50.24 743-AH 19.27 −0.2 −0.4 719-AH 34.10 744-AH 69.46 −0.6 720-AH 94.74 745-AH 23.25 −0.8 721-AH 31.94 746-AH 11.99 −1 722-AH 22.74 747-AH 37.88 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 11.70 748-AH 6.47 724-AH 87.10 749-AH 75.11 725-AH 65.86 750-AH 9.76 281 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN2 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 61.60 TCDENRUN2 10 docs 56.40 90% 15 docs 51.33 80% 20 docs 48.00 30 docs 41.93 70% 100 docs 24.84 60% 200 docs 15.65 Precision 500 docs 7.62 50% 1000 docs 4.13 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 42.57 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2075 Second Quartile 0.4438 Third Quartile 0.6355 Interquartile range 0.4280 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4257 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2489 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.4257 3 Std With No Outliers 0.2489 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN2 0.8 701-AH 28.57 726-AH 19.05 0.6 702-AH 79.31 727-AH 12.50 0.4 703-AH 50.00 728-AH 15.00 0.2 Difference 704-AH 14.81 729-AH 6.82 0 705-AH 21.43 730-AH 35.56 −0.2 −0.4 706-AH 63.55 731-AH 62.65 −0.6 707-AH 62.07 732-AH 12.00 −0.8 708-AH 74.63 733-AH 67.21 −1 709-AH 52.22 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 22.22 735-AH 31.49 711-AH 37.50 736-AH 20.75 712-AH 100.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN2 713-AH 51.06 738-AH 63.21 0.8 714-AH 52.00 739-AH 68.18 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 71.43 741-AH 50.00 0.2 Difference 717-AH 11.11 742-AH 47.06 0 718-AH 48.98 743-AH 25.00 −0.2 −0.4 719-AH 44.44 744-AH 63.64 −0.6 720-AH 94.34 745-AH 24.62 −0.8 721-AH 40.00 746-AH 17.14 −1 722-AH 30.77 747-AH 44.32 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 71.43 749-AH 69.77 725-AH 64.62 750-AH 20.00 282 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN3 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,059 Pooled false Geometric Mean Average Precision 0.2414 LM-jm Binary Preference (BPREF) 0.3658 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 74.79 TCDENRUN3 10 62.05 90% 20 53.29 80% 30 49.86 40 44.98 70% 50 39.59 60% 60 31.96 Precision 70 26.08 50% 80 19.76 40% 90 13.74 30% 100 5.92 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.96 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0112 First Quartile 0.0981 Second Quartile 0.3129 Third Quartile 0.6163 Interquartile range 0.5182 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3696 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2787 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0112 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3696 4 Std With No Outliers 0.2787 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN3 0.8 701-AH 22.39 726-AH 11.73 0.6 702-AH 81.32 727-AH 8.01 0.4 703-AH 59.38 728-AH 10.48 0.2 Difference 704-AH 6.23 729-AH 5.67 0 705-AH 25.09 730-AH 32.94 −0.2 −0.4 706-AH 52.89 731-AH 63.53 −0.6 707-AH 64.40 732-AH 1.71 −0.8 708-AH 67.03 733-AH 65.31 −1 709-AH 50.19 734-AH 68.31 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.05 735-AH 17.95 711-AH 30.47 736-AH 6.41 712-AH 100.00 737-AH 1.12 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN3 713-AH 32.11 738-AH 42.87 0.8 714-AH 39.94 739-AH 81.39 0.6 715-AH 26.82 740-AH 8.86 0.4 716-AH 72.11 741-AH 42.61 0.2 Difference 717-AH 16.70 742-AH 54.05 0 718-AH 51.87 743-AH 7.95 −0.2 −0.4 719-AH 55.06 744-AH 61.63 −0.6 720-AH 94.24 745-AH 21.74 −0.8 721-AH 29.31 746-AH 9.81 −1 722-AH 11.72 747-AH 33.97 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 8.18 748-AH 7.57 724-AH 82.61 749-AH 25.63 725-AH 66.89 750-AH 5.92 283 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN3 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 56.80 TCDENRUN3 10 docs 50.60 90% 15 docs 46.40 80% 20 docs 43.20 30 docs 39.27 70% 100 docs 23.54 60% 200 docs 14.82 Precision 500 docs 7.44 50% 1000 docs 4.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.32 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.3475 Third Quartile 0.5663 Interquartile range 0.4329 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3732 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2573 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3732 3 Std With No Outliers 0.2573 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN3 0.8 701-AH 19.05 726-AH 25.40 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 41.67 728-AH 10.00 0.2 Difference 704-AH 11.11 729-AH 9.09 0 705-AH 22.62 730-AH 33.33 −0.2 −0.4 706-AH 59.81 731-AH 56.63 −0.6 707-AH 51.72 732-AH 0.00 −0.8 708-AH 64.18 733-AH 67.21 −1 709-AH 52.22 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.33 735-AH 24.26 711-AH 37.50 736-AH 7.55 712-AH 100.00 737-AH 2.22 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN3 713-AH 36.17 738-AH 58.49 0.8 714-AH 48.00 739-AH 68.18 0.6 715-AH 29.41 740-AH 8.70 0.4 716-AH 66.67 741-AH 50.00 0.2 Difference 717-AH 11.11 742-AH 52.94 0 718-AH 51.02 743-AH 12.50 −0.2 −0.4 719-AH 55.56 744-AH 50.00 −0.6 720-AH 90.57 745-AH 18.46 −0.8 721-AH 30.00 746-AH 20.00 −1 722-AH 15.38 747-AH 41.62 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 71.43 749-AH 30.23 725-AH 66.04 750-AH 16.67 284 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN4 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,067 Pooled true Geometric Mean Average Precision 0.2886 LM-abs-RR Binary Preference (BPREF) 0.4041 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 83.53 TCDENRUN4 10 69.95 90% 20 59.46 80% 30 54.18 40 49.62 70% 50 42.05 60% 60 34.83 Precision 70 27.96 50% 80 20.29 40% 90 14.25 30% 100 5.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0234 First Quartile 0.1158 Second Quartile 0.3559 Third Quartile 0.6178 Interquartile range 0.5020 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4031 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2764 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0234 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.4031 4 3 Std With No Outliers 0.2764 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN4 0.8 701-AH 33.21 726-AH 8.54 0.6 702-AH 82.27 727-AH 8.97 0.4 703-AH 61.09 728-AH 10.98 0.2 Difference 704-AH 9.89 729-AH 2.60 0 705-AH 24.13 730-AH 32.97 −0.2 −0.4 706-AH 57.05 731-AH 66.43 −0.6 707-AH 60.22 732-AH 7.08 −0.8 708-AH 74.64 733-AH 61.78 −1 709-AH 51.14 734-AH 75.13 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.24 735-AH 23.35 711-AH 33.92 736-AH 11.33 712-AH 100.00 737-AH 2.34 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN4 713-AH 38.86 738-AH 45.06 0.8 714-AH 45.15 739-AH 82.22 0.6 715-AH 44.92 740-AH 13.31 0.4 716-AH 72.31 741-AH 40.36 0.2 Difference 717-AH 16.80 742-AH 55.49 0 718-AH 50.77 743-AH 19.95 −0.2 −0.4 719-AH 33.00 744-AH 69.55 −0.6 720-AH 94.58 745-AH 22.99 −0.8 721-AH 32.28 746-AH 11.58 −1 722-AH 23.06 747-AH 37.25 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 11.41 748-AH 6.84 724-AH 86.89 749-AH 75.39 725-AH 66.14 750-AH 10.10 285 trinity 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY.TCDENRUN4 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 61.20 TCDENRUN4 10 docs 56.80 90% 15 docs 52.13 80% 20 docs 48.30 30 docs 42.00 70% 100 docs 24.92 60% 200 docs 15.62 Precision 500 docs 7.65 50% 1000 docs 4.13 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 42.20 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.4357 Third Quartile 0.6321 Interquartile range 0.4321 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4220 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2503 5 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 4 Upper Outlier Threshold 1.0000 3 Mean With No Outliers 0.4220 2 Std With No Outliers 0.2503 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENRUN4 0.8 701-AH 28.57 726-AH 20.63 0.6 702-AH 79.31 727-AH 12.50 0.4 703-AH 50.00 728-AH 15.00 0.2 Difference 704-AH 11.11 729-AH 6.82 0 705-AH 21.43 730-AH 34.44 −0.2 −0.4 706-AH 62.62 731-AH 61.45 −0.6 707-AH 55.17 732-AH 12.00 −0.8 708-AH 74.63 733-AH 65.57 −1 709-AH 52.22 734-AH 77.27 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 20.00 735-AH 31.49 711-AH 37.50 736-AH 16.98 712-AH 100.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENRUN4 713-AH 51.06 738-AH 63.21 0.8 714-AH 52.00 739-AH 70.45 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 66.67 741-AH 50.00 0.2 Difference 717-AH 11.11 742-AH 47.06 0 718-AH 48.98 743-AH 25.00 −0.2 −0.4 719-AH 44.44 744-AH 63.64 −0.6 720-AH 92.45 745-AH 23.08 −0.8 721-AH 40.00 746-AH 17.14 −1 722-AH 30.77 747-AH 42.70 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 76.19 749-AH 72.09 725-AH 64.15 750-AH 20.00 286 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCUEN3 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,059 Pooled false Geometric Mean Average Precision 0.2414 Monolingual English 3 Binary Preference (BPREF) 0.3658 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 74.79 TCDDCUEN3 10 62.05 90% 20 53.29 80% 30 49.86 40 44.98 70% 50 39.59 60% 60 31.96 Precision 70 26.08 50% 80 19.76 40% 90 13.74 30% 100 5.92 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.96 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0112 First Quartile 0.0981 Second Quartile 0.3129 Third Quartile 0.6163 Interquartile range 0.5182 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3696 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2787 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0112 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3696 4 Std With No Outliers 0.2787 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUEN3 0.8 701-AH 22.39 726-AH 11.73 0.6 702-AH 81.32 727-AH 8.01 0.4 703-AH 59.38 728-AH 10.48 0.2 Difference 704-AH 6.23 729-AH 5.67 0 705-AH 25.09 730-AH 32.94 −0.2 −0.4 706-AH 52.89 731-AH 63.53 −0.6 707-AH 64.40 732-AH 1.71 −0.8 708-AH 67.03 733-AH 65.31 −1 709-AH 50.19 734-AH 68.31 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.05 735-AH 17.95 711-AH 30.47 736-AH 6.41 712-AH 100.00 737-AH 1.12 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUEN3 713-AH 32.11 738-AH 42.87 0.8 714-AH 39.94 739-AH 81.39 0.6 715-AH 26.82 740-AH 8.86 0.4 716-AH 72.11 741-AH 42.61 0.2 Difference 717-AH 16.70 742-AH 54.05 0 718-AH 51.87 743-AH 7.95 −0.2 −0.4 719-AH 55.06 744-AH 61.63 −0.6 720-AH 94.24 745-AH 21.74 −0.8 721-AH 29.31 746-AH 9.81 −1 722-AH 11.72 747-AH 33.97 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 8.18 748-AH 7.57 724-AH 82.61 749-AH 25.63 725-AH 66.89 750-AH 5.92 287 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCUEN3 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 56.80 TCDDCUEN3 10 docs 50.60 90% 15 docs 46.40 80% 20 docs 43.20 30 docs 39.27 70% 100 docs 23.54 60% 200 docs 14.82 Precision 500 docs 7.44 50% 1000 docs 4.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.32 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.3475 Third Quartile 0.5663 Interquartile range 0.4329 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3732 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2573 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3732 3 Std With No Outliers 0.2573 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUEN3 0.8 701-AH 19.05 726-AH 25.40 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 41.67 728-AH 10.00 0.2 Difference 704-AH 11.11 729-AH 9.09 0 705-AH 22.62 730-AH 33.33 −0.2 −0.4 706-AH 59.81 731-AH 56.63 −0.6 707-AH 51.72 732-AH 0.00 −0.8 708-AH 64.18 733-AH 67.21 −1 709-AH 52.22 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.33 735-AH 24.26 711-AH 37.50 736-AH 7.55 712-AH 100.00 737-AH 2.22 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUEN3 713-AH 36.17 738-AH 58.49 0.8 714-AH 48.00 739-AH 68.18 0.6 715-AH 29.41 740-AH 8.70 0.4 716-AH 66.67 741-AH 50.00 0.2 Difference 717-AH 11.11 742-AH 52.94 0 718-AH 51.02 743-AH 12.50 −0.2 −0.4 719-AH 55.56 744-AH 50.00 −0.6 720-AH 90.57 745-AH 18.46 −0.8 721-AH 30.00 746-AH 20.00 −1 722-AH 15.38 747-AH 41.62 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 71.43 749-AH 30.23 725-AH 66.04 750-AH 16.67 288 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCUEN4 AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,122 Pooled false Geometric Mean Average Precision 0.2675 Monolingual English 4 Binary Preference (BPREF) 0.3766 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 76.90 TCDDCUEN4 10 65.85 90% 20 57.22 80% 30 52.32 40 45.20 70% 50 37.23 60% 60 31.82 Precision 70 24.99 50% 80 18.01 40% 90 13.37 30% 100 5.78 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.88 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0201 First Quartile 0.1394 Second Quartile 0.3283 Third Quartile 0.5857 Interquartile range 0.4463 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3688 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2547 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0201 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3688 4 3 Std With No Outliers 0.2547 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUEN4 0.8 701-AH 48.00 726-AH 14.15 0.6 702-AH 66.60 727-AH 10.79 0.4 703-AH 51.63 728-AH 13.44 0.2 Difference 704-AH 5.51 729-AH 3.12 0 705-AH 23.85 730-AH 32.63 −0.2 −0.4 706-AH 70.38 731-AH 58.57 −0.6 707-AH 62.77 732-AH 8.99 −0.8 708-AH 70.84 733-AH 53.33 −1 709-AH 34.04 734-AH 66.61 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.29 735-AH 18.72 711-AH 34.34 736-AH 7.93 712-AH 100.00 737-AH 2.01 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUEN4 713-AH 34.35 738-AH 36.20 0.8 714-AH 29.41 739-AH 74.89 0.6 715-AH 29.35 740-AH 11.91 0.4 716-AH 65.96 741-AH 30.68 0.2 Difference 717-AH 13.94 742-AH 47.85 0 718-AH 46.06 743-AH 6.22 −0.2 −0.4 719-AH 42.56 744-AH 71.19 −0.6 720-AH 93.62 745-AH 25.05 −0.8 721-AH 21.45 746-AH 26.14 −1 722-AH 33.03 747-AH 29.73 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.02 748-AH 7.09 724-AH 76.36 749-AH 33.32 725-AH 63.32 750-AH 8.82 289 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCUEN4 AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 52.80 TCDDCUEN4 10 docs 52.00 90% 15 docs 49.07 80% 20 docs 46.10 30 docs 41.47 70% 100 docs 23.10 60% 200 docs 15.10 Precision 500 docs 7.73 50% 1000 docs 4.24 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 39.01 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2000 Second Quartile 0.3862 Third Quartile 0.5783 Interquartile range 0.3783 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3901 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2354 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3901 4 3 Std With No Outliers 0.2354 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUEN4 0.8 701-AH 42.86 726-AH 25.40 0.6 702-AH 75.86 727-AH 12.50 0.4 703-AH 41.67 728-AH 15.00 0.2 Difference 704-AH 3.70 729-AH 6.82 0 705-AH 21.43 730-AH 35.56 −0.2 −0.4 706-AH 67.29 731-AH 57.83 −0.6 707-AH 65.52 732-AH 16.00 −0.8 708-AH 67.16 733-AH 55.74 −1 709-AH 35.56 734-AH 70.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 31.11 735-AH 26.38 711-AH 31.25 736-AH 9.43 712-AH 100.00 737-AH 2.22 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUEN4 713-AH 44.68 738-AH 32.08 0.8 714-AH 48.00 739-AH 68.18 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 66.67 741-AH 33.33 0.2 Difference 717-AH 11.11 742-AH 47.06 0 718-AH 38.78 743-AH 12.50 −0.2 −0.4 719-AH 44.44 744-AH 63.64 −0.6 720-AH 90.57 745-AH 27.69 −0.8 721-AH 20.00 746-AH 40.00 −1 722-AH 38.46 747-AH 40.54 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 61.90 749-AH 41.86 725-AH 59.43 750-AH 16.67 290 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCU_EN1F AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 2,075 Pooled true Geometric Mean Average Precision 0.1926 monolingual English Binary Preference (BPREF) 0.3588 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 77.27 TCDDCU_EN1F 10 62.33 90% 20 52.94 80% 30 49.13 40 44.77 70% 50 38.96 60% 60 32.42 Precision 70 26.86 50% 80 19.17 40% 90 12.76 30% 100 5.68 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 36.40 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1237 Second Quartile 0.3354 Third Quartile 0.5710 Interquartile range 0.4473 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3640 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2784 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3640 3 Std With No Outliers 0.2784 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_EN1F 0.8 701-AH 20.52 726-AH 17.01 0.6 702-AH 69.63 727-AH 5.66 0.4 703-AH 59.76 728-AH 17.30 0.2 Difference 704-AH 63.73 729-AH 4.69 0 705-AH 34.22 730-AH 35.40 −0.2 −0.4 706-AH 57.10 731-AH 79.34 −0.6 707-AH 67.79 732-AH 1.09 −0.8 708-AH 75.76 733-AH 53.90 −1 709-AH 43.31 734-AH 29.11 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.59 735-AH 28.80 711-AH 0.00 736-AH 0.39 712-AH 100.00 737-AH 6.82 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_EN1F 713-AH 32.86 738-AH 52.88 0.8 714-AH 42.44 739-AH 84.48 0.6 715-AH 13.32 740-AH 1.95 0.4 716-AH 54.73 741-AH 35.01 0.2 Difference 717-AH 19.03 742-AH 39.57 0 718-AH 44.44 743-AH 5.19 −0.2 −0.4 719-AH 14.49 744-AH 57.77 −0.6 720-AH 96.72 745-AH 17.65 −0.8 721-AH 18.53 746-AH 11.07 −1 722-AH 34.36 747-AH 31.04 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.37 748-AH 8.33 724-AH 82.98 749-AH 51.74 725-AH 70.41 750-AH 4.58 291 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCU_EN1F AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 52.00 TCDDCU_EN1F 10 docs 50.80 90% 15 docs 47.60 80% 20 docs 45.70 30 docs 40.67 70% 100 docs 24.14 60% 200 docs 15.81 Precision 500 docs 7.72 50% 1000 docs 4.15 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.84 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1250 Second Quartile 0.3475 Third Quartile 0.5581 Interquartile range 0.4331 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3784 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2612 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3784 3 Std With No Outliers 0.2612 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_EN1F 0.8 701-AH 19.05 726-AH 33.33 0.6 702-AH 72.41 727-AH 0.00 0.4 703-AH 50.00 728-AH 30.00 0.2 Difference 704-AH 70.37 729-AH 9.09 0 705-AH 22.62 730-AH 28.89 −0.2 −0.4 706-AH 61.68 731-AH 78.31 −0.6 707-AH 58.62 732-AH 0.00 −0.8 708-AH 67.16 733-AH 54.10 −1 709-AH 50.00 734-AH 31.82 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 22.22 735-AH 38.72 711-AH 0.00 736-AH 3.77 712-AH 100.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_EN1F 713-AH 36.17 738-AH 59.43 0.8 714-AH 48.00 739-AH 75.00 0.6 715-AH 17.65 740-AH 4.35 0.4 716-AH 52.38 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 47.06 0 718-AH 53.06 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 54.55 −0.6 720-AH 92.45 745-AH 12.31 −0.8 721-AH 10.00 746-AH 22.86 −1 722-AH 41.03 747-AH 41.62 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 71.43 749-AH 55.81 725-AH 68.40 750-AH 6.67 292 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCU_EN2F AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,990 Pooled true Geometric Mean Average Precision 0.1869 monolingual English 2 Binary Preference (BPREF) 0.3471 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 74.43 TCDDCU_EN2F 10 58.80 90% 20 51.97 80% 30 47.76 40 42.56 70% 50 35.13 60% 60 29.20 Precision 70 24.09 50% 80 17.08 40% 90 11.32 30% 100 4.77 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.26 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0918 Second Quartile 0.2926 Third Quartile 0.5123 Interquartile range 0.4205 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3426 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2742 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3426 4 3 Std With No Outliers 0.2742 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_EN2F 0.8 701-AH 10.56 726-AH 24.36 0.6 702-AH 73.34 727-AH 5.49 0.4 703-AH 51.23 728-AH 16.41 0.2 Difference 704-AH 7.27 729-AH 3.75 0 705-AH 31.22 730-AH 25.80 −0.2 −0.4 706-AH 59.84 731-AH 80.52 −0.6 707-AH 67.23 732-AH 0.86 −0.8 708-AH 79.44 733-AH 44.20 −1 709-AH 41.39 734-AH 29.26 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.64 735-AH 18.03 711-AH 0.00 736-AH 3.49 712-AH 100.00 737-AH 5.71 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_EN2F 713-AH 37.35 738-AH 51.56 0.8 714-AH 38.84 739-AH 82.91 0.6 715-AH 34.58 740-AH 3.23 0.4 716-AH 51.52 741-AH 26.11 0.2 Difference 717-AH 19.18 742-AH 38.25 0 718-AH 50.80 743-AH 5.62 −0.2 −0.4 719-AH 20.50 744-AH 57.09 −0.6 720-AH 96.89 745-AH 15.80 −0.8 721-AH 17.87 746-AH 9.18 −1 722-AH 39.15 747-AH 29.25 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 11.57 748-AH 8.38 724-AH 84.29 749-AH 48.52 725-AH 41.70 750-AH 7.63 293 trinity-dcu 10.2415/AH-TEL-MONO-EN-CLEF2009.TRINITY-DCU.TCDDCU_EN2F AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.20 TCDDCU_EN2F 10 docs 49.80 90% 15 docs 46.93 80% 20 docs 43.50 30 docs 39.40 70% 100 docs 22.52 60% 200 docs 14.28 Precision 500 docs 7.26 50% 1000 docs 3.98 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.30 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.3586 Third Quartile 0.5111 Interquartile range 0.3778 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3630 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2561 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3630 3 Std With No Outliers 0.2561 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_EN2F 0.8 701-AH 14.29 726-AH 39.68 0.6 702-AH 75.86 727-AH 0.00 0.4 703-AH 50.00 728-AH 30.00 0.2 Difference 704-AH 3.70 729-AH 9.09 0 705-AH 25.00 730-AH 27.78 −0.2 −0.4 706-AH 64.49 731-AH 79.52 −0.6 707-AH 62.07 732-AH 0.00 −0.8 708-AH 71.64 733-AH 50.82 −1 709-AH 51.11 734-AH 29.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.33 735-AH 26.81 711-AH 0.00 736-AH 7.55 712-AH 100.00 737-AH 11.11 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_EN2F 713-AH 42.55 738-AH 57.55 0.8 714-AH 48.00 739-AH 70.45 0.6 715-AH 47.06 740-AH 4.35 0.4 716-AH 52.38 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 47.06 0 718-AH 48.98 743-AH 0.00 −0.2 −0.4 719-AH 22.22 744-AH 40.91 −0.6 720-AH 92.45 745-AH 21.54 −0.8 721-AH 10.00 746-AH 20.00 −1 722-AH 46.15 747-AH 38.38 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 71.43 749-AH 51.16 725-AH 39.62 750-AH 10.00 294 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.BASELINEENINEN AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 37,613 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,197 Pooled false Geometric Mean Average Precision 0.0680 Ranking with combined topic fields, querying the Binary Preference (BPREF) 0.2043 english collection with english topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.95 BASELINEENINEN 10 38.37 90% 20 27.40 80% 30 19.72 40 16.20 70% 50 13.82 60% 60 10.00 Precision 70 6.49 50% 80 4.22 40% 90 2.40 30% 100 0.74 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.81 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8662 Minimum 0.0009 First Quartile 0.0228 Second Quartile 0.0866 Third Quartile 0.2151 Interquartile range 0.1923 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1581 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1910 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0009 15 Upper Outlier Threshold 0.4397 Mean With No Outliers 0.1128 10 Std With No Outliers 0.1101 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BASELINEENINEN 0.8 701-AH 2.25 726-AH 2.28 0.6 702-AH 68.63 727-AH 0.48 0.4 703-AH 26.52 728-AH 21.51 0.2 Difference 704-AH 14.81 729-AH 0.99 0 705-AH 4.21 730-AH 13.62 −0.2 −0.4 706-AH 35.53 731-AH 27.94 −0.6 707-AH 43.97 732-AH 0.57 −0.8 708-AH 9.85 733-AH 23.47 −1 709-AH 11.10 734-AH 7.83 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.57 735-AH 3.11 711-AH 9.10 736-AH 0.09 712-AH 26.68 737-AH 1.48 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BASELINEENINEN 713-AH 5.36 738-AH 6.04 0.8 714-AH 16.31 739-AH 19.59 0.6 715-AH 7.87 740-AH 1.05 0.4 716-AH 52.31 741-AH 14.61 0.2 Difference 717-AH 1.57 742-AH 19.72 0 718-AH 18.33 743-AH 0.94 −0.2 −0.4 719-AH 0.30 744-AH 1.94 −0.6 720-AH 86.62 745-AH 5.32 −0.8 721-AH 5.18 746-AH 11.26 −1 722-AH 2.37 747-AH 28.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.78 748-AH 4.32 724-AH 64.15 749-AH 30.85 725-AH 17.17 750-AH 8.22 295 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.BASELINEENINEN AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 38.00 BASELINEENINEN 10 docs 31.20 90% 15 docs 28.80 80% 20 docs 26.80 30 docs 23.60 70% 100 docs 13.04 60% 200 docs 8.49 Precision 500 docs 4.17 50% 1000 docs 2.39 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.03 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8302 Minimum 0.0000 First Quartile 0.0625 Second Quartile 0.1326 Third Quartile 0.2778 Interquartile range 0.2153 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1903 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1900 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5238 10 Mean With No Outliers 0.1562 Std With No Outliers 0.1348 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BASELINEENINEN 0.8 701-AH 4.76 726-AH 7.94 0.6 702-AH 72.41 727-AH 0.00 0.4 703-AH 22.22 728-AH 25.00 0.2 Difference 704-AH 27.78 729-AH 2.27 0 705-AH 10.71 730-AH 15.56 −0.2 −0.4 706-AH 36.45 731-AH 28.92 −0.6 707-AH 62.07 732-AH 0.00 −0.8 708-AH 8.96 733-AH 14.75 −1 709-AH 25.56 734-AH 11.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 8.51 711-AH 6.25 736-AH 0.00 712-AH 30.00 737-AH 4.44 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BASELINEENINEN 713-AH 10.64 738-AH 10.38 0.8 714-AH 28.00 739-AH 29.55 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 47.62 741-AH 8.33 0.2 Difference 717-AH 0.00 742-AH 17.65 0 718-AH 32.65 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 9.09 −0.6 720-AH 83.02 745-AH 15.38 −0.8 721-AH 0.00 746-AH 20.00 −1 722-AH 10.26 747-AH 45.95 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 15.38 724-AH 52.38 749-AH 23.26 725-AH 25.00 750-AH 16.67 296 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.CLESA169283ENINEN AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,591 Pooled true Geometric Mean Average Precision 0.0992 CL-ESA with 169283 dimensions, querying the english Binary Preference (BPREF) 0.2141 collection with english topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.66 CLESA169283ENINEN 10 47.11 90% 20 32.20 80% 30 26.84 40 21.80 70% 50 18.03 60% 60 15.89 Precision 70 14.19 50% 80 11.15 40% 90 7.17 30% 100 2.98 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.47 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9270 Minimum 0.0012 First Quartile 0.0306 Second Quartile 0.1518 Third Quartile 0.3094 Interquartile range 0.2788 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2147 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2269 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0012 Upper Outlier Threshold 0.6879 10 Mean With No Outliers 0.1863 Std With No Outliers 0.1816 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283ENINEN 0.8 701-AH 6.87 726-AH 2.57 0.6 702-AH 16.72 727-AH 0.73 0.4 703-AH 30.58 728-AH 10.33 0.2 Difference 704-AH 30.94 729-AH 0.86 0 705-AH 54.62 730-AH 8.69 −0.2 −0.4 706-AH 4.51 731-AH 25.18 −0.6 707-AH 39.63 732-AH 0.77 −0.8 708-AH 55.74 733-AH 42.26 −1 709-AH 17.35 734-AH 15.25 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.07 735-AH 8.68 711-AH 2.30 736-AH 1.66 712-AH 92.70 737-AH 1.73 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283ENINEN 713-AH 15.11 738-AH 3.06 0.8 714-AH 2.87 739-AH 64.73 0.6 715-AH 12.84 740-AH 1.98 0.4 716-AH 41.84 741-AH 23.20 0.2 Difference 717-AH 9.40 742-AH 21.18 0 718-AH 22.10 743-AH 15.77 −0.2 −0.4 719-AH 0.22 744-AH 41.42 −0.6 720-AH 86.82 745-AH 7.32 −0.8 721-AH 23.11 746-AH 3.87 −1 722-AH 30.29 747-AH 34.86 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 7.55 748-AH 12.14 724-AH 68.79 749-AH 15.26 725-AH 35.15 750-AH 0.12 297 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.CLESA169283ENINEN AH-TEL-MONO-EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 38.40 CLESA169283ENINEN 10 docs 33.00 90% 15 docs 29.60 80% 20 docs 28.10 30 docs 25.20 70% 100 docs 15.94 60% 200 docs 10.39 Precision 500 docs 5.34 50% 1000 docs 3.18 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.33 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0660 Second Quartile 0.1583 Third Quartile 0.3590 Interquartile range 0.2929 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2333 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2194 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6591 6 Mean With No Outliers 0.2074 4 Std With No Outliers 0.1815 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283ENINEN 0.8 701-AH 9.52 726-AH 7.94 0.6 702-AH 24.14 727-AH 0.00 0.4 703-AH 33.33 728-AH 15.00 0.2 Difference 704-AH 35.19 729-AH 4.55 0 705-AH 63.10 730-AH 13.33 −0.2 −0.4 706-AH 5.61 731-AH 20.48 −0.6 707-AH 44.83 732-AH 4.00 −0.8 708-AH 53.73 733-AH 44.26 −1 709-AH 27.78 734-AH 11.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 19.57 711-AH 0.00 736-AH 5.66 712-AH 90.00 737-AH 0.00 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283ENINEN 713-AH 19.15 738-AH 6.60 0.8 714-AH 2.00 739-AH 65.91 0.6 715-AH 11.76 740-AH 4.35 0.4 716-AH 38.10 741-AH 16.67 0.2 Difference 717-AH 11.11 742-AH 23.53 0 718-AH 32.65 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 40.91 −0.6 720-AH 81.13 745-AH 7.69 −0.8 721-AH 30.00 746-AH 11.43 −1 722-AH 35.90 747-AH 47.03 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 7.69 724-AH 57.14 749-AH 20.93 725-AH 36.32 750-AH 0.00 298 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.CLESA169283LDENINEN AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,523 Pooled false Geometric Mean Average Precision 0.0844 (See overleaf for description) Binary Preference (BPREF) 0.1949 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 63.54 CLESA169283LDENINEN 10 42.56 90% 20 30.18 80% 30 22.61 40 19.56 70% 50 16.62 60% 60 15.56 Precision 70 13.65 50% 80 9.22 40% 90 6.76 30% 100 2.06 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.50 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9127 Minimum 0.0007 First Quartile 0.0301 Second Quartile 0.1261 Third Quartile 0.2769 Interquartile range 0.2468 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1950 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2164 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0007 Upper Outlier Threshold 0.5397 10 Mean With No Outliers 0.1467 Std With No Outliers 0.1421 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283LDENINEN 0.8 701-AH 5.42 726-AH 3.04 0.6 702-AH 7.23 727-AH 0.75 0.4 703-AH 31.18 728-AH 8.77 0.2 Difference 704-AH 26.82 729-AH 0.50 0 705-AH 53.97 730-AH 7.56 −0.2 −0.4 706-AH 1.90 731-AH 22.59 −0.6 707-AH 13.42 732-AH 1.05 −0.8 708-AH 48.63 733-AH 46.91 −1 709-AH 11.58 734-AH 14.02 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.35 735-AH 7.65 711-AH 2.09 736-AH 1.15 712-AH 91.27 737-AH 1.93 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283LDENINEN 713-AH 14.08 738-AH 3.43 0.8 714-AH 3.01 739-AH 65.11 0.6 715-AH 12.08 740-AH 0.74 0.4 716-AH 34.66 741-AH 20.41 0.2 Difference 717-AH 7.89 742-AH 20.65 0 718-AH 22.03 743-AH 13.14 −0.2 −0.4 719-AH 0.07 744-AH 28.76 −0.6 720-AH 77.72 745-AH 7.72 −0.8 721-AH 29.48 746-AH 2.60 −1 722-AH 25.41 747-AH 40.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 9.65 748-AH 16.53 724-AH 66.08 749-AH 15.30 725-AH 27.69 750-AH 0.14 299 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.CLESA169283LDENINEN AH-TEL-MONO-EN-CLEF2009 CL-ESA with 169283 dimensions and language detection, querying the english collection with english topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 37.60 CLESA169283LDENINEN 10 docs 31.80 90% 15 docs 29.20 80% 20 docs 26.90 30 docs 23.67 70% 100 docs 14.50 60% 200 docs 9.55 Precision 500 docs 5.08 50% 1000 docs 3.05 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 20.42 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0625 Second Quartile 0.1315 Third Quartile 0.2778 Interquartile range 0.2153 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2042 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2065 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.4776 10 Mean With No Outliers 0.1581 Std With No Outliers 0.1354 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283LDENINEN 0.8 701-AH 9.52 726-AH 9.52 0.6 702-AH 13.79 727-AH 0.00 0.4 703-AH 27.78 728-AH 10.00 0.2 Difference 704-AH 27.78 729-AH 4.55 0 705-AH 61.90 730-AH 12.22 −0.2 −0.4 706-AH 2.80 731-AH 16.87 −0.6 707-AH 20.69 732-AH 4.00 −0.8 708-AH 47.76 733-AH 44.26 −1 709-AH 16.67 734-AH 6.82 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 16.60 711-AH 6.25 736-AH 3.77 712-AH 90.00 737-AH 2.22 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283LDENINEN 713-AH 17.02 738-AH 6.60 0.8 714-AH 2.00 739-AH 68.18 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 33.33 741-AH 16.67 0.2 Difference 717-AH 11.11 742-AH 23.53 0 718-AH 28.57 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 27.27 −0.6 720-AH 73.58 745-AH 7.69 −0.8 721-AH 30.00 746-AH 5.71 −1 722-AH 25.64 747-AH 47.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 7.69 724-AH 47.62 749-AH 20.93 725-AH 29.72 750-AH 0.00 300 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.COMBINEDENINEN AH-TEL-MONO-EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 2,527 Topic Fields title, description Relevant retrieved 1,559 Pooled true Geometric Mean Average Precision 0.0816 (See overleaf for description) Binary Preference (BPREF) 0.2185 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.43 COMBINEDENINEN 10 40.92 90% 20 34.54 80% 30 28.43 40 23.12 70% 50 20.03 60% 60 15.09 Precision 70 9.58 50% 80 6.37 40% 90 5.12 30% 100 2.60 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 20.02 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9503 Minimum 0.0001 First Quartile 0.0273 Second Quartile 0.1183 Third Quartile 0.2749 Interquartile range 0.2475 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2002 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2289 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 15 Upper Outlier Threshold 0.5424 Mean With No Outliers 0.1507 10 Std With No Outliers 0.1570 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDENINEN 0.8 701-AH 5.62 726-AH 5.00 0.6 702-AH 16.58 727-AH 1.33 0.4 703-AH 27.49 728-AH 8.71 0.2 Difference 704-AH 15.84 729-AH 1.83 0 705-AH 21.17 730-AH 23.60 −0.2 −0.4 706-AH 16.01 731-AH 50.88 −0.6 707-AH 54.24 732-AH 2.73 −0.8 708-AH 0.01 733-AH 0.83 −1 709-AH 19.65 734-AH 53.49 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.43 735-AH 9.79 711-AH 17.99 736-AH 0.29 712-AH 95.03 737-AH 1.34 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDENINEN 713-AH 14.41 738-AH 47.58 0.8 714-AH 1.33 739-AH 39.78 0.6 715-AH 13.16 740-AH 1.38 0.4 716-AH 30.55 741-AH 4.47 0.2 Difference 717-AH 5.76 742-AH 44.80 0 718-AH 18.76 743-AH 3.28 −0.2 −0.4 719-AH 1.52 744-AH 22.86 −0.6 720-AH 77.33 745-AH 8.28 −0.8 721-AH 3.43 746-AH 9.30 −1 722-AH 15.67 747-AH 10.50 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 2.21 748-AH 2.51 724-AH 68.59 749-AH 66.64 725-AH 31.40 750-AH 0.63 301 weimar 10.2415/AH-TEL-MONO-EN-CLEF2009.WEIMAR.COMBINEDENINEN AH-TEL-MONO-EN-CLEF2009 Combined rankings, each computed with a different topic field, querying the english collection with english topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 38.00 COMBINEDENINEN 10 docs 33.20 90% 15 docs 29.73 80% 20 docs 28.40 30 docs 26.07 70% 100 docs 15.34 60% 200 docs 9.88 Precision 500 docs 5.16 50% 1000 docs 3.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.28 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0656 Second Quartile 0.1716 Third Quartile 0.3349 Interquartile range 0.2693 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2328 Ad−Hoc TEL Monolingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2179 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6604 10 Mean With No Outliers 0.2191 Std With No Outliers 0.1975 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDENINEN 0.8 701-AH 9.52 726-AH 14.29 0.6 702-AH 24.14 727-AH 0.00 0.4 703-AH 33.33 728-AH 15.00 0.2 Difference 704-AH 22.22 729-AH 11.36 0 705-AH 36.90 730-AH 31.11 −0.2 −0.4 706-AH 15.89 731-AH 54.22 −0.6 707-AH 62.07 732-AH 4.00 −0.8 708-AH 0.00 733-AH 6.56 −1 709-AH 35.56 734-AH 54.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 8.89 735-AH 21.28 711-AH 18.75 736-AH 0.00 712-AH 90.00 737-AH 6.67 1 Ad−Hoc TEL Monolingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDENINEN 713-AH 17.02 738-AH 56.60 0.8 714-AH 4.00 739-AH 36.36 0.6 715-AH 11.76 740-AH 4.35 0.4 716-AH 33.33 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 52.94 0 718-AH 18.37 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 27.27 −0.6 720-AH 66.04 745-AH 10.77 −0.8 721-AH 0.00 746-AH 20.00 −1 722-AH 30.77 747-AH 17.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 57.14 749-AH 62.79 725-AH 33.49 750-AH 0.00 302 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_ALLEXP AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,677 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 791 Pooled false Geometric Mean Average Precision 0.0836 Monolingual | query expansion Binary Preference (BPREF) 0.2258 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.51 CACAO_DEONB_ALLEXP 10 56.26 90% 20 45.51 80% 30 32.42 40 20.67 70% 50 15.87 60% 60 8.83 Precision 70 4.32 50% 80 1.73 40% 90 0.79 30% 100 0.29 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.02 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6297 Minimum 0.0000 First Quartile 0.0465 Second Quartile 0.1748 Third Quartile 0.3486 Interquartile range 0.3022 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2102 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1804 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6297 Mean With No Outliers 0.2102 10 Std With No Outliers 0.1804 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_ALLEXP 0.8 701-AH 19.46 726-AH 0.53 0.6 702-AH 33.35 727-AH 1.11 0.4 703-AH 14.47 728-AH 16.90 0.2 Difference 704-AH 4.65 729-AH 3.12 0 705-AH 38.64 730-AH 0.00 −0.2 −0.4 706-AH 0.90 731-AH 25.76 −0.6 707-AH 34.86 732-AH 2.25 −0.8 708-AH 10.76 733-AH 42.37 −1 709-AH 5.85 734-AH 37.34 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 49.92 735-AH 4.86 711-AH 28.02 736-AH 0.97 712-AH 22.98 737-AH 2.80 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_ALLEXP 713-AH 4.70 738-AH 10.25 0.8 714-AH 53.35 739-AH 47.72 0.6 715-AH 1.97 740-AH 41.37 0.4 716-AH 37.30 741-AH 52.79 0.2 Difference 717-AH 29.18 742-AH 33.33 0 718-AH 33.63 743-AH 0.00 −0.2 −0.4 719-AH 18.07 744-AH 48.67 −0.6 720-AH 31.13 745-AH 25.95 −0.8 721-AH 9.98 746-AH 43.45 −1 722-AH 11.70 747-AH 4.37 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.27 748-AH 11.11 724-AH 62.97 749-AH 4.76 725-AH 24.70 750-AH 0.59 303 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_ALLEXP AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.00 CACAO_DEONB_ALLEXP 10 docs 37.60 90% 15 docs 33.20 80% 20 docs 29.50 30 docs 23.00 70% 100 docs 10.50 60% 200 docs 6.18 Precision 500 docs 2.96 50% 1000 docs 1.58 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.23 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6250 Minimum 0.0000 First Quartile 0.0800 Second Quartile 0.2450 Third Quartile 0.3684 Interquartile range 0.2884 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2423 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1759 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6250 6 Mean With No Outliers 0.2423 4 Std With No Outliers 0.1759 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_ALLEXP 0.8 701-AH 20.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 3.70 0.4 703-AH 18.18 728-AH 26.32 0.2 Difference 704-AH 7.14 729-AH 3.12 0 705-AH 50.00 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 36.84 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 22.22 733-AH 47.83 −1 709-AH 12.50 734-AH 40.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 58.62 735-AH 12.33 711-AH 31.25 736-AH 3.85 712-AH 25.00 737-AH 8.33 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_ALLEXP 713-AH 9.09 738-AH 17.65 0.8 714-AH 54.55 739-AH 41.38 0.6 715-AH 6.25 740-AH 43.75 0.4 716-AH 34.62 741-AH 50.00 0.2 Difference 717-AH 33.33 742-AH 33.33 0 718-AH 34.38 743-AH 0.00 −0.2 −0.4 719-AH 24.00 744-AH 46.15 −0.6 720-AH 25.00 745-AH 37.50 −0.8 721-AH 23.53 746-AH 44.16 −1 722-AH 11.11 747-AH 12.79 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 33.33 724-AH 62.50 749-AH 8.00 725-AH 29.79 750-AH 4.00 304 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_BASE AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,656 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 749 Pooled false Geometric Mean Average Precision 0.0770 Monolingual | base search Binary Preference (BPREF) 0.2085 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.38 CACAO_DEONB_BASE 10 52.42 90% 20 41.01 80% 30 30.54 40 17.91 70% 50 12.67 60% 60 7.12 Precision 70 2.94 50% 80 0.93 40% 90 0.00 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.07 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6113 Minimum 0.0000 First Quartile 0.0321 Second Quartile 0.1351 Third Quartile 0.3333 Interquartile range 0.3012 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1907 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1709 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6113 10 Mean With No Outliers 0.1907 Std With No Outliers 0.1709 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_BASE 0.8 701-AH 13.00 726-AH 0.58 0.6 702-AH 30.99 727-AH 0.12 0.4 703-AH 13.74 728-AH 10.58 0.2 Difference 704-AH 16.96 729-AH 3.12 0 705-AH 36.67 730-AH 0.00 −0.2 −0.4 706-AH 0.90 731-AH 13.29 −0.6 707-AH 33.85 732-AH 2.31 −0.8 708-AH 13.72 733-AH 34.65 −1 709-AH 0.43 734-AH 31.84 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 61.13 735-AH 6.00 711-AH 28.41 736-AH 4.72 712-AH 23.07 737-AH 3.21 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_BASE 713-AH 4.52 738-AH 9.18 0.8 714-AH 32.61 739-AH 44.55 0.6 715-AH 1.80 740-AH 40.83 0.4 716-AH 20.74 741-AH 57.71 0.2 Difference 717-AH 26.05 742-AH 33.33 0 718-AH 33.73 743-AH 0.01 −0.2 −0.4 719-AH 7.13 744-AH 39.72 −0.6 720-AH 34.06 745-AH 23.91 −0.8 721-AH 5.85 746-AH 36.30 −1 722-AH 11.69 747-AH 3.19 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.43 748-AH 11.11 724-AH 59.40 749-AH 2.97 725-AH 22.11 750-AH 1.51 305 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_BASE AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.40 CACAO_DEONB_BASE 10 docs 37.20 90% 15 docs 32.13 80% 20 docs 28.10 30 docs 21.33 70% 100 docs 9.40 60% 200 docs 5.45 Precision 500 docs 2.67 50% 1000 docs 1.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 22.99 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6207 Minimum 0.0000 First Quartile 0.0800 Second Quartile 0.2250 Third Quartile 0.3500 Interquartile range 0.2700 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2299 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1761 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6207 6 Mean With No Outliers 0.2299 4 Std With No Outliers 0.1761 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_BASE 0.8 701-AH 20.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 0.00 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 33.93 729-AH 3.12 0 705-AH 42.86 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 19.30 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 33.33 733-AH 43.48 −1 709-AH 0.00 734-AH 35.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 62.07 735-AH 10.96 711-AH 31.25 736-AH 11.54 712-AH 25.00 737-AH 8.33 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_BASE 713-AH 9.09 738-AH 17.65 0.8 714-AH 39.39 739-AH 41.38 0.6 715-AH 6.25 740-AH 48.44 0.4 716-AH 34.62 741-AH 55.00 0.2 Difference 717-AH 30.95 742-AH 33.33 0 718-AH 37.50 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 38.46 −0.6 720-AH 43.75 745-AH 27.78 −0.8 721-AH 8.82 746-AH 42.86 −1 722-AH 11.11 747-AH 11.63 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 33.33 724-AH 60.42 749-AH 5.33 725-AH 27.66 750-AH 4.00 306 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_ML AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 38,637 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 752 Pooled false Geometric Mean Average Precision 0.0763 Monolingual+ | base search Binary Preference (BPREF) 0.2070 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.65 CACAO_DEONB_ML 10 52.17 90% 20 41.32 80% 30 30.62 40 18.39 70% 50 12.97 60% 60 6.62 Precision 70 3.57 50% 80 2.19 40% 90 0.82 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.27 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6238 Minimum 0.0000 First Quartile 0.0324 Second Quartile 0.1371 Third Quartile 0.3430 Interquartile range 0.3106 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1927 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1732 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6238 10 Mean With No Outliers 0.1927 Std With No Outliers 0.1732 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_ML 0.8 701-AH 13.50 726-AH 0.67 0.6 702-AH 31.34 727-AH 0.12 0.4 703-AH 13.75 728-AH 10.63 0.2 Difference 704-AH 17.17 729-AH 1.56 0 705-AH 36.71 730-AH 0.00 −0.2 −0.4 706-AH 0.87 731-AH 13.67 −0.6 707-AH 35.46 732-AH 1.89 −0.8 708-AH 14.01 733-AH 34.92 −1 709-AH 0.41 734-AH 38.47 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 51.74 735-AH 5.97 711-AH 28.39 736-AH 4.77 712-AH 23.07 737-AH 3.24 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_ML 713-AH 4.87 738-AH 9.68 0.8 714-AH 31.61 739-AH 44.56 0.6 715-AH 1.94 740-AH 42.14 0.4 716-AH 24.48 741-AH 61.79 0.2 Difference 717-AH 26.85 742-AH 33.33 0 718-AH 34.76 743-AH 0.01 −0.2 −0.4 719-AH 7.19 744-AH 41.98 −0.6 720-AH 34.30 745-AH 22.26 −0.8 721-AH 6.06 746-AH 35.77 −1 722-AH 11.70 747-AH 1.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.37 748-AH 11.11 724-AH 62.38 749-AH 3.04 725-AH 19.62 750-AH 1.51 307 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_ML AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.00 CACAO_DEONB_ML 10 docs 37.60 90% 15 docs 32.00 80% 20 docs 27.90 30 docs 21.27 70% 100 docs 9.48 60% 200 docs 5.62 Precision 500 docs 2.74 50% 1000 docs 1.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 22.90 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6042 Minimum 0.0000 First Quartile 0.0800 Second Quartile 0.2250 Third Quartile 0.3750 Interquartile range 0.2950 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2290 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1706 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6042 6 Mean With No Outliers 0.2290 4 Std With No Outliers 0.1706 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_ML 0.8 701-AH 20.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 0.00 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 32.14 729-AH 3.12 0 705-AH 42.86 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 19.30 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 33.33 733-AH 43.48 −1 709-AH 2.08 734-AH 40.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 51.72 735-AH 10.96 711-AH 31.25 736-AH 11.54 712-AH 25.00 737-AH 8.33 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_ML 713-AH 18.18 738-AH 17.65 0.8 714-AH 39.39 739-AH 41.38 0.6 715-AH 6.25 740-AH 45.31 0.4 716-AH 34.62 741-AH 55.00 0.2 Difference 717-AH 30.95 742-AH 33.33 0 718-AH 37.50 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 38.46 −0.6 720-AH 43.75 745-AH 27.78 −0.8 721-AH 8.82 746-AH 42.86 −1 722-AH 11.11 747-AH 8.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 33.33 724-AH 60.42 749-AH 5.33 725-AH 25.53 750-AH 4.00 308 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_SEMVECTEXP AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,882 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 774 Pooled false Geometric Mean Average Precision 0.0826 Monolingual | query expansion Binary Preference (BPREF) 0.2172 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.82 CACAO_DEONB_SEMVECTEXP 10 55.21 90% 20 42.57 80% 30 29.83 40 19.29 70% 50 13.62 60% 60 7.40 Precision 70 3.78 50% 80 1.40 40% 90 0.73 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.93 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6297 Minimum 0.0000 First Quartile 0.0430 Second Quartile 0.1544 Third Quartile 0.3333 Interquartile range 0.2904 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1993 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1737 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6297 10 Mean With No Outliers 0.1993 Std With No Outliers 0.1737 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_SEMVECTEXP 0.8 701-AH 13.02 726-AH 0.46 0.6 702-AH 30.73 727-AH 0.62 0.4 703-AH 15.19 728-AH 17.07 0.2 Difference 704-AH 15.69 729-AH 3.12 0 705-AH 37.26 730-AH 0.00 −0.2 −0.4 706-AH 0.32 731-AH 21.70 −0.6 707-AH 34.86 732-AH 2.07 −0.8 708-AH 9.51 733-AH 39.34 −1 709-AH 5.49 734-AH 31.63 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 43.53 735-AH 6.26 711-AH 28.30 736-AH 0.77 712-AH 23.07 737-AH 3.07 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_SEMVECTEXP 713-AH 4.30 738-AH 9.40 0.8 714-AH 50.52 739-AH 47.75 0.6 715-AH 1.93 740-AH 44.94 0.4 716-AH 36.48 741-AH 59.03 0.2 Difference 717-AH 26.39 742-AH 33.33 0 718-AH 33.09 743-AH 0.01 −0.2 −0.4 719-AH 13.14 744-AH 41.21 −0.6 720-AH 20.39 745-AH 23.11 −0.8 721-AH 9.98 746-AH 38.17 −1 722-AH 11.71 747-AH 4.37 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 4.25 748-AH 11.11 724-AH 62.97 749-AH 4.52 725-AH 19.82 750-AH 1.49 309 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_SEMVECTEXP AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.80 CACAO_DEONB_SEMVECTEXP 10 docs 37.80 90% 15 docs 32.53 80% 20 docs 29.10 30 docs 22.53 70% 100 docs 10.08 60% 200 docs 5.91 Precision 500 docs 2.90 50% 1000 docs 1.55 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.24 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6250 Minimum 0.0000 First Quartile 0.0667 Second Quartile 0.2426 Third Quartile 0.3438 Interquartile range 0.2771 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2324 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1741 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6250 6 Mean With No Outliers 0.2324 4 Std With No Outliers 0.1741 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_SEMVECTEXP 0.8 701-AH 20.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 3.70 0.4 703-AH 18.18 728-AH 26.32 0.2 Difference 704-AH 32.14 729-AH 3.12 0 705-AH 42.86 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 28.07 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 0.00 733-AH 47.83 −1 709-AH 10.42 734-AH 35.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 51.72 735-AH 12.33 711-AH 31.25 736-AH 3.85 712-AH 25.00 737-AH 9.52 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_SEMVECTEXP 713-AH 9.09 738-AH 17.65 0.8 714-AH 54.55 739-AH 44.83 0.6 715-AH 6.25 740-AH 50.00 0.4 716-AH 34.62 741-AH 55.00 0.2 Difference 717-AH 28.57 742-AH 33.33 0 718-AH 34.38 743-AH 0.00 −0.2 −0.4 719-AH 16.00 744-AH 42.31 −0.6 720-AH 18.75 745-AH 29.17 −0.8 721-AH 23.53 746-AH 42.86 −1 722-AH 11.11 747-AH 12.79 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 33.33 724-AH 62.50 749-AH 6.67 725-AH 25.53 750-AH 4.00 310 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_TOPDOCSEXP AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,008 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 761 Pooled false Geometric Mean Average Precision 0.0769 Monolingual | query expansion Binary Preference (BPREF) 0.2130 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 67.54 CACAO_DEONB_TOPDOCSEXP 10 53.96 90% 20 43.51 80% 30 32.58 40 20.72 70% 50 13.94 60% 60 8.74 Precision 70 4.62 50% 80 1.19 40% 90 0.58 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 20.18 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6560 Minimum 0.0000 First Quartile 0.0312 Second Quartile 0.1335 Third Quartile 0.3429 Interquartile range 0.3116 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2018 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1832 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6560 Mean With No Outliers 0.2018 10 Std With No Outliers 0.1832 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_TOPDOCSEXP 0.8 701-AH 19.43 726-AH 0.55 0.6 702-AH 33.84 727-AH 0.12 0.4 703-AH 13.61 728-AH 10.58 0.2 Difference 704-AH 5.22 729-AH 3.12 0 705-AH 37.46 730-AH 0.00 −0.2 −0.4 706-AH 0.89 731-AH 13.09 −0.6 707-AH 35.46 732-AH 1.99 −0.8 708-AH 21.05 733-AH 42.35 −1 709-AH 0.22 734-AH 34.29 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 62.55 735-AH 3.15 711-AH 28.04 736-AH 4.06 712-AH 22.97 737-AH 2.93 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_TOPDOCSEXP 713-AH 4.80 738-AH 11.95 0.8 714-AH 36.16 739-AH 45.53 0.6 715-AH 1.92 740-AH 39.38 0.4 716-AH 25.35 741-AH 53.77 0.2 Difference 717-AH 29.16 742-AH 33.33 0 718-AH 33.67 743-AH 0.03 −0.2 −0.4 719-AH 12.54 744-AH 49.62 −0.6 720-AH 40.45 745-AH 27.31 −0.8 721-AH 4.18 746-AH 39.21 −1 722-AH 11.68 747-AH 2.48 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.25 748-AH 11.11 724-AH 65.60 749-AH 2.96 725-AH 22.99 750-AH 0.60 311 celi 10.2415/AH-TEL-MONO-DE-CLEF2009.CELI.CACAO_DEONB_TOPDOCSEXP AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 41.60 CACAO_DEONB_TOPDOCSEXP 10 docs 36.60 90% 15 docs 31.73 80% 20 docs 27.60 30 docs 21.47 70% 100 docs 9.64 60% 200 docs 5.58 Precision 500 docs 2.77 50% 1000 docs 1.52 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.22 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6458 Minimum 0.0000 First Quartile 0.0667 Second Quartile 0.2176 Third Quartile 0.3500 Interquartile range 0.2833 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2322 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1837 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6458 6 Mean With No Outliers 0.2322 4 Std With No Outliers 0.1837 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEONB_TOPDOCSEXP 0.8 701-AH 20.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 0.00 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 7.14 729-AH 3.12 0 705-AH 42.86 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 17.54 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 33.33 733-AH 47.83 −1 709-AH 0.00 734-AH 35.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 62.07 735-AH 9.59 711-AH 31.25 736-AH 11.54 712-AH 25.00 737-AH 9.52 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEONB_TOPDOCSEXP 713-AH 9.09 738-AH 23.53 0.8 714-AH 42.42 739-AH 37.93 0.6 715-AH 6.25 740-AH 42.19 0.4 716-AH 34.62 741-AH 50.00 0.2 Difference 717-AH 30.95 742-AH 33.33 0 718-AH 37.50 743-AH 0.00 −0.2 −0.4 719-AH 20.00 744-AH 53.85 −0.6 720-AH 50.00 745-AH 34.72 −0.8 721-AH 5.88 746-AH 45.45 −1 722-AH 11.11 747-AH 8.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 33.33 724-AH 64.58 749-AH 4.00 725-AH 29.79 750-AH 4.00 312 chemnitz 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,195 Pooled true Geometric Mean Average Precision 0.0898 monolingual terrier pgdec Binary Preference (BPREF) 0.2486 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.89 CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 10 52.05 90% 20 45.19 80% 30 35.69 40 30.61 70% 50 23.25 60% 60 19.56 Precision 70 15.67 50% 80 11.28 40% 90 6.29 30% 100 2.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 26.02 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8606 Minimum 0.0000 First Quartile 0.0950 Second Quartile 0.2041 Third Quartile 0.4483 Interquartile range 0.3534 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2602 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2182 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8606 10 Mean With No Outliers 0.2602 Std With No Outliers 0.2182 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 0.8 701-AH 12.80 726-AH 0.01 0.6 702-AH 25.86 727-AH 26.76 0.4 703-AH 24.66 728-AH 16.24 0.2 Difference 704-AH 24.30 729-AH 3.64 0 705-AH 44.83 730-AH 11.13 −0.2 −0.4 706-AH 14.10 731-AH 52.69 −0.6 707-AH 51.11 732-AH 19.97 −0.8 708-AH 59.69 733-AH 0.00 −1 709-AH 24.88 734-AH 86.06 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 74.18 735-AH 9.67 711-AH 39.58 736-AH 3.08 712-AH 17.61 737-AH 10.64 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 713-AH 2.99 738-AH 4.59 0.8 714-AH 0.00 739-AH 50.53 0.6 715-AH 1.02 740-AH 21.21 0.4 716-AH 56.76 741-AH 34.63 0.2 Difference 717-AH 38.26 742-AH 4.97 0 718-AH 20.85 743-AH 8.45 −0.2 −0.4 719-AH 9.50 744-AH 62.25 −0.6 720-AH 54.73 745-AH 34.30 −0.8 721-AH 27.54 746-AH 48.00 −1 722-AH 0.89 747-AH 14.76 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 19.05 724-AH 49.19 749-AH 11.79 725-AH 52.01 750-AH 19.30 313 chemnitz 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.00 CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 10 docs 39.00 90% 15 docs 35.60 80% 20 docs 32.00 30 docs 26.47 70% 100 docs 13.50 60% 200 docs 8.68 Precision 500 docs 4.38 50% 1000 docs 2.39 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.24 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8500 Minimum 0.0000 First Quartile 0.1310 Second Quartile 0.2655 Third Quartile 0.4000 Interquartile range 0.2690 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2824 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2105 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6491 6 Mean With No Outliers 0.2592 4 Std With No Outliers 0.1802 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 0.8 701-AH 13.33 726-AH 0.00 0.6 702-AH 31.82 727-AH 29.63 0.4 703-AH 18.18 728-AH 26.32 0.2 Difference 704-AH 26.79 729-AH 12.50 0 705-AH 42.86 730-AH 15.00 −0.2 −0.4 706-AH 20.00 731-AH 64.91 −0.6 707-AH 40.00 732-AH 29.63 −0.8 708-AH 44.44 733-AH 0.00 −1 709-AH 25.00 734-AH 85.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 82.76 735-AH 20.55 711-AH 37.50 736-AH 7.69 712-AH 25.00 737-AH 13.10 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_1_MONO_DE_TE_PGDEC_FB_KL_3_25 713-AH 9.09 738-AH 8.82 0.8 714-AH 0.00 739-AH 55.17 0.6 715-AH 6.25 740-AH 21.88 0.4 716-AH 53.85 741-AH 35.00 0.2 Difference 717-AH 28.57 742-AH 0.00 0 718-AH 28.12 743-AH 0.00 −0.2 −0.4 719-AH 24.00 744-AH 53.85 −0.6 720-AH 62.50 745-AH 33.33 −0.8 721-AH 32.35 746-AH 48.05 −1 722-AH 0.00 747-AH 22.09 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 43.75 749-AH 14.67 725-AH 57.45 750-AH 28.00 314 chemnitz 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,153 Pooled true Geometric Mean Average Precision 0.1131 monolingual lucene pgdec Binary Preference (BPREF) 0.2522 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.74 CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 10 53.42 90% 20 42.26 80% 30 35.65 40 29.88 70% 50 24.50 60% 60 20.13 Precision 70 15.24 50% 80 11.97 40% 90 7.75 30% 100 3.59 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 26.41 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8429 Minimum 0.0000 First Quartile 0.0885 Second Quartile 0.1710 Third Quartile 0.4451 Interquartile range 0.3567 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2641 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2352 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8429 5 Mean With No Outliers 0.2641 4 3 Std With No Outliers 0.2352 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 0.8 701-AH 11.29 726-AH 0.07 0.6 702-AH 23.97 727-AH 20.00 0.4 703-AH 44.56 728-AH 13.20 0.2 Difference 704-AH 33.27 729-AH 1.21 0 705-AH 37.94 730-AH 8.02 −0.2 −0.4 706-AH 14.58 731-AH 84.29 −0.6 707-AH 49.79 732-AH 18.83 −0.8 708-AH 23.24 733-AH 0.02 −1 709-AH 34.97 734-AH 79.05 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 74.65 735-AH 11.06 711-AH 11.83 736-AH 2.30 712-AH 21.67 737-AH 15.38 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 713-AH 2.17 738-AH 2.32 0.8 714-AH 31.29 739-AH 56.57 0.6 715-AH 7.22 740-AH 42.62 0.4 716-AH 64.86 741-AH 49.33 0.2 Difference 717-AH 44.51 742-AH 14.81 0 718-AH 10.21 743-AH 9.29 −0.2 −0.4 719-AH 0.35 744-AH 42.35 −0.6 720-AH 51.27 745-AH 7.69 −0.8 721-AH 15.33 746-AH 52.49 −1 722-AH 11.33 747-AH 19.82 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 9.18 724-AH 77.47 749-AH 8.85 725-AH 45.60 750-AH 8.43 315 chemnitz 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.80 CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 10 docs 39.40 90% 15 docs 34.40 80% 20 docs 31.70 30 docs 27.60 70% 100 docs 14.16 60% 200 docs 8.58 Precision 500 docs 4.16 50% 1000 docs 2.31 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.03 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8276 Minimum 0.0000 First Quartile 0.0800 Second Quartile 0.2367 Third Quartile 0.4524 Interquartile range 0.3724 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2803 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2300 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8276 5 Mean With No Outliers 0.2803 4 3 Std With No Outliers 0.2300 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 0.8 701-AH 13.33 726-AH 0.00 0.6 702-AH 31.82 727-AH 18.52 0.4 703-AH 54.55 728-AH 15.79 0.2 Difference 704-AH 42.86 729-AH 6.25 0 705-AH 21.43 730-AH 10.00 −0.2 −0.4 706-AH 20.00 731-AH 75.44 −0.6 707-AH 40.00 732-AH 29.63 −0.8 708-AH 11.11 733-AH 0.00 −1 709-AH 43.75 734-AH 75.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 82.76 735-AH 17.81 711-AH 25.00 736-AH 11.54 712-AH 25.00 737-AH 23.81 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_2_MONO_DE_LU_PGDEC_FB_KL_12_40 713-AH 0.00 738-AH 2.94 0.8 714-AH 36.36 739-AH 55.17 0.6 715-AH 6.25 740-AH 50.00 0.4 716-AH 61.54 741-AH 55.00 0.2 Difference 717-AH 45.24 742-AH 33.33 0 718-AH 3.12 743-AH 6.67 −0.2 −0.4 719-AH 0.00 744-AH 42.31 −0.6 720-AH 50.00 745-AH 5.56 −0.8 721-AH 23.53 746-AH 53.25 −1 722-AH 11.11 747-AH 29.07 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 66.67 749-AH 8.00 725-AH 48.94 750-AH 12.00 316 chemnitz 10.2415/AH-TEL-MONO-DE-CLEF2009.CHEMNITZ.CUT_3_MONO_MERGED_DE_1_2 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,202 Pooled false Geometric Mean Average Precision 0.1049 monolingual merged 1 2 zscore Binary Preference (BPREF) 0.2574 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.63 CUT_3_MONO_MERGED_DE_1_2 10 53.64 90% 20 45.01 80% 30 36.60 40 31.39 70% 50 26.72 60% 60 22.36 Precision 70 17.89 50% 80 13.77 40% 90 8.01 30% 100 2.87 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 27.89 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8384 Minimum 0.0000 First Quartile 0.0904 Second Quartile 0.2219 Third Quartile 0.4429 Interquartile range 0.3525 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2789 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2288 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8384 6 Mean With No Outliers 0.2789 4 Std With No Outliers 0.2288 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_3_MONO_MERGED_DE_1_2 0.8 701-AH 12.98 726-AH 0.01 0.6 702-AH 26.56 727-AH 23.11 0.4 703-AH 44.29 728-AH 18.26 0.2 Difference 704-AH 36.17 729-AH 2.87 0 705-AH 40.06 730-AH 9.04 −0.2 −0.4 706-AH 20.36 731-AH 65.31 −0.6 707-AH 54.69 732-AH 22.65 −0.8 708-AH 36.59 733-AH 0.00 −1 709-AH 29.97 734-AH 83.84 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 73.76 735-AH 12.66 711-AH 35.06 736-AH 2.42 712-AH 21.74 737-AH 13.41 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_3_MONO_MERGED_DE_1_2 713-AH 2.76 738-AH 3.96 0.8 714-AH 0.02 739-AH 58.97 0.6 715-AH 7.02 740-AH 39.15 0.4 716-AH 62.69 741-AH 45.79 0.2 Difference 717-AH 42.72 742-AH 9.05 0 718-AH 14.25 743-AH 8.50 −0.2 −0.4 719-AH 5.67 744-AH 54.25 −0.6 720-AH 60.00 745-AH 29.65 −0.8 721-AH 27.13 746-AH 49.34 −1 722-AH 3.08 747-AH 21.58 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 14.05 724-AH 72.56 749-AH 10.85 725-AH 52.56 750-AH 13.15 317 chemnitz 10.2415/AH-TEL-MONO-DE-CLEF2009.CHEMNITZ.CUT_3_MONO_MERGED_DE_1_2 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 46.80 CUT_3_MONO_MERGED_DE_1_2 10 docs 40.00 90% 15 docs 35.33 80% 20 docs 32.80 30 docs 27.40 70% 100 docs 14.98 60% 200 docs 9.28 Precision 500 docs 4.49 50% 1000 docs 2.40 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.38 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8276 Minimum 0.0000 First Quartile 0.1111 Second Quartile 0.2653 Third Quartile 0.4444 Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2938 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2274 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8276 5 Mean With No Outliers 0.2938 4 3 Std With No Outliers 0.2274 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_3_MONO_MERGED_DE_1_2 0.8 701-AH 13.33 726-AH 0.00 0.6 702-AH 27.27 727-AH 22.22 0.4 703-AH 54.55 728-AH 26.32 0.2 Difference 704-AH 39.29 729-AH 9.38 0 705-AH 35.71 730-AH 10.00 −0.2 −0.4 706-AH 30.00 731-AH 66.67 −0.6 707-AH 40.00 732-AH 29.63 −0.8 708-AH 44.44 733-AH 0.00 −1 709-AH 35.42 734-AH 80.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 82.76 735-AH 20.55 711-AH 43.75 736-AH 11.54 712-AH 25.00 737-AH 23.81 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_3_MONO_MERGED_DE_1_2 713-AH 0.00 738-AH 5.88 0.8 714-AH 0.00 739-AH 62.07 0.6 715-AH 6.25 740-AH 40.62 0.4 716-AH 57.69 741-AH 50.00 0.2 Difference 717-AH 35.71 742-AH 0.00 0 718-AH 12.50 743-AH 6.67 −0.2 −0.4 719-AH 16.00 744-AH 46.15 −0.6 720-AH 68.75 745-AH 33.33 −0.8 721-AH 20.59 746-AH 48.05 −1 722-AH 11.11 747-AH 26.74 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 68.75 749-AH 13.33 725-AH 51.06 750-AH 16.00 318 chemnitz 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,185 Pooled false Geometric Mean Average Precision 0.0923 monolingual+ merged reference cut_1 Binary Preference (BPREF) 0.2627 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.36 CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 10 52.61 90% 20 47.02 80% 30 38.58 40 32.52 70% 50 25.21 60% 60 21.43 Precision 70 15.39 50% 80 11.53 40% 90 6.46 30% 100 2.82 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 27.13 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8712 Minimum 0.0000 First Quartile 0.0828 Second Quartile 0.2304 Third Quartile 0.4866 Interquartile range 0.4038 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2713 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2271 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8712 6 Mean With No Outliers 0.2713 4 Std With No Outliers 0.2271 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 0.8 701-AH 11.45 726-AH 0.01 0.6 702-AH 25.78 727-AH 32.20 0.4 703-AH 23.62 728-AH 11.45 0.2 Difference 704-AH 22.49 729-AH 2.94 0 705-AH 48.66 730-AH 8.95 −0.2 −0.4 706-AH 15.68 731-AH 60.89 −0.6 707-AH 55.96 732-AH 18.92 −0.8 708-AH 56.01 733-AH 0.00 −1 709-AH 27.37 734-AH 87.12 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 66.48 735-AH 9.20 711-AH 41.34 736-AH 2.76 712-AH 17.58 737-AH 11.93 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 713-AH 1.88 738-AH 6.37 0.8 714-AH 0.00 739-AH 45.74 0.6 715-AH 2.71 740-AH 23.60 0.4 716-AH 70.67 741-AH 33.79 0.2 Difference 717-AH 52.74 742-AH 8.28 0 718-AH 38.51 743-AH 7.05 −0.2 −0.4 719-AH 2.32 744-AH 63.43 −0.6 720-AH 51.41 745-AH 18.33 −0.8 721-AH 24.67 746-AH 50.54 −1 722-AH 1.59 747-AH 13.32 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 20.11 724-AH 49.68 749-AH 31.29 725-AH 53.94 750-AH 25.79 319 chemnitz 10.2415/AH-TEL-MONO-DE- AH-TEL-MONO-DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 46.00 CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 10 docs 40.20 90% 15 docs 37.33 80% 20 docs 33.90 30 docs 27.73 70% 100 docs 14.14 60% 200 docs 8.79 Precision 500 docs 4.35 50% 1000 docs 2.37 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.52 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.1250 Second Quartile 0.2674 Third Quartile 0.4444 Interquartile range 0.3194 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2852 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2112 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8000 6 Mean With No Outliers 0.2852 4 Std With No Outliers 0.2112 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 0.8 701-AH 13.33 726-AH 0.00 0.6 702-AH 27.27 727-AH 37.04 0.4 703-AH 18.18 728-AH 21.05 0.2 Difference 704-AH 21.43 729-AH 12.50 0 705-AH 42.86 730-AH 15.00 −0.2 −0.4 706-AH 30.00 731-AH 68.42 −0.6 707-AH 40.00 732-AH 22.22 −0.8 708-AH 44.44 733-AH 0.00 −1 709-AH 27.08 734-AH 80.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 68.97 735-AH 17.81 711-AH 50.00 736-AH 11.54 712-AH 25.00 737-AH 13.10 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_4_MONO_DE_MERGED_LANG_SPEC_REF_CUT_1 713-AH 0.00 738-AH 11.76 0.8 714-AH 0.00 739-AH 48.28 0.6 715-AH 6.25 740-AH 23.44 0.4 716-AH 57.69 741-AH 35.00 0.2 Difference 717-AH 45.24 742-AH 0.00 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 53.85 −0.6 720-AH 62.50 745-AH 26.39 −0.8 721-AH 32.35 746-AH 46.75 −1 722-AH 0.00 747-AH 23.26 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 45.83 749-AH 40.00 725-AH 55.32 750-AH 28.00 320 cheshire 10.2415/AH-TEL-MONO-DE-CLEF2009.CHESHIRE.MODET2FB AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 48,471 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 776 Pooled true Geometric Mean Average Precision 0.0459 German topics with Trec2 and Blind Feedback Binary Preference (BPREF) 0.1359 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 51.83 MODET2FB 10 36.80 90% 20 26.34 80% 30 19.14 40 14.76 70% 50 11.99 60% 60 8.75 Precision 70 7.14 50% 80 5.88 40% 90 3.84 30% 100 2.74 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.78 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8655 Minimum 0.0000 First Quartile 0.0212 Second Quartile 0.0647 Third Quartile 0.2348 Interquartile range 0.2137 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1478 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1787 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4366 15 Mean With No Outliers 0.1131 10 Std With No Outliers 0.1119 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MODET2FB 0.8 701-AH 4.65 726-AH 2.03 0.6 702-AH 27.90 727-AH 0.86 0.4 703-AH 12.33 728-AH 15.99 0.2 Difference 704-AH 2.68 729-AH 0.00 0 705-AH 25.67 730-AH 0.00 −0.2 −0.4 706-AH 23.61 731-AH 31.76 −0.6 707-AH 43.66 732-AH 2.69 −0.8 708-AH 2.12 733-AH 5.46 −1 709-AH 0.15 734-AH 86.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 18.85 735-AH 18.54 711-AH 26.30 736-AH 3.16 712-AH 23.45 737-AH 5.04 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MODET2FB 713-AH 0.48 738-AH 1.50 0.8 714-AH 1.21 739-AH 3.16 0.6 715-AH 1.92 740-AH 18.38 0.4 716-AH 58.30 741-AH 23.48 0.2 Difference 717-AH 26.16 742-AH 15.67 0 718-AH 25.63 743-AH 0.13 −0.2 −0.4 719-AH 2.96 744-AH 23.08 −0.6 720-AH 7.87 745-AH 2.89 −0.8 721-AH 6.99 746-AH 1.66 −1 722-AH 14.66 747-AH 4.86 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 24.57 748-AH 19.16 724-AH 62.47 749-AH 5.95 725-AH 2.13 750-AH 0.10 321 cheshire 10.2415/AH-TEL-MONO-DE-CLEF2009.CHESHIRE.MODET2FB AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 24.80 MODET2FB 10 docs 22.40 90% 15 docs 19.73 80% 20 docs 18.20 30 docs 15.60 70% 100 docs 8.84 60% 200 docs 5.49 Precision 500 docs 2.67 50% 1000 docs 1.55 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8500 Minimum 0.0000 First Quartile 0.0213 Second Quartile 0.0896 Third Quartile 0.2667 Interquartile range 0.2454 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1653 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1818 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5833 Mean With No Outliers 0.1513 10 Std With No Outliers 0.1542 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MODET2FB 0.8 701-AH 0.00 726-AH 6.25 0.6 702-AH 27.27 727-AH 3.70 0.4 703-AH 9.09 728-AH 21.05 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 21.43 730-AH 0.00 −0.2 −0.4 706-AH 20.00 731-AH 47.37 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 8.70 −1 709-AH 2.08 734-AH 85.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 20.69 735-AH 30.14 711-AH 31.25 736-AH 3.85 712-AH 25.00 737-AH 16.67 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MODET2FB 713-AH 0.00 738-AH 0.00 0.8 714-AH 6.06 739-AH 0.00 0.6 715-AH 6.25 740-AH 20.31 0.4 716-AH 53.85 741-AH 30.00 0.2 Difference 717-AH 30.95 742-AH 33.33 0 718-AH 46.88 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 23.08 −0.6 720-AH 6.25 745-AH 6.94 −0.8 721-AH 8.82 746-AH 7.79 −1 722-AH 11.11 747-AH 10.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.67 748-AH 0.00 724-AH 58.33 749-AH 16.00 725-AH 2.13 750-AH 0.00 322 cheshire 10.2415/AH-TEL-MONO-DE-CLEF2009.CHESHIRE.MODET2FB3 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 716 Pooled true Geometric Mean Average Precision 0.0387 German, English, and French topics with Trec2 and Binary Preference (BPREF) 0.1375 Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 54.81 MODET2FB3 10 32.59 90% 20 23.85 80% 30 20.25 40 12.43 70% 50 9.17 60% 60 6.49 Precision 70 5.04 50% 80 4.63 40% 90 3.08 30% 100 2.27 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 13.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8410 Minimum 0.0000 First Quartile 0.0204 Second Quartile 0.0681 Third Quartile 0.1496 Interquartile range 0.1292 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1331 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1856 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3162 15 Mean With No Outliers 0.0761 10 Std With No Outliers 0.0784 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MODET2FB3 0.8 701-AH 8.30 726-AH 0.87 0.6 702-AH 8.58 727-AH 5.68 0.4 703-AH 15.60 728-AH 5.26 0.2 Difference 704-AH 17.14 729-AH 5.89 0 705-AH 9.29 730-AH 7.91 −0.2 −0.4 706-AH 35.87 731-AH 30.74 −0.6 707-AH 31.62 732-AH 14.12 −0.8 708-AH 0.00 733-AH 2.26 −1 709-AH 0.00 734-AH 84.10 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.59 735-AH 8.64 711-AH 2.62 736-AH 2.67 712-AH 2.35 737-AH 3.16 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MODET2FB3 713-AH 1.61 738-AH 4.99 0.8 714-AH 1.09 739-AH 14.34 0.6 715-AH 10.16 740-AH 0.93 0.4 716-AH 69.48 741-AH 7.72 0.2 Difference 717-AH 10.70 742-AH 16.43 0 718-AH 35.91 743-AH 0.00 −0.2 −0.4 719-AH 1.11 744-AH 10.18 −0.6 720-AH 26.72 745-AH 4.65 −0.8 721-AH 1.84 746-AH 1.26 −1 722-AH 35.80 747-AH 1.66 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 14.96 748-AH 5.65 724-AH 69.13 749-AH 3.60 725-AH 0.07 750-AH 2.04 323 cheshire 10.2415/AH-TEL-MONO-DE-CLEF2009.CHESHIRE.MODET2FB3 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 26.40 MODET2FB3 10 docs 22.20 90% 15 docs 19.60 80% 20 docs 17.40 30 docs 14.27 70% 100 docs 7.60 60% 200 docs 4.45 Precision 500 docs 2.42 50% 1000 docs 1.43 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.75 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0435 Second Quartile 0.1151 Third Quartile 0.2222 Interquartile range 0.1787 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1675 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1771 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.4211 10 Mean With No Outliers 0.1352 Std With No Outliers 0.1226 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MODET2FB3 0.8 701-AH 13.33 726-AH 6.25 0.6 702-AH 22.73 727-AH 7.41 0.4 703-AH 9.09 728-AH 15.79 0.2 Difference 704-AH 33.93 729-AH 18.75 0 705-AH 7.14 730-AH 10.00 −0.2 −0.4 706-AH 40.00 731-AH 42.11 −0.6 707-AH 30.00 732-AH 22.22 −0.8 708-AH 0.00 733-AH 4.35 −1 709-AH 0.00 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.24 735-AH 15.07 711-AH 6.25 736-AH 0.00 712-AH 8.33 737-AH 7.14 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MODET2FB3 713-AH 0.00 738-AH 17.65 0.8 714-AH 3.03 739-AH 17.24 0.6 715-AH 18.75 740-AH 0.00 0.4 716-AH 57.69 741-AH 5.00 0.2 Difference 717-AH 11.90 742-AH 33.33 0 718-AH 40.62 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 15.38 −0.6 720-AH 37.50 745-AH 11.11 −0.8 721-AH 2.94 746-AH 3.90 −1 722-AH 33.33 747-AH 6.98 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 64.58 749-AH 4.00 725-AH 2.13 750-AH 12.00 324 cheshire 10.2415/AH-TEL-MONO-DE-CLEF2009.CHESHIRE.MODET2FBX AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,526 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 679 Pooled false Geometric Mean Average Precision 0.0313 German with English and French translations of Binary Preference (BPREF) 0.1456 topics with Trec2 and Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 44.78 MODET2FBX 10 30.20 90% 20 24.59 80% 30 16.16 40 10.64 70% 50 7.89 60% 60 6.52 Precision 70 5.19 50% 80 4.79 40% 90 3.61 30% 100 2.34 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 12.30 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8598 Minimum 0.0000 First Quartile 0.0122 Second Quartile 0.0703 Third Quartile 0.1423 Interquartile range 0.1301 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1230 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1758 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3283 15 Mean With No Outliers 0.0862 10 Std With No Outliers 0.0929 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MODET2FBX 0.8 701-AH 8.51 726-AH 14.06 0.6 702-AH 7.84 727-AH 2.88 0.4 703-AH 15.55 728-AH 5.17 0.2 Difference 704-AH 1.15 729-AH 2.93 0 705-AH 14.23 730-AH 1.47 −0.2 −0.4 706-AH 11.92 731-AH 21.09 −0.6 707-AH 31.91 732-AH 11.20 −0.8 708-AH 0.02 733-AH 2.24 −1 709-AH 0.00 734-AH 85.98 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.82 735-AH 3.49 711-AH 25.79 736-AH 1.50 712-AH 13.82 737-AH 0.83 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MODET2FBX 713-AH 1.02 738-AH 0.09 0.8 714-AH 0.00 739-AH 9.90 0.6 715-AH 10.71 740-AH 7.82 0.4 716-AH 71.00 741-AH 10.49 0.2 Difference 717-AH 7.91 742-AH 16.94 0 718-AH 20.45 743-AH 0.00 −0.2 −0.4 719-AH 1.22 744-AH 10.19 −0.6 720-AH 26.52 745-AH 1.09 −0.8 721-AH 0.60 746-AH 0.97 −1 722-AH 32.83 747-AH 0.19 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 30.18 748-AH 4.08 724-AH 52.94 749-AH 6.25 725-AH 2.19 750-AH 1.93 325 cheshire 10.2415/AH-TEL-MONO-DE-CLEF2009.CHESHIRE.MODET2FBX AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 23.20 MODET2FBX 10 docs 18.20 90% 15 docs 16.53 80% 20 docs 15.00 30 docs 12.53 70% 100 docs 6.84 60% 200 docs 4.14 Precision 500 docs 2.36 50% 1000 docs 1.36 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.45 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0213 Second Quartile 0.1089 Third Quartile 0.2273 Interquartile range 0.2060 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1545 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1683 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4583 Mean With No Outliers 0.1323 10 Std With No Outliers 0.1279 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MODET2FBX 0.8 701-AH 13.33 726-AH 12.50 0.6 702-AH 22.73 727-AH 7.41 0.4 703-AH 9.09 728-AH 15.79 0.2 Difference 704-AH 1.79 729-AH 3.12 0 705-AH 21.43 730-AH 5.00 −0.2 −0.4 706-AH 20.00 731-AH 33.33 −0.6 707-AH 30.00 732-AH 22.22 −0.8 708-AH 0.00 733-AH 4.35 −1 709-AH 0.00 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 6.85 711-AH 25.00 736-AH 0.00 712-AH 25.00 737-AH 5.95 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MODET2FBX 713-AH 0.00 738-AH 0.00 0.8 714-AH 0.00 739-AH 13.79 0.6 715-AH 18.75 740-AH 18.75 0.4 716-AH 57.69 741-AH 5.00 0.2 Difference 717-AH 14.29 742-AH 33.33 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 15.38 −0.6 720-AH 37.50 745-AH 11.11 −0.8 721-AH 0.00 746-AH 2.60 −1 722-AH 33.33 747-AH 1.16 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.67 748-AH 0.00 724-AH 45.83 749-AH 10.67 725-AH 2.13 750-AH 8.00 326 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN10 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,005 Pooled true Geometric Mean Average Precision 0.0780 run-10-lm-Stemming_lmstem-qe_text-filter_t_sp- Binary Preference (BPREF) 0.2689 order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.26 RUN10 10 52.41 90% 20 44.70 80% 30 38.56 40 30.41 70% 50 25.13 60% 60 21.42 Precision 70 17.49 50% 80 10.43 40% 90 4.28 30% 100 1.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 26.47 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7875 Minimum 0.0000 First Quartile 0.0648 Second Quartile 0.2099 Third Quartile 0.4576 Interquartile range 0.3927 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2647 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2419 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7875 10 Mean With No Outliers 0.2647 Std With No Outliers 0.2419 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN10 0.8 701-AH 6.53 726-AH 0.00 0.6 702-AH 39.04 727-AH 6.05 0.4 703-AH 11.52 728-AH 21.82 0.2 Difference 704-AH 13.27 729-AH 1.19 0 705-AH 25.92 730-AH 0.00 −0.2 −0.4 706-AH 0.62 731-AH 45.50 −0.6 707-AH 56.09 732-AH 7.71 −0.8 708-AH 0.00 733-AH 55.07 −1 709-AH 25.94 734-AH 67.96 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 73.68 735-AH 17.17 711-AH 28.64 736-AH 1.62 712-AH 23.06 737-AH 4.59 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN10 713-AH 8.48 738-AH 20.17 0.8 714-AH 56.77 739-AH 64.86 0.6 715-AH 6.82 740-AH 58.62 0.4 716-AH 26.41 741-AH 45.76 0.2 Difference 717-AH 43.14 742-AH 8.33 0 718-AH 27.57 743-AH 0.00 −0.2 −0.4 719-AH 6.48 744-AH 59.70 −0.6 720-AH 69.24 745-AH 60.56 −0.8 721-AH 3.22 746-AH 55.36 −1 722-AH 7.87 747-AH 8.62 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 23.97 748-AH 4.42 724-AH 78.75 749-AH 17.86 725-AH 26.03 750-AH 1.49 327 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN10 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 46.00 RUN10 10 docs 40.80 90% 15 docs 37.20 80% 20 docs 34.50 30 docs 29.00 70% 100 docs 14.36 60% 200 docs 8.39 Precision 500 docs 3.76 50% 1000 docs 2.01 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.88 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0741 Second Quartile 0.2762 Third Quartile 0.5000 Interquartile range 0.4259 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2988 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2481 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8000 6 Mean With No Outliers 0.2988 4 Std With No Outliers 0.2481 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN10 0.8 701-AH 6.67 726-AH 0.00 0.6 702-AH 40.91 727-AH 7.41 0.4 703-AH 9.09 728-AH 31.58 0.2 Difference 704-AH 23.21 729-AH 6.25 0 705-AH 28.57 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 54.39 −0.6 707-AH 50.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 47.83 −1 709-AH 39.58 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 79.31 735-AH 24.66 711-AH 43.75 736-AH 7.69 712-AH 25.00 737-AH 14.29 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN10 713-AH 18.18 738-AH 29.41 0.8 714-AH 57.58 739-AH 62.07 0.6 715-AH 0.00 740-AH 60.94 0.4 716-AH 42.31 741-AH 55.00 0.2 Difference 717-AH 42.86 742-AH 0.00 0 718-AH 40.62 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 57.69 −0.6 720-AH 75.00 745-AH 70.83 −0.8 721-AH 8.82 746-AH 55.84 −1 722-AH 11.11 747-AH 9.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 33.33 748-AH 0.00 724-AH 64.58 749-AH 26.67 725-AH 36.17 750-AH 4.00 328 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN11 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,173 Pooled false Geometric Mean Average Precision 0.1615 run-11-vs-Stemming_lmstem2_6grams-qe_text- Binary Preference (BPREF) 0.2947 filter_t_sp-order_sc.txt Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.30 RUN11 10 53.58 90% 20 49.77 80% 30 41.01 40 34.11 70% 50 27.34 60% 60 22.08 Precision 70 15.58 50% 80 10.82 40% 90 5.78 30% 100 1.50 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 27.76 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7753 Minimum 0.0026 First Quartile 0.0741 Second Quartile 0.1780 Third Quartile 0.4681 Interquartile range 0.3940 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2776 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2315 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0026 8 Upper Outlier Threshold 0.7753 6 Mean With No Outliers 0.2776 4 Std With No Outliers 0.2315 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN11 0.8 701-AH 7.41 726-AH 18.40 0.6 702-AH 39.08 727-AH 15.77 0.4 703-AH 3.99 728-AH 5.93 0.2 Difference 704-AH 4.41 729-AH 1.07 0 705-AH 43.63 730-AH 10.12 −0.2 −0.4 706-AH 47.28 731-AH 52.36 −0.6 707-AH 46.81 732-AH 6.70 −0.8 708-AH 10.42 733-AH 16.12 −1 709-AH 32.37 734-AH 66.90 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 44.89 735-AH 7.87 711-AH 41.80 736-AH 0.26 712-AH 20.23 737-AH 2.23 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN11 713-AH 12.71 738-AH 36.19 0.8 714-AH 46.90 739-AH 66.85 0.6 715-AH 8.42 740-AH 44.97 0.4 716-AH 17.20 741-AH 53.65 0.2 Difference 717-AH 56.58 742-AH 11.11 0 718-AH 40.92 743-AH 7.67 −0.2 −0.4 719-AH 0.96 744-AH 59.67 −0.6 720-AH 77.48 745-AH 53.05 −0.8 721-AH 7.24 746-AH 64.21 −1 722-AH 35.09 747-AH 16.96 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 8.82 748-AH 3.23 724-AH 77.53 749-AH 21.54 725-AH 6.80 750-AH 6.03 329 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN11 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.40 RUN11 10 docs 39.40 90% 15 docs 36.67 80% 20 docs 32.80 30 docs 27.07 70% 100 docs 15.00 60% 200 docs 8.94 Precision 500 docs 4.23 50% 1000 docs 2.35 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.65 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7500 Minimum 0.0000 First Quartile 0.1000 Second Quartile 0.2991 Third Quartile 0.4375 Interquartile range 0.3375 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2965 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2224 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.7500 6 Mean With No Outliers 0.2965 4 Std With No Outliers 0.2224 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN11 0.8 701-AH 13.33 726-AH 37.50 0.6 702-AH 31.82 727-AH 22.22 0.4 703-AH 0.00 728-AH 10.53 0.2 Difference 704-AH 3.57 729-AH 0.00 0 705-AH 42.86 730-AH 10.00 −0.2 −0.4 706-AH 40.00 731-AH 63.16 −0.6 707-AH 40.00 732-AH 11.11 −0.8 708-AH 0.00 733-AH 21.74 −1 709-AH 39.58 734-AH 70.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 48.28 735-AH 20.55 711-AH 56.25 736-AH 0.00 712-AH 25.00 737-AH 8.33 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN11 713-AH 18.18 738-AH 35.29 0.8 714-AH 57.58 739-AH 58.62 0.6 715-AH 6.25 740-AH 39.06 0.4 716-AH 38.46 741-AH 40.00 0.2 Difference 717-AH 54.76 742-AH 33.33 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 61.54 −0.6 720-AH 75.00 745-AH 56.94 −0.8 721-AH 8.82 746-AH 58.44 −1 722-AH 33.33 747-AH 24.42 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 64.58 749-AH 28.00 725-AH 12.77 750-AH 4.00 330 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN12 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,137 Pooled false Geometric Mean Average Precision 0.1613 run-12-lm-Stemming_lmstem2_6grams-qe_text- Binary Preference (BPREF) 0.2866 filter_t_sp-order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 67.29 RUN12 10 57.52 90% 20 48.28 80% 30 39.38 40 34.04 70% 50 29.56 60% 60 23.71 Precision 70 16.51 50% 80 10.89 40% 90 5.58 30% 100 1.01 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 27.85 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7567 Minimum 0.0010 First Quartile 0.0753 Second Quartile 0.2026 Third Quartile 0.4544 Interquartile range 0.3791 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2785 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2271 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0010 8 Upper Outlier Threshold 0.7567 6 Mean With No Outliers 0.2785 4 Std With No Outliers 0.2271 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN12 0.8 701-AH 10.82 726-AH 20.22 0.6 702-AH 34.93 727-AH 6.64 0.4 703-AH 14.09 728-AH 6.48 0.2 Difference 704-AH 3.09 729-AH 1.94 0 705-AH 30.39 730-AH 9.67 −0.2 −0.4 706-AH 45.44 731-AH 52.38 −0.6 707-AH 36.79 732-AH 1.66 −0.8 708-AH 17.63 733-AH 40.28 −1 709-AH 41.12 734-AH 72.10 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 72.00 735-AH 18.38 711-AH 43.35 736-AH 0.10 712-AH 20.29 737-AH 2.27 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN12 713-AH 19.36 738-AH 32.09 0.8 714-AH 25.47 739-AH 61.71 0.6 715-AH 3.54 740-AH 53.44 0.4 716-AH 14.08 741-AH 54.66 0.2 Difference 717-AH 54.03 742-AH 8.41 0 718-AH 39.14 743-AH 6.22 −0.2 −0.4 719-AH 9.43 744-AH 54.06 −0.6 720-AH 59.81 745-AH 57.98 −0.8 721-AH 7.53 746-AH 65.35 −1 722-AH 27.60 747-AH 14.62 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.78 748-AH 4.96 724-AH 75.67 749-AH 13.90 725-AH 4.06 750-AH 1.35 331 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN12 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 46.00 RUN12 10 docs 39.20 90% 15 docs 36.13 80% 20 docs 34.40 30 docs 27.93 70% 100 docs 14.78 60% 200 docs 8.83 Precision 500 docs 4.09 50% 1000 docs 2.27 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.67 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0625 Second Quartile 0.2551 Third Quartile 0.5000 Interquartile range 0.4375 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2967 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2479 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8000 10 Mean With No Outliers 0.2967 Std With No Outliers 0.2479 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN12 0.8 701-AH 20.00 726-AH 43.75 0.6 702-AH 31.82 727-AH 0.00 0.4 703-AH 9.09 728-AH 10.53 0.2 Difference 704-AH 3.57 729-AH 6.25 0 705-AH 35.71 730-AH 10.00 −0.2 −0.4 706-AH 50.00 731-AH 61.40 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 0.00 733-AH 47.83 −1 709-AH 39.58 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 79.31 735-AH 26.03 711-AH 56.25 736-AH 0.00 712-AH 25.00 737-AH 7.14 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN12 713-AH 18.18 738-AH 32.35 0.8 714-AH 45.45 739-AH 51.72 0.6 715-AH 0.00 740-AH 65.62 0.4 716-AH 38.46 741-AH 50.00 0.2 Difference 717-AH 59.52 742-AH 0.00 0 718-AH 40.62 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 53.85 −0.6 720-AH 68.75 745-AH 66.67 −0.8 721-AH 8.82 746-AH 63.64 −1 722-AH 22.22 747-AH 15.12 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 20.00 748-AH 0.00 724-AH 60.42 749-AH 18.67 725-AH 2.13 750-AH 4.00 332 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN9 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,036 Pooled true Geometric Mean Average Precision 0.0732 run-9-vs-Stemming_lmstem-qe_text-filter_t_sp- Binary Preference (BPREF) 0.2582 order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 65.26 RUN9 10 51.80 90% 20 43.28 80% 30 36.82 40 28.49 70% 50 24.19 60% 60 20.96 Precision 70 15.84 50% 80 11.07 40% 90 4.33 30% 100 1.22 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.87 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7605 Minimum 0.0000 First Quartile 0.0415 Second Quartile 0.1937 Third Quartile 0.4165 Interquartile range 0.3750 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2587 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2442 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7605 10 Mean With No Outliers 0.2587 Std With No Outliers 0.2442 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN9 0.8 701-AH 7.36 726-AH 0.46 0.6 702-AH 34.18 727-AH 5.31 0.4 703-AH 10.74 728-AH 20.24 0.2 Difference 704-AH 9.48 729-AH 0.68 0 705-AH 27.32 730-AH 0.00 −0.2 −0.4 706-AH 0.62 731-AH 49.75 −0.6 707-AH 41.65 732-AH 2.82 −0.8 708-AH 0.00 733-AH 26.22 −1 709-AH 35.39 734-AH 61.97 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 75.55 735-AH 13.33 711-AH 27.51 736-AH 2.15 712-AH 23.06 737-AH 15.90 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN9 713-AH 4.21 738-AH 13.90 0.8 714-AH 56.41 739-AH 64.78 0.6 715-AH 18.50 740-AH 59.09 0.4 716-AH 28.26 741-AH 72.86 0.2 Difference 717-AH 27.88 742-AH 11.21 0 718-AH 44.31 743-AH 0.00 −0.2 −0.4 719-AH 0.16 744-AH 61.54 −0.6 720-AH 70.53 745-AH 66.01 −0.8 721-AH 0.09 746-AH 34.70 −1 722-AH 6.47 747-AH 3.92 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.83 748-AH 4.15 724-AH 76.05 749-AH 35.09 725-AH 24.39 750-AH 1.62 333 inesc 10.2415/AH-TEL-MONO-DE-CLEF2009.INESC.RUN9 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 45.20 RUN9 10 docs 37.80 90% 15 docs 35.07 80% 20 docs 33.60 30 docs 28.47 70% 100 docs 14.04 60% 200 docs 8.11 Precision 500 docs 3.76 50% 1000 docs 2.07 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.21 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7931 Minimum 0.0000 First Quartile 0.0741 Second Quartile 0.2364 Third Quartile 0.4133 Interquartile range 0.3393 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2821 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2462 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7931 10 Mean With No Outliers 0.2821 Std With No Outliers 0.2462 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN9 0.8 701-AH 13.33 726-AH 0.00 0.6 702-AH 31.82 727-AH 7.41 0.4 703-AH 9.09 728-AH 26.32 0.2 Difference 704-AH 10.71 729-AH 3.12 0 705-AH 21.43 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 59.65 −0.6 707-AH 30.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 21.74 −1 709-AH 39.58 734-AH 70.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 79.31 735-AH 24.66 711-AH 31.25 736-AH 3.85 712-AH 25.00 737-AH 22.62 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN9 713-AH 9.09 738-AH 14.71 0.8 714-AH 60.61 739-AH 62.07 0.6 715-AH 18.75 740-AH 60.94 0.4 716-AH 38.46 741-AH 75.00 0.2 Difference 717-AH 30.95 742-AH 33.33 0 718-AH 46.88 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 61.54 −0.6 720-AH 75.00 745-AH 68.06 −0.8 721-AH 0.00 746-AH 38.96 −1 722-AH 11.11 747-AH 9.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 66.67 749-AH 41.33 725-AH 31.91 750-AH 4.00 334 karlsruhe 10.2415/AH-TEL-MONO-DE-CLEF2009.KARLSRUHE.AIFB_ONB_INDEXALL AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 985 Pooled true Geometric Mean Average Precision 0.1307 IR with multiple indexes and aggregated scores Binary Preference (BPREF) 0.2326 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 65.35 AIFB_ONB_INDEXALL 10 51.75 90% 20 44.26 80% 30 32.49 40 24.29 70% 50 20.01 60% 60 15.77 Precision 70 10.34 50% 80 7.27 40% 90 3.82 30% 100 1.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.85 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7880 Minimum 0.0009 First Quartile 0.0718 Second Quartile 0.2148 Third Quartile 0.3448 Interquartile range 0.2730 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2285 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1864 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0009 6 Upper Outlier Threshold 0.7276 5 Mean With No Outliers 0.2171 4 3 Std With No Outliers 0.1697 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries AIFB_ONB_INDEXALL 0.8 701-AH 6.65 726-AH 9.82 0.6 702-AH 32.79 727-AH 0.09 0.4 703-AH 16.80 728-AH 10.72 0.2 Difference 704-AH 7.18 729-AH 1.46 0 705-AH 28.00 730-AH 10.88 −0.2 −0.4 706-AH 20.72 731-AH 25.65 −0.6 707-AH 35.12 732-AH 2.02 −0.8 708-AH 1.48 733-AH 28.99 −1 709-AH 26.75 734-AH 72.76 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 36.14 735-AH 10.76 711-AH 44.96 736-AH 6.64 712-AH 22.23 737-AH 7.55 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) AIFB_ONB_INDEXALL 713-AH 3.89 738-AH 1.83 0.8 714-AH 37.71 739-AH 45.80 0.6 715-AH 10.07 740-AH 28.82 0.4 716-AH 31.61 741-AH 41.25 0.2 Difference 717-AH 35.59 742-AH 37.94 0 718-AH 28.79 743-AH 0.11 −0.2 −0.4 719-AH 16.28 744-AH 50.17 −0.6 720-AH 34.48 745-AH 78.80 −0.8 721-AH 6.20 746-AH 32.15 −1 722-AH 23.40 747-AH 5.25 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.83 748-AH 11.71 724-AH 61.30 749-AH 11.60 725-AH 22.57 750-AH 3.09 335 karlsruhe 10.2415/AH-TEL-MONO-DE-CLEF2009.KARLSRUHE.AIFB_ONB_INDEXALL AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 40.40 AIFB_ONB_INDEXALL 10 docs 34.20 90% 15 docs 31.07 80% 20 docs 28.50 30 docs 25.33 70% 100 docs 13.84 60% 200 docs 7.77 Precision 500 docs 3.54 50% 1000 docs 1.97 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.37 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8056 Minimum 0.0000 First Quartile 0.1176 Second Quartile 0.2344 Third Quartile 0.3793 Interquartile range 0.2617 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2637 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1853 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.6500 5 Mean With No Outliers 0.2527 4 3 Std With No Outliers 0.1698 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries AIFB_ONB_INDEXALL 0.8 701-AH 6.67 726-AH 18.75 0.6 702-AH 27.27 727-AH 0.00 0.4 703-AH 18.18 728-AH 15.79 0.2 Difference 704-AH 12.50 729-AH 6.25 0 705-AH 21.43 730-AH 25.00 −0.2 −0.4 706-AH 20.00 731-AH 42.11 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 34.78 −1 709-AH 35.42 734-AH 65.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 37.93 735-AH 24.66 711-AH 43.75 736-AH 11.54 712-AH 25.00 737-AH 16.67 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) AIFB_ONB_INDEXALL 713-AH 9.09 738-AH 11.76 0.8 714-AH 51.52 739-AH 41.38 0.6 715-AH 6.25 740-AH 35.94 0.4 716-AH 46.15 741-AH 50.00 0.2 Difference 717-AH 45.24 742-AH 33.33 0 718-AH 37.50 743-AH 0.00 −0.2 −0.4 719-AH 16.00 744-AH 53.85 −0.6 720-AH 37.50 745-AH 80.56 −0.8 721-AH 11.76 746-AH 41.56 −1 722-AH 22.22 747-AH 10.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 60.42 749-AH 18.67 725-AH 29.79 750-AH 12.00 336 karlsruhe 10.2415/AH-TEL-MONO-DE-CLEF2009.KARLSRUHE.AIFB_ONB_INDEXBL AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 974 Pooled false Geometric Mean Average Precision 0.1141 Baseline using standard IR with single index Binary Preference (BPREF) 0.2313 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.26 AIFB_ONB_INDEXBL 10 54.68 90% 20 42.35 80% 30 31.98 40 23.65 70% 50 20.28 60% 60 15.43 Precision 70 9.91 50% 80 6.69 40% 90 4.32 30% 100 1.45 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7644 Minimum 0.0000 First Quartile 0.0731 Second Quartile 0.1711 Third Quartile 0.3472 Interquartile range 0.2741 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2331 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1986 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.7401 6 Mean With No Outliers 0.2223 4 Std With No Outliers 0.1851 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries AIFB_ONB_INDEXBL 0.8 701-AH 7.15 726-AH 16.58 0.6 702-AH 33.54 727-AH 0.40 0.4 703-AH 17.64 728-AH 11.39 0.2 Difference 704-AH 7.31 729-AH 2.04 0 705-AH 30.25 730-AH 0.00 −0.2 −0.4 706-AH 10.78 731-AH 27.96 −0.6 707-AH 34.72 732-AH 1.62 −0.8 708-AH 1.70 733-AH 46.19 −1 709-AH 27.44 734-AH 72.54 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 33.28 735-AH 9.12 711-AH 32.57 736-AH 6.80 712-AH 21.02 737-AH 9.59 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) AIFB_ONB_INDEXBL 713-AH 11.50 738-AH 1.76 0.8 714-AH 40.66 739-AH 47.03 0.6 715-AH 2.55 740-AH 34.34 0.4 716-AH 29.58 741-AH 42.72 0.2 Difference 717-AH 40.66 742-AH 37.94 0 718-AH 28.64 743-AH 0.13 −0.2 −0.4 719-AH 15.99 744-AH 55.26 −0.6 720-AH 38.45 745-AH 74.01 −0.8 721-AH 6.29 746-AH 38.23 −1 722-AH 12.15 747-AH 7.82 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.54 748-AH 12.16 724-AH 76.44 749-AH 12.36 725-AH 21.61 750-AH 3.29 337 karlsruhe 10.2415/AH-TEL-MONO-DE-CLEF2009.KARLSRUHE.AIFB_ONB_INDEXBL AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.80 AIFB_ONB_INDEXBL 10 docs 34.60 90% 15 docs 32.13 80% 20 docs 29.50 30 docs 25.60 70% 100 docs 13.38 60% 200 docs 7.79 Precision 500 docs 3.54 50% 1000 docs 1.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 25.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7500 Minimum 0.0000 First Quartile 0.1047 Second Quartile 0.2167 Third Quartile 0.4062 Interquartile range 0.3016 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2553 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1951 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.7500 6 Mean With No Outliers 0.2553 4 Std With No Outliers 0.1951 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries AIFB_ONB_INDEXBL 0.8 701-AH 6.67 726-AH 31.25 0.6 702-AH 27.27 727-AH 0.00 0.4 703-AH 9.09 728-AH 15.79 0.2 Difference 704-AH 14.29 729-AH 6.25 0 705-AH 21.43 730-AH 0.00 −0.2 −0.4 706-AH 10.00 731-AH 47.37 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 47.83 −1 709-AH 35.42 734-AH 55.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 31.03 735-AH 21.92 711-AH 31.25 736-AH 11.54 712-AH 25.00 737-AH 20.24 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) AIFB_ONB_INDEXBL 713-AH 9.09 738-AH 11.76 0.8 714-AH 51.52 739-AH 48.28 0.6 715-AH 0.00 740-AH 39.06 0.4 716-AH 42.31 741-AH 55.00 0.2 Difference 717-AH 50.00 742-AH 33.33 0 718-AH 40.62 743-AH 0.00 −0.2 −0.4 719-AH 16.00 744-AH 50.00 −0.6 720-AH 37.50 745-AH 75.00 −0.8 721-AH 11.76 746-AH 44.16 −1 722-AH 11.11 747-AH 10.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 68.75 749-AH 13.33 725-AH 29.79 750-AH 12.00 338 karlsruhe 10.2415/AH-TEL-MONO-DE-CLEF2009.KARLSRUHE.INDEXALLESA AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 995 Pooled true Geometric Mean Average Precision 0.1339 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.2370 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 63.67 INDEXALLESA 10 51.96 90% 20 45.41 80% 30 33.87 40 24.76 70% 50 20.34 60% 60 16.44 Precision 70 10.87 50% 80 7.00 40% 90 3.81 30% 100 1.12 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.08 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7775 Minimum 0.0010 First Quartile 0.0769 Second Quartile 0.2102 Third Quartile 0.3566 Interquartile range 0.2797 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2308 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1871 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0010 8 Upper Outlier Threshold 0.7542 6 Mean With No Outliers 0.2196 4 Std With No Outliers 0.1714 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALLESA 0.8 701-AH 7.20 726-AH 11.37 0.6 702-AH 33.44 727-AH 0.10 0.4 703-AH 16.23 728-AH 10.43 0.2 Difference 704-AH 7.69 729-AH 1.39 0 705-AH 30.21 730-AH 9.78 −0.2 −0.4 706-AH 20.53 731-AH 22.53 −0.6 707-AH 35.24 732-AH 1.98 −0.8 708-AH 1.49 733-AH 30.79 −1 709-AH 26.87 734-AH 75.42 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 35.66 735-AH 9.61 711-AH 45.07 736-AH 6.33 712-AH 23.98 737-AH 8.12 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) INDEXALLESA 713-AH 6.42 738-AH 2.01 0.8 714-AH 36.28 739-AH 45.07 0.6 715-AH 10.40 740-AH 36.32 0.4 716-AH 31.28 741-AH 39.08 0.2 Difference 717-AH 35.67 742-AH 37.82 0 718-AH 26.61 743-AH 0.10 −0.2 −0.4 719-AH 16.42 744-AH 48.36 −0.6 720-AH 37.94 745-AH 77.75 −0.8 721-AH 6.52 746-AH 34.48 −1 722-AH 23.74 747-AH 5.93 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.62 748-AH 12.58 724-AH 62.05 749-AH 11.38 725-AH 21.51 750-AH 4.24 339 karlsruhe 10.2415/AH-TEL-MONO-DE-CLEF2009.KARLSRUHE.INDEXALLESA AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 41.60 INDEXALLESA 10 docs 34.80 90% 15 docs 32.13 80% 20 docs 29.60 30 docs 25.40 70% 100 docs 13.86 60% 200 docs 7.86 Precision 500 docs 3.65 50% 1000 docs 1.99 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.24 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8056 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.2500 Third Quartile 0.4138 Interquartile range 0.2805 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2724 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1874 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8056 5 Mean With No Outliers 0.2724 4 3 Std With No Outliers 0.1874 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALLESA 0.8 701-AH 13.33 726-AH 25.00 0.6 702-AH 31.82 727-AH 0.00 0.4 703-AH 27.27 728-AH 15.79 0.2 Difference 704-AH 14.29 729-AH 6.25 0 705-AH 21.43 730-AH 25.00 −0.2 −0.4 706-AH 20.00 731-AH 40.35 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 34.78 −1 709-AH 33.33 734-AH 70.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 34.48 735-AH 21.92 711-AH 43.75 736-AH 11.54 712-AH 25.00 737-AH 15.48 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) INDEXALLESA 713-AH 9.09 738-AH 11.76 0.8 714-AH 51.52 739-AH 41.38 0.6 715-AH 6.25 740-AH 42.19 0.4 716-AH 42.31 741-AH 50.00 0.2 Difference 717-AH 47.62 742-AH 33.33 0 718-AH 34.38 743-AH 0.00 −0.2 −0.4 719-AH 20.00 744-AH 57.69 −0.6 720-AH 43.75 745-AH 80.56 −0.8 721-AH 11.76 746-AH 45.45 −1 722-AH 22.22 747-AH 10.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 60.42 749-AH 16.00 725-AH 29.79 750-AH 16.00 340 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09T AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 43,774 Source Language German Relevant 1,559 Topic Fields title Relevant retrieved 1,090 Pooled true Geometric Mean Average Precision 0.1677 title-only, inflectional and decompounding stemmer Binary Preference (BPREF) 0.2523 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.35 OTDE09T 10 55.36 90% 20 46.52 80% 30 37.00 40 29.68 70% 50 23.73 60% 60 20.16 Precision 70 12.06 50% 80 8.00 40% 90 4.55 30% 100 2.26 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.49 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6326 Minimum 0.0019 First Quartile 0.1054 Second Quartile 0.2451 Third Quartile 0.3689 Interquartile range 0.2635 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2549 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1704 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0019 6 Upper Outlier Threshold 0.6326 5 Mean With No Outliers 0.2549 4 3 Std With No Outliers 0.1704 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09T 0.8 701-AH 7.94 726-AH 0.19 0.6 702-AH 32.13 727-AH 19.36 0.4 703-AH 33.14 728-AH 18.40 0.2 Difference 704-AH 16.87 729-AH 6.69 0 705-AH 32.56 730-AH 15.14 −0.2 −0.4 706-AH 42.63 731-AH 37.59 −0.6 707-AH 36.17 732-AH 7.51 −0.8 708-AH 62.66 733-AH 25.30 −1 709-AH 11.78 734-AH 34.61 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 63.26 735-AH 31.23 711-AH 24.41 736-AH 1.22 712-AH 21.75 737-AH 2.67 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTDE09T 713-AH 0.33 738-AH 24.61 0.8 714-AH 45.39 739-AH 31.16 0.6 715-AH 14.12 740-AH 37.39 0.4 716-AH 14.91 741-AH 41.54 0.2 Difference 717-AH 32.97 742-AH 28.81 0 718-AH 36.19 743-AH 36.89 −0.2 −0.4 719-AH 23.84 744-AH 4.34 −0.6 720-AH 50.59 745-AH 45.79 −0.8 721-AH 10.54 746-AH 45.01 −1 722-AH 22.34 747-AH 7.45 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.57 748-AH 6.94 724-AH 61.86 749-AH 4.04 725-AH 42.54 750-AH 6.05 341 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09T AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 43.20 OTDE09T 10 docs 37.00 90% 15 docs 32.13 80% 20 docs 30.40 30 docs 25.80 70% 100 docs 14.62 60% 200 docs 8.71 Precision 500 docs 3.94 50% 1000 docs 2.18 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.03 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.1471 Second Quartile 0.3000 Third Quartile 0.4219 Interquartile range 0.2748 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2903 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1829 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.6667 5 Mean With No Outliers 0.2903 4 3 Std With No Outliers 0.1829 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09T 0.8 701-AH 13.33 726-AH 0.00 0.6 702-AH 31.82 727-AH 25.93 0.4 703-AH 36.36 728-AH 36.84 0.2 Difference 704-AH 33.93 729-AH 18.75 0 705-AH 21.43 730-AH 25.00 −0.2 −0.4 706-AH 50.00 731-AH 47.37 −0.6 707-AH 30.00 732-AH 11.11 −0.8 708-AH 66.67 733-AH 30.43 −1 709-AH 31.25 734-AH 30.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 65.52 735-AH 39.73 711-AH 31.25 736-AH 3.85 712-AH 25.00 737-AH 8.33 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTDE09T 713-AH 0.00 738-AH 23.53 0.8 714-AH 48.48 739-AH 37.93 0.6 715-AH 18.75 740-AH 42.19 0.4 716-AH 15.38 741-AH 40.00 0.2 Difference 717-AH 33.33 742-AH 0.00 0 718-AH 43.75 743-AH 53.33 −0.2 −0.4 719-AH 28.00 744-AH 3.85 −0.6 720-AH 62.50 745-AH 54.17 −0.8 721-AH 14.71 746-AH 44.16 −1 722-AH 22.22 747-AH 10.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 56.25 749-AH 4.00 725-AH 51.06 750-AH 16.00 342 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09TD AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,195 Pooled false Geometric Mean Average Precision 0.1711 same as otDE09t except both title and description Binary Preference (BPREF) 0.2587 fields used Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.35 OTDE09TD 10 56.51 90% 20 41.16 80% 30 33.91 40 28.26 70% 50 24.09 60% 60 20.62 Precision 70 13.34 50% 80 8.98 40% 90 6.64 30% 100 2.94 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.69 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7917 Minimum 0.0020 First Quartile 0.1223 Second Quartile 0.2011 Third Quartile 0.4130 Interquartile range 0.2907 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2569 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1924 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0020 6 Upper Outlier Threshold 0.7917 5 Mean With No Outliers 0.2569 4 3 Std With No Outliers 0.1924 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09TD 0.8 701-AH 3.05 726-AH 0.20 0.6 702-AH 26.64 727-AH 13.19 0.4 703-AH 26.29 728-AH 13.12 0.2 Difference 704-AH 10.82 729-AH 2.77 0 705-AH 36.18 730-AH 20.41 −0.2 −0.4 706-AH 42.85 731-AH 42.52 −0.6 707-AH 38.34 732-AH 12.77 −0.8 708-AH 45.62 733-AH 19.77 −1 709-AH 26.82 734-AH 70.97 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.89 735-AH 20.50 711-AH 10.51 736-AH 2.35 712-AH 21.74 737-AH 19.63 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTDE09TD 713-AH 9.88 738-AH 25.54 0.8 714-AH 43.17 739-AH 55.59 0.6 715-AH 19.82 740-AH 17.91 0.4 716-AH 33.14 741-AH 47.82 0.2 Difference 717-AH 49.15 742-AH 79.17 0 718-AH 24.42 743-AH 3.30 −0.2 −0.4 719-AH 17.86 744-AH 12.23 −0.6 720-AH 61.53 745-AH 41.30 −0.8 721-AH 18.45 746-AH 51.26 −1 722-AH 7.02 747-AH 12.71 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.11 748-AH 12.60 724-AH 52.81 749-AH 5.03 725-AH 34.08 750-AH 3.50 343 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09TD AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.40 OTDE09TD 10 docs 36.40 90% 15 docs 32.53 80% 20 docs 29.60 30 docs 25.87 70% 100 docs 14.64 60% 200 docs 9.15 Precision 500 docs 4.23 50% 1000 docs 2.39 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.05 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6875 Minimum 0.0000 First Quartile 0.1538 Second Quartile 0.2633 Third Quartile 0.4000 Interquartile range 0.2462 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2805 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1764 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.6875 5 Mean With No Outliers 0.2805 4 3 Std With No Outliers 0.1764 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09TD 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 31.82 727-AH 11.11 0.4 703-AH 18.18 728-AH 15.79 0.2 Difference 704-AH 17.86 729-AH 12.50 0 705-AH 28.57 730-AH 35.00 −0.2 −0.4 706-AH 40.00 731-AH 54.39 −0.6 707-AH 30.00 732-AH 18.52 −0.8 708-AH 44.44 733-AH 21.74 −1 709-AH 37.50 734-AH 60.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.45 735-AH 23.29 711-AH 12.50 736-AH 7.69 712-AH 25.00 737-AH 26.19 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTDE09TD 713-AH 18.18 738-AH 26.47 0.8 714-AH 54.55 739-AH 48.28 0.6 715-AH 31.25 740-AH 23.44 0.4 716-AH 34.62 741-AH 40.00 0.2 Difference 717-AH 47.62 742-AH 66.67 0 718-AH 31.25 743-AH 0.00 −0.2 −0.4 719-AH 32.00 744-AH 15.38 −0.6 720-AH 68.75 745-AH 43.06 −0.8 721-AH 23.53 746-AH 48.05 −1 722-AH 11.11 747-AH 26.74 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 20.00 748-AH 0.00 724-AH 50.00 749-AH 9.33 725-AH 44.68 750-AH 12.00 344 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09TDE AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,226 Pooled false Geometric Mean Average Precision 0.1811 blind feedback based on top-3 rows of otDE09td Binary Preference (BPREF) 0.2917 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.23 OTDE09TDE 10 58.28 90% 20 48.97 80% 30 39.10 40 30.17 70% 50 26.58 60% 60 22.13 Precision 70 18.67 50% 80 13.66 40% 90 9.64 30% 100 4.45 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 28.68 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7635 Minimum 0.0050 First Quartile 0.1358 Second Quartile 0.2290 Third Quartile 0.4362 Interquartile range 0.3003 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2868 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2125 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0050 8 Upper Outlier Threshold 0.7635 6 Mean With No Outliers 0.2868 4 Std With No Outliers 0.2125 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09TDE 0.8 701-AH 3.48 726-AH 0.50 0.6 702-AH 31.34 727-AH 16.39 0.4 703-AH 36.21 728-AH 16.24 0.2 Difference 704-AH 10.70 729-AH 1.83 0 705-AH 39.32 730-AH 17.68 −0.2 −0.4 706-AH 39.27 731-AH 52.54 −0.6 707-AH 43.87 732-AH 13.58 −0.8 708-AH 41.44 733-AH 24.04 −1 709-AH 32.73 734-AH 76.35 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.55 735-AH 18.62 711-AH 16.10 736-AH 3.32 712-AH 22.95 737-AH 21.46 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTDE09TDE 713-AH 18.58 738-AH 36.66 0.8 714-AH 46.41 739-AH 61.84 0.6 715-AH 20.51 740-AH 19.07 0.4 716-AH 75.11 741-AH 60.47 0.2 Difference 717-AH 50.40 742-AH 75.56 0 718-AH 26.72 743-AH 2.74 −0.2 −0.4 719-AH 12.46 744-AH 15.63 −0.6 720-AH 61.99 745-AH 43.62 −0.8 721-AH 23.64 746-AH 52.84 −1 722-AH 4.83 747-AH 12.61 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.06 748-AH 17.89 724-AH 54.16 749-AH 22.84 725-AH 32.34 750-AH 1.59 345 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09TDE AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.40 OTDE09TDE 10 docs 40.80 90% 15 docs 34.67 80% 20 docs 31.00 30 docs 27.67 70% 100 docs 15.94 60% 200 docs 9.56 Precision 500 docs 4.48 50% 1000 docs 2.45 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.56 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7000 Minimum 0.0000 First Quartile 0.1579 Second Quartile 0.3000 Third Quartile 0.4444 Interquartile range 0.2865 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3056 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1913 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.7000 6 Mean With No Outliers 0.3056 4 Std With No Outliers 0.1913 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09TDE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 18.52 0.4 703-AH 36.36 728-AH 15.79 0.2 Difference 704-AH 17.86 729-AH 6.25 0 705-AH 35.71 730-AH 35.00 −0.2 −0.4 706-AH 30.00 731-AH 66.67 −0.6 707-AH 30.00 732-AH 25.93 −0.8 708-AH 33.33 733-AH 26.09 −1 709-AH 37.50 734-AH 70.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 27.40 711-AH 31.25 736-AH 15.38 712-AH 25.00 737-AH 32.14 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTDE09TDE 713-AH 27.27 738-AH 41.18 0.8 714-AH 54.55 739-AH 55.17 0.6 715-AH 25.00 740-AH 28.12 0.4 716-AH 53.85 741-AH 45.00 0.2 Difference 717-AH 50.00 742-AH 66.67 0 718-AH 34.38 743-AH 0.00 −0.2 −0.4 719-AH 12.00 744-AH 15.38 −0.6 720-AH 68.75 745-AH 44.44 −0.8 721-AH 35.29 746-AH 49.35 −1 722-AH 11.11 747-AH 26.74 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 0.00 724-AH 54.17 749-AH 30.67 725-AH 44.68 750-AH 4.00 346 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09TDZ AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,191 Pooled true Geometric Mean Average Precision 0.1249 depth-10000 sampling run (orig ranks in first 5 Binary Preference (BPREF) 0.1759 decimal places of rsv) Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.06 OTDE09TDZ 10 52.88 90% 20 32.06 80% 30 23.04 40 16.97 70% 50 12.56 60% 60 10.37 Precision 70 7.32 50% 80 5.45 40% 90 4.09 30% 100 2.11 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 18.80 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7917 Minimum 0.0013 First Quartile 0.0808 Second Quartile 0.1425 Third Quartile 0.2790 Interquartile range 0.1982 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1880 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1519 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0013 8 Upper Outlier Threshold 0.4922 6 Mean With No Outliers 0.1757 4 Std With No Outliers 0.1257 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09TDZ 0.8 701-AH 2.47 726-AH 0.13 0.6 702-AH 20.44 727-AH 7.93 0.4 703-AH 21.88 728-AH 10.27 0.2 Difference 704-AH 8.70 729-AH 2.36 0 705-AH 27.90 730-AH 14.40 −0.2 −0.4 706-AH 37.82 731-AH 22.56 −0.6 707-AH 33.27 732-AH 8.72 −0.8 708-AH 38.74 733-AH 12.55 −1 709-AH 17.52 734-AH 49.22 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.28 735-AH 15.42 711-AH 7.13 736-AH 2.35 712-AH 21.74 737-AH 13.10 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTDE09TDZ 713-AH 8.83 738-AH 24.31 0.8 714-AH 23.16 739-AH 37.63 0.6 715-AH 11.25 740-AH 12.25 0.4 716-AH 25.39 741-AH 33.51 0.2 Difference 717-AH 35.59 742-AH 79.17 0 718-AH 16.47 743-AH 1.84 −0.2 −0.4 719-AH 8.08 744-AH 9.55 −0.6 720-AH 42.53 745-AH 28.30 −0.8 721-AH 14.10 746-AH 35.68 −1 722-AH 6.46 747-AH 10.37 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 11.21 748-AH 7.03 724-AH 28.62 749-AH 5.00 725-AH 22.38 750-AH 2.62 347 opentext 10.2415/AH-TEL-MONO-DE-CLEF2009.OPENTEXT.OTDE09TDZ AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.40 OTDE09TDZ 10 docs 36.40 90% 15 docs 29.47 80% 20 docs 23.70 30 docs 16.20 70% 100 docs 6.58 60% 200 docs 8.32 Precision 500 docs 4.20 50% 1000 docs 2.38 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.81 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.1053 Second Quartile 0.1818 Third Quartile 0.2692 Interquartile range 0.1640 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1981 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1336 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.4500 6 Mean With No Outliers 0.1885 4 Std With No Outliers 0.1164 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTDE09TDZ 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 18.18 727-AH 11.11 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 8.93 729-AH 9.38 0 705-AH 28.57 730-AH 25.00 −0.2 −0.4 706-AH 40.00 731-AH 22.81 −0.6 707-AH 30.00 732-AH 7.41 −0.8 708-AH 44.44 733-AH 21.74 −1 709-AH 18.75 734-AH 45.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.45 735-AH 13.70 711-AH 18.75 736-AH 7.69 712-AH 25.00 737-AH 11.90 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTDE09TDZ 713-AH 18.18 738-AH 29.41 0.8 714-AH 21.21 739-AH 34.48 0.6 715-AH 18.75 740-AH 12.50 0.4 716-AH 26.92 741-AH 35.00 0.2 Difference 717-AH 30.95 742-AH 66.67 0 718-AH 12.50 743-AH 6.67 −0.2 −0.4 719-AH 12.00 744-AH 7.69 −0.6 720-AH 43.75 745-AH 25.00 −0.8 721-AH 17.65 746-AH 25.97 −1 722-AH 11.11 747-AH 12.79 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 27.08 749-AH 6.67 725-AH 25.53 750-AH 8.00 348 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN1 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,073 Pooled false Geometric Mean Average Precision 0.1239 LM-dir Binary Preference (BPREF) 0.2615 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.46 TCDDERUN1 10 55.30 90% 20 45.64 80% 30 36.20 40 29.90 70% 50 25.11 60% 60 21.05 Precision 70 14.76 50% 80 10.71 40% 90 6.80 30% 100 2.50 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.77 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7860 Minimum 0.0000 First Quartile 0.0729 Second Quartile 0.2515 Third Quartile 0.3901 Interquartile range 0.3172 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2577 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2020 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.7860 6 Mean With No Outliers 0.2577 4 Std With No Outliers 0.2020 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN1 0.8 701-AH 7.29 726-AH 4.83 0.6 702-AH 39.01 727-AH 20.39 0.4 703-AH 10.96 728-AH 6.18 0.2 Difference 704-AH 9.34 729-AH 1.61 0 705-AH 29.14 730-AH 0.00 −0.2 −0.4 706-AH 28.08 731-AH 37.63 −0.6 707-AH 36.14 732-AH 6.76 −0.8 708-AH 1.15 733-AH 36.90 −1 709-AH 43.63 734-AH 78.60 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 33.18 735-AH 23.63 711-AH 49.09 736-AH 3.53 712-AH 25.19 737-AH 10.22 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN1 713-AH 1.14 738-AH 0.24 0.8 714-AH 42.02 739-AH 65.52 0.6 715-AH 6.83 740-AH 27.83 0.4 716-AH 35.49 741-AH 33.17 0.2 Difference 717-AH 40.78 742-AH 31.75 0 718-AH 40.14 743-AH 0.15 −0.2 −0.4 719-AH 28.93 744-AH 53.43 −0.6 720-AH 62.79 745-AH 60.95 −0.8 721-AH 12.21 746-AH 43.72 −1 722-AH 7.88 747-AH 8.07 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 18.67 748-AH 18.87 724-AH 58.97 749-AH 19.67 725-AH 25.11 750-AH 1.49 349 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN1 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.80 TCDDERUN1 10 docs 37.60 90% 15 docs 34.40 80% 20 docs 31.90 30 docs 28.00 70% 100 docs 15.20 60% 200 docs 8.71 Precision 500 docs 3.92 50% 1000 docs 2.15 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.24 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0769 Second Quartile 0.2918 Third Quartile 0.4375 Interquartile range 0.3606 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2824 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2099 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8000 6 Mean With No Outliers 0.2824 4 Std With No Outliers 0.2099 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN1 0.8 701-AH 6.67 726-AH 0.00 0.6 702-AH 40.91 727-AH 33.33 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 17.86 729-AH 6.25 0 705-AH 28.57 730-AH 0.00 −0.2 −0.4 706-AH 30.00 731-AH 47.37 −0.6 707-AH 30.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 34.78 −1 709-AH 52.08 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 31.03 735-AH 26.03 711-AH 56.25 736-AH 7.69 712-AH 25.00 737-AH 21.43 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN1 713-AH 0.00 738-AH 2.94 0.8 714-AH 54.55 739-AH 58.62 0.6 715-AH 0.00 740-AH 39.06 0.4 716-AH 50.00 741-AH 35.00 0.2 Difference 717-AH 38.10 742-AH 33.33 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 32.00 744-AH 53.85 −0.6 720-AH 62.50 745-AH 68.06 −0.8 721-AH 20.59 746-AH 48.05 −1 722-AH 11.11 747-AH 19.77 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 54.17 749-AH 28.00 725-AH 29.79 750-AH 4.00 350 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN2 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 987 Pooled true Geometric Mean Average Precision 0.0939 LM-abs Binary Preference (BPREF) 0.2397 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.41 TCDDERUN2 10 53.11 90% 20 41.22 80% 30 32.96 40 27.89 70% 50 22.17 60% 60 16.65 Precision 70 11.97 50% 80 8.51 40% 90 5.04 30% 100 1.80 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.97 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8669 Minimum 0.0000 First Quartile 0.0585 Second Quartile 0.1750 Third Quartile 0.4512 Interquartile range 0.3927 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2397 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2140 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8669 10 Mean With No Outliers 0.2397 Std With No Outliers 0.2140 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN2 0.8 701-AH 5.75 726-AH 0.05 0.6 702-AH 31.45 727-AH 16.03 0.4 703-AH 24.64 728-AH 11.79 0.2 Difference 704-AH 11.02 729-AH 1.35 0 705-AH 18.97 730-AH 0.00 −0.2 −0.4 706-AH 26.37 731-AH 49.33 −0.6 707-AH 49.68 732-AH 4.13 −0.8 708-AH 0.49 733-AH 20.95 −1 709-AH 51.71 734-AH 86.69 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.36 735-AH 14.20 711-AH 46.38 736-AH 4.76 712-AH 25.16 737-AH 4.02 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN2 713-AH 13.98 738-AH 0.31 0.8 714-AH 45.12 739-AH 61.32 0.6 715-AH 11.78 740-AH 42.09 0.4 716-AH 34.98 741-AH 22.12 0.2 Difference 717-AH 46.96 742-AH 5.85 0 718-AH 26.19 743-AH 0.01 −0.2 −0.4 719-AH 0.34 744-AH 6.35 −0.6 720-AH 51.84 745-AH 64.90 −0.8 721-AH 7.89 746-AH 45.24 −1 722-AH 6.41 747-AH 13.83 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 20.10 748-AH 49.83 724-AH 60.17 749-AH 12.57 725-AH 27.66 750-AH 11.41 351 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN2 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.80 TCDDERUN2 10 docs 35.40 90% 15 docs 31.87 80% 20 docs 29.90 30 docs 25.53 70% 100 docs 13.62 60% 200 docs 8.05 Precision 500 docs 3.66 50% 1000 docs 1.97 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.62 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8500 Minimum 0.0000 First Quartile 0.0741 Second Quartile 0.2133 Third Quartile 0.4844 Interquartile range 0.4103 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2662 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2238 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8500 6 Mean With No Outliers 0.2662 4 Std With No Outliers 0.2238 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN2 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 33.33 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 17.86 729-AH 6.25 0 705-AH 14.29 730-AH 0.00 −0.2 −0.4 706-AH 30.00 731-AH 47.37 −0.6 707-AH 50.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 21.74 −1 709-AH 60.42 734-AH 85.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.34 735-AH 23.29 711-AH 56.25 736-AH 3.85 712-AH 25.00 737-AH 11.90 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN2 713-AH 27.27 738-AH 2.94 0.8 714-AH 48.48 739-AH 55.17 0.6 715-AH 6.25 740-AH 48.44 0.4 716-AH 50.00 741-AH 30.00 0.2 Difference 717-AH 54.76 742-AH 0.00 0 718-AH 46.88 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 3.85 −0.6 720-AH 62.50 745-AH 72.22 −0.8 721-AH 11.76 746-AH 50.65 −1 722-AH 11.11 747-AH 20.93 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 33.33 724-AH 56.25 749-AH 18.67 725-AH 29.79 750-AH 16.00 352 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN3 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,087 Pooled false Geometric Mean Average Precision 0.1291 LM-jm Binary Preference (BPREF) 0.2653 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.67 TCDDERUN3 10 57.21 90% 20 45.45 80% 30 37.24 40 30.84 70% 50 24.54 60% 60 19.99 Precision 70 13.32 50% 80 10.20 40% 90 6.00 30% 100 2.10 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 26.86 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8645 Minimum 0.0000 First Quartile 0.1085 Second Quartile 0.2328 Third Quartile 0.4282 Interquartile range 0.3197 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2686 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2113 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8645 6 Mean With No Outliers 0.2686 4 Std With No Outliers 0.2113 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN3 0.8 701-AH 7.12 726-AH 0.70 0.6 702-AH 33.49 727-AH 17.22 0.4 703-AH 23.49 728-AH 10.85 0.2 Difference 704-AH 10.80 729-AH 1.74 0 705-AH 27.82 730-AH 0.00 −0.2 −0.4 706-AH 37.23 731-AH 53.31 −0.6 707-AH 42.82 732-AH 1.99 −0.8 708-AH 0.77 733-AH 37.42 −1 709-AH 50.74 734-AH 86.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 43.47 735-AH 21.22 711-AH 49.32 736-AH 3.28 712-AH 23.07 737-AH 5.67 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN3 713-AH 22.06 738-AH 0.41 0.8 714-AH 47.71 739-AH 62.67 0.6 715-AH 3.64 740-AH 44.11 0.4 716-AH 36.34 741-AH 32.61 0.2 Difference 717-AH 42.75 742-AH 29.89 0 718-AH 26.21 743-AH 0.10 −0.2 −0.4 719-AH 19.31 744-AH 13.71 −0.6 720-AH 50.65 745-AH 68.87 −0.8 721-AH 11.58 746-AH 46.12 −1 722-AH 12.78 747-AH 12.01 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 19.77 748-AH 25.19 724-AH 71.58 749-AH 16.41 725-AH 25.14 750-AH 11.58 353 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN3 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 45.20 TCDDERUN3 10 docs 38.40 90% 15 docs 35.47 80% 20 docs 33.20 30 docs 28.73 70% 100 docs 14.96 60% 200 docs 8.52 Precision 500 docs 3.95 50% 1000 docs 2.17 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.02 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8500 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.2918 Third Quartile 0.4524 Interquartile range 0.3190 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3002 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2165 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8500 5 Mean With No Outliers 0.3002 4 3 Std With No Outliers 0.2165 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN3 0.8 701-AH 6.67 726-AH 0.00 0.6 702-AH 31.82 727-AH 33.33 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 19.64 729-AH 6.25 0 705-AH 28.57 730-AH 0.00 −0.2 −0.4 706-AH 40.00 731-AH 47.37 −0.6 707-AH 40.00 732-AH 0.00 −0.8 708-AH 0.00 733-AH 39.13 −1 709-AH 54.17 734-AH 85.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 41.38 735-AH 32.88 711-AH 56.25 736-AH 3.85 712-AH 25.00 737-AH 14.29 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN3 713-AH 27.27 738-AH 0.00 0.8 714-AH 57.58 739-AH 62.07 0.6 715-AH 0.00 740-AH 48.44 0.4 716-AH 46.15 741-AH 40.00 0.2 Difference 717-AH 45.24 742-AH 33.33 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 28.00 744-AH 15.38 −0.6 720-AH 62.50 745-AH 73.61 −0.8 721-AH 14.71 746-AH 49.35 −1 722-AH 11.11 747-AH 18.60 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 33.33 724-AH 66.67 749-AH 26.67 725-AH 29.79 750-AH 20.00 354 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN4 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 987 Pooled true Geometric Mean Average Precision 0.0942 LM-abs-RR Binary Preference (BPREF) 0.2390 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 65.46 TCDDERUN4 10 52.24 90% 20 41.43 80% 30 32.37 40 28.54 70% 50 22.37 60% 60 16.80 Precision 70 12.05 50% 80 8.48 40% 90 5.14 30% 100 1.79 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.88 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8653 Minimum 0.0000 First Quartile 0.0633 Second Quartile 0.1790 Third Quartile 0.4391 Interquartile range 0.3758 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2388 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2119 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8653 10 Mean With No Outliers 0.2388 Std With No Outliers 0.2119 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN4 0.8 701-AH 5.70 726-AH 0.06 0.6 702-AH 32.15 727-AH 15.86 0.4 703-AH 24.38 728-AH 11.83 0.2 Difference 704-AH 11.69 729-AH 1.35 0 705-AH 19.94 730-AH 0.00 −0.2 −0.4 706-AH 27.72 731-AH 49.95 −0.6 707-AH 49.76 732-AH 4.17 −0.8 708-AH 0.52 733-AH 22.46 −1 709-AH 51.73 734-AH 86.53 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.56 735-AH 14.23 711-AH 45.80 736-AH 4.80 712-AH 25.15 737-AH 3.91 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN4 713-AH 13.69 738-AH 0.31 0.8 714-AH 44.54 739-AH 61.51 0.6 715-AH 11.56 740-AH 43.91 0.4 716-AH 35.34 741-AH 23.15 0.2 Difference 717-AH 46.19 742-AH 6.33 0 718-AH 28.07 743-AH 0.01 −0.2 −0.4 719-AH 0.38 744-AH 6.53 −0.6 720-AH 51.72 745-AH 66.14 −0.8 721-AH 7.86 746-AH 45.31 −1 722-AH 6.52 747-AH 13.68 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 19.93 748-AH 33.16 724-AH 61.07 749-AH 12.39 725-AH 28.01 750-AH 12.48 355 trinity 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY.TCDDERUN4 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 43.60 TCDDERUN4 10 docs 35.60 90% 15 docs 31.73 80% 20 docs 30.40 30 docs 25.87 70% 100 docs 13.76 60% 200 docs 8.11 Precision 500 docs 3.68 50% 1000 docs 1.97 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.88 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8500 Minimum 0.0000 First Quartile 0.1034 Second Quartile 0.2087 Third Quartile 0.4848 Interquartile range 0.3814 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2688 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2221 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8500 6 Mean With No Outliers 0.2688 4 Std With No Outliers 0.2221 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDERUN4 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 31.82 727-AH 33.33 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 17.86 729-AH 6.25 0 705-AH 14.29 730-AH 0.00 −0.2 −0.4 706-AH 30.00 731-AH 47.37 −0.6 707-AH 50.00 732-AH 11.11 −0.8 708-AH 0.00 733-AH 21.74 −1 709-AH 60.42 734-AH 85.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.34 735-AH 24.66 711-AH 50.00 736-AH 3.85 712-AH 25.00 737-AH 11.90 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDERUN4 713-AH 27.27 738-AH 2.94 0.8 714-AH 48.48 739-AH 55.17 0.6 715-AH 6.25 740-AH 50.00 0.4 716-AH 50.00 741-AH 35.00 0.2 Difference 717-AH 52.38 742-AH 0.00 0 718-AH 46.88 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 3.85 −0.6 720-AH 62.50 745-AH 73.61 −0.8 721-AH 11.76 746-AH 50.65 −1 722-AH 11.11 747-AH 19.77 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 33.33 724-AH 56.25 749-AH 20.00 725-AH 29.79 750-AH 20.00 356 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCUDE3 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,087 Pooled false Geometric Mean Average Precision 0.1291 Monolingual German 3 Binary Preference (BPREF) 0.2653 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.67 TCDDCUDE3 10 57.21 90% 20 45.45 80% 30 37.24 40 30.84 70% 50 24.54 60% 60 19.99 Precision 70 13.32 50% 80 10.20 40% 90 6.00 30% 100 2.10 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 26.86 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8645 Minimum 0.0000 First Quartile 0.1085 Second Quartile 0.2328 Third Quartile 0.4282 Interquartile range 0.3197 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2686 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2113 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8645 6 Mean With No Outliers 0.2686 4 Std With No Outliers 0.2113 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDE3 0.8 701-AH 7.12 726-AH 0.70 0.6 702-AH 33.49 727-AH 17.22 0.4 703-AH 23.49 728-AH 10.85 0.2 Difference 704-AH 10.80 729-AH 1.74 0 705-AH 27.82 730-AH 0.00 −0.2 −0.4 706-AH 37.23 731-AH 53.31 −0.6 707-AH 42.82 732-AH 1.99 −0.8 708-AH 0.77 733-AH 37.42 −1 709-AH 50.74 734-AH 86.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 43.47 735-AH 21.22 711-AH 49.32 736-AH 3.28 712-AH 23.07 737-AH 5.67 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDE3 713-AH 22.06 738-AH 0.41 0.8 714-AH 47.71 739-AH 62.67 0.6 715-AH 3.64 740-AH 44.11 0.4 716-AH 36.34 741-AH 32.61 0.2 Difference 717-AH 42.75 742-AH 29.89 0 718-AH 26.21 743-AH 0.10 −0.2 −0.4 719-AH 19.31 744-AH 13.71 −0.6 720-AH 50.65 745-AH 68.87 −0.8 721-AH 11.58 746-AH 46.12 −1 722-AH 12.78 747-AH 12.01 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 19.77 748-AH 25.19 724-AH 71.58 749-AH 16.41 725-AH 25.14 750-AH 11.58 357 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCUDE3 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 45.20 TCDDCUDE3 10 docs 38.40 90% 15 docs 35.47 80% 20 docs 33.20 30 docs 28.73 70% 100 docs 14.96 60% 200 docs 8.52 Precision 500 docs 3.95 50% 1000 docs 2.17 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.02 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8500 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.2918 Third Quartile 0.4524 Interquartile range 0.3190 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3002 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2165 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8500 5 Mean With No Outliers 0.3002 4 3 Std With No Outliers 0.2165 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDE3 0.8 701-AH 6.67 726-AH 0.00 0.6 702-AH 31.82 727-AH 33.33 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 19.64 729-AH 6.25 0 705-AH 28.57 730-AH 0.00 −0.2 −0.4 706-AH 40.00 731-AH 47.37 −0.6 707-AH 40.00 732-AH 0.00 −0.8 708-AH 0.00 733-AH 39.13 −1 709-AH 54.17 734-AH 85.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 41.38 735-AH 32.88 711-AH 56.25 736-AH 3.85 712-AH 25.00 737-AH 14.29 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDE3 713-AH 27.27 738-AH 0.00 0.8 714-AH 57.58 739-AH 62.07 0.6 715-AH 0.00 740-AH 48.44 0.4 716-AH 46.15 741-AH 40.00 0.2 Difference 717-AH 45.24 742-AH 33.33 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 28.00 744-AH 15.38 −0.6 720-AH 62.50 745-AH 73.61 −0.8 721-AH 14.71 746-AH 49.35 −1 722-AH 11.11 747-AH 18.60 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 33.33 724-AH 66.67 749-AH 26.67 725-AH 29.79 750-AH 20.00 358 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCUDE4 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,063 Pooled false Geometric Mean Average Precision 0.1258 Monolingual German 4 Binary Preference (BPREF) 0.2424 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.20 TCDDCUDE4 10 53.69 90% 20 41.87 80% 30 31.99 40 26.02 70% 50 21.80 60% 60 16.41 Precision 70 12.04 50% 80 8.99 40% 90 5.72 30% 100 1.89 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.39 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8150 Minimum 0.0000 First Quartile 0.0770 Second Quartile 0.2078 Third Quartile 0.3618 Interquartile range 0.2848 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2439 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1965 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.6358 5 Mean With No Outliers 0.2323 4 3 Std With No Outliers 0.1803 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDE4 0.8 701-AH 5.57 726-AH 2.96 0.6 702-AH 36.18 727-AH 19.92 0.4 703-AH 22.14 728-AH 6.78 0.2 Difference 704-AH 10.78 729-AH 1.52 0 705-AH 33.47 730-AH 0.00 −0.2 −0.4 706-AH 28.86 731-AH 42.34 −0.6 707-AH 37.85 732-AH 7.29 −0.8 708-AH 0.88 733-AH 32.18 −1 709-AH 42.84 734-AH 81.50 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 32.26 735-AH 23.39 711-AH 41.01 736-AH 2.81 712-AH 25.24 737-AH 12.92 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDE4 713-AH 5.74 738-AH 1.41 0.8 714-AH 41.24 739-AH 62.57 0.6 715-AH 4.89 740-AH 21.65 0.4 716-AH 34.84 741-AH 18.72 0.2 Difference 717-AH 53.58 742-AH 30.63 0 718-AH 24.79 743-AH 0.10 −0.2 −0.4 719-AH 7.70 744-AH 11.72 −0.6 720-AH 56.44 745-AH 58.71 −0.8 721-AH 8.79 746-AH 49.31 −1 722-AH 14.20 747-AH 9.66 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 18.10 748-AH 18.68 724-AH 63.58 749-AH 11.67 725-AH 23.61 750-AH 16.71 359 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCUDE4 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 40.80 TCDDCUDE4 10 docs 34.60 90% 15 docs 31.73 80% 20 docs 30.70 30 docs 26.80 70% 100 docs 14.14 60% 200 docs 8.30 Precision 500 docs 3.88 50% 1000 docs 2.13 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.49 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.1053 Second Quartile 0.2500 Third Quartile 0.4375 Interquartile range 0.3322 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2749 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2046 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8000 5 Mean With No Outliers 0.2749 4 3 Std With No Outliers 0.2046 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDE4 0.8 701-AH 0.00 726-AH 6.25 0.6 702-AH 31.82 727-AH 33.33 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 17.86 729-AH 6.25 0 705-AH 21.43 730-AH 0.00 −0.2 −0.4 706-AH 30.00 731-AH 47.37 −0.6 707-AH 30.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 43.48 −1 709-AH 43.75 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 37.93 735-AH 30.14 711-AH 56.25 736-AH 3.85 712-AH 25.00 737-AH 25.00 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDE4 713-AH 18.18 738-AH 2.94 0.8 714-AH 57.58 739-AH 58.62 0.6 715-AH 0.00 740-AH 34.38 0.4 716-AH 50.00 741-AH 25.00 0.2 Difference 717-AH 54.76 742-AH 33.33 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 23.08 −0.6 720-AH 56.25 745-AH 63.89 −0.8 721-AH 14.71 746-AH 49.35 −1 722-AH 11.11 747-AH 22.09 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 58.33 749-AH 20.00 725-AH 29.79 750-AH 20.00 360 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCU_DE1 AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 48,789 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 945 Pooled true Geometric Mean Average Precision 0.1221 monolingual German Binary Preference (BPREF) 0.2355 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 67.81 TCDDCU_DE1 10 53.97 90% 20 44.10 80% 30 36.12 40 26.45 70% 50 18.71 60% 60 13.11 Precision 70 9.15 50% 80 6.68 40% 90 2.81 30% 100 1.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.29 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7478 Minimum 0.0006 First Quartile 0.0491 Second Quartile 0.1959 Third Quartile 0.3807 Interquartile range 0.3316 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2329 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1990 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0006 Upper Outlier Threshold 0.7478 10 Mean With No Outliers 0.2329 Std With No Outliers 0.1990 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_DE1 0.8 701-AH 4.05 726-AH 2.41 0.6 702-AH 35.31 727-AH 2.26 0.4 703-AH 13.12 728-AH 7.15 0.2 Difference 704-AH 15.15 729-AH 0.22 0 705-AH 33.43 730-AH 9.84 −0.2 −0.4 706-AH 1.04 731-AH 26.03 −0.6 707-AH 35.56 732-AH 8.33 −0.8 708-AH 5.86 733-AH 42.81 −1 709-AH 13.46 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 20.29 735-AH 4.91 711-AH 26.20 736-AH 4.48 712-AH 38.88 737-AH 18.78 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_DE1 713-AH 21.88 738-AH 8.44 0.8 714-AH 38.07 739-AH 50.13 0.6 715-AH 8.30 740-AH 46.97 0.4 716-AH 42.74 741-AH 41.26 0.2 Difference 717-AH 46.87 742-AH 33.33 0 718-AH 22.88 743-AH 0.06 −0.2 −0.4 719-AH 18.89 744-AH 54.91 −0.6 720-AH 28.39 745-AH 69.11 −0.8 721-AH 4.40 746-AH 41.32 −1 722-AH 23.41 747-AH 4.11 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 17.71 748-AH 1.59 724-AH 74.78 749-AH 3.04 725-AH 23.68 750-AH 0.64 361 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCU_DE1 AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.40 TCDDCU_DE1 10 docs 35.40 90% 15 docs 33.73 80% 20 docs 30.70 30 docs 25.60 70% 100 docs 13.20 60% 200 docs 7.67 Precision 500 docs 3.54 50% 1000 docs 1.89 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.00 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7500 Minimum 0.0000 First Quartile 0.0741 Second Quartile 0.2614 Third Quartile 0.4286 Interquartile range 0.3545 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2700 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2072 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7500 5 Mean With No Outliers 0.2700 4 3 Std With No Outliers 0.2072 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_DE1 0.8 701-AH 0.00 726-AH 6.25 0.6 702-AH 36.36 727-AH 7.41 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 21.43 729-AH 3.12 0 705-AH 42.86 730-AH 5.00 −0.2 −0.4 706-AH 0.00 731-AH 47.37 −0.6 707-AH 30.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 43.48 −1 709-AH 25.00 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 31.03 735-AH 13.70 711-AH 25.00 736-AH 11.54 712-AH 41.67 737-AH 29.76 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_DE1 713-AH 27.27 738-AH 14.71 0.8 714-AH 45.45 739-AH 48.28 0.6 715-AH 6.25 740-AH 57.81 0.4 716-AH 42.31 741-AH 55.00 0.2 Difference 717-AH 50.00 742-AH 33.33 0 718-AH 37.50 743-AH 0.00 −0.2 −0.4 719-AH 32.00 744-AH 53.85 −0.6 720-AH 31.25 745-AH 75.00 −0.8 721-AH 11.76 746-AH 45.45 −1 722-AH 22.22 747-AH 9.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 66.67 749-AH 5.33 725-AH 29.79 750-AH 4.00 362 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCU_DE1F AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 1,052 Pooled true Geometric Mean Average Precision 0.1137 monolingual German Binary Preference (BPREF) 0.2582 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.05 TCDDCU_DE1F 10 51.37 90% 20 43.10 80% 30 37.64 40 30.29 70% 50 26.56 60% 60 20.51 Precision 70 15.87 50% 80 11.68 40% 90 5.77 30% 100 1.71 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.61 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7224 Minimum 0.0005 First Quartile 0.0351 Second Quartile 0.1661 Third Quartile 0.4577 Interquartile range 0.4226 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2561 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2312 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0005 Upper Outlier Threshold 0.7224 10 Mean With No Outliers 0.2561 Std With No Outliers 0.2312 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_DE1F 0.8 701-AH 2.92 726-AH 1.91 0.6 702-AH 36.97 727-AH 0.80 0.4 703-AH 14.92 728-AH 6.47 0.2 Difference 704-AH 13.89 729-AH 0.13 0 705-AH 27.63 730-AH 3.03 −0.2 −0.4 706-AH 1.25 731-AH 33.24 −0.6 707-AH 34.79 732-AH 2.86 −0.8 708-AH 1.18 733-AH 46.06 −1 709-AH 13.49 734-AH 67.81 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 35.24 735-AH 8.38 711-AH 38.41 736-AH 1.15 712-AH 65.34 737-AH 21.34 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_DE1F 713-AH 10.09 738-AH 13.53 0.8 714-AH 48.17 739-AH 56.41 0.6 715-AH 4.73 740-AH 41.04 0.4 716-AH 65.02 741-AH 48.74 0.2 Difference 717-AH 50.92 742-AH 16.67 0 718-AH 12.37 743-AH 0.05 −0.2 −0.4 719-AH 36.67 744-AH 58.42 −0.6 720-AH 45.77 745-AH 72.24 −0.8 721-AH 7.98 746-AH 59.65 −1 722-AH 16.56 747-AH 4.02 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 19.34 748-AH 3.03 724-AH 69.33 749-AH 3.51 725-AH 36.34 750-AH 0.48 363 trinity-dcu 10.2415/AH-TEL-MONO-DE-CLEF2009.TRINITY-DCU.TCDDCU_DE1F AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 40.00 TCDDCU_DE1F 10 docs 35.80 90% 15 docs 34.40 80% 20 docs 31.90 30 docs 27.93 70% 100 docs 14.64 60% 200 docs 8.26 Precision 500 docs 3.90 50% 1000 docs 2.10 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.02 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7500 Minimum 0.0000 First Quartile 0.0588 Second Quartile 0.2792 Third Quartile 0.4912 Interquartile range 0.4324 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2902 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2324 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7500 10 Mean With No Outliers 0.2902 Std With No Outliers 0.2324 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_DE1F 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 36.36 727-AH 0.00 0.4 703-AH 18.18 728-AH 15.79 0.2 Difference 704-AH 16.07 729-AH 3.12 0 705-AH 42.86 730-AH 5.00 −0.2 −0.4 706-AH 0.00 731-AH 49.12 −0.6 707-AH 30.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 47.83 −1 709-AH 31.25 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 41.38 735-AH 23.29 711-AH 43.75 736-AH 3.85 712-AH 58.33 737-AH 28.57 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_DE1F 713-AH 27.27 738-AH 17.65 0.8 714-AH 60.61 739-AH 44.83 0.6 715-AH 0.00 740-AH 54.69 0.4 716-AH 53.85 741-AH 65.00 0.2 Difference 717-AH 52.38 742-AH 33.33 0 718-AH 25.00 743-AH 0.00 −0.2 −0.4 719-AH 40.00 744-AH 57.69 −0.6 720-AH 50.00 745-AH 75.00 −0.8 721-AH 5.88 746-AH 57.14 −1 722-AH 22.22 747-AH 10.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 62.50 749-AH 6.67 725-AH 38.30 750-AH 0.00 364 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.BASELINEDEINDE AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 25,813 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 433 Pooled false Geometric Mean Average Precision 0.0059 Ranking with combined topic fields, querying the Binary Preference (BPREF) 0.1178 german collection with german topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 38.94 BASELINEDEINDE 10 29.17 90% 20 18.89 80% 30 12.22 40 9.54 70% 50 6.85 60% 60 5.36 Precision 70 3.78 50% 80 2.98 40% 90 0.83 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 10.03 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7675 Minimum 0.0000 First Quartile 0.0003 Second Quartile 0.0341 Third Quartile 0.1236 Interquartile range 0.1232 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1003 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1707 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.2601 25 Mean With No Outliers 0.0582 20 15 Std With No Outliers 0.0822 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BASELINEDEINDE 0.8 701-AH 3.27 726-AH 0.00 0.6 702-AH 25.88 727-AH 0.37 0.4 703-AH 22.19 728-AH 4.39 0.2 Difference 704-AH 6.87 729-AH 0.00 0 705-AH 14.29 730-AH 0.00 −0.2 −0.4 706-AH 0.26 731-AH 26.01 −0.6 707-AH 20.61 732-AH 2.24 −0.8 708-AH 0.00 733-AH 0.87 −1 709-AH 0.00 734-AH 76.75 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 5.88 736-AH 0.95 712-AH 0.38 737-AH 1.14 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BASELINEDEINDE 713-AH 0.03 738-AH 1.17 0.8 714-AH 0.00 739-AH 4.10 0.6 715-AH 3.78 740-AH 25.95 0.4 716-AH 5.98 741-AH 54.75 0.2 Difference 717-AH 24.62 742-AH 0.00 0 718-AH 15.94 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 6.00 −0.6 720-AH 2.58 745-AH 3.56 −0.8 721-AH 3.82 746-AH 33.85 −1 722-AH 12.36 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.91 748-AH 11.11 724-AH 68.42 749-AH 0.20 725-AH 0.00 750-AH 0.24 365 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.BASELINEDEINDE AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 24.40 BASELINEDEINDE 10 docs 20.20 90% 15 docs 16.80 80% 20 docs 14.60 30 docs 12.67 70% 100 docs 5.50 60% 200 docs 3.47 Precision 500 docs 1.59 50% 1000 docs 0.87 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 12.30 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0512 Third Quartile 0.2000 Interquartile range 0.2000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1230 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1765 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3860 15 Mean With No Outliers 0.0884 10 Std With No Outliers 0.1099 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BASELINEDEINDE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 27.27 727-AH 3.70 0.4 703-AH 27.27 728-AH 10.53 0.2 Difference 704-AH 21.43 729-AH 0.00 0 705-AH 14.29 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 38.60 −0.6 707-AH 20.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 4.35 −1 709-AH 0.00 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 6.25 736-AH 3.85 712-AH 0.00 737-AH 8.33 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BASELINEDEINDE 713-AH 0.00 738-AH 2.94 0.8 714-AH 0.00 739-AH 10.34 0.6 715-AH 6.25 740-AH 20.31 0.4 716-AH 7.69 741-AH 55.00 0.2 Difference 717-AH 28.57 742-AH 0.00 0 718-AH 21.88 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 15.38 −0.6 720-AH 0.00 745-AH 8.33 −0.8 721-AH 5.88 746-AH 36.36 −1 722-AH 11.11 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 33.33 724-AH 64.58 749-AH 2.67 725-AH 0.00 750-AH 4.00 366 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.CLESA169283DEINDE AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 749 Pooled true Geometric Mean Average Precision 0.0200 CL-ESA with 169283 dimensions, querying the german Binary Preference (BPREF) 0.1361 collection with german topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 46.00 CLESA169283DEINDE 10 30.95 90% 20 21.79 80% 30 18.21 40 13.31 70% 50 11.37 60% 60 10.16 Precision 70 6.70 50% 80 5.02 40% 90 3.49 30% 100 0.80 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 13.70 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7294 Minimum 0.0000 First Quartile 0.0088 Second Quartile 0.0495 Third Quartile 0.1771 Interquartile range 0.1683 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1370 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1958 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3481 15 Mean With No Outliers 0.0671 10 Std With No Outliers 0.0847 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283DEINDE 0.8 701-AH 9.65 726-AH 0.14 0.6 702-AH 6.35 727-AH 0.62 0.4 703-AH 15.21 728-AH 5.58 0.2 Difference 704-AH 2.17 729-AH 0.00 0 705-AH 24.34 730-AH 0.00 −0.2 −0.4 706-AH 0.89 731-AH 3.46 −0.6 707-AH 34.81 732-AH 0.88 −0.8 708-AH 0.00 733-AH 43.96 −1 709-AH 19.21 734-AH 53.96 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.09 711-AH 5.59 736-AH 5.15 712-AH 17.71 737-AH 2.32 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283DEINDE 713-AH 4.38 738-AH 0.50 0.8 714-AH 1.52 739-AH 19.15 0.6 715-AH 0.01 740-AH 4.89 0.4 716-AH 55.14 741-AH 57.11 0.2 Difference 717-AH 28.99 742-AH 11.11 0 718-AH 2.14 743-AH 0.00 −0.2 −0.4 719-AH 3.74 744-AH 44.36 −0.6 720-AH 1.99 745-AH 72.94 −0.8 721-AH 5.01 746-AH 1.03 −1 722-AH 11.55 747-AH 10.28 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 8.01 748-AH 4.17 724-AH 69.24 749-AH 0.14 725-AH 15.45 750-AH 0.22 367 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.CLESA169283DEINDE AH-TEL-MONO-DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 24.40 CLESA169283DEINDE 10 docs 20.00 90% 15 docs 17.47 80% 20 docs 16.90 30 docs 14.67 70% 100 docs 8.18 60% 200 docs 4.80 Precision 500 docs 2.44 50% 1000 docs 1.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.36 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6944 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0923 Third Quartile 0.2674 Interquartile range 0.2674 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1636 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1976 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6000 Mean With No Outliers 0.1416 10 Std With No Outliers 0.1685 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283DEINDE 0.8 701-AH 13.33 726-AH 0.00 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 9.09 728-AH 5.26 0.2 Difference 704-AH 5.36 729-AH 0.00 0 705-AH 28.57 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 3.51 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 0.00 733-AH 52.17 −1 709-AH 22.92 734-AH 45.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.37 711-AH 12.50 736-AH 7.69 712-AH 16.67 737-AH 5.95 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283DEINDE 713-AH 18.18 738-AH 0.00 0.8 714-AH 3.03 739-AH 31.03 0.6 715-AH 0.00 740-AH 10.94 0.4 716-AH 57.69 741-AH 60.00 0.2 Difference 717-AH 38.10 742-AH 33.33 0 718-AH 9.38 743-AH 0.00 −0.2 −0.4 719-AH 12.00 744-AH 46.15 −0.6 720-AH 0.00 745-AH 69.44 −0.8 721-AH 5.88 746-AH 3.90 −1 722-AH 11.11 747-AH 26.74 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 20.00 748-AH 0.00 724-AH 68.75 749-AH 0.00 725-AH 19.15 750-AH 0.00 368 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.CLESA169283LDDEINDE AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 750 Pooled false Geometric Mean Average Precision 0.0170 (See overleaf for description) Binary Preference (BPREF) 0.1398 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.27 CLESA169283LDDEINDE 10 29.01 90% 20 21.48 80% 30 18.14 40 14.45 70% 50 12.55 60% 60 11.21 Precision 70 6.93 50% 80 4.99 40% 90 3.20 30% 100 0.39 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 13.36 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7076 Minimum 0.0000 First Quartile 0.0059 Second Quartile 0.0433 Third Quartile 0.1817 Interquartile range 0.1758 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1336 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1970 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.4317 20 Mean With No Outliers 0.0712 15 Std With No Outliers 0.1013 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283LDDEINDE 0.8 701-AH 0.99 726-AH 0.24 0.6 702-AH 9.31 727-AH 0.65 0.4 703-AH 18.17 728-AH 5.60 0.2 Difference 704-AH 1.10 729-AH 0.00 0 705-AH 18.77 730-AH 0.00 −0.2 −0.4 706-AH 0.89 731-AH 6.60 −0.6 707-AH 34.26 732-AH 0.59 −0.8 708-AH 0.00 733-AH 43.17 −1 709-AH 24.83 734-AH 50.15 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.09 711-AH 9.11 736-AH 5.86 712-AH 2.65 737-AH 2.74 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283LDDEINDE 713-AH 4.97 738-AH 0.36 0.8 714-AH 1.10 739-AH 28.46 0.6 715-AH 0.00 740-AH 3.21 0.4 716-AH 56.64 741-AH 60.10 0.2 Difference 717-AH 24.42 742-AH 0.83 0 718-AH 3.09 743-AH 0.00 −0.2 −0.4 719-AH 2.99 744-AH 52.74 −0.6 720-AH 8.95 745-AH 70.76 −0.8 721-AH 5.53 746-AH 0.51 −1 722-AH 12.10 747-AH 13.77 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.11 748-AH 3.70 724-AH 64.73 749-AH 0.09 725-AH 7.00 750-AH 0.32 369 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.CLESA169283LDDEINDE AH-TEL-MONO-DE-CLEF2009 CL-ESA with 169283 dimensions and language detection, querying the german collection with german topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 24.00 CLESA169283LDDEINDE 10 docs 20.40 90% 15 docs 18.67 80% 20 docs 17.60 30 docs 14.80 70% 100 docs 8.14 60% 200 docs 4.87 Precision 500 docs 2.44 50% 1000 docs 1.50 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.40 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0807 Third Quartile 0.2500 Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1540 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1967 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.6087 15 Mean With No Outliers 0.1331 10 Std With No Outliers 0.1708 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283LDDEINDE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 18.18 727-AH 0.00 0.4 703-AH 18.18 728-AH 5.26 0.2 Difference 704-AH 5.36 729-AH 0.00 0 705-AH 35.71 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 15.79 −0.6 707-AH 30.00 732-AH 0.00 −0.8 708-AH 0.00 733-AH 60.87 −1 709-AH 25.00 734-AH 45.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.37 711-AH 12.50 736-AH 11.54 712-AH 8.33 737-AH 5.95 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283LDDEINDE 713-AH 9.09 738-AH 0.00 0.8 714-AH 3.03 739-AH 37.93 0.6 715-AH 0.00 740-AH 7.81 0.4 716-AH 50.00 741-AH 60.00 0.2 Difference 717-AH 26.19 742-AH 0.00 0 718-AH 12.50 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 50.00 −0.6 720-AH 12.50 745-AH 66.67 −0.8 721-AH 2.94 746-AH 2.60 −1 722-AH 11.11 747-AH 26.74 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 64.58 749-AH 1.33 725-AH 8.51 750-AH 0.00 370 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.COMBINEDDEINDE AH-TEL-MONO-DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,559 Topic Fields title, description Relevant retrieved 828 Pooled true Geometric Mean Average Precision 0.0664 (See overleaf for description) Binary Preference (BPREF) 0.1688 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 57.07 COMBINEDDEINDE 10 42.63 90% 20 32.59 80% 30 21.33 40 15.36 70% 50 12.93 60% 60 9.28 Precision 70 6.28 50% 80 4.32 40% 90 1.01 30% 100 0.47 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.36 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7742 Minimum 0.0003 First Quartile 0.0275 Second Quartile 0.1092 Third Quartile 0.2255 Interquartile range 0.1980 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1636 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1781 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0003 15 Upper Outlier Threshold 0.4630 Mean With No Outliers 0.1384 10 Std With No Outliers 0.1301 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDDEINDE 0.8 701-AH 2.45 726-AH 0.78 0.6 702-AH 10.73 727-AH 0.36 0.4 703-AH 21.84 728-AH 0.70 0.2 Difference 704-AH 8.10 729-AH 0.26 0 705-AH 15.82 730-AH 0.44 −0.2 −0.4 706-AH 0.03 731-AH 19.05 −0.6 707-AH 37.74 732-AH 1.04 −0.8 708-AH 0.98 733-AH 4.54 −1 709-AH 9.52 734-AH 77.42 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 21.43 735-AH 0.82 711-AH 22.55 736-AH 3.06 712-AH 20.27 737-AH 20.70 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDDEINDE 713-AH 11.58 738-AH 2.75 0.8 714-AH 4.89 739-AH 37.44 0.6 715-AH 6.57 740-AH 39.87 0.4 716-AH 30.56 741-AH 46.30 0.2 Difference 717-AH 23.06 742-AH 11.11 0 718-AH 27.65 743-AH 0.32 −0.2 −0.4 719-AH 7.03 744-AH 21.98 −0.6 720-AH 35.35 745-AH 30.71 −0.8 721-AH 3.79 746-AH 32.68 −1 722-AH 19.31 747-AH 2.98 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 19.31 748-AH 8.41 724-AH 75.89 749-AH 3.48 725-AH 13.58 750-AH 0.60 371 weimar 10.2415/AH-TEL-MONO-DE-CLEF2009.WEIMAR.COMBINEDDEINDE AH-TEL-MONO-DE-CLEF2009 Combined rankings, each computed with a different topic field, querying the german collection with german topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 34.40 COMBINEDDEINDE 10 docs 28.20 90% 15 docs 25.60 80% 20 docs 23.30 30 docs 18.80 70% 100 docs 9.62 60% 200 docs 6.18 Precision 500 docs 2.95 50% 1000 docs 1.66 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.63 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0400 Second Quartile 0.1713 Third Quartile 0.2857 Interquartile range 0.2457 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1963 Ad−Hoc TEL Monolingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1829 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5625 10 Mean With No Outliers 0.1739 Std With No Outliers 0.1480 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDDEINDE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 18.18 727-AH 0.00 0.4 703-AH 27.27 728-AH 5.26 0.2 Difference 704-AH 12.50 729-AH 0.00 0 705-AH 28.57 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 28.07 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 4.35 −1 709-AH 14.58 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.24 735-AH 8.22 711-AH 18.75 736-AH 7.69 712-AH 25.00 737-AH 25.00 1 Ad−Hoc TEL Monolingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDDEINDE 713-AH 9.09 738-AH 11.76 0.8 714-AH 18.18 739-AH 37.93 0.6 715-AH 0.00 740-AH 56.25 0.4 716-AH 30.77 741-AH 50.00 0.2 Difference 717-AH 33.33 742-AH 33.33 0 718-AH 28.12 743-AH 0.00 −0.2 −0.4 719-AH 16.00 744-AH 23.08 −0.6 720-AH 43.75 745-AH 30.56 −0.8 721-AH 14.71 746-AH 41.56 −1 722-AH 22.22 747-AH 8.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.67 748-AH 0.00 724-AH 66.67 749-AH 4.00 725-AH 17.02 750-AH 4.00 372 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_ALLTEXP AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 42,130 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,287 Pooled false Geometric Mean Average Precision 0.1327 Monolingual | query expansion Binary Preference (BPREF) 0.2490 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.22 CACAO_FRBNF_ALLTEXP 10 45.85 90% 20 38.10 80% 30 31.76 40 27.62 70% 50 22.61 60% 60 17.65 Precision 70 13.86 50% 80 10.16 40% 90 3.18 30% 100 0.15 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0031 First Quartile 0.0706 Second Quartile 0.1610 Third Quartile 0.3735 Interquartile range 0.3028 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2323 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2173 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0031 8 Upper Outlier Threshold 0.7815 6 Mean With No Outliers 0.2200 4 Std With No Outliers 0.2013 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_ALLTEXP 0.8 701-AH 48.51 726-AH 37.35 0.6 702-AH 0.31 727-AH 1.58 0.4 703-AH 42.23 728-AH 11.14 0.2 Difference 704-AH 10.09 729-AH 20.89 0 705-AH 63.08 730-AH 12.38 −0.2 −0.4 706-AH 20.61 731-AH 8.34 −0.6 707-AH 6.43 732-AH 7.06 −0.8 708-AH 22.27 733-AH 7.70 −1 709-AH 52.91 734-AH 11.11 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.82 735-AH 6.78 711-AH 1.49 736-AH 17.54 712-AH 83.33 737-AH 13.96 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_ALLTEXP 713-AH 22.16 738-AH 5.26 0.8 714-AH 10.43 739-AH 36.18 0.6 715-AH 0.66 740-AH 19.97 0.4 716-AH 64.76 741-AH 15.75 0.2 Difference 717-AH 6.09 742-AH 50.02 0 718-AH 7.38 743-AH 4.44 −0.2 −0.4 719-AH 7.26 744-AH 47.40 −0.6 720-AH 78.15 745-AH 28.83 −0.8 721-AH 61.60 746-AH 19.84 −1 722-AH 3.65 747-AH 2.19 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 16.93 748-AH 28.59 724-AH 44.81 749-AH 16.46 725-AH 43.71 750-AH 9.85 373 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_ALLTEXP AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 44.80 CACAO_FRBNF_ALLTEXP 10 docs 37.20 90% 15 docs 32.00 80% 20 docs 30.40 30 docs 27.20 70% 100 docs 15.14 60% 200 docs 9.26 Precision 500 docs 4.59 50% 1000 docs 2.57 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.84 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0952 Second Quartile 0.2124 Third Quartile 0.4118 Interquartile range 0.3165 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2684 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2244 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2684 4 Std With No Outliers 0.2244 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_ALLTEXP 0.8 701-AH 54.79 726-AH 41.18 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 53.49 728-AH 25.00 0.2 Difference 704-AH 18.18 729-AH 23.08 0 705-AH 65.22 730-AH 20.37 −0.2 −0.4 706-AH 23.46 731-AH 8.70 −0.6 707-AH 8.33 732-AH 8.82 −0.8 708-AH 40.00 733-AH 16.67 −1 709-AH 56.60 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 13.79 712-AH 83.33 737-AH 20.73 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_ALLTEXP 713-AH 36.17 738-AH 10.00 0.8 714-AH 25.81 739-AH 35.00 0.6 715-AH 0.00 740-AH 25.93 0.4 716-AH 57.58 741-AH 16.67 0.2 Difference 717-AH 9.52 742-AH 50.00 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 21.74 744-AH 58.06 −0.6 720-AH 81.08 745-AH 42.86 −0.8 721-AH 61.54 746-AH 31.67 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 40.00 724-AH 44.44 749-AH 20.34 725-AH 40.91 750-AH 13.48 374 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_BASE AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,693 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,258 Pooled false Geometric Mean Average Precision 0.1292 Monolingual | base search Binary Preference (BPREF) 0.2523 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.39 CACAO_FRBNF_BASE 10 45.21 90% 20 39.05 80% 30 33.54 40 28.36 70% 50 24.16 60% 60 16.49 Precision 70 12.84 50% 80 8.46 40% 90 2.77 30% 100 0.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.26 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0036 First Quartile 0.0717 Second Quartile 0.1359 Third Quartile 0.3817 Interquartile range 0.3100 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2326 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2209 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0036 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2326 Std With No Outliers 0.2209 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_BASE 0.8 701-AH 48.25 726-AH 34.18 0.6 702-AH 0.36 727-AH 0.99 0.4 703-AH 41.45 728-AH 11.67 0.2 Difference 704-AH 10.60 729-AH 7.82 0 705-AH 59.21 730-AH 13.82 −0.2 −0.4 706-AH 22.09 731-AH 8.56 −0.6 707-AH 4.82 732-AH 7.58 −0.8 708-AH 23.90 733-AH 7.17 −1 709-AH 60.17 734-AH 10.38 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.42 735-AH 7.22 711-AH 1.06 736-AH 12.30 712-AH 83.33 737-AH 14.71 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_BASE 713-AH 20.21 738-AH 5.92 0.8 714-AH 13.36 739-AH 38.17 0.6 715-AH 0.59 740-AH 19.58 0.4 716-AH 60.81 741-AH 11.32 0.2 Difference 717-AH 6.15 742-AH 51.55 0 718-AH 8.54 743-AH 5.66 −0.2 −0.4 719-AH 7.46 744-AH 32.57 −0.6 720-AH 76.29 745-AH 27.95 −0.8 721-AH 66.43 746-AH 18.36 −1 722-AH 5.60 747-AH 2.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.28 748-AH 27.33 724-AH 47.46 749-AH 15.97 725-AH 44.50 750-AH 5.88 375 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_BASE AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 43.20 CACAO_FRBNF_BASE 10 docs 36.80 90% 15 docs 34.00 80% 20 docs 31.00 30 docs 27.40 70% 100 docs 14.52 60% 200 docs 9.10 Precision 500 docs 4.55 50% 1000 docs 2.52 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.12 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0980 Second Quartile 0.2121 Third Quartile 0.4091 Interquartile range 0.3111 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2712 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2134 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2712 4 3 Std With No Outliers 0.2134 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_BASE 0.8 701-AH 54.79 726-AH 41.18 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 52.33 728-AH 17.86 0.2 Difference 704-AH 9.09 729-AH 23.08 0 705-AH 60.87 730-AH 20.37 −0.2 −0.4 706-AH 25.93 731-AH 13.04 −0.6 707-AH 6.94 732-AH 8.82 −0.8 708-AH 40.00 733-AH 16.67 −1 709-AH 60.38 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 20.69 712-AH 83.33 737-AH 19.51 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_BASE 713-AH 34.04 738-AH 9.17 0.8 714-AH 25.81 739-AH 40.00 0.6 715-AH 0.00 740-AH 24.07 0.4 716-AH 51.52 741-AH 16.67 0.2 Difference 717-AH 9.52 742-AH 54.55 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 21.74 744-AH 38.71 −0.6 720-AH 78.38 745-AH 36.51 −0.8 721-AH 58.97 746-AH 30.00 −1 722-AH 16.67 747-AH 1.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.00 748-AH 33.33 724-AH 44.44 749-AH 16.95 725-AH 40.91 750-AH 10.11 376 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_ML AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,131 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,268 Pooled false Geometric Mean Average Precision 0.1318 Monolingual+ | base search Binary Preference (BPREF) 0.2540 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.80 CACAO_FRBNF_ML 10 45.68 90% 20 39.49 80% 30 33.78 40 29.27 70% 50 24.84 60% 60 17.58 Precision 70 13.50 50% 80 9.53 40% 90 2.39 30% 100 0.78 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.61 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0037 First Quartile 0.0722 Second Quartile 0.1395 Third Quartile 0.3916 Interquartile range 0.3194 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2361 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2212 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0037 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2361 Std With No Outliers 0.2212 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_ML 0.8 701-AH 45.32 726-AH 34.17 0.6 702-AH 0.37 727-AH 1.24 0.4 703-AH 39.16 728-AH 21.87 0.2 Difference 704-AH 10.71 729-AH 8.13 0 705-AH 60.40 730-AH 14.17 −0.2 −0.4 706-AH 23.71 731-AH 9.17 −0.6 707-AH 4.75 732-AH 8.06 −0.8 708-AH 23.26 733-AH 7.84 −1 709-AH 60.24 734-AH 11.10 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.09 735-AH 7.22 711-AH 1.17 736-AH 10.81 712-AH 83.33 737-AH 13.74 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_ML 713-AH 21.38 738-AH 6.21 0.8 714-AH 12.22 739-AH 39.46 0.6 715-AH 0.49 740-AH 19.64 0.4 716-AH 64.67 741-AH 12.49 0.2 Difference 717-AH 6.39 742-AH 51.45 0 718-AH 8.36 743-AH 5.66 −0.2 −0.4 719-AH 7.97 744-AH 29.38 −0.6 720-AH 79.32 745-AH 28.18 −0.8 721-AH 63.39 746-AH 21.09 −1 722-AH 5.94 747-AH 2.01 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.28 748-AH 27.33 724-AH 46.42 749-AH 16.54 725-AH 47.03 750-AH 5.94 377 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_ML AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 42.80 CACAO_FRBNF_ML 10 docs 36.40 90% 15 docs 34.27 80% 20 docs 31.20 30 docs 27.73 70% 100 docs 14.76 60% 200 docs 9.27 Precision 500 docs 4.62 50% 1000 docs 2.54 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.35 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0980 Second Quartile 0.2105 Third Quartile 0.4091 Interquartile range 0.3111 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2735 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2154 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2735 4 3 Std With No Outliers 0.2154 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_ML 0.8 701-AH 52.05 726-AH 41.18 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 50.00 728-AH 17.86 0.2 Difference 704-AH 9.09 729-AH 23.08 0 705-AH 63.04 730-AH 20.37 −0.2 −0.4 706-AH 27.16 731-AH 13.04 −0.6 707-AH 8.33 732-AH 8.82 −0.8 708-AH 40.00 733-AH 16.67 −1 709-AH 60.38 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 17.24 712-AH 83.33 737-AH 19.51 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_ML 713-AH 36.17 738-AH 9.17 0.8 714-AH 29.03 739-AH 40.00 0.6 715-AH 0.00 740-AH 24.07 0.4 716-AH 57.58 741-AH 16.67 0.2 Difference 717-AH 9.52 742-AH 54.55 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 21.74 744-AH 38.71 −0.6 720-AH 81.08 745-AH 38.10 −0.8 721-AH 56.41 746-AH 31.67 −1 722-AH 16.67 747-AH 1.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.00 748-AH 33.33 724-AH 44.44 749-AH 16.95 725-AH 40.91 750-AH 10.11 378 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_SEMVECTEXP AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,686 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,257 Pooled false Geometric Mean Average Precision 0.1321 Monolingual | query expansion Binary Preference (BPREF) 0.2556 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.54 CACAO_FRBNF_SEMVECTEXP 10 44.92 90% 20 38.43 80% 30 32.71 40 28.28 70% 50 24.40 60% 60 17.35 Precision 70 13.58 50% 80 10.33 40% 90 3.08 30% 100 0.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.49 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0032 First Quartile 0.0776 Second Quartile 0.1352 Third Quartile 0.4151 Interquartile range 0.3374 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2349 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2221 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0032 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2349 Std With No Outliers 0.2221 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_SEMVECTEXP 0.8 701-AH 48.28 726-AH 26.66 0.6 702-AH 0.32 727-AH 1.37 0.4 703-AH 41.51 728-AH 16.83 0.2 Difference 704-AH 9.78 729-AH 7.84 0 705-AH 62.97 730-AH 13.31 −0.2 −0.4 706-AH 21.82 731-AH 8.60 −0.6 707-AH 4.78 732-AH 9.23 −0.8 708-AH 23.16 733-AH 7.76 −1 709-AH 52.46 734-AH 11.40 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.76 735-AH 6.93 711-AH 1.09 736-AH 12.07 712-AH 83.33 737-AH 13.07 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_SEMVECTEXP 713-AH 20.24 738-AH 5.05 0.8 714-AH 11.36 739-AH 36.76 0.6 715-AH 0.52 740-AH 16.91 0.4 716-AH 65.37 741-AH 13.73 0.2 Difference 717-AH 6.13 742-AH 51.06 0 718-AH 7.98 743-AH 8.63 −0.2 −0.4 719-AH 5.66 744-AH 47.04 −0.6 720-AH 79.06 745-AH 29.17 −0.8 721-AH 63.04 746-AH 20.35 −1 722-AH 5.71 747-AH 2.31 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.29 748-AH 25.42 724-AH 47.42 749-AH 15.26 725-AH 44.98 750-AH 8.98 379 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_SEMVECTEXP AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 44.00 CACAO_FRBNF_SEMVECTEXP 10 docs 36.00 90% 15 docs 32.67 80% 20 docs 30.70 30 docs 27.60 70% 100 docs 14.98 60% 200 docs 9.22 Precision 500 docs 4.56 50% 1000 docs 2.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.73 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1083 Second Quartile 0.2037 Third Quartile 0.4286 Interquartile range 0.3202 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2773 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2181 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2773 4 3 Std With No Outliers 0.2181 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_SEMVECTEXP 0.8 701-AH 53.42 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 52.33 728-AH 25.00 0.2 Difference 704-AH 9.09 729-AH 23.08 0 705-AH 64.13 730-AH 20.37 −0.2 −0.4 706-AH 23.46 731-AH 13.04 −0.6 707-AH 6.94 732-AH 11.76 −0.8 708-AH 40.00 733-AH 16.67 −1 709-AH 54.72 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 17.24 712-AH 83.33 737-AH 19.51 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_SEMVECTEXP 713-AH 34.04 738-AH 10.83 0.8 714-AH 29.03 739-AH 40.00 0.6 715-AH 0.00 740-AH 20.37 0.4 716-AH 57.58 741-AH 16.67 0.2 Difference 717-AH 9.52 742-AH 54.55 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 17.39 744-AH 54.84 −0.6 720-AH 81.08 745-AH 42.86 −0.8 721-AH 61.54 746-AH 30.00 −1 722-AH 16.67 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.00 748-AH 33.33 724-AH 44.44 749-AH 16.95 725-AH 40.91 750-AH 13.48 380 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_TOPDOCSEXP AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,841 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,269 Pooled false Geometric Mean Average Precision 0.1290 Monolingual | query expansion Binary Preference (BPREF) 0.2429 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.01 CACAO_FRBNF_TOPDOCSEXP 10 44.56 90% 20 37.84 80% 30 31.11 40 26.29 70% 50 22.28 60% 60 16.82 Precision 70 13.37 50% 80 9.59 40% 90 2.44 30% 100 0.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.71 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0039 First Quartile 0.0757 Second Quartile 0.1414 Third Quartile 0.3306 Interquartile range 0.2549 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2271 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2130 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0039 Upper Outlier Threshold 0.6163 10 Mean With No Outliers 0.2029 Std With No Outliers 0.1797 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_TOPDOCSEXP 0.8 701-AH 48.45 726-AH 31.02 0.6 702-AH 0.39 727-AH 1.27 0.4 703-AH 41.49 728-AH 8.28 0.2 Difference 704-AH 11.60 729-AH 20.89 0 705-AH 59.49 730-AH 12.75 −0.2 −0.4 706-AH 21.93 731-AH 8.28 −0.6 707-AH 6.37 732-AH 9.02 −0.8 708-AH 23.46 733-AH 7.98 −1 709-AH 55.48 734-AH 12.09 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.49 735-AH 7.26 711-AH 1.49 736-AH 13.92 712-AH 83.33 737-AH 14.36 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_TOPDOCSEXP 713-AH 21.10 738-AH 9.38 0.8 714-AH 11.09 739-AH 40.75 0.6 715-AH 0.57 740-AH 18.78 0.4 716-AH 61.63 741-AH 13.35 0.2 Difference 717-AH 6.11 742-AH 50.64 0 718-AH 7.57 743-AH 3.33 −0.2 −0.4 719-AH 9.23 744-AH 32.59 −0.6 720-AH 78.22 745-AH 26.38 −0.8 721-AH 58.43 746-AH 16.63 −1 722-AH 3.64 747-AH 1.31 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 16.93 748-AH 33.06 724-AH 44.54 749-AH 17.12 725-AH 45.35 750-AH 5.78 381 celi 10.2415/AH-TEL-MONO-FR-CLEF2009.CELI.CACAO_FRBNF_TOPDOCSEXP AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 44.00 CACAO_FRBNF_TOPDOCSEXP 10 docs 38.00 90% 15 docs 33.73 80% 20 docs 30.40 30 docs 26.67 70% 100 docs 14.66 60% 200 docs 9.13 Precision 500 docs 4.57 50% 1000 docs 2.54 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.02 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0952 Second Quartile 0.2071 Third Quartile 0.4000 Interquartile range 0.3048 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2602 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2159 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2602 4 Std With No Outliers 0.2159 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBNF_TOPDOCSEXP 0.8 701-AH 53.42 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 51.16 728-AH 17.86 0.2 Difference 704-AH 18.18 729-AH 23.08 0 705-AH 60.87 730-AH 20.37 −0.2 −0.4 706-AH 25.93 731-AH 8.70 −0.6 707-AH 8.33 732-AH 8.82 −0.8 708-AH 37.78 733-AH 16.67 −1 709-AH 58.49 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 20.69 712-AH 83.33 737-AH 20.73 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBNF_TOPDOCSEXP 713-AH 34.04 738-AH 10.83 0.8 714-AH 25.81 739-AH 40.00 0.6 715-AH 0.00 740-AH 24.07 0.4 716-AH 51.52 741-AH 16.67 0.2 Difference 717-AH 9.52 742-AH 54.55 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 21.74 744-AH 38.71 −0.6 720-AH 81.08 745-AH 34.92 −0.8 721-AH 56.41 746-AH 30.00 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 46.67 724-AH 44.44 749-AH 20.34 725-AH 40.91 750-AH 11.24 382 chemnitz 10.2415/AH-TEL-MONO-FR-CLEF2009.CHEMNITZ.CUT_17_MONO_FR_TE_PORTER_NO_FB AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,433 Pooled true Geometric Mean Average Precision 0.1351 monolingual terrier porter Binary Preference (BPREF) 0.2373 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 60.90 CUT_17_MONO_FR_TE_PORTER_NO_FB 10 46.44 90% 20 38.79 80% 30 32.29 40 28.50 70% 50 24.76 60% 60 20.49 Precision 70 16.88 50% 80 11.60 40% 90 6.38 30% 100 2.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.70 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0021 First Quartile 0.0886 Second Quartile 0.1979 Third Quartile 0.3840 Interquartile range 0.2955 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2470 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2133 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0021 Upper Outlier Threshold 0.7643 10 Mean With No Outliers 0.2351 Std With No Outliers 0.1979 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_17_MONO_FR_TE_PORTER_NO_FB 0.8 701-AH 45.15 726-AH 38.40 0.6 702-AH 19.09 727-AH 9.41 0.4 703-AH 38.35 728-AH 26.34 0.2 Difference 704-AH 11.57 729-AH 8.26 0 705-AH 56.01 730-AH 24.45 −0.2 −0.4 706-AH 20.48 731-AH 11.16 −0.6 707-AH 16.18 732-AH 12.69 −0.8 708-AH 26.94 733-AH 2.61 −1 709-AH 49.42 734-AH 10.85 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 1.43 735-AH 8.86 711-AH 2.82 736-AH 14.28 712-AH 83.33 737-AH 8.97 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_17_MONO_FR_TE_PORTER_NO_FB 713-AH 50.38 738-AH 16.53 0.8 714-AH 10.17 739-AH 42.23 0.6 715-AH 0.27 740-AH 34.26 0.4 716-AH 76.43 741-AH 4.40 0.2 Difference 717-AH 22.84 742-AH 23.78 0 718-AH 2.74 743-AH 1.96 −0.2 −0.4 719-AH 4.77 744-AH 51.81 −0.6 720-AH 72.79 745-AH 25.02 −0.8 721-AH 57.74 746-AH 45.39 −1 722-AH 0.60 747-AH 1.55 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.21 748-AH 22.06 724-AH 38.82 749-AH 32.12 725-AH 30.72 750-AH 18.61 383 chemnitz 10.2415/AH-TEL-MONO-FR-CLEF2009.CHEMNITZ.CUT_17_MONO_FR_TE_PORTER_NO_FB AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 39.20 CUT_17_MONO_FR_TE_PORTER_NO_FB 10 docs 33.60 90% 15 docs 33.87 80% 20 docs 31.80 30 docs 29.00 70% 100 docs 17.10 60% 200 docs 10.93 Precision 500 docs 5.22 50% 1000 docs 2.87 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.95 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1000 Second Quartile 0.2683 Third Quartile 0.4500 Interquartile range 0.3500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2795 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2177 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2795 Std With No Outliers 0.2177 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_17_MONO_FR_TE_PORTER_NO_FB 0.8 701-AH 57.53 726-AH 35.29 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 50.00 728-AH 25.00 0.2 Difference 704-AH 27.27 729-AH 7.69 0 705-AH 52.17 730-AH 35.19 −0.2 −0.4 706-AH 29.63 731-AH 13.04 −0.6 707-AH 27.78 732-AH 26.47 −0.8 708-AH 26.67 733-AH 0.00 −1 709-AH 47.17 734-AH 10.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 15.69 711-AH 0.00 736-AH 20.69 712-AH 83.33 737-AH 10.98 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_17_MONO_FR_TE_PORTER_NO_FB 713-AH 63.83 738-AH 28.33 0.8 714-AH 19.35 739-AH 45.00 0.6 715-AH 0.00 740-AH 38.89 0.4 716-AH 66.67 741-AH 4.17 0.2 Difference 717-AH 23.81 742-AH 36.36 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 17.39 744-AH 48.39 −0.6 720-AH 70.27 745-AH 26.98 −0.8 721-AH 58.97 746-AH 46.67 −1 722-AH 0.00 747-AH 3.17 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 44.44 749-AH 45.76 725-AH 40.91 750-AH 29.21 384 chemnitz 10.2415/AH-TEL-MONO-FR-CLEF2009.CHEMNITZ.CUT_18_MONO_FR_LU_PORTER_NO_FB AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,390 Pooled true Geometric Mean Average Precision 0.1405 monolingual lucene porter Binary Preference (BPREF) 0.2329 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 60.61 CUT_18_MONO_FR_LU_PORTER_NO_FB 10 46.63 90% 20 41.04 80% 30 33.40 40 28.43 70% 50 23.74 60% 60 18.77 Precision 70 14.70 50% 80 10.46 40% 90 4.67 30% 100 1.93 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.99 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0020 First Quartile 0.0842 Second Quartile 0.1864 Third Quartile 0.3776 Interquartile range 0.2935 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2399 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2100 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0020 8 Upper Outlier Threshold 0.7692 6 Mean With No Outliers 0.2278 4 Std With No Outliers 0.1937 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_18_MONO_FR_LU_PORTER_NO_FB 0.8 701-AH 15.11 726-AH 38.84 0.6 702-AH 8.27 727-AH 8.75 0.4 703-AH 35.67 728-AH 34.29 0.2 Difference 704-AH 14.29 729-AH 9.44 0 705-AH 45.27 730-AH 23.19 −0.2 −0.4 706-AH 21.20 731-AH 16.47 −0.6 707-AH 12.83 732-AH 13.08 −0.8 708-AH 19.71 733-AH 3.83 −1 709-AH 57.63 734-AH 9.63 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.68 735-AH 8.87 711-AH 1.79 736-AH 6.97 712-AH 83.33 737-AH 14.74 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_18_MONO_FR_LU_PORTER_NO_FB 713-AH 43.58 738-AH 44.25 0.8 714-AH 8.42 739-AH 37.76 0.6 715-AH 0.20 740-AH 18.01 0.4 716-AH 72.52 741-AH 4.11 0.2 Difference 717-AH 22.34 742-AH 70.31 0 718-AH 3.16 743-AH 7.23 −0.2 −0.4 719-AH 3.98 744-AH 38.47 −0.6 720-AH 76.92 745-AH 19.59 −0.8 721-AH 20.41 746-AH 39.63 −1 722-AH 6.35 747-AH 21.83 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.22 748-AH 17.26 724-AH 45.25 749-AH 23.01 725-AH 31.42 750-AH 19.27 385 chemnitz 10.2415/AH-TEL-MONO-FR-CLEF2009.CHEMNITZ.CUT_18_MONO_FR_LU_PORTER_NO_FB AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 42.80 CUT_18_MONO_FR_LU_PORTER_NO_FB 10 docs 39.40 90% 15 docs 34.93 80% 20 docs 32.00 30 docs 29.00 70% 100 docs 16.52 60% 200 docs 10.42 Precision 500 docs 5.13 50% 1000 docs 2.78 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.06 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0870 Second Quartile 0.2546 Third Quartile 0.4348 Interquartile range 0.3478 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2706 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2110 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2706 4 3 Std With No Outliers 0.2110 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_18_MONO_FR_LU_PORTER_NO_FB 0.8 701-AH 17.81 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 46.51 728-AH 46.43 0.2 Difference 704-AH 27.27 729-AH 7.69 0 705-AH 43.48 730-AH 35.19 −0.2 −0.4 706-AH 33.33 731-AH 17.39 −0.6 707-AH 25.00 732-AH 23.53 −0.8 708-AH 26.67 733-AH 0.00 −1 709-AH 49.06 734-AH 5.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 13.79 712-AH 83.33 737-AH 23.17 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_18_MONO_FR_LU_PORTER_NO_FB 713-AH 59.57 738-AH 50.83 0.8 714-AH 19.35 739-AH 40.00 0.6 715-AH 0.00 740-AH 25.93 0.4 716-AH 57.58 741-AH 8.33 0.2 Difference 717-AH 33.33 742-AH 63.64 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 8.70 744-AH 35.48 −0.6 720-AH 72.97 745-AH 14.29 −0.8 721-AH 30.77 746-AH 55.00 −1 722-AH 16.67 747-AH 23.81 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 6.67 724-AH 44.44 749-AH 27.12 725-AH 45.45 750-AH 26.97 386 chemnitz 10.2415/AH-TEL-MONO-FR-CLEF2009.CHEMNITZ.CUT_19_MONO_MERGED_FR_17_18 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,440 Pooled false Geometric Mean Average Precision 0.1554 monolingual merged reference cut_17 cut_18 Binary Preference (BPREF) 0.2461 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.06 CUT_19_MONO_MERGED_FR_17_18 10 47.89 90% 20 42.25 80% 30 35.67 40 30.67 70% 50 26.46 60% 60 21.07 Precision 70 17.31 50% 80 11.93 40% 90 5.94 30% 100 2.20 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.83 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0022 First Quartile 0.0973 Second Quartile 0.2082 Third Quartile 0.4180 Interquartile range 0.3207 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2583 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2111 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0022 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2583 4 3 Std With No Outliers 0.2111 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_19_MONO_MERGED_FR_17_18 0.8 701-AH 41.18 726-AH 37.74 0.6 702-AH 13.81 727-AH 9.44 0.4 703-AH 43.03 728-AH 33.74 0.2 Difference 704-AH 13.52 729-AH 8.84 0 705-AH 50.43 730-AH 24.06 −0.2 −0.4 706-AH 21.16 731-AH 15.62 −0.6 707-AH 14.96 732-AH 13.41 −0.8 708-AH 22.70 733-AH 3.35 −1 709-AH 54.78 734-AH 11.52 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 1.27 735-AH 9.73 711-AH 2.24 736-AH 10.16 712-AH 83.33 737-AH 15.29 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_19_MONO_MERGED_FR_17_18 713-AH 48.92 738-AH 24.12 0.8 714-AH 9.91 739-AH 52.87 0.6 715-AH 0.25 740-AH 27.66 0.4 716-AH 73.08 741-AH 4.56 0.2 Difference 717-AH 23.26 742-AH 52.73 0 718-AH 3.12 743-AH 5.28 −0.2 −0.4 719-AH 5.27 744-AH 46.34 −0.6 720-AH 77.59 745-AH 25.79 −0.8 721-AH 50.49 746-AH 41.80 −1 722-AH 5.71 747-AH 13.33 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.22 748-AH 17.91 724-AH 43.55 749-AH 28.96 725-AH 32.81 750-AH 20.47 387 chemnitz 10.2415/AH-TEL-MONO-FR-CLEF2009.CHEMNITZ.CUT_19_MONO_MERGED_FR_17_18 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 41.20 CUT_19_MONO_MERGED_FR_17_18 10 docs 38.40 90% 15 docs 36.67 80% 20 docs 33.40 30 docs 30.00 70% 100 docs 17.86 60% 200 docs 11.27 Precision 500 docs 5.33 50% 1000 docs 2.88 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.61 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1333 Second Quartile 0.2713 Third Quartile 0.4194 Interquartile range 0.2860 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2861 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2123 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2861 4 Std With No Outliers 0.2123 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_19_MONO_MERGED_FR_17_18 0.8 701-AH 36.99 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 54.65 728-AH 46.43 0.2 Difference 704-AH 27.27 729-AH 7.69 0 705-AH 48.91 730-AH 35.19 −0.2 −0.4 706-AH 30.86 731-AH 17.39 −0.6 707-AH 25.00 732-AH 23.53 −0.8 708-AH 26.67 733-AH 0.00 −1 709-AH 41.51 734-AH 5.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 17.65 711-AH 0.00 736-AH 13.79 712-AH 83.33 737-AH 25.61 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_19_MONO_MERGED_FR_17_18 713-AH 61.70 738-AH 33.33 0.8 714-AH 19.35 739-AH 45.00 0.6 715-AH 0.00 740-AH 31.48 0.4 716-AH 57.58 741-AH 0.00 0.2 Difference 717-AH 33.33 742-AH 50.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 17.39 744-AH 41.94 −0.6 720-AH 75.68 745-AH 26.98 −0.8 721-AH 56.41 746-AH 53.33 −1 722-AH 16.67 747-AH 14.29 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 13.33 724-AH 50.00 749-AH 38.98 725-AH 40.91 750-AH 33.71 388 chemnitz 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 CLEF2009.CHEMNITZ.CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,440 Pooled false Geometric Mean Average Precision 0.1361 monolingual+ merged multilingual reference cut_17 Binary Preference (BPREF) 0.2421 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 62.84 CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 10 48.36 90% 20 40.45 80% 30 33.50 40 29.99 70% 50 25.57 60% 60 20.25 Precision 70 16.15 50% 80 12.16 40% 90 6.16 30% 100 2.21 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.40 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0021 First Quartile 0.0909 Second Quartile 0.2139 Third Quartile 0.3754 Interquartile range 0.2845 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2540 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2146 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0021 Upper Outlier Threshold 0.7693 10 Mean With No Outliers 0.2422 Std With No Outliers 0.1997 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 0.8 701-AH 49.49 726-AH 37.24 0.6 702-AH 13.85 727-AH 9.79 0.4 703-AH 35.16 728-AH 26.34 0.2 Difference 704-AH 21.24 729-AH 7.82 0 705-AH 54.09 730-AH 27.76 −0.2 −0.4 706-AH 23.67 731-AH 11.87 −0.6 707-AH 21.54 732-AH 11.08 −0.8 708-AH 24.86 733-AH 2.31 −1 709-AH 49.22 734-AH 9.09 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 1.32 735-AH 10.05 711-AH 3.13 736-AH 14.70 712-AH 83.33 737-AH 11.31 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 713-AH 47.75 738-AH 16.63 0.8 714-AH 10.35 739-AH 44.95 0.6 715-AH 0.22 740-AH 37.06 0.4 716-AH 72.56 741-AH 4.54 0.2 Difference 717-AH 21.62 742-AH 34.33 0 718-AH 3.23 743-AH 2.01 −0.2 −0.4 719-AH 4.77 744-AH 38.17 −0.6 720-AH 76.93 745-AH 27.83 −0.8 721-AH 58.93 746-AH 56.53 −1 722-AH 0.24 747-AH 1.51 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.21 748-AH 21.00 724-AH 41.86 749-AH 31.39 725-AH 37.54 750-AH 17.66 389 chemnitz 10.2415/AH-TEL-MONO-FR- AH-TEL-MONO-FR-CLEF2009 CLEF2009.CHEMNITZ.CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 44.00 CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 10 docs 36.20 90% 15 docs 33.47 80% 20 docs 32.10 30 docs 29.40 70% 100 docs 17.48 60% 200 docs 11.18 Precision 500 docs 5.31 50% 1000 docs 2.88 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 28.18 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1000 Second Quartile 0.2697 Third Quartile 0.4500 Interquartile range 0.3500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2818 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2187 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2818 Std With No Outliers 0.2187 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 0.8 701-AH 61.64 726-AH 41.18 0.6 702-AH 0.00 727-AH 15.79 0.4 703-AH 48.84 728-AH 25.00 0.2 Difference 704-AH 27.27 729-AH 7.69 0 705-AH 46.74 730-AH 35.19 −0.2 −0.4 706-AH 30.86 731-AH 17.39 −0.6 707-AH 31.94 732-AH 20.59 −0.8 708-AH 26.67 733-AH 0.00 −1 709-AH 47.17 734-AH 10.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 15.69 711-AH 0.00 736-AH 20.69 712-AH 83.33 737-AH 17.07 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_20_MONO_FR_MERGED_LANG_SPEC_REF_CUT_17 713-AH 55.32 738-AH 28.33 0.8 714-AH 19.35 739-AH 45.00 0.6 715-AH 0.00 740-AH 48.15 0.4 716-AH 63.64 741-AH 0.00 0.2 Difference 717-AH 19.05 742-AH 50.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 17.39 744-AH 29.03 −0.6 720-AH 75.68 745-AH 30.16 −0.8 721-AH 58.97 746-AH 55.00 −1 722-AH 0.00 747-AH 3.17 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 44.44 749-AH 38.98 725-AH 40.91 750-AH 29.21 390 cheshire 10.2415/AH-TEL-MONO-FR-CLEF2009.CHESHIRE.MOFRT2FB AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,300 Pooled true Geometric Mean Average Precision 0.0947 French Topics using Trec2 with Blind Feedback Binary Preference (BPREF) 0.2041 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 60.74 MOFRT2FB 10 41.78 90% 20 33.81 80% 30 30.32 40 25.50 70% 50 19.43 60% 60 15.35 Precision 70 10.90 50% 80 8.07 40% 90 3.94 30% 100 1.70 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 20.70 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7502 Minimum 0.0000 First Quartile 0.0490 Second Quartile 0.1585 Third Quartile 0.3206 Interquartile range 0.2715 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2070 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1876 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6800 10 Mean With No Outliers 0.1959 Std With No Outliers 0.1722 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MOFRT2FB 0.8 701-AH 32.06 726-AH 35.88 0.6 702-AH 2.67 727-AH 13.51 0.4 703-AH 49.67 728-AH 3.47 0.2 Difference 704-AH 2.06 729-AH 12.72 0 705-AH 36.39 730-AH 19.29 −0.2 −0.4 706-AH 37.07 731-AH 12.20 −0.6 707-AH 7.33 732-AH 11.15 −0.8 708-AH 18.13 733-AH 0.44 −1 709-AH 29.76 734-AH 9.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.48 735-AH 4.90 711-AH 1.31 736-AH 22.88 712-AH 75.02 737-AH 6.74 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MOFRT2FB 713-AH 39.96 738-AH 17.24 0.8 714-AH 9.28 739-AH 53.44 0.6 715-AH 0.54 740-AH 27.80 0.4 716-AH 68.00 741-AH 0.45 0.2 Difference 717-AH 10.63 742-AH 43.40 0 718-AH 4.83 743-AH 6.78 −0.2 −0.4 719-AH 20.26 744-AH 14.68 −0.6 720-AH 57.72 745-AH 12.78 −0.8 721-AH 39.98 746-AH 23.61 −1 722-AH 20.49 747-AH 2.82 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 17.01 724-AH 41.73 749-AH 26.58 725-AH 29.12 750-AH 1.10 391 cheshire 10.2415/AH-TEL-MONO-FR-CLEF2009.CHESHIRE.MOFRT2FB AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 36.80 MOFRT2FB 10 docs 33.00 90% 15 docs 29.87 80% 20 docs 28.20 30 docs 24.53 70% 100 docs 14.88 60% 200 docs 9.09 Precision 500 docs 4.52 50% 1000 docs 2.60 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.85 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0976 Second Quartile 0.2064 Third Quartile 0.3827 Interquartile range 0.2852 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2385 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1918 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.6667 6 Mean With No Outliers 0.2385 4 Std With No Outliers 0.1918 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MOFRT2FB 0.8 701-AH 43.84 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 53.49 728-AH 10.71 0.2 Difference 704-AH 9.09 729-AH 15.38 0 705-AH 42.39 730-AH 27.78 −0.2 −0.4 706-AH 38.27 731-AH 21.74 −0.6 707-AH 12.50 732-AH 20.59 −0.8 708-AH 24.44 733-AH 0.00 −1 709-AH 32.08 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 15.69 711-AH 0.00 736-AH 20.69 712-AH 66.67 737-AH 9.76 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MOFRT2FB 713-AH 59.57 738-AH 21.67 0.8 714-AH 12.90 739-AH 50.00 0.6 715-AH 0.00 740-AH 31.48 0.4 716-AH 66.67 741-AH 0.00 0.2 Difference 717-AH 23.81 742-AH 40.91 0 718-AH 10.71 743-AH 0.00 −0.2 −0.4 719-AH 30.43 744-AH 16.13 −0.6 720-AH 56.76 745-AH 17.46 −0.8 721-AH 38.46 746-AH 35.00 −1 722-AH 16.67 747-AH 6.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 13.33 724-AH 50.00 749-AH 37.29 725-AH 40.91 750-AH 5.62 392 cheshire 10.2415/AH-TEL-MONO-FR-CLEF2009.CHESHIRE.MOFRT2FB3 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,243 Pooled true Geometric Mean Average Precision 0.0614 French, English and German topics using Trec2 with Binary Preference (BPREF) 0.1655 Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 53.22 MOFRT2FB3 10 34.98 90% 20 27.35 80% 30 23.53 40 19.56 70% 50 15.83 60% 60 11.49 Precision 70 8.40 50% 80 6.89 40% 90 3.37 30% 100 0.92 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.84 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6948 Minimum 0.0000 First Quartile 0.0286 Second Quartile 0.0885 Third Quartile 0.2684 Interquartile range 0.2398 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1684 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1822 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5482 Mean With No Outliers 0.1475 10 Std With No Outliers 0.1531 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MOFRT2FB3 0.8 701-AH 28.51 726-AH 18.67 0.6 702-AH 0.65 727-AH 3.96 0.4 703-AH 44.29 728-AH 1.47 0.2 Difference 704-AH 7.73 729-AH 4.06 0 705-AH 46.76 730-AH 8.26 −0.2 −0.4 706-AH 51.32 731-AH 11.17 −0.6 707-AH 2.86 732-AH 6.84 −0.8 708-AH 5.83 733-AH 1.52 −1 709-AH 8.87 734-AH 9.86 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.12 735-AH 3.19 711-AH 0.93 736-AH 5.38 712-AH 69.48 737-AH 6.71 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MOFRT2FB3 713-AH 13.25 738-AH 13.30 0.8 714-AH 17.98 739-AH 64.49 0.6 715-AH 0.03 740-AH 23.14 0.4 716-AH 40.35 741-AH 0.43 0.2 Difference 717-AH 20.22 742-AH 27.62 0 718-AH 11.59 743-AH 2.70 −0.2 −0.4 719-AH 1.61 744-AH 7.30 −0.6 720-AH 20.26 745-AH 26.36 −0.8 721-AH 32.54 746-AH 40.65 −1 722-AH 6.46 747-AH 0.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 8.84 724-AH 31.71 749-AH 26.84 725-AH 54.82 750-AH 0.74 393 cheshire 10.2415/AH-TEL-MONO-FR-CLEF2009.CHESHIRE.MOFRT2FB3 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 30.80 MOFRT2FB3 10 docs 27.60 90% 15 docs 25.07 80% 20 docs 22.90 30 docs 20.40 70% 100 docs 12.66 60% 200 docs 8.15 Precision 500 docs 4.35 50% 1000 docs 2.49 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.06 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5556 Minimum 0.0000 First Quartile 0.0417 Second Quartile 0.1384 Third Quartile 0.3333 Interquartile range 0.2917 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1906 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1766 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5556 10 Mean With No Outliers 0.1906 Std With No Outliers 0.1766 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MOFRT2FB3 0.8 701-AH 38.36 726-AH 23.53 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 51.16 728-AH 3.57 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 44.57 730-AH 14.81 −0.2 −0.4 706-AH 55.56 731-AH 13.04 −0.6 707-AH 13.89 732-AH 11.76 −0.8 708-AH 8.89 733-AH 0.00 −1 709-AH 5.66 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 13.79 712-AH 50.00 737-AH 17.07 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MOFRT2FB3 713-AH 14.89 738-AH 25.83 0.8 714-AH 22.58 739-AH 55.00 0.6 715-AH 0.00 740-AH 27.78 0.4 716-AH 33.33 741-AH 4.17 0.2 Difference 717-AH 23.81 742-AH 40.91 0 718-AH 10.71 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 9.68 −0.6 720-AH 21.62 745-AH 30.16 −0.8 721-AH 33.33 746-AH 46.67 −1 722-AH 0.00 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 6.67 724-AH 38.89 749-AH 44.07 725-AH 50.00 750-AH 5.62 394 cheshire 10.2415/AH-TEL-MONO-FR-CLEF2009.CHESHIRE.MOFRT2FBX AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,241 Pooled false Geometric Mean Average Precision 0.0562 French topics, with English and German translations Binary Preference (BPREF) 0.1576 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 48.86 MOFRT2FBX 10 31.39 90% 20 23.53 80% 30 19.64 40 16.34 70% 50 14.40 60% 60 10.51 Precision 70 7.91 50% 80 5.61 40% 90 2.50 30% 100 1.11 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.56 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7494 Minimum 0.0005 First Quartile 0.0196 Second Quartile 0.0889 Third Quartile 0.2008 Interquartile range 0.1812 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1456 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1649 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0005 15 Upper Outlier Threshold 0.4660 Mean With No Outliers 0.1185 10 Std With No Outliers 0.1242 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MOFRT2FBX 0.8 701-AH 27.33 726-AH 18.79 0.6 702-AH 0.08 727-AH 4.07 0.4 703-AH 41.36 728-AH 1.66 0.2 Difference 704-AH 11.09 729-AH 1.67 0 705-AH 46.60 730-AH 13.53 −0.2 −0.4 706-AH 38.35 731-AH 12.08 −0.6 707-AH 0.32 732-AH 5.61 −0.8 708-AH 5.27 733-AH 8.33 −1 709-AH 10.17 734-AH 8.11 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.16 735-AH 2.54 711-AH 0.62 736-AH 11.43 712-AH 74.94 737-AH 5.34 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MOFRT2FBX 713-AH 7.93 738-AH 6.89 0.8 714-AH 15.21 739-AH 47.84 0.6 715-AH 0.05 740-AH 20.08 0.4 716-AH 21.19 741-AH 0.53 0.2 Difference 717-AH 18.34 742-AH 20.73 0 718-AH 10.60 743-AH 2.18 −0.2 −0.4 719-AH 1.96 744-AH 4.21 −0.6 720-AH 15.17 745-AH 15.76 −0.8 721-AH 31.94 746-AH 39.96 −1 722-AH 1.72 747-AH 0.27 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.29 748-AH 5.97 724-AH 31.36 749-AH 9.45 725-AH 48.26 750-AH 0.63 395 cheshire 10.2415/AH-TEL-MONO-FR-CLEF2009.CHESHIRE.MOFRT2FBX AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 26.00 MOFRT2FBX 10 docs 23.40 90% 15 docs 20.67 80% 20 docs 19.10 30 docs 16.33 70% 100 docs 11.42 60% 200 docs 7.45 Precision 500 docs 4.33 50% 1000 docs 2.48 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.89 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1172 Third Quartile 0.2727 Interquartile range 0.2727 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1689 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1745 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6667 10 Mean With No Outliers 0.1689 Std With No Outliers 0.1745 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MOFRT2FBX 0.8 701-AH 36.99 726-AH 23.53 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 51.16 728-AH 3.57 0.2 Difference 704-AH 18.18 729-AH 0.00 0 705-AH 44.57 730-AH 20.37 −0.2 −0.4 706-AH 51.85 731-AH 21.74 −0.6 707-AH 0.00 732-AH 5.88 −0.8 708-AH 6.67 733-AH 16.67 −1 709-AH 11.32 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 10.34 712-AH 66.67 737-AH 13.41 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MOFRT2FBX 713-AH 6.38 738-AH 15.83 0.8 714-AH 32.26 739-AH 40.00 0.6 715-AH 0.00 740-AH 29.63 0.4 716-AH 12.12 741-AH 0.00 0.2 Difference 717-AH 19.05 742-AH 27.27 0 718-AH 10.71 743-AH 0.00 −0.2 −0.4 719-AH 13.04 744-AH 6.45 −0.6 720-AH 5.41 745-AH 22.22 −0.8 721-AH 35.90 746-AH 48.33 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 33.33 749-AH 15.25 725-AH 50.00 750-AH 3.37 396 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN11 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,457 Pooled false Geometric Mean Average Precision 0.1465 run-11-vs-Stemming_lmstem2_6grams-qe_text- Binary Preference (BPREF) 0.2505 filter_t_sp-order_sc.txt Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.94 RUN11 10 46.10 90% 20 38.95 80% 30 34.76 40 29.69 70% 50 24.07 60% 60 21.38 Precision 70 16.25 50% 80 12.10 40% 90 6.68 30% 100 2.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.02 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0008 First Quartile 0.0909 Second Quartile 0.1788 Third Quartile 0.3467 Interquartile range 0.2559 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2502 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2165 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0008 8 Upper Outlier Threshold 0.7257 6 Mean With No Outliers 0.2263 4 Std With No Outliers 0.1850 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN11 0.8 701-AH 27.51 726-AH 31.62 0.6 702-AH 17.42 727-AH 0.73 0.4 703-AH 47.69 728-AH 23.87 0.2 Difference 704-AH 2.73 729-AH 7.56 0 705-AH 57.56 730-AH 11.43 −0.2 −0.4 706-AH 22.86 731-AH 10.78 −0.6 707-AH 26.26 732-AH 9.09 −0.8 708-AH 26.02 733-AH 30.98 −1 709-AH 50.65 734-AH 9.96 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.17 735-AH 9.12 711-AH 1.23 736-AH 6.44 712-AH 83.33 737-AH 13.23 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN11 713-AH 27.46 738-AH 52.43 0.8 714-AH 14.96 739-AH 41.40 0.6 715-AH 0.08 740-AH 16.89 0.4 716-AH 81.57 741-AH 2.41 0.2 Difference 717-AH 23.44 742-AH 63.39 0 718-AH 5.99 743-AH 7.78 −0.2 −0.4 719-AH 16.47 744-AH 72.57 −0.6 720-AH 59.37 745-AH 38.99 −0.8 721-AH 1.95 746-AH 42.07 −1 722-AH 17.49 747-AH 12.22 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 2.64 748-AH 26.66 724-AH 34.67 749-AH 25.45 725-AH 18.26 750-AH 7.25 397 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN11 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 41.20 RUN11 10 docs 34.80 90% 15 docs 33.20 80% 20 docs 30.00 30 docs 27.13 70% 100 docs 17.10 60% 200 docs 10.89 Precision 500 docs 5.17 50% 1000 docs 2.91 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.14 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0769 Second Quartile 0.2037 Third Quartile 0.3810 Interquartile range 0.3040 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2614 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2206 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2614 Std With No Outliers 0.2206 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN11 0.8 701-AH 30.14 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 58.14 728-AH 14.29 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 51.09 730-AH 22.22 −0.2 −0.4 706-AH 35.80 731-AH 17.39 −0.6 707-AH 33.33 732-AH 11.76 −0.8 708-AH 33.33 733-AH 33.33 −1 709-AH 52.83 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 13.73 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 24.39 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN11 713-AH 36.17 738-AH 49.17 0.8 714-AH 25.81 739-AH 40.00 0.6 715-AH 0.00 740-AH 18.52 0.4 716-AH 72.73 741-AH 0.00 0.2 Difference 717-AH 38.10 742-AH 63.64 0 718-AH 3.57 743-AH 0.00 −0.2 −0.4 719-AH 17.39 744-AH 67.74 −0.6 720-AH 62.16 745-AH 39.68 −0.8 721-AH 2.56 746-AH 53.33 −1 722-AH 16.67 747-AH 17.46 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 16.67 749-AH 23.73 725-AH 18.18 750-AH 14.61 398 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN12 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,439 Pooled false Geometric Mean Average Precision 0.1201 run-12-lm-Stemming_lmstem2_6grams-qe_text- Binary Preference (BPREF) 0.2525 filter_t_sp-order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 65.38 RUN12 10 49.72 90% 20 39.68 80% 30 34.97 40 28.47 70% 50 23.23 60% 60 19.70 Precision 70 15.28 50% 80 11.50 40% 90 5.58 30% 100 1.66 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.11 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0779 Second Quartile 0.2013 Third Quartile 0.3657 Interquartile range 0.2878 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2511 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2150 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.7756 6 Mean With No Outliers 0.2392 4 Std With No Outliers 0.2000 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN12 0.8 701-AH 22.98 726-AH 36.57 0.6 702-AH 0.06 727-AH 0.00 0.4 703-AH 48.24 728-AH 31.41 0.2 Difference 704-AH 2.38 729-AH 5.21 0 705-AH 62.20 730-AH 18.27 −0.2 −0.4 706-AH 29.95 731-AH 9.52 −0.6 707-AH 18.35 732-AH 8.40 −0.8 708-AH 35.15 733-AH 29.34 −1 709-AH 60.16 734-AH 8.39 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.14 735-AH 7.13 711-AH 2.27 736-AH 5.93 712-AH 83.33 737-AH 18.83 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN12 713-AH 24.23 738-AH 51.97 0.8 714-AH 20.82 739-AH 41.29 0.6 715-AH 0.08 740-AH 19.68 0.4 716-AH 77.56 741-AH 5.43 0.2 Difference 717-AH 14.78 742-AH 60.93 0 718-AH 7.79 743-AH 20.59 −0.2 −0.4 719-AH 21.33 744-AH 46.95 −0.6 720-AH 68.97 745-AH 35.72 −0.8 721-AH 6.32 746-AH 38.67 −1 722-AH 16.98 747-AH 18.24 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 2.66 748-AH 21.43 724-AH 43.54 749-AH 12.97 725-AH 21.09 750-AH 2.13 399 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN12 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 45.20 RUN12 10 docs 38.20 90% 15 docs 34.80 80% 20 docs 32.90 30 docs 29.47 70% 100 docs 16.44 60% 200 docs 10.00 Precision 500 docs 4.96 50% 1000 docs 2.88 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.64 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0909 Second Quartile 0.2394 Third Quartile 0.4118 Interquartile range 0.3209 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2764 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2149 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2764 4 3 Std With No Outliers 0.2149 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN12 0.8 701-AH 28.77 726-AH 41.18 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 56.98 728-AH 35.71 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 60.87 730-AH 24.07 −0.2 −0.4 706-AH 38.27 731-AH 17.39 −0.6 707-AH 19.44 732-AH 8.82 −0.8 708-AH 40.00 733-AH 33.33 −1 709-AH 56.60 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 9.80 711-AH 0.00 736-AH 0.00 712-AH 83.33 737-AH 19.51 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN12 713-AH 38.30 738-AH 51.67 0.8 714-AH 41.94 739-AH 40.00 0.6 715-AH 0.00 740-AH 18.52 0.4 716-AH 66.67 741-AH 8.33 0.2 Difference 717-AH 28.57 742-AH 59.09 0 718-AH 14.29 743-AH 33.33 −0.2 −0.4 719-AH 21.74 744-AH 54.84 −0.6 720-AH 67.57 745-AH 41.27 −0.8 721-AH 0.00 746-AH 46.67 −1 722-AH 16.67 747-AH 23.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 38.89 749-AH 15.25 725-AH 27.27 750-AH 11.24 400 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN5 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,369 Pooled true Geometric Mean Average Precision 0.1343 run-5-vs-Stemming_lmstem2_6grams-qe_no-filter_t_sp- Binary Preference (BPREF) 0.2301 order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 65.45 RUN5 10 44.73 90% 20 36.10 80% 30 32.06 40 26.86 70% 50 22.80 60% 60 19.41 Precision 70 15.69 50% 80 11.34 40% 90 4.25 30% 100 1.68 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.58 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0004 First Quartile 0.0747 Second Quartile 0.1731 Third Quartile 0.3305 Interquartile range 0.2558 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2358 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2149 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0004 Upper Outlier Threshold 0.6037 10 Mean With No Outliers 0.1896 Std With No Outliers 0.1512 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN5 0.8 701-AH 14.60 726-AH 35.05 0.6 702-AH 2.00 727-AH 0.04 0.4 703-AH 28.16 728-AH 33.05 0.2 Difference 704-AH 6.25 729-AH 5.47 0 705-AH 60.37 730-AH 23.15 −0.2 −0.4 706-AH 17.74 731-AH 9.94 −0.6 707-AH 14.57 732-AH 9.51 −0.8 708-AH 30.14 733-AH 15.82 −1 709-AH 38.82 734-AH 10.17 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.90 735-AH 7.47 711-AH 1.27 736-AH 6.26 712-AH 83.33 737-AH 20.28 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN5 713-AH 39.35 738-AH 50.86 0.8 714-AH 17.95 739-AH 38.76 0.6 715-AH 0.25 740-AH 18.93 0.4 716-AH 73.20 741-AH 5.09 0.2 Difference 717-AH 16.88 742-AH 72.17 0 718-AH 8.15 743-AH 6.18 −0.2 −0.4 719-AH 13.75 744-AH 51.51 −0.6 720-AH 78.11 745-AH 22.01 −0.8 721-AH 9.54 746-AH 32.56 −1 722-AH 20.45 747-AH 13.16 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 4.17 748-AH 18.74 724-AH 46.19 749-AH 9.77 725-AH 28.51 750-AH 4.53 401 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN5 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 42.00 RUN5 10 docs 36.60 90% 15 docs 32.53 80% 20 docs 30.30 30 docs 27.80 70% 100 docs 16.08 60% 200 docs 9.95 Precision 500 docs 4.82 50% 1000 docs 2.74 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.02 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0909 Second Quartile 0.2019 Third Quartile 0.3889 Interquartile range 0.2980 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2602 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2088 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2602 4 3 Std With No Outliers 0.2088 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN5 0.8 701-AH 19.18 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 31.40 728-AH 35.71 0.2 Difference 704-AH 9.09 729-AH 7.69 0 705-AH 58.70 730-AH 31.48 −0.2 −0.4 706-AH 29.63 731-AH 13.04 −0.6 707-AH 19.44 732-AH 11.76 −0.8 708-AH 40.00 733-AH 16.67 −1 709-AH 43.40 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 9.80 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 32.93 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN5 713-AH 46.81 738-AH 48.33 0.8 714-AH 35.48 739-AH 40.00 0.6 715-AH 0.00 740-AH 20.37 0.4 716-AH 66.67 741-AH 12.50 0.2 Difference 717-AH 23.81 742-AH 63.64 0 718-AH 7.14 743-AH 0.00 −0.2 −0.4 719-AH 17.39 744-AH 51.61 −0.6 720-AH 75.68 745-AH 33.33 −0.8 721-AH 5.13 746-AH 43.33 −1 722-AH 16.67 747-AH 28.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 38.89 749-AH 15.25 725-AH 31.82 750-AH 12.36 402 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN6 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,314 Pooled true Geometric Mean Average Precision 0.1243 run-6-lm-Stemming_lmstem2_6grams-qe_no-filter_t_sp- Binary Preference (BPREF) 0.2435 order_sc Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 70.28 RUN6 10 48.91 90% 20 38.98 80% 30 35.21 40 27.26 70% 50 22.71 60% 60 18.77 Precision 70 15.25 50% 80 11.51 40% 90 4.54 30% 100 2.04 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.74 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0854 Second Quartile 0.1895 Third Quartile 0.3410 Interquartile range 0.2556 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2474 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2164 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.7147 5 Mean With No Outliers 0.2124 4 3 Std With No Outliers 0.1704 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries RUN6 0.8 701-AH 15.28 726-AH 34.28 0.6 702-AH 0.18 727-AH 0.00 0.4 703-AH 32.95 728-AH 38.47 0.2 Difference 704-AH 2.67 729-AH 5.49 0 705-AH 62.99 730-AH 25.33 −0.2 −0.4 706-AH 18.63 731-AH 8.54 −0.6 707-AH 15.37 732-AH 9.28 −0.8 708-AH 28.28 733-AH 10.37 −1 709-AH 43.73 734-AH 13.41 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.52 735-AH 7.47 711-AH 1.01 736-AH 6.67 712-AH 83.33 737-AH 22.78 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) RUN6 713-AH 29.64 738-AH 53.17 0.8 714-AH 20.91 739-AH 40.16 0.6 715-AH 0.22 740-AH 19.27 0.4 716-AH 77.61 741-AH 5.02 0.2 Difference 717-AH 17.02 742-AH 71.47 0 718-AH 10.74 743-AH 34.10 −0.2 −0.4 719-AH 17.29 744-AH 49.05 −0.6 720-AH 77.46 745-AH 26.02 −0.8 721-AH 12.97 746-AH 29.52 −1 722-AH 22.52 747-AH 15.54 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.25 748-AH 19.95 724-AH 44.80 749-AH 8.05 725-AH 31.70 750-AH 3.41 403 inesc 10.2415/AH-TEL-MONO-FR-CLEF2009.INESC.RUN6 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 42.00 RUN6 10 docs 38.40 90% 15 docs 34.67 80% 20 docs 33.20 30 docs 29.40 70% 100 docs 16.18 60% 200 docs 9.85 Precision 500 docs 4.73 50% 1000 docs 2.63 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.41 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1000 Second Quartile 0.2381 Third Quartile 0.4000 Interquartile range 0.3000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2741 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2094 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8333 5 Mean With No Outliers 0.2741 4 3 Std With No Outliers 0.2094 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries RUN6 0.8 701-AH 19.18 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 33.72 728-AH 53.57 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 59.78 730-AH 33.33 −0.2 −0.4 706-AH 30.86 731-AH 13.04 −0.6 707-AH 19.44 732-AH 11.76 −0.8 708-AH 28.89 733-AH 16.67 −1 709-AH 43.40 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 9.80 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 32.93 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) RUN6 713-AH 40.43 738-AH 48.33 0.8 714-AH 38.71 739-AH 40.00 0.6 715-AH 0.00 740-AH 20.37 0.4 716-AH 66.67 741-AH 8.33 0.2 Difference 717-AH 23.81 742-AH 63.64 0 718-AH 14.29 743-AH 33.33 −0.2 −0.4 719-AH 17.39 744-AH 54.84 −0.6 720-AH 75.68 745-AH 36.51 −0.8 721-AH 20.51 746-AH 41.67 −1 722-AH 33.33 747-AH 23.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 6.67 724-AH 38.89 749-AH 13.56 725-AH 40.91 750-AH 13.48 404 karlsruhe 10.2415/AH-TEL-MONO-FR-CLEF2009.KARLSRUHE.INDEXALL AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,487 Pooled true Geometric Mean Average Precision 0.1078 IR with multiple indexes and aggregated scores Binary Preference (BPREF) 0.2384 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 59.68 INDEXALL 10 43.49 90% 20 37.21 80% 30 32.61 40 29.34 70% 50 26.57 60% 60 22.85 Precision 70 18.85 50% 80 14.92 40% 90 6.50 30% 100 1.95 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.94 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0597 Second Quartile 0.1812 Third Quartile 0.4268 Interquartile range 0.3671 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2494 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2370 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2494 Std With No Outliers 0.2370 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALL 0.8 701-AH 53.31 726-AH 29.19 0.6 702-AH 3.78 727-AH 7.25 0.4 703-AH 36.82 728-AH 21.28 0.2 Difference 704-AH 5.97 729-AH 3.93 0 705-AH 62.43 730-AH 28.65 −0.2 −0.4 706-AH 36.71 731-AH 12.39 −0.6 707-AH 8.21 732-AH 6.79 −0.8 708-AH 14.57 733-AH 3.32 −1 709-AH 61.97 734-AH 19.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.25 735-AH 4.21 711-AH 2.32 736-AH 19.39 712-AH 83.33 737-AH 7.16 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) INDEXALL 713-AH 27.69 738-AH 14.91 0.8 714-AH 7.31 739-AH 69.59 0.6 715-AH 0.08 740-AH 20.47 0.4 716-AH 70.78 741-AH 9.45 0.2 Difference 717-AH 14.28 742-AH 65.24 0 718-AH 5.13 743-AH 0.00 −0.2 −0.4 719-AH 2.65 744-AH 54.80 −0.6 720-AH 77.79 745-AH 24.42 −0.8 721-AH 47.64 746-AH 43.22 −1 722-AH 6.36 747-AH 0.43 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.20 748-AH 20.77 724-AH 44.74 749-AH 23.76 725-AH 42.68 750-AH 17.07 405 karlsruhe 10.2415/AH-TEL-MONO-FR-CLEF2009.KARLSRUHE.INDEXALL AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 37.20 INDEXALL 10 docs 35.00 90% 15 docs 32.80 80% 20 docs 30.90 30 docs 27.53 70% 100 docs 17.34 60% 200 docs 10.81 Precision 500 docs 5.37 50% 1000 docs 2.97 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.84 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0909 Second Quartile 0.1920 Third Quartile 0.4444 Interquartile range 0.3535 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2684 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2279 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2684 4 Std With No Outliers 0.2279 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALL 0.8 701-AH 58.90 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 45.35 728-AH 17.86 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 59.78 730-AH 38.89 −0.2 −0.4 706-AH 40.74 731-AH 17.39 −0.6 707-AH 15.28 732-AH 8.82 −0.8 708-AH 15.56 733-AH 0.00 −1 709-AH 56.60 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 11.76 711-AH 0.00 736-AH 24.14 712-AH 83.33 737-AH 10.98 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) INDEXALL 713-AH 31.91 738-AH 18.33 0.8 714-AH 19.35 739-AH 65.00 0.6 715-AH 0.00 740-AH 29.63 0.4 716-AH 63.64 741-AH 12.50 0.2 Difference 717-AH 19.05 742-AH 59.09 0 718-AH 3.57 743-AH 0.00 −0.2 −0.4 719-AH 8.70 744-AH 45.16 −0.6 720-AH 78.38 745-AH 28.57 −0.8 721-AH 51.28 746-AH 48.33 −1 722-AH 16.67 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 13.33 724-AH 44.44 749-AH 32.20 725-AH 40.91 750-AH 25.84 406 karlsruhe 10.2415/AH-TEL-MONO-FR-CLEF2009.KARLSRUHE.INDEXALLESA AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,483 Pooled true Geometric Mean Average Precision 0.1131 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.2367 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 59.94 INDEXALLESA 10 43.63 90% 20 38.11 80% 30 32.53 40 29.52 70% 50 26.23 60% 60 22.07 Precision 70 18.59 50% 80 14.21 40% 90 6.07 30% 100 1.90 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.91 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0691 Second Quartile 0.1693 Third Quartile 0.3896 Interquartile range 0.3206 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2491 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2311 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2491 4 Std With No Outliers 0.2311 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALLESA 0.8 701-AH 52.66 726-AH 29.23 0.6 702-AH 4.74 727-AH 6.91 0.4 703-AH 36.69 728-AH 22.62 0.2 Difference 704-AH 7.49 729-AH 3.45 0 705-AH 60.97 730-AH 28.36 −0.2 −0.4 706-AH 34.59 731-AH 12.95 −0.6 707-AH 7.95 732-AH 8.05 −0.8 708-AH 14.85 733-AH 3.40 −1 709-AH 58.86 734-AH 20.15 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.20 735-AH 5.38 711-AH 2.35 736-AH 18.79 712-AH 83.33 737-AH 7.68 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) INDEXALLESA 713-AH 28.58 738-AH 14.56 0.8 714-AH 7.20 739-AH 68.61 0.6 715-AH 0.13 740-AH 21.18 0.4 716-AH 69.86 741-AH 9.27 0.2 Difference 717-AH 14.34 742-AH 65.14 0 718-AH 5.10 743-AH 0.00 −0.2 −0.4 719-AH 1.74 744-AH 50.37 −0.6 720-AH 77.22 745-AH 22.97 −0.8 721-AH 46.77 746-AH 38.96 −1 722-AH 14.00 747-AH 0.53 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.32 748-AH 22.98 724-AH 47.74 749-AH 23.41 725-AH 43.00 750-AH 15.07 407 karlsruhe 10.2415/AH-TEL-MONO-FR-CLEF2009.KARLSRUHE.INDEXALLESA AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 39.20 INDEXALLESA 10 docs 34.40 90% 15 docs 33.07 80% 20 docs 30.60 30 docs 27.73 70% 100 docs 16.96 60% 200 docs 10.78 Precision 500 docs 5.38 50% 1000 docs 2.97 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.16 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1053 Second Quartile 0.2078 Third Quartile 0.4198 Interquartile range 0.3145 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2716 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2193 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2716 4 Std With No Outliers 0.2193 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries INDEXALLESA 0.8 701-AH 58.90 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 46.51 728-AH 14.29 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 57.61 730-AH 38.89 −0.2 −0.4 706-AH 41.98 731-AH 17.39 −0.6 707-AH 15.28 732-AH 11.76 −0.8 708-AH 15.56 733-AH 0.00 −1 709-AH 50.94 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 18.18 735-AH 21.57 711-AH 0.00 736-AH 24.14 712-AH 83.33 737-AH 15.85 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) INDEXALLESA 713-AH 31.91 738-AH 18.33 0.8 714-AH 19.35 739-AH 60.00 0.6 715-AH 0.00 740-AH 29.63 0.4 716-AH 63.64 741-AH 8.33 0.2 Difference 717-AH 19.05 742-AH 59.09 0 718-AH 7.14 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 35.48 −0.6 720-AH 78.38 745-AH 26.98 −0.8 721-AH 53.85 746-AH 48.33 −1 722-AH 16.67 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 44.44 749-AH 28.81 725-AH 40.91 750-AH 23.60 408 karlsruhe 10.2415/AH-TEL-MONO-FR-CLEF2009.KARLSRUHE.INDEXBL AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,512 Pooled false Geometric Mean Average Precision 0.1499 Baseline using standard IR single index Binary Preference (BPREF) 0.2611 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.27 INDEXBL 10 48.99 90% 20 40.08 80% 30 36.47 40 33.81 70% 50 29.32 60% 60 23.30 Precision 70 18.12 50% 80 12.99 40% 90 6.30 30% 100 2.53 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 27.20 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0018 First Quartile 0.0823 Second Quartile 0.2413 Third Quartile 0.4059 Interquartile range 0.3237 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2720 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2306 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0018 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2720 4 Std With No Outliers 0.2306 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries INDEXBL 0.8 701-AH 50.46 726-AH 37.78 0.6 702-AH 5.93 727-AH 9.25 0.4 703-AH 47.59 728-AH 27.28 0.2 Difference 704-AH 9.92 729-AH 6.69 0 705-AH 58.24 730-AH 26.14 −0.2 −0.4 706-AH 27.93 731-AH 12.80 −0.6 707-AH 8.38 732-AH 11.85 −0.8 708-AH 28.32 733-AH 3.15 −1 709-AH 61.36 734-AH 12.79 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.32 735-AH 8.23 711-AH 1.95 736-AH 18.16 712-AH 83.33 737-AH 19.06 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) INDEXBL 713-AH 40.59 738-AH 27.43 0.8 714-AH 11.48 739-AH 62.23 0.6 715-AH 0.28 740-AH 26.03 0.4 716-AH 76.59 741-AH 5.79 0.2 Difference 717-AH 29.03 742-AH 66.94 0 718-AH 4.87 743-AH 0.35 −0.2 −0.4 719-AH 3.73 744-AH 48.04 −0.6 720-AH 76.19 745-AH 25.84 −0.8 721-AH 61.03 746-AH 19.76 −1 722-AH 32.24 747-AH 2.58 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.18 748-AH 22.41 724-AH 51.33 749-AH 35.39 725-AH 34.81 750-AH 15.18 409 karlsruhe 10.2415/AH-TEL-MONO-FR-CLEF2009.KARLSRUHE.INDEXBL AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 41.60 INDEXBL 10 docs 37.60 90% 15 docs 34.67 80% 20 docs 33.60 30 docs 30.93 70% 100 docs 17.70 60% 200 docs 11.30 Precision 500 docs 5.44 50% 1000 docs 3.02 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.17 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1053 Second Quartile 0.2713 Third Quartile 0.4839 Interquartile range 0.3786 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2917 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2280 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2917 4 Std With No Outliers 0.2280 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries INDEXBL 0.8 701-AH 57.53 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 54.65 728-AH 32.14 0.2 Difference 704-AH 27.27 729-AH 0.00 0 705-AH 52.17 730-AH 31.48 −0.2 −0.4 706-AH 38.27 731-AH 17.39 −0.6 707-AH 19.44 732-AH 20.59 −0.8 708-AH 28.89 733-AH 0.00 −1 709-AH 52.83 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 15.69 711-AH 0.00 736-AH 27.59 712-AH 83.33 737-AH 25.61 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) INDEXBL 713-AH 55.32 738-AH 31.67 0.8 714-AH 22.58 739-AH 60.00 0.6 715-AH 0.00 740-AH 31.48 0.4 716-AH 60.61 741-AH 8.33 0.2 Difference 717-AH 19.05 742-AH 59.09 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 17.39 744-AH 48.39 −0.6 720-AH 78.38 745-AH 26.98 −0.8 721-AH 64.10 746-AH 33.33 −1 722-AH 16.67 747-AH 1.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 13.33 724-AH 55.56 749-AH 44.07 725-AH 45.45 750-AH 23.60 410 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09T AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 45,413 Source Language French Relevant 1,853 Topic Fields title Relevant retrieved 1,316 Pooled true Geometric Mean Average Precision 0.0801 title-only, inflectional stemmer Binary Preference (BPREF) 0.2392 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.32 OTFR09T 10 45.71 90% 20 37.01 80% 30 33.17 40 28.56 70% 50 24.90 60% 60 20.34 Precision 70 17.46 50% 80 11.12 40% 90 4.28 30% 100 1.92 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.92 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7783 Minimum 0.0000 First Quartile 0.0476 Second Quartile 0.1724 Third Quartile 0.4270 Interquartile range 0.3794 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2392 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2230 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7783 10 Mean With No Outliers 0.2392 Std With No Outliers 0.2230 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09T 0.8 701-AH 47.53 726-AH 26.76 0.6 702-AH 0.05 727-AH 6.00 0.4 703-AH 42.70 728-AH 34.58 0.2 Difference 704-AH 14.33 729-AH 17.53 0 705-AH 45.77 730-AH 16.95 −0.2 −0.4 706-AH 33.34 731-AH 10.38 −0.6 707-AH 25.58 732-AH 4.09 −0.8 708-AH 10.14 733-AH 1.49 −1 709-AH 64.62 734-AH 7.49 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 7.23 711-AH 0.00 736-AH 1.40 712-AH 73.02 737-AH 5.51 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTFR09T 713-AH 46.37 738-AH 46.20 0.8 714-AH 22.10 739-AH 56.45 0.6 715-AH 0.09 740-AH 18.22 0.4 716-AH 54.38 741-AH 1.96 0.2 Difference 717-AH 1.56 742-AH 62.59 0 718-AH 8.32 743-AH 35.14 −0.2 −0.4 719-AH 3.53 744-AH 54.72 −0.6 720-AH 77.83 745-AH 20.04 −0.8 721-AH 44.68 746-AH 38.16 −1 722-AH 8.36 747-AH 12.84 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.41 748-AH 4.76 724-AH 40.41 749-AH 6.43 725-AH 32.99 750-AH 1.04 411 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09T AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 38.40 OTFR09T 10 docs 35.60 90% 15 docs 31.73 80% 20 docs 29.00 30 docs 26.73 70% 100 docs 16.38 60% 200 docs 10.34 Precision 500 docs 4.86 50% 1000 docs 2.63 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.36 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7838 Minimum 0.0000 First Quartile 0.0588 Second Quartile 0.1971 Third Quartile 0.5000 Interquartile range 0.4412 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2636 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2308 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7838 10 Mean With No Outliers 0.2636 Std With No Outliers 0.2308 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09T 0.8 701-AH 52.05 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 52.33 728-AH 53.57 0.2 Difference 704-AH 9.09 729-AH 15.38 0 705-AH 50.00 730-AH 20.37 −0.2 −0.4 706-AH 38.27 731-AH 13.04 −0.6 707-AH 41.67 732-AH 5.88 −0.8 708-AH 6.67 733-AH 0.00 −1 709-AH 50.94 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 11.76 711-AH 0.00 736-AH 3.45 712-AH 66.67 737-AH 21.95 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTFR09T 713-AH 63.83 738-AH 50.00 0.8 714-AH 22.58 739-AH 55.00 0.6 715-AH 0.00 740-AH 24.07 0.4 716-AH 57.58 741-AH 0.00 0.2 Difference 717-AH 4.76 742-AH 59.09 0 718-AH 10.71 743-AH 33.33 −0.2 −0.4 719-AH 8.70 744-AH 51.61 −0.6 720-AH 78.38 745-AH 19.05 −0.8 721-AH 56.41 746-AH 48.33 −1 722-AH 16.67 747-AH 15.87 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 44.44 749-AH 10.17 725-AH 27.27 750-AH 6.74 412 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09TD AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,468 Pooled false Geometric Mean Average Precision 0.1351 same as otFR09t except both title and description Binary Preference (BPREF) 0.2387 fields used Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.98 OTFR09TD 10 45.00 90% 20 38.43 80% 30 33.11 40 29.26 70% 50 24.19 60% 60 19.87 Precision 70 16.90 50% 80 11.01 40% 90 5.04 30% 100 2.04 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.03 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7302 Minimum 0.0030 First Quartile 0.0831 Second Quartile 0.1732 Third Quartile 0.4243 Interquartile range 0.3412 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2403 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2013 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0030 Upper Outlier Threshold 0.7302 10 Mean With No Outliers 0.2403 Std With No Outliers 0.2013 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09TD 0.8 701-AH 49.53 726-AH 26.32 0.6 702-AH 3.94 727-AH 8.31 0.4 703-AH 38.63 728-AH 21.81 0.2 Difference 704-AH 11.66 729-AH 9.40 0 705-AH 43.87 730-AH 24.17 −0.2 −0.4 706-AH 33.01 731-AH 12.25 −0.6 707-AH 25.83 732-AH 9.78 −0.8 708-AH 17.19 733-AH 1.59 −1 709-AH 48.08 734-AH 13.34 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.54 735-AH 7.21 711-AH 2.86 736-AH 17.46 712-AH 73.02 737-AH 8.44 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTFR09TD 713-AH 41.93 738-AH 45.44 0.8 714-AH 15.04 739-AH 58.05 0.6 715-AH 0.30 740-AH 30.62 0.4 716-AH 56.49 741-AH 2.96 0.2 Difference 717-AH 15.76 742-AH 52.61 0 718-AH 10.40 743-AH 4.47 −0.2 −0.4 719-AH 1.59 744-AH 45.31 −0.6 720-AH 64.18 745-AH 14.76 −0.8 721-AH 56.23 746-AH 42.43 −1 722-AH 8.72 747-AH 1.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.60 748-AH 26.32 724-AH 48.10 749-AH 22.95 725-AH 23.74 750-AH 1.19 413 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09TD AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 36.00 OTFR09TD 10 docs 35.60 90% 15 docs 33.87 80% 20 docs 31.00 30 docs 27.80 70% 100 docs 17.42 60% 200 docs 10.68 Precision 500 docs 5.29 50% 1000 docs 2.94 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.48 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7297 Minimum 0.0000 First Quartile 0.1220 Second Quartile 0.2583 Third Quartile 0.4468 Interquartile range 0.3249 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2748 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2082 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7297 10 Mean With No Outliers 0.2748 Std With No Outliers 0.2082 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09TD 0.8 701-AH 54.79 726-AH 29.41 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 48.84 728-AH 17.86 0.2 Difference 704-AH 27.27 729-AH 15.38 0 705-AH 47.83 730-AH 33.33 −0.2 −0.4 706-AH 35.80 731-AH 21.74 −0.6 707-AH 41.67 732-AH 17.65 −0.8 708-AH 20.00 733-AH 0.00 −1 709-AH 45.28 734-AH 25.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 17.65 711-AH 0.00 736-AH 24.14 712-AH 66.67 737-AH 12.20 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTFR09TD 713-AH 44.68 738-AH 50.00 0.8 714-AH 29.03 739-AH 55.00 0.6 715-AH 0.00 740-AH 29.63 0.4 716-AH 63.64 741-AH 0.00 0.2 Difference 717-AH 23.81 742-AH 54.55 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 38.71 −0.6 720-AH 72.97 745-AH 14.29 −0.8 721-AH 58.97 746-AH 53.33 −1 722-AH 16.67 747-AH 4.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 44.44 749-AH 38.98 725-AH 27.27 750-AH 5.62 414 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09TDE AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,457 Pooled false Geometric Mean Average Precision 0.1131 blind feedback based on top-3 rows of otFR09td Binary Preference (BPREF) 0.2455 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 58.20 OTFR09TDE 10 43.95 90% 20 35.40 80% 30 32.07 40 29.51 70% 50 25.07 60% 60 21.21 Precision 70 18.10 50% 80 12.35 40% 90 6.64 30% 100 3.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.12 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7302 Minimum 0.0012 First Quartile 0.0714 Second Quartile 0.1431 Third Quartile 0.4361 Interquartile range 0.3647 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2412 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2179 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0012 Upper Outlier Threshold 0.7302 10 Mean With No Outliers 0.2412 Std With No Outliers 0.2179 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09TDE 0.8 701-AH 53.50 726-AH 21.32 0.6 702-AH 2.70 727-AH 14.10 0.4 703-AH 43.68 728-AH 9.47 0.2 Difference 704-AH 14.52 729-AH 9.65 0 705-AH 57.51 730-AH 23.97 −0.2 −0.4 706-AH 38.56 731-AH 10.98 −0.6 707-AH 26.38 732-AH 10.60 −0.8 708-AH 7.33 733-AH 0.63 −1 709-AH 53.70 734-AH 11.96 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.12 735-AH 2.53 711-AH 1.45 736-AH 12.45 712-AH 73.02 737-AH 8.64 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTFR09TDE 713-AH 42.64 738-AH 50.38 0.8 714-AH 11.30 739-AH 64.87 0.6 715-AH 0.15 740-AH 21.08 0.4 716-AH 70.07 741-AH 1.74 0.2 Difference 717-AH 10.30 742-AH 39.46 0 718-AH 5.76 743-AH 7.14 −0.2 −0.4 719-AH 1.51 744-AH 53.77 −0.6 720-AH 58.84 745-AH 24.72 −0.8 721-AH 49.74 746-AH 45.80 −1 722-AH 10.33 747-AH 2.16 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.60 748-AH 30.18 724-AH 43.61 749-AH 21.46 725-AH 29.06 750-AH 0.35 415 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09TDE AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 35.60 OTFR09TDE 10 docs 32.60 90% 15 docs 30.40 80% 20 docs 29.60 30 docs 27.07 70% 100 docs 17.40 60% 200 docs 10.96 Precision 500 docs 5.31 50% 1000 docs 2.91 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.36 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0784 Second Quartile 0.2540 Third Quartile 0.4545 Interquartile range 0.3761 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2636 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2173 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6667 10 Mean With No Outliers 0.2636 Std With No Outliers 0.2173 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09TDE 0.8 701-AH 53.42 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 53.49 728-AH 14.29 0.2 Difference 704-AH 18.18 729-AH 15.38 0 705-AH 50.00 730-AH 27.78 −0.2 −0.4 706-AH 38.27 731-AH 8.70 −0.6 707-AH 41.67 732-AH 17.65 −0.8 708-AH 8.89 733-AH 0.00 −1 709-AH 49.06 734-AH 25.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 7.84 711-AH 0.00 736-AH 20.69 712-AH 66.67 737-AH 10.98 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTFR09TDE 713-AH 55.32 738-AH 55.00 0.8 714-AH 25.81 739-AH 65.00 0.6 715-AH 0.00 740-AH 25.93 0.4 716-AH 66.67 741-AH 0.00 0.2 Difference 717-AH 14.29 742-AH 45.45 0 718-AH 10.71 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 45.16 −0.6 720-AH 64.86 745-AH 26.98 −0.8 721-AH 53.85 746-AH 50.00 −1 722-AH 16.67 747-AH 4.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 40.00 724-AH 27.78 749-AH 28.81 725-AH 27.27 750-AH 0.00 416 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09TDZ AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,463 Pooled true Geometric Mean Average Precision 0.0961 depth-10000 sampling run (orig ranks in first 5 Binary Preference (BPREF) 0.1557 decimal places of rsv) Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.09 OTFR09TDZ 10 42.79 90% 20 26.49 80% 30 20.34 40 16.89 70% 50 13.23 60% 60 11.35 Precision 70 10.22 50% 80 7.91 40% 90 3.60 30% 100 1.52 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.85 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7302 Minimum 0.0040 First Quartile 0.0625 Second Quartile 0.1412 Third Quartile 0.2523 Interquartile range 0.1898 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1685 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1478 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0040 Upper Outlier Threshold 0.4802 10 Mean With No Outliers 0.1571 Std With No Outliers 0.1249 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09TDZ 0.8 701-AH 34.83 726-AH 22.91 0.6 702-AH 1.21 727-AH 6.77 0.4 703-AH 27.27 728-AH 15.03 0.2 Difference 704-AH 8.92 729-AH 6.25 0 705-AH 26.85 730-AH 15.77 −0.2 −0.4 706-AH 25.23 731-AH 7.84 −0.6 707-AH 14.45 732-AH 8.01 −0.8 708-AH 13.97 733-AH 0.88 −1 709-AH 30.89 734-AH 9.12 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.89 735-AH 5.70 711-AH 1.33 736-AH 10.32 712-AH 73.02 737-AH 7.86 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) OTFR09TDZ 713-AH 24.36 738-AH 30.95 0.8 714-AH 7.40 739-AH 48.02 0.6 715-AH 0.77 740-AH 22.78 0.4 716-AH 33.55 741-AH 2.70 0.2 Difference 717-AH 14.26 742-AH 37.96 0 718-AH 9.11 743-AH 4.40 −0.2 −0.4 719-AH 0.74 744-AH 37.02 −0.6 720-AH 32.82 745-AH 12.56 −0.8 721-AH 35.65 746-AH 23.35 −1 722-AH 9.90 747-AH 1.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.40 748-AH 16.57 724-AH 25.01 749-AH 15.71 725-AH 18.60 750-AH 0.92 417 opentext 10.2415/AH-TEL-MONO-FR-CLEF2009.OPENTEXT.OTFR09TDZ AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 36.00 OTFR09TDZ 10 docs 35.60 90% 15 docs 30.53 80% 20 docs 25.20 30 docs 17.73 70% 100 docs 7.88 60% 200 docs 9.99 Precision 500 docs 5.19 50% 1000 docs 2.93 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.28 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0645 Second Quartile 0.1667 Third Quartile 0.2466 Interquartile range 0.1821 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1728 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1332 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.4500 10 Mean With No Outliers 0.1627 Std With No Outliers 0.1137 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries OTFR09TDZ 0.8 701-AH 24.66 726-AH 35.29 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 20.93 728-AH 21.43 0.2 Difference 704-AH 18.18 729-AH 15.38 0 705-AH 18.48 730-AH 16.67 −0.2 −0.4 706-AH 22.22 731-AH 4.35 −0.6 707-AH 16.67 732-AH 11.76 −0.8 708-AH 17.78 733-AH 0.00 −1 709-AH 20.75 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 10.34 712-AH 66.67 737-AH 13.41 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) OTFR09TDZ 713-AH 25.53 738-AH 31.67 0.8 714-AH 6.45 739-AH 45.00 0.6 715-AH 0.00 740-AH 20.37 0.4 716-AH 27.27 741-AH 4.17 0.2 Difference 717-AH 28.57 742-AH 36.36 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 32.26 −0.6 720-AH 21.62 745-AH 11.11 −0.8 721-AH 33.33 746-AH 21.67 −1 722-AH 16.67 747-AH 4.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 16.67 749-AH 18.64 725-AH 27.27 750-AH 3.37 418 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN1 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,146 Pooled false Geometric Mean Average Precision 0.0332 LM-dir Binary Preference (BPREF) 0.1570 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 37.26 TCDFRRUN1 10 25.59 90% 20 21.88 80% 30 19.67 40 17.30 70% 50 15.40 60% 60 13.71 Precision 70 11.55 50% 80 8.54 40% 90 5.05 30% 100 1.78 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.51 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6389 Minimum 0.0000 First Quartile 0.0130 Second Quartile 0.0491 Third Quartile 0.2731 Interquartile range 0.2600 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1451 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1909 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.6389 15 Mean With No Outliers 0.1451 10 Std With No Outliers 0.1909 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN1 0.8 701-AH 0.24 726-AH 19.42 0.6 702-AH 0.07 727-AH 9.18 0.4 703-AH 3.08 728-AH 27.38 0.2 Difference 704-AH 1.95 729-AH 2.77 0 705-AH 48.22 730-AH 29.24 −0.2 −0.4 706-AH 27.31 731-AH 9.43 −0.6 707-AH 4.28 732-AH 2.78 −0.8 708-AH 11.11 733-AH 2.94 −1 709-AH 60.82 734-AH 2.75 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.25 735-AH 0.08 711-AH 1.29 736-AH 15.06 712-AH 63.64 737-AH 5.79 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN1 713-AH 11.27 738-AH 35.28 0.8 714-AH 0.00 739-AH 7.21 0.6 715-AH 0.75 740-AH 0.71 0.4 716-AH 63.89 741-AH 3.43 0.2 Difference 717-AH 4.65 742-AH 0.21 0 718-AH 0.00 743-AH 6.13 −0.2 −0.4 719-AH 1.59 744-AH 0.12 −0.6 720-AH 63.29 745-AH 27.97 −0.8 721-AH 30.43 746-AH 0.48 −1 722-AH 0.12 747-AH 1.54 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.30 748-AH 22.54 724-AH 42.78 749-AH 1.85 725-AH 34.66 750-AH 5.17 419 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN1 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 20.00 TCDFRRUN1 10 docs 17.40 90% 15 docs 17.20 80% 20 docs 16.90 30 docs 16.40 70% 100 docs 11.26 60% 200 docs 7.60 Precision 500 docs 3.84 50% 1000 docs 2.29 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.48 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7027 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0588 Third Quartile 0.2500 Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1548 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2017 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4891 15 Mean With No Outliers 0.1101 10 Std With No Outliers 0.1367 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN1 0.8 701-AH 4.11 726-AH 29.41 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 9.30 728-AH 25.00 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 48.91 730-AH 35.19 −0.2 −0.4 706-AH 34.57 731-AH 8.70 −0.6 707-AH 8.33 732-AH 0.00 −0.8 708-AH 6.67 733-AH 0.00 −1 709-AH 64.15 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 0.00 711-AH 0.00 736-AH 24.14 712-AH 66.67 737-AH 14.63 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN1 713-AH 12.77 738-AH 42.50 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 3.70 0.4 716-AH 66.67 741-AH 4.17 0.2 Difference 717-AH 9.52 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 70.27 745-AH 31.75 −0.8 721-AH 23.08 746-AH 1.67 −1 722-AH 0.00 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 33.33 749-AH 5.08 725-AH 31.82 750-AH 15.73 420 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN2 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,070 Pooled true Geometric Mean Average Precision 0.0404 LM-abs Binary Preference (BPREF) 0.1767 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 41.01 TCDFRRUN2 10 30.12 90% 20 27.19 80% 30 24.04 40 21.16 70% 50 18.43 60% 60 16.04 Precision 70 12.47 50% 80 9.64 40% 90 4.93 30% 100 1.57 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.45 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0139 Second Quartile 0.0763 Third Quartile 0.2454 Interquartile range 0.2315 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1745 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2223 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5098 15 Mean With No Outliers 0.1175 10 Std With No Outliers 0.1449 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN2 0.8 701-AH 0.15 726-AH 33.41 0.6 702-AH 0.09 727-AH 16.70 0.4 703-AH 3.21 728-AH 24.54 0.2 Difference 704-AH 7.87 729-AH 13.09 0 705-AH 44.54 730-AH 23.22 −0.2 −0.4 706-AH 21.30 731-AH 12.34 −0.6 707-AH 0.32 732-AH 3.11 −0.8 708-AH 14.61 733-AH 1.39 −1 709-AH 60.47 734-AH 8.62 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.48 735-AH 0.41 711-AH 1.79 736-AH 12.17 712-AH 83.33 737-AH 2.36 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN2 713-AH 44.79 738-AH 50.74 0.8 714-AH 0.00 739-AH 6.86 0.6 715-AH 1.30 740-AH 0.19 0.4 716-AH 72.61 741-AH 7.39 0.2 Difference 717-AH 5.09 742-AH 1.88 0 718-AH 0.00 743-AH 3.77 −0.2 −0.4 719-AH 1.03 744-AH 0.10 −0.6 720-AH 64.99 745-AH 24.48 −0.8 721-AH 62.45 746-AH 9.45 −1 722-AH 2.64 747-AH 0.45 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.45 748-AH 24.55 724-AH 50.98 749-AH 1.97 725-AH 26.00 750-AH 17.89 421 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN2 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 23.20 TCDFRRUN2 10 docs 23.80 90% 15 docs 23.47 80% 20 docs 22.10 30 docs 20.73 70% 100 docs 12.60 60% 200 docs 8.01 Precision 500 docs 3.84 50% 1000 docs 2.14 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 20.40 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0196 Second Quartile 0.1151 Third Quartile 0.3016 Interquartile range 0.2820 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2040 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2308 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6970 Mean With No Outliers 0.1911 10 Std With No Outliers 0.2143 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN2 0.8 701-AH 2.74 726-AH 47.06 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 5.81 728-AH 17.86 0.2 Difference 704-AH 9.09 729-AH 23.08 0 705-AH 51.09 730-AH 29.63 −0.2 −0.4 706-AH 33.33 731-AH 17.39 −0.6 707-AH 2.78 732-AH 5.88 −0.8 708-AH 13.33 733-AH 0.00 −1 709-AH 56.60 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.96 711-AH 0.00 736-AH 27.59 712-AH 83.33 737-AH 13.41 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN2 713-AH 63.83 738-AH 49.17 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 1.85 0.4 716-AH 69.70 741-AH 12.50 0.2 Difference 717-AH 9.52 742-AH 4.55 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 0.00 −0.6 720-AH 64.86 745-AH 30.16 −0.8 721-AH 69.23 746-AH 21.67 −1 722-AH 0.00 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 50.00 749-AH 5.08 725-AH 31.82 750-AH 29.21 422 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN3 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,114 Pooled false Geometric Mean Average Precision 0.0367 LM-jm Binary Preference (BPREF) 0.1765 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.95 TCDFRRUN3 10 30.24 90% 20 27.16 80% 30 22.83 40 20.40 70% 50 18.62 60% 60 14.96 Precision 70 11.86 50% 80 9.48 40% 90 5.39 30% 100 1.37 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0119 Second Quartile 0.0636 Third Quartile 0.2577 Interquartile range 0.2458 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1723 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2241 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5886 15 Mean With No Outliers 0.1356 10 Std With No Outliers 0.1740 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN3 0.8 701-AH 0.16 726-AH 38.34 0.6 702-AH 0.09 727-AH 22.33 0.4 703-AH 3.09 728-AH 28.72 0.2 Difference 704-AH 2.27 729-AH 2.35 0 705-AH 45.68 730-AH 23.61 −0.2 −0.4 706-AH 22.09 731-AH 13.21 −0.6 707-AH 6.81 732-AH 2.12 −0.8 708-AH 13.46 733-AH 3.72 −1 709-AH 66.84 734-AH 5.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.51 735-AH 0.05 711-AH 1.56 736-AH 10.63 712-AH 83.33 737-AH 4.38 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN3 713-AH 45.67 738-AH 48.53 0.8 714-AH 0.00 739-AH 7.20 0.6 715-AH 1.18 740-AH 0.34 0.4 716-AH 58.82 741-AH 7.31 0.2 Difference 717-AH 4.75 742-AH 0.23 0 718-AH 0.00 743-AH 1.19 −0.2 −0.4 719-AH 2.03 744-AH 0.10 −0.6 720-AH 74.01 745-AH 26.82 −0.8 721-AH 58.86 746-AH 6.91 −1 722-AH 0.52 747-AH 0.58 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.43 748-AH 22.50 724-AH 48.73 749-AH 2.11 725-AH 25.77 750-AH 14.51 423 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN3 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 25.20 TCDFRRUN3 10 docs 22.80 90% 15 docs 22.93 80% 20 docs 22.30 30 docs 20.80 70% 100 docs 12.34 60% 200 docs 7.97 Precision 500 docs 3.95 50% 1000 docs 2.23 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.36 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0893 Third Quartile 0.3214 Interquartile range 0.3214 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1936 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2331 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.7568 15 Mean With No Outliers 0.1806 10 Std With No Outliers 0.2163 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN3 0.8 701-AH 1.37 726-AH 52.94 0.6 702-AH 0.00 727-AH 15.79 0.4 703-AH 4.65 728-AH 32.14 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 50.00 730-AH 33.33 −0.2 −0.4 706-AH 28.40 731-AH 17.39 −0.6 707-AH 12.50 732-AH 0.00 −0.8 708-AH 15.56 733-AH 0.00 −1 709-AH 60.38 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 0.00 736-AH 24.14 712-AH 83.33 737-AH 14.63 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN3 713-AH 59.57 738-AH 48.33 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 1.85 0.4 716-AH 57.58 741-AH 8.33 0.2 Difference 717-AH 9.52 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 0.00 −0.6 720-AH 75.68 745-AH 36.51 −0.8 721-AH 58.97 746-AH 18.33 −1 722-AH 0.00 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 50.00 749-AH 5.08 725-AH 31.82 750-AH 22.47 424 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN4 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,070 Pooled true Geometric Mean Average Precision 0.0406 LM-abs-RR Binary Preference (BPREF) 0.1769 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 40.96 TCDFRRUN4 10 30.03 90% 20 27.51 80% 30 24.02 40 21.08 70% 50 18.47 60% 60 16.11 Precision 70 12.53 50% 80 9.66 40% 90 4.85 30% 100 1.48 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.54 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0145 Second Quartile 0.0784 Third Quartile 0.2431 Interquartile range 0.2286 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1754 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2239 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5276 15 Mean With No Outliers 0.1183 10 Std With No Outliers 0.1472 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN4 0.8 701-AH 0.16 726-AH 32.36 0.6 702-AH 0.09 727-AH 16.46 0.4 703-AH 3.21 728-AH 24.83 0.2 Difference 704-AH 8.12 729-AH 13.46 0 705-AH 47.28 730-AH 23.05 −0.2 −0.4 706-AH 21.75 731-AH 12.45 −0.6 707-AH 0.32 732-AH 3.02 −0.8 708-AH 14.21 733-AH 1.55 −1 709-AH 61.81 734-AH 8.46 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.45 735-AH 0.42 711-AH 1.73 736-AH 12.21 712-AH 83.33 737-AH 2.42 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN4 713-AH 45.28 738-AH 50.79 0.8 714-AH 0.00 739-AH 6.79 0.6 715-AH 1.26 740-AH 0.19 0.4 716-AH 72.59 741-AH 7.57 0.2 Difference 717-AH 5.23 742-AH 1.87 0 718-AH 0.00 743-AH 3.56 −0.2 −0.4 719-AH 1.04 744-AH 0.10 −0.6 720-AH 64.60 745-AH 24.31 −0.8 721-AH 62.44 746-AH 9.28 −1 722-AH 2.97 747-AH 0.45 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.49 748-AH 23.39 724-AH 52.76 749-AH 1.91 725-AH 26.11 750-AH 17.96 425 trinity 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY.TCDFRRUN4 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 23.20 TCDFRRUN4 10 docs 23.80 90% 15 docs 23.33 80% 20 docs 22.10 30 docs 21.00 70% 100 docs 12.70 60% 200 docs 8.03 Precision 500 docs 3.86 50% 1000 docs 2.14 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 20.51 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0196 Second Quartile 0.1151 Third Quartile 0.2963 Interquartile range 0.2767 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2051 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2339 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6923 Mean With No Outliers 0.1811 10 Std With No Outliers 0.2056 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRRUN4 0.8 701-AH 2.74 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 5.81 728-AH 17.86 0.2 Difference 704-AH 9.09 729-AH 23.08 0 705-AH 50.00 730-AH 29.63 −0.2 −0.4 706-AH 33.33 731-AH 17.39 −0.6 707-AH 2.78 732-AH 5.88 −0.8 708-AH 13.33 733-AH 0.00 −1 709-AH 56.60 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.96 711-AH 0.00 736-AH 27.59 712-AH 83.33 737-AH 13.41 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRRUN4 713-AH 63.83 738-AH 49.17 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 1.85 0.4 716-AH 72.73 741-AH 12.50 0.2 Difference 717-AH 9.52 742-AH 4.55 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 0.00 −0.6 720-AH 64.86 745-AH 28.57 −0.8 721-AH 69.23 746-AH 21.67 −1 722-AH 0.00 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 61.11 749-AH 5.08 725-AH 31.82 750-AH 29.21 426 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCUFR3 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,114 Pooled false Geometric Mean Average Precision 0.0367 Monolingual French 3 Binary Preference (BPREF) 0.1765 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.95 TCDDCUFR3 10 30.24 90% 20 27.16 80% 30 22.83 40 20.40 70% 50 18.62 60% 60 14.96 Precision 70 11.86 50% 80 9.48 40% 90 5.39 30% 100 1.37 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0119 Second Quartile 0.0636 Third Quartile 0.2577 Interquartile range 0.2458 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1723 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2241 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5886 15 Mean With No Outliers 0.1356 10 Std With No Outliers 0.1740 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUFR3 0.8 701-AH 0.16 726-AH 38.34 0.6 702-AH 0.09 727-AH 22.33 0.4 703-AH 3.09 728-AH 28.72 0.2 Difference 704-AH 2.27 729-AH 2.35 0 705-AH 45.68 730-AH 23.61 −0.2 −0.4 706-AH 22.09 731-AH 13.21 −0.6 707-AH 6.81 732-AH 2.12 −0.8 708-AH 13.46 733-AH 3.72 −1 709-AH 66.84 734-AH 5.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.51 735-AH 0.05 711-AH 1.56 736-AH 10.63 712-AH 83.33 737-AH 4.38 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUFR3 713-AH 45.67 738-AH 48.53 0.8 714-AH 0.00 739-AH 7.20 0.6 715-AH 1.18 740-AH 0.34 0.4 716-AH 58.82 741-AH 7.31 0.2 Difference 717-AH 4.75 742-AH 0.23 0 718-AH 0.00 743-AH 1.19 −0.2 −0.4 719-AH 2.03 744-AH 0.10 −0.6 720-AH 74.01 745-AH 26.82 −0.8 721-AH 58.86 746-AH 6.91 −1 722-AH 0.52 747-AH 0.58 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.43 748-AH 22.50 724-AH 48.73 749-AH 2.11 725-AH 25.77 750-AH 14.51 427 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCUFR3 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 25.20 TCDDCUFR3 10 docs 22.80 90% 15 docs 22.93 80% 20 docs 22.30 30 docs 20.80 70% 100 docs 12.34 60% 200 docs 7.97 Precision 500 docs 3.95 50% 1000 docs 2.23 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.36 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0893 Third Quartile 0.3214 Interquartile range 0.3214 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1936 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2331 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.7568 15 Mean With No Outliers 0.1806 10 Std With No Outliers 0.2163 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUFR3 0.8 701-AH 1.37 726-AH 52.94 0.6 702-AH 0.00 727-AH 15.79 0.4 703-AH 4.65 728-AH 32.14 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 50.00 730-AH 33.33 −0.2 −0.4 706-AH 28.40 731-AH 17.39 −0.6 707-AH 12.50 732-AH 0.00 −0.8 708-AH 15.56 733-AH 0.00 −1 709-AH 60.38 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 0.00 736-AH 24.14 712-AH 83.33 737-AH 14.63 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUFR3 713-AH 59.57 738-AH 48.33 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 1.85 0.4 716-AH 57.58 741-AH 8.33 0.2 Difference 717-AH 9.52 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 0.00 −0.6 720-AH 75.68 745-AH 36.51 −0.8 721-AH 58.97 746-AH 18.33 −1 722-AH 0.00 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 50.00 749-AH 5.08 725-AH 31.82 750-AH 22.47 428 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCUFR4 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,135 Pooled false Geometric Mean Average Precision 0.0353 Monolingual French 4 Binary Preference (BPREF) 0.1716 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 40.93 TCDDCUFR4 10 30.72 90% 20 25.04 80% 30 22.11 40 20.10 70% 50 18.24 60% 60 15.67 Precision 70 13.77 50% 80 9.98 40% 90 5.25 30% 100 1.57 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.14 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7722 Minimum 0.0000 First Quartile 0.0081 Second Quartile 0.0558 Third Quartile 0.2458 Interquartile range 0.2376 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1714 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2213 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5958 15 Mean With No Outliers 0.1359 10 Std With No Outliers 0.1751 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUFR4 0.8 701-AH 0.20 726-AH 24.58 0.6 702-AH 0.09 727-AH 16.11 0.4 703-AH 1.77 728-AH 34.53 0.2 Difference 704-AH 2.23 729-AH 7.55 0 705-AH 51.25 730-AH 27.86 −0.2 −0.4 706-AH 19.27 731-AH 10.24 −0.6 707-AH 4.55 732-AH 3.29 −0.8 708-AH 15.34 733-AH 1.61 −1 709-AH 56.11 734-AH 5.25 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.41 735-AH 0.10 711-AH 1.29 736-AH 10.87 712-AH 77.22 737-AH 3.97 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUFR4 713-AH 49.33 738-AH 48.51 0.8 714-AH 0.00 739-AH 6.87 0.6 715-AH 1.53 740-AH 0.81 0.4 716-AH 71.03 741-AH 4.87 0.2 Difference 717-AH 5.48 742-AH 0.07 0 718-AH 0.00 743-AH 5.67 −0.2 −0.4 719-AH 0.79 744-AH 0.09 −0.6 720-AH 69.93 745-AH 24.40 −0.8 721-AH 59.58 746-AH 13.95 −1 722-AH 0.27 747-AH 0.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.27 748-AH 21.88 724-AH 47.27 749-AH 2.29 725-AH 32.40 750-AH 13.58 429 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCUFR4 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 22.00 TCDDCUFR4 10 docs 21.80 90% 15 docs 21.87 80% 20 docs 20.70 30 docs 20.20 70% 100 docs 12.72 60% 200 docs 8.10 Precision 500 docs 4.07 50% 1000 docs 2.27 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.94 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0801 Third Quartile 0.2963 Interquartile range 0.2963 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1894 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2267 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.6757 15 Mean With No Outliers 0.1763 10 Std With No Outliers 0.2089 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUFR4 0.8 701-AH 2.74 726-AH 29.41 0.6 702-AH 0.00 727-AH 15.79 0.4 703-AH 5.81 728-AH 46.43 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 50.00 730-AH 33.33 −0.2 −0.4 706-AH 29.63 731-AH 13.04 −0.6 707-AH 4.17 732-AH 2.94 −0.8 708-AH 17.78 733-AH 0.00 −1 709-AH 47.17 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.96 711-AH 0.00 736-AH 24.14 712-AH 83.33 737-AH 8.54 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUFR4 713-AH 65.96 738-AH 52.50 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 66.67 741-AH 8.33 0.2 Difference 717-AH 4.76 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 0.00 −0.6 720-AH 67.57 745-AH 22.22 −0.8 721-AH 56.41 746-AH 18.33 −1 722-AH 0.00 747-AH 4.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 38.89 749-AH 5.08 725-AH 40.91 750-AH 24.72 430 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCU_FR1 AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 999 Pooled true Geometric Mean Average Precision 0.0982 monolingual French Binary Preference (BPREF) 0.1902 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 63.25 TCDDCU_FR1 10 41.56 90% 20 33.37 80% 30 26.26 40 20.84 70% 50 16.18 60% 60 11.33 Precision 70 4.51 50% 80 1.91 40% 90 1.36 30% 100 0.12 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.83 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7939 Minimum 0.0022 First Quartile 0.0413 Second Quartile 0.1203 Third Quartile 0.2277 Interquartile range 0.1865 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1783 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1844 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0022 Upper Outlier Threshold 0.4086 10 Mean With No Outliers 0.1330 Std With No Outliers 0.1021 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FR1 0.8 701-AH 12.09 726-AH 22.77 0.6 702-AH 18.23 727-AH 9.93 0.4 703-AH 25.74 728-AH 15.02 0.2 Difference 704-AH 3.08 729-AH 3.50 0 705-AH 33.13 730-AH 15.43 −0.2 −0.4 706-AH 11.43 731-AH 6.13 −0.6 707-AH 1.40 732-AH 6.05 −0.8 708-AH 19.87 733-AH 2.00 −1 709-AH 34.09 734-AH 17.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.21 735-AH 4.81 711-AH 3.13 736-AH 9.27 712-AH 66.67 737-AH 9.33 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FR1 713-AH 24.58 738-AH 9.78 0.8 714-AH 4.10 739-AH 40.86 0.6 715-AH 0.51 740-AH 21.31 0.4 716-AH 79.39 741-AH 3.20 0.2 Difference 717-AH 16.16 742-AH 61.22 0 718-AH 4.13 743-AH 0.44 −0.2 −0.4 719-AH 11.34 744-AH 24.27 −0.6 720-AH 72.32 745-AH 12.89 −0.8 721-AH 11.98 746-AH 30.17 −1 722-AH 0.22 747-AH 11.18 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.33 748-AH 17.74 724-AH 25.47 749-AH 21.34 725-AH 21.72 750-AH 11.08 431 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCU_FR1 AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 39.20 TCDDCU_FR1 10 docs 33.40 90% 15 docs 30.13 80% 20 docs 29.10 30 docs 24.80 70% 100 docs 12.60 60% 200 docs 7.68 Precision 500 docs 3.61 50% 1000 docs 2.00 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 22.69 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7297 Minimum 0.0000 First Quartile 0.0769 Second Quartile 0.2050 Third Quartile 0.2963 Interquartile range 0.2194 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2269 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1879 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.4500 6 Mean With No Outliers 0.1873 4 Std With No Outliers 0.1352 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FR1 0.8 701-AH 15.07 726-AH 29.41 0.6 702-AH 0.00 727-AH 5.26 0.4 703-AH 33.72 728-AH 17.86 0.2 Difference 704-AH 9.09 729-AH 7.69 0 705-AH 42.39 730-AH 29.63 −0.2 −0.4 706-AH 20.99 731-AH 4.35 −0.6 707-AH 5.56 732-AH 14.71 −0.8 708-AH 24.44 733-AH 0.00 −1 709-AH 43.40 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 5.88 711-AH 0.00 736-AH 20.69 712-AH 66.67 737-AH 23.17 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FR1 713-AH 40.43 738-AH 22.50 0.8 714-AH 12.90 739-AH 45.00 0.6 715-AH 0.00 740-AH 20.37 0.4 716-AH 69.70 741-AH 8.33 0.2 Difference 717-AH 19.05 742-AH 63.64 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 26.09 744-AH 29.03 −0.6 720-AH 72.97 745-AH 20.63 −0.8 721-AH 25.64 746-AH 36.67 −1 722-AH 0.00 747-AH 17.46 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 38.89 749-AH 28.81 725-AH 36.36 750-AH 19.10 432 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCU_FR1F AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,020 Pooled true Geometric Mean Average Precision 0.0919 monolingual French Binary Preference (BPREF) 0.1975 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.96 TCDDCU_FR1F 10 42.82 90% 20 34.65 80% 30 27.33 40 23.13 70% 50 16.37 60% 60 11.66 Precision 70 5.49 50% 80 2.24 40% 90 1.75 30% 100 0.35 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 18.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8106 Minimum 0.0003 First Quartile 0.0595 Second Quartile 0.1473 Third Quartile 0.2506 Interquartile range 0.1912 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1831 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1733 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0003 Upper Outlier Threshold 0.4142 10 Mean With No Outliers 0.1503 Std With No Outliers 0.1152 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FR1F 0.8 701-AH 20.86 726-AH 21.27 0.6 702-AH 6.35 727-AH 29.67 0.4 703-AH 28.31 728-AH 11.12 0.2 Difference 704-AH 2.72 729-AH 5.95 0 705-AH 34.88 730-AH 15.08 −0.2 −0.4 706-AH 13.31 731-AH 7.08 −0.6 707-AH 0.87 732-AH 4.43 −0.8 708-AH 18.63 733-AH 8.74 −1 709-AH 33.73 734-AH 15.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.17 735-AH 2.99 711-AH 2.69 736-AH 9.74 712-AH 24.77 737-AH 8.61 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FR1F 713-AH 25.93 738-AH 9.16 0.8 714-AH 4.38 739-AH 41.42 0.6 715-AH 0.19 740-AH 22.77 0.4 716-AH 81.06 741-AH 3.48 0.2 Difference 717-AH 10.41 742-AH 60.74 0 718-AH 10.00 743-AH 0.27 −0.2 −0.4 719-AH 16.23 744-AH 25.06 −0.6 720-AH 66.98 745-AH 14.38 −0.8 721-AH 33.19 746-AH 35.91 −1 722-AH 0.03 747-AH 15.36 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.51 748-AH 25.06 724-AH 31.00 749-AH 24.66 725-AH 21.33 750-AH 7.64 433 trinity-dcu 10.2415/AH-TEL-MONO-FR-CLEF2009.TRINITY-DCU.TCDDCU_FR1F AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 36.40 TCDDCU_FR1F 10 docs 34.20 90% 15 docs 31.33 80% 20 docs 28.80 30 docs 26.40 70% 100 docs 13.80 60% 200 docs 8.21 Precision 500 docs 3.79 50% 1000 docs 2.04 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.55 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7297 Minimum 0.0000 First Quartile 0.0909 Second Quartile 0.2236 Third Quartile 0.3333 Interquartile range 0.2424 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2355 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1740 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.6667 5 Mean With No Outliers 0.2254 4 3 Std With No Outliers 0.1604 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FR1F 0.8 701-AH 24.66 726-AH 29.41 0.6 702-AH 0.00 727-AH 31.58 0.4 703-AH 38.37 728-AH 10.71 0.2 Difference 704-AH 9.09 729-AH 7.69 0 705-AH 42.39 730-AH 25.93 −0.2 −0.4 706-AH 22.22 731-AH 8.70 −0.6 707-AH 5.56 732-AH 14.71 −0.8 708-AH 26.67 733-AH 16.67 −1 709-AH 32.08 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 5.88 711-AH 0.00 736-AH 17.24 712-AH 33.33 737-AH 19.51 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FR1F 713-AH 42.55 738-AH 22.50 0.8 714-AH 12.90 739-AH 40.00 0.6 715-AH 0.00 740-AH 27.78 0.4 716-AH 66.67 741-AH 8.33 0.2 Difference 717-AH 19.05 742-AH 59.09 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 26.09 744-AH 29.03 −0.6 720-AH 72.97 745-AH 19.05 −0.8 721-AH 51.28 746-AH 41.67 −1 722-AH 0.00 747-AH 30.16 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 33.33 749-AH 33.90 725-AH 40.91 750-AH 16.85 434 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.BASELINEFRINFR AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 29,182 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 630 Pooled false Geometric Mean Average Precision 0.0267 Ranking with combined topic fields, querying the Binary Preference (BPREF) 0.1499 french collection with french topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 47.83 BASELINEFRINFR 10 27.99 90% 20 20.65 80% 30 14.42 40 9.94 70% 50 8.03 60% 60 5.41 Precision 70 3.93 50% 80 1.82 40% 90 0.83 30% 100 0.22 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 10.97 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7344 Minimum 0.0000 First Quartile 0.0219 Second Quartile 0.0437 Third Quartile 0.1419 Interquartile range 0.1200 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1097 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1585 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.2832 20 Mean With No Outliers 0.0659 15 Std With No Outliers 0.0730 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BASELINEFRINFR 0.8 701-AH 12.34 726-AH 28.32 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 32.94 728-AH 9.52 0.2 Difference 704-AH 2.46 729-AH 0.61 0 705-AH 9.02 730-AH 3.64 −0.2 −0.4 706-AH 20.84 731-AH 6.34 −0.6 707-AH 5.88 732-AH 2.46 −0.8 708-AH 8.89 733-AH 2.59 −1 709-AH 21.33 734-AH 6.20 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.55 735-AH 0.00 711-AH 2.19 736-AH 14.19 712-AH 63.61 737-AH 2.68 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BASELINEFRINFR 713-AH 4.99 738-AH 3.13 0.8 714-AH 0.00 739-AH 20.17 0.6 715-AH 2.50 740-AH 4.20 0.4 716-AH 49.39 741-AH 0.54 0.2 Difference 717-AH 16.79 742-AH 22.73 0 718-AH 3.98 743-AH 2.78 −0.2 −0.4 719-AH 6.96 744-AH 0.32 −0.6 720-AH 73.44 745-AH 3.09 −0.8 721-AH 5.13 746-AH 1.52 −1 722-AH 0.18 747-AH 0.51 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.61 748-AH 3.33 724-AH 19.61 749-AH 7.37 725-AH 32.40 750-AH 2.19 435 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.BASELINEFRINFR AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 31.20 BASELINEFRINFR 10 docs 26.60 90% 15 docs 23.07 80% 20 docs 19.70 30 docs 16.33 70% 100 docs 7.46 60% 200 docs 4.48 Precision 500 docs 2.26 50% 1000 docs 1.26 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 14.77 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7297 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1168 Third Quartile 0.2222 Interquartile range 0.2222 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1477 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1590 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5152 10 Mean With No Outliers 0.1358 Std With No Outliers 0.1364 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BASELINEFRINFR 0.8 701-AH 15.07 726-AH 35.29 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 37.21 728-AH 17.86 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 10.87 730-AH 12.96 −0.2 −0.4 706-AH 23.46 731-AH 13.04 −0.6 707-AH 12.50 732-AH 5.88 −0.8 708-AH 8.89 733-AH 0.00 −1 709-AH 35.85 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 0.00 711-AH 0.00 736-AH 27.59 712-AH 50.00 737-AH 14.63 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BASELINEFRINFR 713-AH 12.77 738-AH 5.00 0.8 714-AH 0.00 739-AH 30.00 0.6 715-AH 12.50 740-AH 16.67 0.4 716-AH 51.52 741-AH 0.00 0.2 Difference 717-AH 23.81 742-AH 22.73 0 718-AH 10.71 743-AH 0.00 −0.2 −0.4 719-AH 13.04 744-AH 3.23 −0.6 720-AH 72.97 745-AH 6.35 −0.8 721-AH 5.13 746-AH 6.67 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 6.67 724-AH 22.22 749-AH 18.64 725-AH 40.91 750-AH 6.74 436 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.CLESA169283FRINFR AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,143 Pooled true Geometric Mean Average Precision 0.0398 CL-ESA with 169283 dimensions, querying the french Binary Preference (BPREF) 0.1446 collection with french topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 48.30 CLESA169283FRINFR 10 35.19 90% 20 23.28 80% 30 18.13 40 13.47 70% 50 11.55 60% 60 9.08 Precision 70 6.12 50% 80 4.58 40% 90 2.69 30% 100 1.04 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.19 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6767 Minimum 0.0000 First Quartile 0.0253 Second Quartile 0.0798 Third Quartile 0.1955 Interquartile range 0.1702 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1419 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1645 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4428 Mean With No Outliers 0.1065 10 Std With No Outliers 0.1140 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283FRINFR 0.8 701-AH 18.35 726-AH 24.92 0.6 702-AH 0.20 727-AH 4.99 0.4 703-AH 44.28 728-AH 4.95 0.2 Difference 704-AH 0.00 729-AH 0.95 0 705-AH 47.75 730-AH 10.92 −0.2 −0.4 706-AH 14.74 731-AH 12.80 −0.6 707-AH 0.70 732-AH 2.72 −0.8 708-AH 18.33 733-AH 7.53 −1 709-AH 0.00 734-AH 3.57 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.92 735-AH 8.50 711-AH 0.71 736-AH 2.65 712-AH 20.39 737-AH 8.44 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283FRINFR 713-AH 5.60 738-AH 1.61 0.8 714-AH 6.64 739-AH 37.90 0.6 715-AH 0.02 740-AH 6.97 0.4 716-AH 67.67 741-AH 3.66 0.2 Difference 717-AH 11.18 742-AH 16.76 0 718-AH 3.28 743-AH 0.57 −0.2 −0.4 719-AH 0.00 744-AH 22.02 −0.6 720-AH 53.28 745-AH 10.30 −0.8 721-AH 50.52 746-AH 14.27 −1 722-AH 21.27 747-AH 2.53 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.39 748-AH 15.04 724-AH 41.98 749-AH 30.99 725-AH 19.55 750-AH 5.93 437 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.CLESA169283FRINFR AH-TEL-MONO-FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 28.00 CLESA169283FRINFR 10 docs 23.60 90% 15 docs 21.73 80% 20 docs 20.10 30 docs 18.47 70% 100 docs 10.84 60% 200 docs 7.08 Precision 500 docs 3.84 50% 1000 docs 2.29 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.41 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5758 Minimum 0.0000 First Quartile 0.0357 Second Quartile 0.1667 Third Quartile 0.2500 Interquartile range 0.2143 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1741 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1610 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5641 10 Mean With No Outliers 0.1659 Std With No Outliers 0.1518 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283FRINFR 0.8 701-AH 27.40 726-AH 29.41 0.6 702-AH 0.00 727-AH 5.26 0.4 703-AH 51.16 728-AH 17.86 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 46.74 730-AH 18.52 −0.2 −0.4 706-AH 20.99 731-AH 13.04 −0.6 707-AH 2.78 732-AH 5.88 −0.8 708-AH 28.89 733-AH 16.67 −1 709-AH 0.00 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 17.65 711-AH 0.00 736-AH 6.90 712-AH 16.67 737-AH 18.29 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283FRINFR 713-AH 8.51 738-AH 4.17 0.8 714-AH 9.68 739-AH 40.00 0.6 715-AH 0.00 740-AH 16.67 0.4 716-AH 57.58 741-AH 12.50 0.2 Difference 717-AH 23.81 742-AH 13.64 0 718-AH 3.57 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 19.35 −0.6 720-AH 48.65 745-AH 17.46 −0.8 721-AH 56.41 746-AH 25.00 −1 722-AH 33.33 747-AH 3.17 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 13.33 724-AH 38.89 749-AH 33.90 725-AH 22.73 750-AH 19.10 438 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.CLESA169283LDFRINFR AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,168 Pooled false Geometric Mean Average Precision 0.0437 (See overleaf for description) Binary Preference (BPREF) 0.1703 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 48.75 CLESA169283LDFRINFR 10 35.01 90% 20 27.15 80% 30 24.25 40 18.15 70% 50 15.41 60% 60 10.34 Precision 70 7.83 50% 80 5.95 40% 90 3.21 30% 100 1.12 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.33 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6888 Minimum 0.0000 First Quartile 0.0199 Second Quartile 0.0741 Third Quartile 0.2995 Interquartile range 0.2797 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1633 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1883 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6888 Mean With No Outliers 0.1633 10 Std With No Outliers 0.1883 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283LDFRINFR 0.8 701-AH 30.70 726-AH 29.96 0.6 702-AH 0.07 727-AH 4.28 0.4 703-AH 41.65 728-AH 7.92 0.2 Difference 704-AH 0.12 729-AH 1.99 0 705-AH 54.73 730-AH 11.24 −0.2 −0.4 706-AH 20.80 731-AH 6.89 −0.6 707-AH 1.29 732-AH 1.94 −0.8 708-AH 12.20 733-AH 3.66 −1 709-AH 0.00 734-AH 4.49 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.89 735-AH 6.64 711-AH 0.48 736-AH 2.02 712-AH 30.43 737-AH 8.02 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283LDFRINFR 713-AH 8.80 738-AH 1.46 0.8 714-AH 6.38 739-AH 44.83 0.6 715-AH 0.00 740-AH 6.70 0.4 716-AH 68.88 741-AH 4.72 0.2 Difference 717-AH 16.63 742-AH 38.70 0 718-AH 5.45 743-AH 0.48 −0.2 −0.4 719-AH 0.00 744-AH 29.95 −0.6 720-AH 63.89 745-AH 6.08 −0.8 721-AH 48.70 746-AH 10.58 −1 722-AH 20.05 747-AH 1.34 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 8.53 748-AH 16.83 724-AH 44.83 749-AH 25.70 725-AH 50.29 750-AH 4.12 439 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.CLESA169283LDFRINFR AH-TEL-MONO-FR-CLEF2009 CL-ESA with 169283 dimensions and language detection, querying the french collection with french topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 30.00 CLESA169283LDFRINFR 10 docs 27.00 90% 15 docs 24.80 80% 20 docs 21.90 30 docs 19.93 70% 100 docs 11.18 60% 200 docs 7.22 Precision 500 docs 3.94 50% 1000 docs 2.34 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.86 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5946 Minimum 0.0000 First Quartile 0.0294 Second Quartile 0.1357 Third Quartile 0.3333 Interquartile range 0.3039 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1886 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1867 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5946 10 Mean With No Outliers 0.1886 Std With No Outliers 0.1867 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283LDFRINFR 0.8 701-AH 43.84 726-AH 35.29 0.6 702-AH 0.00 727-AH 5.26 0.4 703-AH 51.16 728-AH 21.43 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 53.26 730-AH 16.67 −0.2 −0.4 706-AH 18.52 731-AH 4.35 −0.6 707-AH 2.78 732-AH 2.94 −0.8 708-AH 15.56 733-AH 0.00 −1 709-AH 0.00 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 11.76 711-AH 0.00 736-AH 3.45 712-AH 33.33 737-AH 14.63 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283LDFRINFR 713-AH 14.89 738-AH 5.00 0.8 714-AH 9.68 739-AH 45.00 0.6 715-AH 0.00 740-AH 14.81 0.4 716-AH 54.55 741-AH 12.50 0.2 Difference 717-AH 28.57 742-AH 36.36 0 718-AH 10.71 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 29.03 −0.6 720-AH 59.46 745-AH 7.94 −0.8 721-AH 56.41 746-AH 20.00 −1 722-AH 33.33 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 44.44 749-AH 35.59 725-AH 50.00 750-AH 7.87 440 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.COMBINEDFRINFR AH-TEL-MONO-FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,853 Topic Fields title, description Relevant retrieved 1,063 Pooled true Geometric Mean Average Precision 0.0569 (See overleaf for description) Binary Preference (BPREF) 0.1523 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Monolingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 48.58 COMBINEDFRINFR 10 34.39 90% 20 26.20 80% 30 20.83 40 16.62 70% 50 13.30 60% 60 8.98 Precision 70 5.79 50% 80 3.92 40% 90 0.93 30% 100 0.23 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.45 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8056 Minimum 0.0003 First Quartile 0.0312 Second Quartile 0.0662 Third Quartile 0.1767 Interquartile range 0.1456 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1445 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1802 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0003 15 Upper Outlier Threshold 0.3281 Mean With No Outliers 0.0883 10 Std With No Outliers 0.0866 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDFRINFR 0.8 701-AH 9.51 726-AH 32.81 0.6 702-AH 0.42 727-AH 0.19 0.4 703-AH 19.10 728-AH 4.33 0.2 Difference 704-AH 3.48 729-AH 0.49 0 705-AH 12.51 730-AH 6.58 −0.2 −0.4 706-AH 13.52 731-AH 17.30 −0.6 707-AH 1.80 732-AH 8.93 −0.8 708-AH 0.03 733-AH 6.67 −1 709-AH 32.33 734-AH 3.93 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.12 735-AH 5.24 711-AH 1.11 736-AH 3.33 712-AH 80.56 737-AH 5.20 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDFRINFR 713-AH 17.14 738-AH 46.89 0.8 714-AH 0.40 739-AH 17.67 0.6 715-AH 13.77 740-AH 17.31 0.4 716-AH 60.33 741-AH 2.60 0.2 Difference 717-AH 22.21 742-AH 40.90 0 718-AH 6.15 743-AH 0.64 −0.2 −0.4 719-AH 3.42 744-AH 6.28 −0.6 720-AH 61.45 745-AH 2.16 −0.8 721-AH 3.67 746-AH 25.50 −1 722-AH 0.28 747-AH 0.37 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.63 748-AH 10.61 724-AH 43.67 749-AH 20.62 725-AH 8.80 750-AH 4.29 441 weimar 10.2415/AH-TEL-MONO-FR-CLEF2009.WEIMAR.COMBINEDFRINFR AH-TEL-MONO-FR-CLEF2009 Combined rankings, each computed with a different topic field, querying the french collection with french topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Monolingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 28.00 COMBINEDFRINFR 10 docs 24.80 90% 15 docs 22.53 80% 20 docs 20.50 30 docs 18.80 70% 100 docs 10.30 60% 200 docs 6.66 Precision 500 docs 3.52 50% 1000 docs 2.13 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.17 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Monolingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0323 Second Quartile 0.1357 Third Quartile 0.2857 Interquartile range 0.2535 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1817 Ad−Hoc TEL Monolingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1871 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5946 Mean With No Outliers 0.1684 10 Std With No Outliers 0.1634 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDFRINFR 0.8 701-AH 17.81 726-AH 41.18 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 34.88 728-AH 10.71 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 16.30 730-AH 14.81 −0.2 −0.4 706-AH 19.75 731-AH 21.74 −0.6 707-AH 2.78 732-AH 20.59 −0.8 708-AH 0.00 733-AH 16.67 −1 709-AH 41.51 734-AH 0.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 13.73 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 13.41 1 Ad−Hoc TEL Monolingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDFRINFR 713-AH 27.66 738-AH 52.50 0.8 714-AH 3.23 739-AH 35.00 0.6 715-AH 12.50 740-AH 20.37 0.4 716-AH 48.48 741-AH 8.33 0.2 Difference 717-AH 28.57 742-AH 50.00 0 718-AH 3.57 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 16.13 −0.6 720-AH 59.46 745-AH 4.76 −0.8 721-AH 5.13 746-AH 31.67 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 33.33 749-AH 27.12 725-AH 9.09 750-AH 12.36 442 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.2_GRAM_LANGUAGEMODELS AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 33,567 Source Language Greek, Modern (1453-) Relevant 2,527 Topic Fields title Relevant retrieved 646 Pooled true Geometric Mean Average Precision 0.0058 CLIR using 2-gram language models algorithm Binary Preference (BPREF) 0.0832 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 32.94 2_GRAM_LANGUAGEMODELS 10 17.51 90% 20 14.07 80% 30 10.86 40 9.58 70% 50 7.09 60% 60 3.57 Precision 70 0.85 50% 80 0.20 40% 90 0.00 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 7.37 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5667 Minimum 0.0000 First Quartile 0.0005 Second Quartile 0.0115 Third Quartile 0.0720 Interquartile range 0.0715 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0737 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1354 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1655 25 Mean With No Outliers 0.0262 20 15 Std With No Outliers 0.0430 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries 2_GRAM_LANGUAGEMODELS 0.8 701-AH 1.19 726-AH 0.46 0.6 702-AH 7.20 727-AH 0.00 0.4 703-AH 16.55 728-AH 1.25 0.2 Difference 704-AH 2.32 729-AH 0.00 0 705-AH 10.45 730-AH 0.76 −0.2 −0.4 706-AH 26.83 731-AH 0.00 −0.6 707-AH 0.02 732-AH 0.13 −0.8 708-AH 16.07 733-AH 0.06 −1 709-AH 6.34 734-AH 4.75 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.29 711-AH 0.03 736-AH 2.31 712-AH 56.67 737-AH 0.23 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 2_GRAM_LANGUAGEMODELS 713-AH 2.45 738-AH 30.80 0.8 714-AH 4.70 739-AH 9.71 0.6 715-AH 0.51 740-AH 0.66 0.4 716-AH 12.20 741-AH 20.69 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 1.24 743-AH 0.04 −0.2 −0.4 719-AH 0.03 744-AH 1.83 −0.6 720-AH 51.76 745-AH 2.22 −0.8 721-AH 23.15 746-AH 0.96 −1 722-AH 4.05 747-AH 1.12 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.02 748-AH 0.38 724-AH 45.92 749-AH 0.05 725-AH 0.20 750-AH 0.05 443 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.2_GRAM_LANGUAGEMODELS AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 18.00 2_GRAM_LANGUAGEMODELS 10 docs 13.60 90% 15 docs 12.93 80% 20 docs 11.90 30 docs 10.13 70% 100 docs 6.58 60% 200 docs 4.38 Precision 500 docs 2.21 50% 1000 docs 1.29 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 9.59 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0467 Third Quartile 0.1136 Interquartile range 0.1136 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.0959 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1459 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.2500 15 Mean With No Outliers 0.0532 10 Std With No Outliers 0.0668 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries 2_GRAM_LANGUAGEMODELS 0.8 701-AH 0.00 726-AH 1.59 0.6 702-AH 6.90 727-AH 0.00 0.4 703-AH 11.11 728-AH 5.00 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 13.10 730-AH 2.22 −0.2 −0.4 706-AH 39.25 731-AH 0.00 −0.6 707-AH 0.00 732-AH 0.00 −0.8 708-AH 17.91 733-AH 1.64 −1 709-AH 20.00 734-AH 6.82 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 3.40 711-AH 0.00 736-AH 5.66 712-AH 60.00 737-AH 2.22 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 2_GRAM_LANGUAGEMODELS 713-AH 6.38 738-AH 47.17 0.8 714-AH 6.00 739-AH 11.36 0.6 715-AH 0.00 740-AH 4.35 0.4 716-AH 19.05 741-AH 25.00 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 6.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 9.09 −0.6 720-AH 50.94 745-AH 12.31 −0.8 721-AH 20.00 746-AH 8.57 −1 722-AH 5.13 747-AH 7.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 42.86 749-AH 0.00 725-AH 0.94 750-AH 0.00 444 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.2_GRAM_LANGUAGEMODELS_WORDNET AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 34,340 Source Language Greek, Modern (1453-) Relevant 2,527 Topic Fields title Relevant retrieved 496 Pooled false Geometric Mean Average Precision 0.0012 CLIR using 2-gram language models algorithm and Binary Preference (BPREF) 0.0768 WordNet Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 22.09 2_GRAM_LANGUAGEMODELS_WORDNET 10 13.56 90% 20 11.44 80% 30 9.74 40 9.21 70% 50 6.41 60% 60 3.26 Precision 70 0.68 50% 80 0.13 40% 90 0.00 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 6.04 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5295 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0023 Third Quartile 0.0222 Interquartile range 0.0222 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0604 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1331 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.0475 25 Mean With No Outliers 0.0049 20 15 Std With No Outliers 0.0091 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries 2_GRAM_LANGUAGEMODELS_WORDNET 0.8 701-AH 0.00 726-AH 0.15 0.6 702-AH 7.20 727-AH 0.00 0.4 703-AH 0.00 728-AH 1.25 0.2 Difference 704-AH 0.01 729-AH 0.00 0 705-AH 0.00 730-AH 0.76 −0.2 −0.4 706-AH 30.80 731-AH 0.00 −0.6 707-AH 0.00 732-AH 0.14 −0.8 708-AH 16.07 733-AH 1.66 −1 709-AH 5.64 734-AH 4.75 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 0.29 711-AH 19.95 736-AH 0.00 712-AH 52.95 737-AH 0.23 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 2_GRAM_LANGUAGEMODELS_WORDNET 713-AH 0.22 738-AH 30.80 0.8 714-AH 0.00 739-AH 9.71 0.6 715-AH 0.51 740-AH 0.66 0.4 716-AH 12.20 741-AH 0.00 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 1.24 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 1.69 −0.6 720-AH 51.76 745-AH 2.22 −0.8 721-AH 0.98 746-AH 0.96 −1 722-AH 0.00 747-AH 1.12 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.03 748-AH 0.00 724-AH 45.92 749-AH 0.24 725-AH 0.03 750-AH 0.05 445 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.2_GRAM_LANGUAGEMODELS_WORDNET AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 12.00 2_GRAM_LANGUAGEMODELS_WORDNET 10 docs 8.80 90% 15 docs 9.73 80% 20 docs 9.90 30 docs 8.87 70% 100 docs 5.62 60% 200 docs 3.82 Precision 500 docs 1.83 50% 1000 docs 0.99 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 8.18 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5094 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0024 Third Quartile 0.0857 Interquartile range 0.0857 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.0818 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1434 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1905 25 Mean With No Outliers 0.0333 20 15 Std With No Outliers 0.0525 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries 2_GRAM_LANGUAGEMODELS_WORDNET 0.8 701-AH 0.00 726-AH 1.59 0.6 702-AH 6.90 727-AH 0.00 0.4 703-AH 0.00 728-AH 5.00 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 0.00 730-AH 2.22 −0.2 −0.4 706-AH 40.19 731-AH 0.00 −0.6 707-AH 0.00 732-AH 0.00 −0.8 708-AH 17.91 733-AH 1.64 −1 709-AH 13.33 734-AH 6.82 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 3.40 711-AH 31.25 736-AH 0.00 712-AH 50.00 737-AH 0.00 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 2_GRAM_LANGUAGEMODELS_WORDNET 713-AH 4.26 738-AH 47.17 0.8 714-AH 0.00 739-AH 11.36 0.6 715-AH 0.00 740-AH 4.35 0.4 716-AH 19.05 741-AH 0.00 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 6.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 13.64 −0.6 720-AH 50.94 745-AH 12.31 −0.8 721-AH 0.00 746-AH 8.57 −1 722-AH 0.00 747-AH 7.57 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 42.86 749-AH 0.00 725-AH 0.47 750-AH 0.00 446 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.3_GRAM_LANGUAGEMODELS AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 32,850 Source Language Greek, Modern (1453-) Relevant 2,527 Topic Fields title Relevant retrieved 613 Pooled false Geometric Mean Average Precision 0.0047 CLIR using 3-gram language models algorithm Binary Preference (BPREF) 0.0724 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 31.05 3_GRAM_LANGUAGEMODELS 10 15.55 90% 20 10.54 80% 30 8.83 40 7.99 70% 50 5.40 60% 60 2.17 Precision 70 0.81 50% 80 0.23 40% 90 0.00 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 6.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5176 Minimum 0.0000 First Quartile 0.0004 Second Quartile 0.0115 Third Quartile 0.0634 Interquartile range 0.0630 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0623 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1164 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1220 25 Mean With No Outliers 0.0191 20 15 Std With No Outliers 0.0307 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries 3_GRAM_LANGUAGEMODELS 0.8 701-AH 1.19 726-AH 0.46 0.6 702-AH 7.20 727-AH 0.00 0.4 703-AH 16.55 728-AH 1.17 0.2 Difference 704-AH 0.12 729-AH 0.00 0 705-AH 10.45 730-AH 0.76 −0.2 −0.4 706-AH 32.84 731-AH 0.00 −0.6 707-AH 0.02 732-AH 0.21 −0.8 708-AH 16.07 733-AH 0.06 −1 709-AH 6.34 734-AH 4.75 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.29 711-AH 0.04 736-AH 2.31 712-AH 2.31 737-AH 1.30 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 3_GRAM_LANGUAGEMODELS 713-AH 2.45 738-AH 30.80 0.8 714-AH 4.70 739-AH 9.71 0.6 715-AH 0.51 740-AH 0.66 0.4 716-AH 12.20 741-AH 20.69 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 1.24 743-AH 0.04 −0.2 −0.4 719-AH 0.03 744-AH 1.83 −0.6 720-AH 51.76 745-AH 2.22 −0.8 721-AH 16.32 746-AH 0.02 −1 722-AH 4.05 747-AH 1.12 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.02 748-AH 0.38 724-AH 45.92 749-AH 0.01 725-AH 0.20 750-AH 0.03 447 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.3_GRAM_LANGUAGEMODELS AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 16.00 3_GRAM_LANGUAGEMODELS 10 docs 12.40 90% 15 docs 12.40 80% 20 docs 11.70 30 docs 10.13 70% 100 docs 6.54 60% 200 docs 4.42 Precision 500 docs 2.17 50% 1000 docs 1.23 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 8.22 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5094 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0388 Third Quartile 0.1000 Interquartile range 0.1000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.0822 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1280 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.2500 20 Mean With No Outliers 0.0494 15 Std With No Outliers 0.0630 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries 3_GRAM_LANGUAGEMODELS 0.8 701-AH 0.00 726-AH 1.59 0.6 702-AH 6.90 727-AH 0.00 0.4 703-AH 11.11 728-AH 5.00 0.2 Difference 704-AH 1.85 729-AH 0.00 0 705-AH 13.10 730-AH 2.22 −0.2 −0.4 706-AH 42.99 731-AH 0.00 −0.6 707-AH 0.00 732-AH 0.00 −0.8 708-AH 17.91 733-AH 1.64 −1 709-AH 20.00 734-AH 6.82 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 3.40 711-AH 0.00 736-AH 5.66 712-AH 0.00 737-AH 6.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 3_GRAM_LANGUAGEMODELS 713-AH 6.38 738-AH 47.17 0.8 714-AH 6.00 739-AH 11.36 0.6 715-AH 0.00 740-AH 4.35 0.4 716-AH 19.05 741-AH 25.00 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 6.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 9.09 −0.6 720-AH 50.94 745-AH 12.31 −0.8 721-AH 10.00 746-AH 0.00 −1 722-AH 5.13 747-AH 7.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 42.86 749-AH 0.00 725-AH 0.94 750-AH 0.00 448 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.3_GRAM_LANGUAGEMODELS_WORDNET AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 32,749 Source Language Greek, Modern (1453-) Relevant 2,527 Topic Fields title Relevant retrieved 494 Pooled false Geometric Mean Average Precision 0.0009 CLIR using 3-gram language models algorithm and Binary Preference (BPREF) 0.0640 WordNet Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 19.44 3_GRAM_LANGUAGEMODELS_WORDNET 10 10.26 90% 20 8.89 80% 30 7.36 40 6.69 70% 50 4.58 60% 60 1.79 Precision 70 0.53 50% 80 0.00 40% 90 0.00 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 4.61 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5176 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0018 Third Quartile 0.0169 Interquartile range 0.0169 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0461 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1132 50 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 40 Upper Outlier Threshold 0.0231 30 Mean With No Outliers 0.0037 20 Std With No Outliers 0.0064 10 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries 3_GRAM_LANGUAGEMODELS_WORDNET 0.8 701-AH 0.00 726-AH 0.15 0.6 702-AH 7.20 727-AH 0.00 0.4 703-AH 0.00 728-AH 1.17 0.2 Difference 704-AH 0.01 729-AH 0.00 0 705-AH 0.00 730-AH 0.76 −0.2 −0.4 706-AH 31.23 731-AH 0.00 −0.6 707-AH 0.00 732-AH 0.21 −0.8 708-AH 16.07 733-AH 1.66 −1 709-AH 5.64 734-AH 4.75 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 0.29 711-AH 0.13 736-AH 2.31 712-AH 0.00 737-AH 0.23 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) 3_GRAM_LANGUAGEMODELS_WORDNET 713-AH 0.22 738-AH 30.80 0.8 714-AH 0.00 739-AH 9.71 0.6 715-AH 0.51 740-AH 0.66 0.4 716-AH 12.20 741-AH 0.00 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 1.24 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 1.69 −0.6 720-AH 51.76 745-AH 2.22 −0.8 721-AH 0.06 746-AH 0.02 −1 722-AH 0.00 747-AH 1.12 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.03 748-AH 0.00 724-AH 45.92 749-AH 0.24 725-AH 0.03 750-AH 0.03 449 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.3_GRAM_LANGUAGEMODELS_WORDNET AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 10.00 3_GRAM_LANGUAGEMODELS_WORDNET 10 docs 7.60 90% 15 docs 8.13 80% 20 docs 8.40 30 docs 7.93 70% 100 docs 5.24 60% 200 docs 3.73 Precision 500 docs 1.76 50% 1000 docs 0.99 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 6.49 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5094 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0000 Third Quartile 0.0682 Interquartile range 0.0682 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.0649 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1261 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1364 25 Mean With No Outliers 0.0242 20 15 Std With No Outliers 0.0401 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries 3_GRAM_LANGUAGEMODELS_WORDNET 0.8 701-AH 0.00 726-AH 1.59 0.6 702-AH 6.90 727-AH 0.00 0.4 703-AH 0.00 728-AH 5.00 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 0.00 730-AH 2.22 −0.2 −0.4 706-AH 40.19 731-AH 0.00 −0.6 707-AH 0.00 732-AH 0.00 −0.8 708-AH 17.91 733-AH 1.64 −1 709-AH 13.33 734-AH 6.82 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 3.40 711-AH 0.00 736-AH 5.66 712-AH 0.00 737-AH 0.00 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) 3_GRAM_LANGUAGEMODELS_WORDNET 713-AH 4.26 738-AH 47.17 0.8 714-AH 0.00 739-AH 11.36 0.6 715-AH 0.00 740-AH 4.35 0.4 716-AH 19.05 741-AH 0.00 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 6.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 13.64 −0.6 720-AH 50.94 745-AH 12.31 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 0.00 747-AH 7.57 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 42.86 749-AH 0.00 725-AH 0.47 750-AH 0.00 450 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.MAXENTROPY AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 31,702 Source Language Greek, Modern (1453-) Relevant 2,527 Topic Fields title Relevant retrieved 553 Pooled false Geometric Mean Average Precision 0.0053 CLIR using maximum entropy algorithm Binary Preference (BPREF) 0.0730 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 24.05 MAXENTROPY 10 12.75 90% 20 6.80 80% 30 5.36 40 4.60 70% 50 3.29 60% 60 1.99 Precision 70 0.73 50% 80 0.17 40% 90 0.00 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 4.25 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.4592 Minimum 0.0000 First Quartile 0.0009 Second Quartile 0.0105 Third Quartile 0.0421 Interquartile range 0.0412 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0425 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.0828 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.0720 25 Mean With No Outliers 0.0147 20 15 Std With No Outliers 0.0195 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries MAXENTROPY 0.8 701-AH 1.19 726-AH 2.26 0.6 702-AH 7.20 727-AH 0.00 0.4 703-AH 16.55 728-AH 1.68 0.2 Difference 704-AH 2.32 729-AH 0.16 0 705-AH 6.37 730-AH 0.02 −0.2 −0.4 706-AH 26.83 731-AH 0.20 −0.6 707-AH 0.02 732-AH 1.44 −0.8 708-AH 15.14 733-AH 0.04 −1 709-AH 4.21 734-AH 4.75 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.29 711-AH 0.03 736-AH 2.31 712-AH 2.31 737-AH 0.42 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) MAXENTROPY 713-AH 0.08 738-AH 0.10 0.8 714-AH 0.09 739-AH 16.26 0.6 715-AH 0.29 740-AH 0.86 0.4 716-AH 12.20 741-AH 0.74 0.2 Difference 717-AH 0.00 742-AH 0.97 0 718-AH 1.03 743-AH 0.10 −0.2 −0.4 719-AH 3.41 744-AH 1.83 −0.6 720-AH 4.29 745-AH 2.21 −0.8 721-AH 16.32 746-AH 0.02 −1 722-AH 1.08 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.76 748-AH 1.74 724-AH 45.92 749-AH 0.05 725-AH 0.30 750-AH 0.02 451 aeb 10.2415/AH-TEL-BILI-X2EN-CLEF2009.AEB.MAXENTROPY AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 10.00 MAXENTROPY 10 docs 9.20 90% 15 docs 8.67 80% 20 docs 7.80 30 docs 7.07 70% 100 docs 4.88 60% 200 docs 3.26 Precision 500 docs 1.84 50% 1000 docs 1.11 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 6.40 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.4286 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0276 Third Quartile 0.1026 Interquartile range 0.1026 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.0640 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.0934 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.2500 20 Mean With No Outliers 0.0496 15 Std With No Outliers 0.0612 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries MAXENTROPY 0.8 701-AH 0.00 726-AH 6.35 0.6 702-AH 6.90 727-AH 0.00 0.4 703-AH 11.11 728-AH 5.00 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 14.29 730-AH 1.11 −0.2 −0.4 706-AH 39.25 731-AH 1.20 −0.6 707-AH 0.00 732-AH 4.00 −0.8 708-AH 16.42 733-AH 0.00 −1 709-AH 13.33 734-AH 6.82 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 3.40 711-AH 0.00 736-AH 5.66 712-AH 0.00 737-AH 2.22 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) MAXENTROPY 713-AH 0.00 738-AH 0.94 0.8 714-AH 2.00 739-AH 25.00 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 19.05 741-AH 0.00 0.2 Difference 717-AH 0.00 742-AH 0.00 0 718-AH 6.12 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 9.09 −0.6 720-AH 11.32 745-AH 13.85 −0.8 721-AH 10.00 746-AH 0.00 −1 722-AH 10.26 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 7.69 724-AH 42.86 749-AH 0.00 725-AH 3.30 750-AH 0.00 452 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_DEBL_BASE AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,424 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,112 Pooled false Geometric Mean Average Precision 0.0567 Bilingual | base search Binary Preference (BPREF) 0.2083 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 54.47 CACAO_DEBL_BASE 10 40.50 90% 20 32.14 80% 30 24.69 40 18.43 70% 50 15.35 60% 60 11.10 Precision 70 7.08 50% 80 4.70 40% 90 2.29 30% 100 0.18 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.10 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7042 Minimum 0.0000 First Quartile 0.0175 Second Quartile 0.0656 Third Quartile 0.3095 Interquartile range 0.2920 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1710 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1978 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.7042 15 Mean With No Outliers 0.1710 10 Std With No Outliers 0.1978 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEBL_BASE 0.8 701-AH 4.54 726-AH 13.15 0.6 702-AH 50.32 727-AH 6.89 0.4 703-AH 40.10 728-AH 23.97 0.2 Difference 704-AH 23.83 729-AH 3.94 0 705-AH 48.23 730-AH 2.25 −0.2 −0.4 706-AH 1.55 731-AH 12.73 −0.6 707-AH 0.72 732-AH 1.75 −0.8 708-AH 66.56 733-AH 18.53 −1 709-AH 34.42 734-AH 2.67 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.94 735-AH 6.23 711-AH 35.60 736-AH 3.02 712-AH 35.50 737-AH 2.83 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEBL_BASE 713-AH 1.59 738-AH 26.23 0.8 714-AH 30.95 739-AH 34.73 0.6 715-AH 0.02 740-AH 0.54 0.4 716-AH 42.50 741-AH 34.28 0.2 Difference 717-AH 3.97 742-AH 0.50 0 718-AH 25.87 743-AH 13.06 −0.2 −0.4 719-AH 3.21 744-AH 1.70 −0.6 720-AH 70.42 745-AH 2.84 −0.8 721-AH 20.73 746-AH 11.69 −1 722-AH 0.99 747-AH 1.25 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.33 748-AH 4.97 724-AH 69.60 749-AH 9.85 725-AH 0.00 750-AH 1.17 453 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_DEBL_BASE AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 35.60 CACAO_DEBL_BASE 10 docs 31.00 90% 15 docs 27.47 80% 20 docs 24.70 30 docs 22.47 70% 100 docs 12.70 60% 200 docs 7.68 Precision 500 docs 3.90 50% 1000 docs 2.22 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.23 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0374 Second Quartile 0.1181 Third Quartile 0.3333 Interquartile range 0.2960 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1923 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1972 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6667 Mean With No Outliers 0.1923 10 Std With No Outliers 0.1972 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEBL_BASE 0.8 701-AH 4.76 726-AH 23.81 0.6 702-AH 37.93 727-AH 12.50 0.4 703-AH 36.11 728-AH 30.00 0.2 Difference 704-AH 25.93 729-AH 4.55 0 705-AH 53.57 730-AH 7.78 −0.2 −0.4 706-AH 3.74 731-AH 14.46 −0.6 707-AH 0.00 732-AH 8.00 −0.8 708-AH 61.19 733-AH 27.87 −1 709-AH 44.44 734-AH 0.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 16.60 711-AH 43.75 736-AH 13.21 712-AH 50.00 737-AH 4.44 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEBL_BASE 713-AH 0.00 738-AH 32.08 0.8 714-AH 40.00 739-AH 47.73 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 33.33 741-AH 25.00 0.2 Difference 717-AH 5.56 742-AH 0.00 0 718-AH 36.73 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 4.55 −0.6 720-AH 66.04 745-AH 3.08 −0.8 721-AH 10.00 746-AH 22.86 −1 722-AH 0.00 747-AH 5.95 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 66.67 749-AH 4.65 725-AH 0.00 750-AH 6.67 454 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_DEBL_ML AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,455 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,093 Pooled false Geometric Mean Average Precision 0.0565 Bilingual+ | base search Binary Preference (BPREF) 0.2046 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 54.64 CACAO_DEBL_ML 10 40.71 90% 20 32.00 80% 30 23.57 40 17.68 70% 50 14.92 60% 60 10.36 Precision 70 6.04 50% 80 4.12 40% 90 1.71 30% 100 0.18 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.69 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7007 Minimum 0.0000 First Quartile 0.0184 Second Quartile 0.0705 Third Quartile 0.3095 Interquartile range 0.2910 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1669 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1904 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.7007 15 Mean With No Outliers 0.1669 10 Std With No Outliers 0.1904 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEBL_ML 0.8 701-AH 5.12 726-AH 14.83 0.6 702-AH 49.54 727-AH 6.79 0.4 703-AH 32.95 728-AH 24.08 0.2 Difference 704-AH 24.42 729-AH 3.82 0 705-AH 44.52 730-AH 1.32 −0.2 −0.4 706-AH 1.62 731-AH 13.73 −0.6 707-AH 0.65 732-AH 1.88 −0.8 708-AH 66.50 733-AH 18.81 −1 709-AH 31.20 734-AH 2.81 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.99 735-AH 7.31 711-AH 33.25 736-AH 3.08 712-AH 35.50 737-AH 2.77 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEBL_ML 713-AH 1.47 738-AH 24.88 0.8 714-AH 30.95 739-AH 34.04 0.6 715-AH 0.02 740-AH 0.49 0.4 716-AH 43.25 741-AH 34.39 0.2 Difference 717-AH 3.98 742-AH 0.49 0 718-AH 23.63 743-AH 13.08 −0.2 −0.4 719-AH 3.33 744-AH 1.77 −0.6 720-AH 70.07 745-AH 3.14 −0.8 721-AH 20.03 746-AH 11.66 −1 722-AH 0.93 747-AH 1.37 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.84 748-AH 5.60 724-AH 64.30 749-AH 9.88 725-AH 0.00 750-AH 1.19 455 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_DEBL_ML AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 36.00 CACAO_DEBL_ML 10 docs 31.00 90% 15 docs 27.33 80% 20 docs 24.80 30 docs 22.67 70% 100 docs 12.46 60% 200 docs 7.63 Precision 500 docs 3.86 50% 1000 docs 2.19 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.10 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6604 Minimum 0.0000 First Quartile 0.0455 Second Quartile 0.1181 Third Quartile 0.3061 Interquartile range 0.2607 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1910 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1906 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6604 Mean With No Outliers 0.1910 10 Std With No Outliers 0.1906 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEBL_ML 0.8 701-AH 4.76 726-AH 25.40 0.6 702-AH 37.93 727-AH 12.50 0.4 703-AH 33.33 728-AH 30.00 0.2 Difference 704-AH 27.78 729-AH 4.55 0 705-AH 52.38 730-AH 5.56 −0.2 −0.4 706-AH 4.67 731-AH 16.87 −0.6 707-AH 3.45 732-AH 8.00 −0.8 708-AH 61.19 733-AH 27.87 −1 709-AH 42.22 734-AH 0.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 17.87 711-AH 43.75 736-AH 13.21 712-AH 50.00 737-AH 4.44 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEBL_ML 713-AH 0.00 738-AH 30.19 0.8 714-AH 40.00 739-AH 45.45 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 33.33 741-AH 25.00 0.2 Difference 717-AH 5.56 742-AH 0.00 0 718-AH 30.61 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 9.09 −0.6 720-AH 66.04 745-AH 4.62 −0.8 721-AH 10.00 746-AH 22.86 −1 722-AH 0.00 747-AH 5.41 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 61.90 749-AH 4.65 725-AH 0.00 750-AH 6.67 456 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_FRBL_BASE AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,612 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,036 Pooled false Geometric Mean Average Precision 0.0248 Bilingual | base search Binary Preference (BPREF) 0.1832 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 44.43 CACAO_FRBL_BASE 10 32.17 90% 20 26.73 80% 30 22.86 40 15.69 70% 50 11.60 60% 60 7.72 Precision 70 4.72 50% 80 2.35 40% 90 0.37 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 13.83 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7697 Minimum 0.0000 First Quartile 0.0047 Second Quartile 0.0411 Third Quartile 0.1937 Interquartile range 0.1890 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1383 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1880 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.4697 20 Mean With No Outliers 0.1076 15 Std With No Outliers 0.1441 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBL_BASE 0.8 701-AH 0.04 726-AH 11.57 0.6 702-AH 59.79 727-AH 4.54 0.4 703-AH 0.45 728-AH 0.08 0.2 Difference 704-AH 4.98 729-AH 0.87 0 705-AH 48.94 730-AH 19.37 −0.2 −0.4 706-AH 43.34 731-AH 19.83 −0.6 707-AH 37.17 732-AH 2.44 −0.8 708-AH 0.13 733-AH 9.98 −1 709-AH 17.28 734-AH 18.62 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.78 735-AH 0.57 711-AH 0.20 736-AH 1.26 712-AH 46.97 737-AH 0.69 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBL_BASE 713-AH 0.19 738-AH 1.36 0.8 714-AH 27.08 739-AH 45.91 0.6 715-AH 1.77 740-AH 1.00 0.4 716-AH 43.09 741-AH 0.24 0.2 Difference 717-AH 11.68 742-AH 18.58 0 718-AH 34.00 743-AH 1.71 −0.2 −0.4 719-AH 0.02 744-AH 16.64 −0.6 720-AH 0.04 745-AH 8.46 −0.8 721-AH 0.02 746-AH 0.47 −1 722-AH 9.52 747-AH 1.45 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.69 748-AH 0.00 724-AH 76.97 749-AH 4.79 725-AH 31.48 750-AH 0.24 457 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_FRBL_BASE AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 28.00 CACAO_FRBL_BASE 10 docs 25.20 90% 15 docs 23.73 80% 20 docs 22.40 30 docs 20.00 70% 100 docs 11.38 60% 200 docs 7.16 Precision 500 docs 3.65 50% 1000 docs 2.07 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.71 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1082 Third Quartile 0.3333 Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1771 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1967 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.6667 15 Mean With No Outliers 0.1771 10 Std With No Outliers 0.1967 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBL_BASE 0.8 701-AH 0.00 726-AH 25.40 0.6 702-AH 62.07 727-AH 0.00 0.4 703-AH 2.78 728-AH 0.00 0.2 Difference 704-AH 11.11 729-AH 2.27 0 705-AH 60.71 730-AH 22.22 −0.2 −0.4 706-AH 50.47 731-AH 31.33 −0.6 707-AH 48.28 732-AH 12.00 −0.8 708-AH 1.49 733-AH 24.59 −1 709-AH 35.56 734-AH 20.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 3.40 711-AH 0.00 736-AH 3.77 712-AH 50.00 737-AH 4.44 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBL_BASE 713-AH 0.00 738-AH 7.55 0.8 714-AH 34.00 739-AH 45.45 0.6 715-AH 5.88 740-AH 0.00 0.4 716-AH 33.33 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 35.29 0 718-AH 40.82 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 27.27 −0.6 720-AH 0.00 745-AH 16.92 −0.8 721-AH 0.00 746-AH 2.86 −1 722-AH 12.82 747-AH 5.95 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 66.67 749-AH 13.95 725-AH 37.26 750-AH 0.00 458 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_FRBL_ML AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,621 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,040 Pooled false Geometric Mean Average Precision 0.0272 Bilingual+ | base search Binary Preference (BPREF) 0.1841 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 45.46 CACAO_FRBL_ML 10 32.05 90% 20 26.84 80% 30 22.92 40 16.83 70% 50 11.76 60% 60 8.64 Precision 70 4.62 50% 80 2.25 40% 90 0.16 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 13.90 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7297 Minimum 0.0000 First Quartile 0.0051 Second Quartile 0.0514 Third Quartile 0.2004 Interquartile range 0.1952 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1390 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1879 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4705 15 Mean With No Outliers 0.0991 10 Std With No Outliers 0.1320 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBL_ML 0.8 701-AH 0.04 726-AH 9.86 0.6 702-AH 60.04 727-AH 5.13 0.4 703-AH 0.51 728-AH 0.08 0.2 Difference 704-AH 6.13 729-AH 0.74 0 705-AH 44.85 730-AH 18.07 −0.2 −0.4 706-AH 43.12 731-AH 20.04 −0.6 707-AH 30.63 732-AH 2.57 −0.8 708-AH 0.13 733-AH 12.09 −1 709-AH 16.32 734-AH 20.42 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.76 735-AH 0.53 711-AH 0.21 736-AH 1.27 712-AH 54.81 737-AH 0.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBL_ML 713-AH 0.20 738-AH 1.31 0.8 714-AH 31.82 739-AH 51.73 0.6 715-AH 2.00 740-AH 1.01 0.4 716-AH 47.05 741-AH 0.22 0.2 Difference 717-AH 11.72 742-AH 18.55 0 718-AH 25.08 743-AH 1.69 −0.2 −0.4 719-AH 0.06 744-AH 16.68 −0.6 720-AH 0.07 745-AH 9.12 −0.8 721-AH 0.15 746-AH 0.51 −1 722-AH 9.50 747-AH 1.54 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.14 748-AH 0.00 724-AH 72.97 749-AH 6.13 725-AH 30.71 750-AH 0.23 459 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_FRBL_ML AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 27.20 CACAO_FRBL_ML 10 docs 25.20 90% 15 docs 23.87 80% 20 docs 22.40 30 docs 20.00 70% 100 docs 11.42 60% 200 docs 7.20 Precision 500 docs 3.69 50% 1000 docs 2.08 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.77 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6552 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0933 Third Quartile 0.3333 Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1777 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1975 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.6552 15 Mean With No Outliers 0.1777 10 Std With No Outliers 0.1975 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRBL_ML 0.8 701-AH 0.00 726-AH 23.81 0.6 702-AH 65.52 727-AH 0.00 0.4 703-AH 2.78 728-AH 0.00 0.2 Difference 704-AH 11.11 729-AH 2.27 0 705-AH 57.14 730-AH 21.11 −0.2 −0.4 706-AH 50.47 731-AH 31.33 −0.6 707-AH 41.38 732-AH 12.00 −0.8 708-AH 1.49 733-AH 26.23 −1 709-AH 34.44 734-AH 22.73 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 3.83 711-AH 0.00 736-AH 3.77 712-AH 60.00 737-AH 4.44 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRBL_ML 713-AH 0.00 738-AH 7.55 0.8 714-AH 40.00 739-AH 47.73 0.6 715-AH 5.88 740-AH 0.00 0.4 716-AH 33.33 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 35.29 0 718-AH 34.69 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 31.82 −0.6 720-AH 0.00 745-AH 16.92 −0.8 721-AH 0.00 746-AH 2.86 −1 722-AH 15.38 747-AH 7.03 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.26 748-AH 0.00 724-AH 61.90 749-AH 13.95 725-AH 36.32 750-AH 0.00 460 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_ITBL_BASE AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,941 Source Language Italian Relevant 2,527 Topic Fields title, description Relevant retrieved 1,000 Pooled false Geometric Mean Average Precision 0.0246 Bilingual | base search Binary Preference (BPREF) 0.1793 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 44.41 CACAO_ITBL_BASE 10 29.90 90% 20 22.25 80% 30 16.52 40 11.54 70% 50 9.21 60% 60 7.19 Precision 70 5.42 50% 80 2.55 40% 90 0.52 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 11.84 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7625 Minimum 0.0000 First Quartile 0.0066 Second Quartile 0.0439 Third Quartile 0.1781 Interquartile range 0.1715 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1184 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1579 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.4307 20 Mean With No Outliers 0.0975 15 Std With No Outliers 0.1183 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITBL_BASE 0.8 701-AH 11.37 726-AH 10.64 0.6 702-AH 0.00 727-AH 0.09 0.4 703-AH 43.07 728-AH 3.12 0.2 Difference 704-AH 0.36 729-AH 0.32 0 705-AH 47.59 730-AH 14.30 −0.2 −0.4 706-AH 6.14 731-AH 22.35 −0.6 707-AH 31.18 732-AH 2.72 −0.8 708-AH 0.01 733-AH 1.43 −1 709-AH 0.00 734-AH 25.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.60 735-AH 1.89 711-AH 4.01 736-AH 10.43 712-AH 20.13 737-AH 6.59 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITBL_BASE 713-AH 1.70 738-AH 2.84 0.8 714-AH 17.81 739-AH 17.88 0.6 715-AH 1.33 740-AH 8.99 0.4 716-AH 41.93 741-AH 16.87 0.2 Difference 717-AH 16.25 742-AH 1.57 0 718-AH 27.73 743-AH 0.66 −0.2 −0.4 719-AH 0.05 744-AH 0.41 −0.6 720-AH 3.45 745-AH 4.18 −0.8 721-AH 15.49 746-AH 2.27 −1 722-AH 0.01 747-AH 4.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.00 748-AH 0.04 724-AH 76.25 749-AH 39.14 725-AH 20.50 750-AH 0.30 461 celi 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CELI.CACAO_ITBL_BASE AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 26.80 CACAO_ITBL_BASE 10 docs 24.60 90% 15 docs 21.20 80% 20 docs 20.10 30 docs 17.07 70% 100 docs 10.46 60% 200 docs 6.50 Precision 500 docs 3.56 50% 1000 docs 2.00 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.95 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7143 Minimum 0.0000 First Quartile 0.0227 Second Quartile 0.1006 Third Quartile 0.2727 Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1595 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1681 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6071 Mean With No Outliers 0.1482 10 Std With No Outliers 0.1494 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITBL_BASE 0.8 701-AH 23.81 726-AH 23.81 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 47.22 728-AH 5.00 0.2 Difference 704-AH 1.85 729-AH 2.27 0 705-AH 60.71 730-AH 31.11 −0.2 −0.4 706-AH 9.35 731-AH 26.51 −0.6 707-AH 41.38 732-AH 12.00 −0.8 708-AH 0.00 733-AH 3.28 −1 709-AH 0.00 734-AH 27.27 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 8.51 711-AH 12.50 736-AH 18.87 712-AH 30.00 737-AH 6.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITBL_BASE 713-AH 4.26 738-AH 8.49 0.8 714-AH 30.00 739-AH 15.91 0.6 715-AH 0.00 740-AH 8.70 0.4 716-AH 33.33 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 5.88 0 718-AH 32.65 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 4.55 −0.6 720-AH 1.89 745-AH 10.77 −0.8 721-AH 20.00 746-AH 11.43 −1 722-AH 0.00 747-AH 11.89 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.26 748-AH 0.00 724-AH 71.43 749-AH 39.53 725-AH 30.66 750-AH 3.33 462 chemnitz 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHEMNITZ.CUT_13_BILI_MERGED_DE2EN_9_10 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 2,129 Pooled true Geometric Mean Average Precision 0.2902 bilingual de2en merged cut_9 + cut_10 Binary Preference (BPREF) 0.4001 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 80.32 CUT_13_BILI_MERGED_DE2EN_9_10 10 69.76 90% 20 61.79 80% 30 54.32 40 49.00 70% 50 42.03 60% 60 32.10 Precision 70 27.11 50% 80 21.71 40% 90 14.88 30% 100 6.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.46 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0150 First Quartile 0.1688 Second Quartile 0.3979 Third Quartile 0.5708 Interquartile range 0.4020 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4046 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2688 5 Number of Topics of the Experiment Lower Outlier Threshold 0.0150 4 Upper Outlier Threshold 1.0000 3 Mean With No Outliers 0.4046 2 Std With No Outliers 0.2688 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_13_BILI_MERGED_DE2EN_9_10 0.8 701-AH 27.74 726-AH 9.54 0.6 702-AH 86.50 727-AH 7.46 0.4 703-AH 55.86 728-AH 18.99 0.2 Difference 704-AH 4.85 729-AH 10.71 0 705-AH 30.10 730-AH 33.73 −0.2 −0.4 706-AH 65.88 731-AH 50.53 −0.6 707-AH 42.91 732-AH 1.50 −0.8 708-AH 74.69 733-AH 75.53 −1 709-AH 43.01 734-AH 67.87 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 14.40 735-AH 29.73 711-AH 22.55 736-AH 4.61 712-AH 100.00 737-AH 4.88 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_13_BILI_MERGED_DE2EN_9_10 713-AH 40.68 738-AH 40.29 0.8 714-AH 40.11 739-AH 75.47 0.6 715-AH 47.96 740-AH 11.76 0.4 716-AH 64.97 741-AH 53.92 0.2 Difference 717-AH 16.88 742-AH 52.46 0 718-AH 57.08 743-AH 35.63 −0.2 −0.4 719-AH 39.46 744-AH 49.51 −0.6 720-AH 96.23 745-AH 31.66 −0.8 721-AH 24.20 746-AH 18.93 −1 722-AH 32.89 747-AH 53.81 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 6.55 748-AH 7.64 724-AH 79.39 749-AH 81.37 725-AH 71.19 750-AH 9.51 463 chemnitz 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHEMNITZ.CUT_13_BILI_MERGED_DE2EN_9_10 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 60.40 CUT_13_BILI_MERGED_DE2EN_9_10 10 docs 58.20 90% 15 docs 53.07 80% 20 docs 49.20 30 docs 43.27 70% 100 docs 25.30 60% 200 docs 15.93 Precision 500 docs 7.81 50% 1000 docs 4.26 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.70 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2333 Second Quartile 0.4307 Third Quartile 0.5833 Interquartile range 0.3500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4170 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2412 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.4170 3 Std With No Outliers 0.2412 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_13_BILI_MERGED_DE2EN_9_10 0.8 701-AH 28.57 726-AH 20.63 0.6 702-AH 86.21 727-AH 0.00 0.4 703-AH 50.00 728-AH 20.00 0.2 Difference 704-AH 9.26 729-AH 15.91 0 705-AH 30.95 730-AH 34.44 −0.2 −0.4 706-AH 68.22 731-AH 45.78 −0.6 707-AH 48.28 732-AH 4.00 −0.8 708-AH 68.66 733-AH 63.93 −1 709-AH 45.56 734-AH 65.91 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 26.67 735-AH 41.70 711-AH 31.25 736-AH 9.43 712-AH 100.00 737-AH 11.11 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_13_BILI_MERGED_DE2EN_9_10 713-AH 55.32 738-AH 47.17 0.8 714-AH 54.00 739-AH 65.91 0.6 715-AH 52.94 740-AH 13.04 0.4 716-AH 57.14 741-AH 58.33 0.2 Difference 717-AH 16.67 742-AH 52.94 0 718-AH 61.22 743-AH 37.50 −0.2 −0.4 719-AH 44.44 744-AH 31.82 −0.6 720-AH 90.57 745-AH 30.77 −0.8 721-AH 30.00 746-AH 28.57 −1 722-AH 38.46 747-AH 50.81 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 61.90 749-AH 79.07 725-AH 66.04 750-AH 23.33 464 chemnitz 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHEMNITZ.CUT_14_BILI_MERGED_FR2EN_9_10 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 2,112 Pooled false Geometric Mean Average Precision 0.2878 bilingual fr2en merged cut_9 + cut_10 Binary Preference (BPREF) 0.4009 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 79.74 CUT_14_BILI_MERGED_FR2EN_9_10 10 70.42 90% 20 61.48 80% 30 54.51 40 48.03 70% 50 41.70 60% 60 32.14 Precision 70 27.15 50% 80 21.45 40% 90 14.89 30% 100 6.10 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 40.29 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0150 First Quartile 0.1440 Second Quartile 0.3828 Third Quartile 0.5727 Interquartile range 0.4287 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.4029 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2686 5 Number of Topics of the Experiment Lower Outlier Threshold 0.0150 4 Upper Outlier Threshold 1.0000 3 Mean With No Outliers 0.4029 2 Std With No Outliers 0.2686 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_14_BILI_MERGED_FR2EN_9_10 0.8 701-AH 35.99 726-AH 9.54 0.6 702-AH 86.50 727-AH 7.44 0.4 703-AH 55.86 728-AH 18.94 0.2 Difference 704-AH 4.85 729-AH 10.71 0 705-AH 30.10 730-AH 33.73 −0.2 −0.4 706-AH 65.88 731-AH 50.53 −0.6 707-AH 42.91 732-AH 1.50 −0.8 708-AH 74.69 733-AH 75.53 −1 709-AH 43.01 734-AH 67.87 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 14.40 735-AH 29.73 711-AH 22.55 736-AH 4.61 712-AH 100.00 737-AH 4.88 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_14_BILI_MERGED_FR2EN_9_10 713-AH 40.68 738-AH 40.29 0.8 714-AH 39.89 739-AH 75.47 0.6 715-AH 45.54 740-AH 11.76 0.4 716-AH 64.97 741-AH 53.92 0.2 Difference 717-AH 30.64 742-AH 52.71 0 718-AH 57.27 743-AH 35.63 −0.2 −0.4 719-AH 36.66 744-AH 49.51 −0.6 720-AH 96.14 745-AH 31.66 −0.8 721-AH 24.20 746-AH 18.64 −1 722-AH 10.96 747-AH 53.81 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 6.55 748-AH 7.64 724-AH 79.39 749-AH 77.21 725-AH 72.02 750-AH 9.51 465 chemnitz 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHEMNITZ.CUT_14_BILI_MERGED_FR2EN_9_10 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 60.00 CUT_14_BILI_MERGED_FR2EN_9_10 10 docs 58.60 90% 15 docs 53.20 80% 20 docs 49.20 30 docs 43.20 70% 100 docs 25.18 60% 200 docs 15.82 Precision 500 docs 7.76 50% 1000 docs 4.22 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 41.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.2500 Second Quartile 0.3960 Third Quartile 0.5833 Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.4153 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2391 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.4153 4 Std With No Outliers 0.2391 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_14_BILI_MERGED_FR2EN_9_10 0.8 701-AH 33.33 726-AH 20.63 0.6 702-AH 86.21 727-AH 0.00 0.4 703-AH 50.00 728-AH 25.00 0.2 Difference 704-AH 9.26 729-AH 15.91 0 705-AH 30.95 730-AH 34.44 −0.2 −0.4 706-AH 68.22 731-AH 45.78 −0.6 707-AH 48.28 732-AH 4.00 −0.8 708-AH 68.66 733-AH 63.93 −1 709-AH 45.56 734-AH 65.91 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 26.67 735-AH 41.70 711-AH 31.25 736-AH 9.43 712-AH 100.00 737-AH 11.11 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_14_BILI_MERGED_FR2EN_9_10 713-AH 55.32 738-AH 47.17 0.8 714-AH 54.00 739-AH 65.91 0.6 715-AH 52.94 740-AH 13.04 0.4 716-AH 57.14 741-AH 58.33 0.2 Difference 717-AH 33.33 742-AH 52.94 0 718-AH 61.22 743-AH 37.50 −0.2 −0.4 719-AH 33.33 744-AH 31.82 −0.6 720-AH 90.57 745-AH 30.77 −0.8 721-AH 30.00 746-AH 28.57 −1 722-AH 17.95 747-AH 50.81 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 61.90 749-AH 74.42 725-AH 67.45 750-AH 23.33 466 chemnitz 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,960 Pooled false Geometric Mean Average Precision 0.1899 bilingual+ de2x merged multilingual reference cut_9 Binary Preference (BPREF) 0.3438 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 71.39 CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 10 60.81 90% 20 48.79 80% 30 44.05 40 39.55 70% 50 34.60 60% 60 28.32 Precision 70 25.35 50% 80 21.30 40% 90 13.43 30% 100 6.42 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.27 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0004 First Quartile 0.1026 Second Quartile 0.2606 Third Quartile 0.6153 Interquartile range 0.5127 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3427 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2829 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0004 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3427 4 3 Std With No Outliers 0.2829 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 0.8 701-AH 37.29 726-AH 19.04 0.6 702-AH 83.53 727-AH 9.33 0.4 703-AH 48.26 728-AH 14.67 0.2 Difference 704-AH 8.31 729-AH 2.05 0 705-AH 24.39 730-AH 4.65 −0.2 −0.4 706-AH 70.23 731-AH 41.34 −0.6 707-AH 57.22 732-AH 2.68 −0.8 708-AH 68.79 733-AH 61.53 −1 709-AH 38.05 734-AH 68.15 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 17.46 735-AH 12.91 711-AH 13.22 736-AH 0.04 712-AH 100.00 737-AH 10.26 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 713-AH 3.69 738-AH 37.63 0.8 714-AH 45.18 739-AH 78.53 0.6 715-AH 41.14 740-AH 2.56 0.4 716-AH 64.30 741-AH 35.78 0.2 Difference 717-AH 18.34 742-AH 0.89 0 718-AH 43.15 743-AH 2.21 −0.2 −0.4 719-AH 20.03 744-AH 68.48 −0.6 720-AH 96.59 745-AH 27.73 −0.8 721-AH 14.40 746-AH 34.18 −1 722-AH 14.25 747-AH 12.36 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 17.17 748-AH 7.23 724-AH 63.73 749-AH 79.11 725-AH 63.02 750-AH 8.33 467 chemnitz 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 52.40 CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 10 docs 49.60 90% 15 docs 45.73 80% 20 docs 43.10 30 docs 38.53 70% 100 docs 21.98 60% 200 docs 14.11 Precision 500 docs 7.04 50% 1000 docs 3.92 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 35.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1556 Second Quartile 0.2965 Third Quartile 0.5714 Interquartile range 0.4159 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3553 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2640 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3553 4 3 Std With No Outliers 0.2640 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 0.8 701-AH 38.10 726-AH 26.98 0.6 702-AH 86.21 727-AH 0.00 0.4 703-AH 44.44 728-AH 20.00 0.2 Difference 704-AH 11.11 729-AH 4.55 0 705-AH 23.81 730-AH 13.33 −0.2 −0.4 706-AH 66.36 731-AH 37.35 −0.6 707-AH 51.72 732-AH 4.00 −0.8 708-AH 64.18 733-AH 59.02 −1 709-AH 43.33 734-AH 70.45 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 26.67 735-AH 20.43 711-AH 25.00 736-AH 0.00 712-AH 100.00 737-AH 15.56 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_15_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 713-AH 2.13 738-AH 40.57 0.8 714-AH 48.00 739-AH 72.73 0.6 715-AH 47.06 740-AH 4.35 0.4 716-AH 57.14 741-AH 33.33 0.2 Difference 717-AH 16.67 742-AH 5.88 0 718-AH 42.86 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 59.09 −0.6 720-AH 90.57 745-AH 32.31 −0.8 721-AH 20.00 746-AH 40.00 −1 722-AH 20.51 747-AH 23.24 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 66.67 749-AH 79.07 725-AH 60.85 750-AH 23.33 468 chemnitz 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,956 Pooled false Geometric Mean Average Precision 0.1756 bilingual+ fr2x merged multilingual reference cut_9 Binary Preference (BPREF) 0.3466 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 69.36 CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 10 59.66 90% 20 50.54 80% 30 43.25 40 38.75 70% 50 35.29 60% 60 27.73 Precision 70 23.52 50% 80 19.74 40% 90 12.33 30% 100 4.97 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 33.32 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0003 First Quartile 0.1072 Second Quartile 0.2255 Third Quartile 0.5424 Interquartile range 0.4353 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3332 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2844 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0003 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3332 4 Std With No Outliers 0.2844 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 0.8 701-AH 38.06 726-AH 28.92 0.6 702-AH 83.53 727-AH 28.03 0.4 703-AH 43.63 728-AH 14.99 0.2 Difference 704-AH 10.72 729-AH 0.74 0 705-AH 24.08 730-AH 79.15 −0.2 −0.4 706-AH 70.54 731-AH 53.57 −0.6 707-AH 1.11 732-AH 2.79 −0.8 708-AH 12.57 733-AH 54.24 −1 709-AH 33.17 734-AH 63.39 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 12.67 735-AH 9.04 711-AH 16.55 736-AH 13.99 712-AH 100.00 737-AH 8.78 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 713-AH 41.77 738-AH 38.19 0.8 714-AH 43.72 739-AH 80.34 0.6 715-AH 38.55 740-AH 13.07 0.4 716-AH 65.64 741-AH 0.03 0.2 Difference 717-AH 8.22 742-AH 2.24 0 718-AH 45.77 743-AH 10.97 −0.2 −0.4 719-AH 0.41 744-AH 70.15 −0.6 720-AH 96.12 745-AH 14.31 −0.8 721-AH 20.60 746-AH 15.58 −1 722-AH 21.02 747-AH 8.80 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 4.56 748-AH 6.81 724-AH 74.14 749-AH 68.71 725-AH 57.33 750-AH 14.97 469 chemnitz 10.2415/AH-TEL-BILI-X2EN- AH-TEL-BILI-X2EN-CLEF2009 CLEF2009.CHEMNITZ.CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 52.00 CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 10 docs 50.80 90% 15 docs 45.87 80% 20 docs 43.00 30 docs 37.60 70% 100 docs 21.38 60% 200 docs 13.72 Precision 500 docs 6.85 50% 1000 docs 3.91 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.08 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1143 Second Quartile 0.2472 Third Quartile 0.5510 Interquartile range 0.4367 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3408 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2685 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3408 4 Std With No Outliers 0.2685 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 0.8 701-AH 38.10 726-AH 36.51 0.6 702-AH 86.21 727-AH 25.00 0.4 703-AH 33.33 728-AH 20.00 0.2 Difference 704-AH 11.11 729-AH 4.55 0 705-AH 23.81 730-AH 77.78 −0.2 −0.4 706-AH 67.29 731-AH 51.81 −0.6 707-AH 3.45 732-AH 4.00 −0.8 708-AH 13.43 733-AH 55.74 −1 709-AH 36.67 734-AH 65.91 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 24.44 735-AH 21.70 711-AH 25.00 736-AH 20.75 712-AH 100.00 737-AH 15.56 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_16_BILI_EN_MERGED_LANG_SPEC_REF_CUT_9 713-AH 51.06 738-AH 40.57 0.8 714-AH 50.00 739-AH 70.45 0.6 715-AH 47.06 740-AH 17.39 0.4 716-AH 66.67 741-AH 0.00 0.2 Difference 717-AH 5.56 742-AH 5.88 0 718-AH 55.10 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 59.09 −0.6 720-AH 90.57 745-AH 10.77 −0.8 721-AH 10.00 746-AH 11.43 −1 722-AH 20.51 747-AH 14.05 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 61.90 749-AH 65.12 725-AH 52.36 750-AH 13.33 470 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIDEENT2FB AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,481 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,362 Pooled true Geometric Mean Average Precision 0.0656 German to English using Trec2 with Blind Feedback Binary Preference (BPREF) 0.2243 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.15 BIDEENT2FB 10 44.82 90% 20 37.97 80% 30 31.85 40 27.02 70% 50 20.82 60% 60 17.68 Precision 70 15.04 50% 80 9.25 40% 90 5.58 30% 100 2.54 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.38 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7963 Minimum 0.0000 First Quartile 0.0237 Second Quartile 0.1414 Third Quartile 0.3593 Interquartile range 0.3356 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2238 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2347 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.7963 Mean With No Outliers 0.2238 10 Std With No Outliers 0.2347 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIDEENT2FB 0.8 701-AH 33.48 726-AH 19.11 0.6 702-AH 61.70 727-AH 3.26 0.4 703-AH 37.22 728-AH 14.40 0.2 Difference 704-AH 2.58 729-AH 0.00 0 705-AH 17.77 730-AH 5.80 −0.2 −0.4 706-AH 0.06 731-AH 40.02 −0.6 707-AH 33.71 732-AH 0.97 −0.8 708-AH 13.87 733-AH 18.48 −1 709-AH 6.46 734-AH 70.89 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.49 735-AH 12.39 711-AH 11.53 736-AH 2.19 712-AH 79.63 737-AH 5.65 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIDEENT2FB 713-AH 4.50 738-AH 0.30 0.8 714-AH 30.00 739-AH 66.24 0.6 715-AH 47.14 740-AH 2.24 0.4 716-AH 69.34 741-AH 27.14 0.2 Difference 717-AH 2.37 742-AH 0.44 0 718-AH 22.88 743-AH 2.07 −0.2 −0.4 719-AH 35.93 744-AH 37.74 −0.6 720-AH 52.01 745-AH 0.99 −0.8 721-AH 34.86 746-AH 1.87 −1 722-AH 2.48 747-AH 24.06 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.34 748-AH 0.04 724-AH 61.24 749-AH 69.01 725-AH 0.00 750-AH 15.88 471 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIDEENT2FB AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 39.20 BIDEENT2FB 10 docs 33.60 90% 15 docs 31.87 80% 20 docs 30.20 30 docs 26.07 70% 100 docs 13.62 60% 200 docs 8.74 Precision 500 docs 4.59 50% 1000 docs 2.72 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.02 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7143 Minimum 0.0000 First Quartile 0.0513 Second Quartile 0.2135 Third Quartile 0.3636 Interquartile range 0.3124 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2402 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2230 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7143 10 Mean With No Outliers 0.2402 Std With No Outliers 0.2230 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIDEENT2FB 0.8 701-AH 23.81 726-AH 23.81 0.6 702-AH 58.62 727-AH 0.00 0.4 703-AH 36.11 728-AH 25.00 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 21.43 730-AH 12.22 −0.2 −0.4 706-AH 0.00 731-AH 42.17 −0.6 707-AH 44.83 732-AH 0.00 −0.8 708-AH 20.90 733-AH 18.03 −1 709-AH 8.89 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.33 735-AH 21.28 711-AH 25.00 736-AH 5.66 712-AH 70.00 737-AH 6.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIDEENT2FB 713-AH 6.38 738-AH 0.94 0.8 714-AH 28.00 739-AH 63.64 0.6 715-AH 47.06 740-AH 8.70 0.4 716-AH 71.43 741-AH 25.00 0.2 Difference 717-AH 5.56 742-AH 0.00 0 718-AH 42.86 743-AH 0.00 −0.2 −0.4 719-AH 33.33 744-AH 36.36 −0.6 720-AH 52.83 745-AH 3.08 −0.8 721-AH 30.00 746-AH 0.00 −1 722-AH 5.13 747-AH 28.65 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 0.00 724-AH 61.90 749-AH 65.12 725-AH 0.00 750-AH 23.33 472 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIDEENT2FBX AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,108 Pooled false Geometric Mean Average Precision 0.0492 German to English and French + original German Binary Preference (BPREF) 0.1919 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 50.22 BIDEENT2FBX 10 32.99 90% 20 26.08 80% 30 22.48 40 19.26 70% 50 15.24 60% 60 11.91 Precision 70 10.28 50% 80 6.48 40% 90 4.86 30% 100 1.98 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.98 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7833 Minimum 0.0003 First Quartile 0.0144 Second Quartile 0.0598 Third Quartile 0.2067 Interquartile range 0.1922 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1598 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2066 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0003 20 Upper Outlier Threshold 0.4872 15 Mean With No Outliers 0.1042 10 Std With No Outliers 0.1217 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIDEENT2FBX 0.8 701-AH 6.16 726-AH 5.05 0.6 702-AH 30.25 727-AH 2.23 0.4 703-AH 34.30 728-AH 8.85 0.2 Difference 704-AH 20.71 729-AH 0.87 0 705-AH 20.67 730-AH 3.08 −0.2 −0.4 706-AH 0.03 731-AH 6.01 −0.6 707-AH 31.82 732-AH 1.44 −0.8 708-AH 1.44 733-AH 5.95 −1 709-AH 0.41 734-AH 60.75 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.05 735-AH 3.85 711-AH 4.61 736-AH 0.91 712-AH 78.33 737-AH 15.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIDEENT2FBX 713-AH 1.14 738-AH 13.66 0.8 714-AH 0.37 739-AH 51.35 0.6 715-AH 16.26 740-AH 5.07 0.4 716-AH 42.63 741-AH 20.62 0.2 Difference 717-AH 14.47 742-AH 0.23 0 718-AH 19.86 743-AH 4.00 −0.2 −0.4 719-AH 7.34 744-AH 17.22 −0.6 720-AH 76.64 745-AH 1.83 −0.8 721-AH 24.54 746-AH 0.14 −1 722-AH 3.84 747-AH 1.12 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 14.85 748-AH 0.04 724-AH 48.72 749-AH 62.73 725-AH 3.16 750-AH 3.37 473 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIDEENT2FBX AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 28.40 BIDEENT2FBX 10 docs 24.80 90% 15 docs 23.33 80% 20 docs 22.90 30 docs 20.13 70% 100 docs 10.94 60% 200 docs 6.73 Precision 500 docs 3.64 50% 1000 docs 2.22 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.84 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7170 Minimum 0.0000 First Quartile 0.0299 Second Quartile 0.1301 Third Quartile 0.3000 Interquartile range 0.2701 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1984 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2061 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7000 10 Mean With No Outliers 0.1878 Std With No Outliers 0.1940 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIDEENT2FBX 0.8 701-AH 9.52 726-AH 11.11 0.6 702-AH 44.83 727-AH 0.00 0.4 703-AH 38.89 728-AH 15.00 0.2 Difference 704-AH 29.63 729-AH 6.82 0 705-AH 21.43 730-AH 5.56 −0.2 −0.4 706-AH 0.93 731-AH 13.25 −0.6 707-AH 44.83 732-AH 4.00 −0.8 708-AH 2.99 733-AH 11.48 −1 709-AH 1.11 734-AH 59.09 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 12.77 711-AH 6.25 736-AH 1.89 712-AH 70.00 737-AH 22.22 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIDEENT2FBX 713-AH 2.13 738-AH 21.70 0.8 714-AH 4.00 739-AH 56.82 0.6 715-AH 35.29 740-AH 8.70 0.4 716-AH 42.86 741-AH 25.00 0.2 Difference 717-AH 16.67 742-AH 0.00 0 718-AH 42.86 743-AH 0.00 −0.2 −0.4 719-AH 22.22 744-AH 18.18 −0.6 720-AH 71.70 745-AH 1.54 −0.8 721-AH 30.00 746-AH 0.00 −1 722-AH 0.00 747-AH 6.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 0.00 724-AH 47.62 749-AH 65.12 725-AH 5.19 750-AH 13.33 474 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIFRENT2FB AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,659 Pooled false Geometric Mean Average Precision 0.1168 French to Englist using Trec2 with Blind Feedback Binary Preference (BPREF) 0.2764 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 67.80 BIFRENT2FB 10 49.37 90% 20 40.10 80% 30 31.50 40 28.96 70% 50 24.23 60% 60 19.08 Precision 70 15.24 50% 80 10.34 40% 90 6.20 30% 100 2.88 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.78 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9769 Minimum 0.0004 First Quartile 0.0466 Second Quartile 0.1541 Third Quartile 0.4124 Interquartile range 0.3658 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2478 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2363 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0004 Upper Outlier Threshold 0.7805 10 Mean With No Outliers 0.2329 Std With No Outliers 0.2138 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIFRENT2FB 0.8 701-AH 18.70 726-AH 12.86 0.6 702-AH 78.05 727-AH 4.26 0.4 703-AH 23.62 728-AH 15.95 0.2 Difference 704-AH 3.33 729-AH 4.08 0 705-AH 21.94 730-AH 63.01 −0.2 −0.4 706-AH 47.16 731-AH 49.49 −0.6 707-AH 4.66 732-AH 7.22 −0.8 708-AH 0.52 733-AH 11.89 −1 709-AH 43.39 734-AH 60.73 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.77 735-AH 13.87 711-AH 8.89 736-AH 7.86 712-AH 97.69 737-AH 1.86 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIFRENT2FB 713-AH 2.24 738-AH 32.77 0.8 714-AH 42.29 739-AH 74.27 0.6 715-AH 36.46 740-AH 12.21 0.4 716-AH 47.32 741-AH 0.04 0.2 Difference 717-AH 12.36 742-AH 51.23 0 718-AH 41.24 743-AH 24.82 −0.2 −0.4 719-AH 4.64 744-AH 28.35 −0.6 720-AH 0.06 745-AH 20.58 −0.8 721-AH 29.81 746-AH 10.19 −1 722-AH 14.88 747-AH 27.89 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.97 748-AH 10.60 724-AH 63.35 749-AH 32.33 725-AH 1.48 750-AH 13.80 475 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIFRENT2FB AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 46.40 BIFRENT2FB 10 docs 39.00 90% 15 docs 35.20 80% 20 docs 31.70 30 docs 28.00 70% 100 docs 16.42 60% 200 docs 10.69 Precision 500 docs 5.58 50% 1000 docs 3.32 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.01 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0889 Second Quartile 0.2188 Third Quartile 0.4556 Interquartile range 0.3667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2701 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2299 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.9000 5 Mean With No Outliers 0.2701 4 3 Std With No Outliers 0.2299 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIFRENT2FB 0.8 701-AH 9.52 726-AH 25.40 0.6 702-AH 75.86 727-AH 0.00 0.4 703-AH 22.22 728-AH 25.00 0.2 Difference 704-AH 0.00 729-AH 9.09 0 705-AH 23.81 730-AH 66.67 −0.2 −0.4 706-AH 53.27 731-AH 45.78 −0.6 707-AH 13.79 732-AH 8.00 −0.8 708-AH 5.97 733-AH 13.11 −1 709-AH 45.56 734-AH 65.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 8.89 735-AH 25.53 711-AH 12.50 736-AH 18.87 712-AH 90.00 737-AH 6.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIFRENT2FB 713-AH 2.13 738-AH 38.68 0.8 714-AH 52.00 739-AH 72.73 0.6 715-AH 41.18 740-AH 8.70 0.4 716-AH 52.38 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 47.06 0 718-AH 46.94 743-AH 25.00 −0.2 −0.4 719-AH 11.11 744-AH 36.36 −0.6 720-AH 0.00 745-AH 21.54 −0.8 721-AH 20.00 746-AH 22.86 −1 722-AH 17.95 747-AH 38.92 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 57.14 749-AH 30.23 725-AH 2.83 750-AH 16.67 476 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIFRENT2FBX AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,595 Pooled false Geometric Mean Average Precision 0.0695 French to English and German + original French Binary Preference (BPREF) 0.2119 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 51.37 BIFRENT2FBX 10 32.04 90% 20 24.59 80% 30 20.86 40 19.01 70% 50 16.01 60% 60 13.80 Precision 70 11.21 50% 80 9.13 40% 90 6.03 30% 100 3.26 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.66 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0003 First Quartile 0.0407 Second Quartile 0.0916 Third Quartile 0.2232 Interquartile range 0.1826 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1666 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2045 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0003 Upper Outlier Threshold 0.3971 10 Mean With No Outliers 0.1170 Std With No Outliers 0.1054 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIFRENT2FBX 0.8 701-AH 4.07 726-AH 14.67 0.6 702-AH 64.95 727-AH 3.84 0.4 703-AH 23.97 728-AH 9.50 0.2 Difference 704-AH 34.51 729-AH 18.50 0 705-AH 18.96 730-AH 22.32 −0.2 −0.4 706-AH 39.71 731-AH 25.15 −0.6 707-AH 0.25 732-AH 6.41 −0.8 708-AH 0.06 733-AH 7.76 −1 709-AH 6.98 734-AH 20.83 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.48 735-AH 9.96 711-AH 3.77 736-AH 5.60 712-AH 100.00 737-AH 20.57 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIFRENT2FBX 713-AH 1.36 738-AH 27.46 0.8 714-AH 20.24 739-AH 78.96 0.6 715-AH 4.14 740-AH 0.47 0.4 716-AH 5.77 741-AH 0.03 0.2 Difference 717-AH 14.30 742-AH 23.14 0 718-AH 34.38 743-AH 6.99 −0.2 −0.4 719-AH 1.27 744-AH 13.11 −0.6 720-AH 0.91 745-AH 26.99 −0.8 721-AH 14.81 746-AH 4.20 −1 722-AH 6.70 747-AH 5.70 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.56 748-AH 10.20 724-AH 51.16 749-AH 8.82 725-AH 2.20 750-AH 6.52 477 cheshire 10.2415/AH-TEL-BILI-X2EN-CLEF2009.CHESHIRE.BIFRENT2FBX AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 30.80 BIFRENT2FBX 10 docs 27.40 90% 15 docs 23.87 80% 20 docs 22.60 30 docs 20.00 70% 100 docs 12.36 60% 200 docs 8.81 Precision 500 docs 5.24 50% 1000 docs 3.19 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.13 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0216 Second Quartile 0.1348 Third Quartile 0.2941 Interquartile range 0.2725 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1913 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2147 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.4762 10 Mean With No Outliers 0.1501 Std With No Outliers 0.1393 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIFRENT2FBX 0.8 701-AH 4.76 726-AH 20.63 0.6 702-AH 75.86 727-AH 0.00 0.4 703-AH 30.56 728-AH 15.00 0.2 Difference 704-AH 42.59 729-AH 15.91 0 705-AH 21.43 730-AH 24.44 −0.2 −0.4 706-AH 45.79 731-AH 31.33 −0.6 707-AH 0.00 732-AH 8.00 −0.8 708-AH 0.00 733-AH 8.20 −1 709-AH 13.33 734-AH 13.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 19.15 711-AH 12.50 736-AH 1.89 712-AH 100.00 737-AH 31.11 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIFRENT2FBX 713-AH 0.00 738-AH 33.02 0.8 714-AH 30.00 739-AH 75.00 0.6 715-AH 5.88 740-AH 0.00 0.4 716-AH 4.76 741-AH 0.00 0.2 Difference 717-AH 22.22 742-AH 29.41 0 718-AH 42.86 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 18.18 −0.6 720-AH 1.89 745-AH 27.69 −0.8 721-AH 20.00 746-AH 5.71 −1 722-AH 17.95 747-AH 2.16 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 47.62 749-AH 9.30 725-AH 7.55 750-AH 6.67 478 hit 10.2415/AH-TEL-BILI-X2EN-CLEF2009.HIT.XTD10T40 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language Chinese Relevant 2,527 Topic Fields title Relevant retrieved 1,734 Pooled false Geometric Mean Average Precision 0.1469 title, kl-divergence, pseudo feedback 40 terms Binary Preference (BPREF) 0.3235 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.07 XTD10T40 10 58.79 90% 20 48.88 80% 30 43.35 40 36.81 70% 50 31.47 60% 60 25.78 Precision 70 18.25 50% 80 14.60 40% 90 10.46 30% 100 4.67 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 31.72 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0733 Second Quartile 0.2501 Third Quartile 0.5404 Interquartile range 0.4671 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3172 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2755 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3172 4 Std With No Outliers 0.2755 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries XTD10T40 0.8 701-AH 27.51 726-AH 24.90 0.6 702-AH 74.22 727-AH 4.19 0.4 703-AH 11.61 728-AH 20.40 0.2 Difference 704-AH 1.29 729-AH 4.00 0 705-AH 34.92 730-AH 4.55 −0.2 −0.4 706-AH 54.04 731-AH 6.89 −0.6 707-AH 64.46 732-AH 8.70 −0.8 708-AH 71.91 733-AH 19.36 −1 709-AH 48.82 734-AH 58.60 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.28 735-AH 7.33 711-AH 42.89 736-AH 15.03 712-AH 100.00 737-AH 3.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) XTD10T40 713-AH 29.62 738-AH 59.17 0.8 714-AH 0.25 739-AH 80.81 0.6 715-AH 47.09 740-AH 37.41 0.4 716-AH 64.74 741-AH 0.00 0.2 Difference 717-AH 63.99 742-AH 53.91 0 718-AH 12.54 743-AH 36.46 −0.2 −0.4 719-AH 5.80 744-AH 58.62 −0.6 720-AH 97.44 745-AH 25.12 −0.8 721-AH 9.76 746-AH 10.25 −1 722-AH 23.64 747-AH 29.46 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.93 748-AH 6.02 724-AH 41.17 749-AH 2.66 725-AH 60.99 750-AH 8.48 479 hit 10.2415/AH-TEL-BILI-X2EN-CLEF2009.HIT.XTD10T40 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 54.40 XTD10T40 10 docs 47.60 90% 15 docs 41.87 80% 20 docs 37.20 30 docs 33.67 70% 100 docs 19.98 60% 200 docs 12.86 Precision 500 docs 6.34 50% 1000 docs 3.47 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 33.35 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1053 Second Quartile 0.2739 Third Quartile 0.5294 Interquartile range 0.4241 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3335 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2616 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3335 4 3 Std With No Outliers 0.2616 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries XTD10T40 0.8 701-AH 19.05 726-AH 30.16 0.6 702-AH 68.97 727-AH 0.00 0.4 703-AH 0.00 728-AH 25.00 0.2 Difference 704-AH 9.26 729-AH 9.09 0 705-AH 40.48 730-AH 8.89 −0.2 −0.4 706-AH 59.81 731-AH 10.84 −0.6 707-AH 65.52 732-AH 12.00 −0.8 708-AH 64.18 733-AH 19.67 −1 709-AH 47.78 734-AH 63.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 20.85 711-AH 43.75 736-AH 22.64 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) XTD10T40 713-AH 29.79 738-AH 67.92 0.8 714-AH 4.00 739-AH 77.27 0.6 715-AH 52.94 740-AH 39.13 0.4 716-AH 61.90 741-AH 0.00 0.2 Difference 717-AH 66.67 742-AH 47.06 0 718-AH 12.24 743-AH 50.00 −0.2 −0.4 719-AH 11.11 744-AH 45.45 −0.6 720-AH 94.34 745-AH 23.08 −0.8 721-AH 10.00 746-AH 20.00 −1 722-AH 30.77 747-AH 36.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 42.86 749-AH 16.28 725-AH 54.72 750-AH 10.00 480 hit 10.2415/AH-TEL-BILI-X2EN-CLEF2009.HIT.XTDD10T20 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language Chinese Relevant 2,527 Topic Fields title, description Relevant retrieved 1,873 Pooled true Geometric Mean Average Precision 0.1636 td, kl-divergence, pseudo feedback 20 terms Binary Preference (BPREF) 0.3473 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.56 XTDD10T20 10 60.38 90% 20 52.03 80% 30 47.47 40 41.80 70% 50 37.31 60% 60 31.41 Precision 70 24.94 50% 80 19.61 40% 90 14.66 30% 100 5.26 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 35.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0944 Second Quartile 0.2450 Third Quartile 0.5745 Interquartile range 0.4801 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3523 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.3013 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3523 4 3 Std With No Outliers 0.3013 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries XTDD10T20 0.8 701-AH 40.69 726-AH 7.74 0.6 702-AH 74.58 727-AH 16.61 0.4 703-AH 51.24 728-AH 10.63 0.2 Difference 704-AH 8.90 729-AH 0.46 0 705-AH 25.04 730-AH 16.33 −0.2 −0.4 706-AH 55.39 731-AH 69.32 −0.6 707-AH 65.08 732-AH 5.46 −0.8 708-AH 70.44 733-AH 16.48 −1 709-AH 42.97 734-AH 77.82 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 15.77 735-AH 9.44 711-AH 23.96 736-AH 10.55 712-AH 100.00 737-AH 0.72 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) XTDD10T20 713-AH 30.79 738-AH 48.13 0.8 714-AH 1.49 739-AH 83.17 0.6 715-AH 49.11 740-AH 8.09 0.4 716-AH 52.69 741-AH 0.00 0.2 Difference 717-AH 55.69 742-AH 57.45 0 718-AH 3.51 743-AH 31.67 −0.2 −0.4 719-AH 0.62 744-AH 75.24 −0.6 720-AH 97.55 745-AH 14.96 −0.8 721-AH 18.83 746-AH 25.37 −1 722-AH 17.45 747-AH 15.44 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.61 748-AH 6.33 724-AH 85.29 749-AH 82.66 725-AH 69.93 750-AH 2.06 481 hit 10.2415/AH-TEL-BILI-X2EN-CLEF2009.HIT.XTDD10T20 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.60 XTDD10T20 10 docs 48.80 90% 15 docs 46.27 80% 20 docs 42.60 30 docs 36.47 70% 100 docs 21.70 60% 200 docs 13.87 Precision 500 docs 6.76 50% 1000 docs 3.75 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.14 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1475 Second Quartile 0.2439 Third Quartile 0.6269 Interquartile range 0.4793 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3614 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2844 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3614 4 3 Std With No Outliers 0.2844 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries XTDD10T20 0.8 701-AH 33.33 726-AH 20.63 0.6 702-AH 75.86 727-AH 12.50 0.4 703-AH 44.44 728-AH 15.00 0.2 Difference 704-AH 18.52 729-AH 2.27 0 705-AH 20.24 730-AH 20.00 −0.2 −0.4 706-AH 60.75 731-AH 67.47 −0.6 707-AH 65.52 732-AH 4.00 −0.8 708-AH 62.69 733-AH 14.75 −1 709-AH 47.78 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 22.22 735-AH 19.57 711-AH 25.00 736-AH 9.43 712-AH 100.00 737-AH 4.44 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) XTDD10T20 713-AH 31.91 738-AH 66.98 0.8 714-AH 2.00 739-AH 79.55 0.6 715-AH 47.06 740-AH 17.39 0.4 716-AH 52.38 741-AH 0.00 0.2 Difference 717-AH 55.56 742-AH 52.94 0 718-AH 10.20 743-AH 37.50 −0.2 −0.4 719-AH 0.00 744-AH 77.27 −0.6 720-AH 94.34 745-AH 15.38 −0.8 721-AH 10.00 746-AH 31.43 −1 722-AH 17.95 747-AH 23.78 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 0.00 724-AH 80.95 749-AH 74.42 725-AH 68.87 750-AH 3.33 482 hit 10.2415/AH-TEL-BILI-X2EN-CLEF2009.HIT.XTDD10T40 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language Chinese Relevant 2,527 Topic Fields title, description Relevant retrieved 1,895 Pooled false Geometric Mean Average Precision 0.1643 td, kl-divergence, pseudo feedback 40 terms Binary Preference (BPREF) 0.3475 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.89 XTDD10T40 10 60.16 90% 20 52.42 80% 30 47.47 40 42.22 70% 50 37.28 60% 60 31.47 Precision 70 24.81 50% 80 19.95 40% 90 14.74 30% 100 5.27 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 35.27 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0934 Second Quartile 0.2452 Third Quartile 0.5688 Interquartile range 0.4754 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3527 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.3011 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3527 4 3 Std With No Outliers 0.3011 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries XTDD10T40 0.8 701-AH 41.21 726-AH 7.55 0.6 702-AH 75.64 727-AH 16.82 0.4 703-AH 51.41 728-AH 10.57 0.2 Difference 704-AH 9.34 729-AH 0.48 0 705-AH 24.64 730-AH 16.20 −0.2 −0.4 706-AH 55.38 731-AH 68.67 −0.6 707-AH 65.18 732-AH 5.75 −0.8 708-AH 70.44 733-AH 16.37 −1 709-AH 43.84 734-AH 78.41 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 16.31 735-AH 9.02 711-AH 24.39 736-AH 10.73 712-AH 100.00 737-AH 0.78 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) XTDD10T40 713-AH 30.47 738-AH 48.30 0.8 714-AH 1.48 739-AH 82.68 0.6 715-AH 48.30 740-AH 8.05 0.4 716-AH 52.09 741-AH 0.00 0.2 Difference 717-AH 56.32 742-AH 56.88 0 718-AH 3.21 743-AH 31.46 −0.2 −0.4 719-AH 0.65 744-AH 75.44 −0.6 720-AH 97.55 745-AH 14.84 −0.8 721-AH 18.83 746-AH 25.24 −1 722-AH 17.21 747-AH 16.99 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.67 748-AH 6.43 724-AH 85.29 749-AH 82.22 725-AH 69.83 750-AH 1.97 483 hit 10.2415/AH-TEL-BILI-X2EN-CLEF2009.HIT.XTDD10T40 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.20 XTDD10T40 10 docs 48.80 90% 15 docs 45.73 80% 20 docs 42.60 30 docs 36.60 70% 100 docs 21.90 60% 200 docs 13.81 Precision 500 docs 6.80 50% 1000 docs 3.79 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.13 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1475 Second Quartile 0.2566 Third Quartile 0.6269 Interquartile range 0.4793 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3613 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2828 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3613 4 3 Std With No Outliers 0.2828 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries XTDD10T40 0.8 701-AH 33.33 726-AH 20.63 0.6 702-AH 75.86 727-AH 12.50 0.4 703-AH 44.44 728-AH 15.00 0.2 Difference 704-AH 20.37 729-AH 2.27 0 705-AH 21.43 730-AH 20.00 −0.2 −0.4 706-AH 59.81 731-AH 68.67 −0.6 707-AH 65.52 732-AH 4.00 −0.8 708-AH 62.69 733-AH 14.75 −1 709-AH 47.78 734-AH 70.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 20.00 735-AH 19.15 711-AH 25.00 736-AH 9.43 712-AH 100.00 737-AH 4.44 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) XTDD10T40 713-AH 31.91 738-AH 67.92 0.8 714-AH 2.00 739-AH 75.00 0.6 715-AH 47.06 740-AH 17.39 0.4 716-AH 52.38 741-AH 0.00 0.2 Difference 717-AH 55.56 742-AH 52.94 0 718-AH 10.20 743-AH 37.50 −0.2 −0.4 719-AH 0.00 744-AH 77.27 −0.6 720-AH 94.34 745-AH 15.38 −0.8 721-AH 10.00 746-AH 28.57 −1 722-AH 17.95 747-AH 23.78 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 0.00 724-AH 80.95 749-AH 72.09 725-AH 68.87 750-AH 3.33 484 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.DE_INDEXALL AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,790 Pooled false Geometric Mean Average Precision 0.1955 IR with multiple indexes and aggregated ranks Binary Preference (BPREF) 0.3126 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 74.16 DE_INDEXALL 10 60.40 90% 20 47.95 80% 30 43.09 40 35.75 70% 50 29.77 60% 60 24.79 Precision 70 19.42 50% 80 13.61 40% 90 8.12 30% 100 1.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 30.71 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9505 Minimum 0.0098 First Quartile 0.0885 Second Quartile 0.2406 Third Quartile 0.4863 Interquartile range 0.3978 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3071 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2474 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0098 6 Upper Outlier Threshold 0.9505 5 Mean With No Outliers 0.3071 4 3 Std With No Outliers 0.2474 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALL 0.8 701-AH 28.79 726-AH 6.66 0.6 702-AH 80.84 727-AH 8.85 0.4 703-AH 54.25 728-AH 20.37 0.2 Difference 704-AH 18.52 729-AH 2.64 0 705-AH 12.17 730-AH 6.46 −0.2 −0.4 706-AH 57.41 731-AH 48.63 −0.6 707-AH 52.01 732-AH 3.00 −0.8 708-AH 67.89 733-AH 39.97 −1 709-AH 41.93 734-AH 33.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 16.02 735-AH 22.28 711-AH 31.33 736-AH 3.86 712-AH 70.00 737-AH 7.00 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALL 713-AH 12.44 738-AH 22.33 0.8 714-AH 33.91 739-AH 73.77 0.6 715-AH 35.87 740-AH 2.53 0.4 716-AH 35.86 741-AH 38.82 0.2 Difference 717-AH 19.38 742-AH 0.98 0 718-AH 31.37 743-AH 4.30 −0.2 −0.4 719-AH 17.38 744-AH 71.59 −0.6 720-AH 95.05 745-AH 28.56 −0.8 721-AH 19.08 746-AH 15.32 −1 722-AH 25.79 747-AH 8.54 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.05 748-AH 9.18 724-AH 61.18 749-AH 62.94 725-AH 66.75 750-AH 5.01 485 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.DE_INDEXALL AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 52.00 DE_INDEXALL 10 docs 48.00 90% 15 docs 44.40 80% 20 docs 41.40 30 docs 35.87 70% 100 docs 21.76 60% 200 docs 13.65 Precision 500 docs 6.48 50% 1000 docs 3.58 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.00 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9057 Minimum 0.0000 First Quartile 0.1676 Second Quartile 0.3197 Third Quartile 0.4706 Interquartile range 0.3030 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3400 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2263 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 0.9057 4 Mean With No Outliers 0.3400 3 Std With No Outliers 0.2263 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALL 0.8 701-AH 33.33 726-AH 12.70 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 44.44 728-AH 30.00 0.2 Difference 704-AH 18.52 729-AH 9.09 0 705-AH 21.43 730-AH 17.78 −0.2 −0.4 706-AH 61.68 731-AH 49.40 −0.6 707-AH 62.07 732-AH 8.00 −0.8 708-AH 62.69 733-AH 44.26 −1 709-AH 46.67 734-AH 45.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 22.22 735-AH 28.51 711-AH 43.75 736-AH 16.98 712-AH 70.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALL 713-AH 21.28 738-AH 35.85 0.8 714-AH 36.00 739-AH 63.64 0.6 715-AH 47.06 740-AH 4.35 0.4 716-AH 38.10 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 5.88 0 718-AH 30.61 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 59.09 −0.6 720-AH 90.57 745-AH 35.38 −0.8 721-AH 10.00 746-AH 22.86 −1 722-AH 38.46 747-AH 16.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 7.69 724-AH 66.67 749-AH 62.79 725-AH 67.92 750-AH 20.00 486 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.DE_INDEXALLESA AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,817 Pooled true Geometric Mean Average Precision 0.2011 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.3153 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.60 DE_INDEXALLESA 10 62.53 90% 20 48.76 80% 30 43.46 40 36.70 70% 50 30.44 60% 60 25.71 Precision 70 20.26 50% 80 13.36 40% 90 7.75 30% 100 0.81 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 31.38 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9537 Minimum 0.0085 First Quartile 0.0934 Second Quartile 0.2667 Third Quartile 0.4551 Interquartile range 0.3617 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3138 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2472 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0085 6 Upper Outlier Threshold 0.9537 5 Mean With No Outliers 0.3138 4 3 Std With No Outliers 0.2472 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALLESA 0.8 701-AH 28.76 726-AH 6.88 0.6 702-AH 81.64 727-AH 8.34 0.4 703-AH 56.46 728-AH 20.69 0.2 Difference 704-AH 26.23 729-AH 2.64 0 705-AH 20.92 730-AH 6.54 −0.2 −0.4 706-AH 54.82 731-AH 42.56 −0.6 707-AH 52.79 732-AH 1.67 −0.8 708-AH 67.97 733-AH 45.51 −1 709-AH 42.30 734-AH 37.13 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 15.01 735-AH 21.10 711-AH 28.74 736-AH 3.39 712-AH 70.00 737-AH 7.46 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALLESA 713-AH 13.61 738-AH 21.26 0.8 714-AH 33.35 739-AH 73.93 0.6 715-AH 38.10 740-AH 3.82 0.4 716-AH 37.50 741-AH 39.09 0.2 Difference 717-AH 19.52 742-AH 0.85 0 718-AH 32.32 743-AH 4.40 −0.2 −0.4 719-AH 18.84 744-AH 65.31 −0.6 720-AH 95.37 745-AH 27.11 −0.8 721-AH 20.74 746-AH 14.98 −1 722-AH 27.23 747-AH 10.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.23 748-AH 9.34 724-AH 64.27 749-AH 70.98 725-AH 67.13 750-AH 6.36 487 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.DE_INDEXALLESA AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 50.80 DE_INDEXALLESA 10 docs 50.00 90% 15 docs 44.93 80% 20 docs 41.60 30 docs 36.00 70% 100 docs 22.16 60% 200 docs 13.96 Precision 500 docs 6.59 50% 1000 docs 3.63 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.03 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9057 Minimum 0.0000 First Quartile 0.1746 Second Quartile 0.3197 Third Quartile 0.4778 Interquartile range 0.3032 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3403 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2258 5 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 4 Upper Outlier Threshold 0.9057 3 Mean With No Outliers 0.3403 2 Std With No Outliers 0.2258 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALLESA 0.8 701-AH 38.10 726-AH 17.46 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 41.67 728-AH 30.00 0.2 Difference 704-AH 25.93 729-AH 9.09 0 705-AH 21.43 730-AH 17.78 −0.2 −0.4 706-AH 60.75 731-AH 48.19 −0.6 707-AH 62.07 732-AH 4.00 −0.8 708-AH 65.67 733-AH 44.26 −1 709-AH 47.78 734-AH 40.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 20.00 735-AH 28.94 711-AH 37.50 736-AH 15.09 712-AH 70.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALLESA 713-AH 23.40 738-AH 34.91 0.8 714-AH 36.00 739-AH 61.36 0.6 715-AH 47.06 740-AH 8.70 0.4 716-AH 38.10 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 0.00 0 718-AH 30.61 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 54.55 −0.6 720-AH 90.57 745-AH 35.38 −0.8 721-AH 10.00 746-AH 25.71 −1 722-AH 41.03 747-AH 17.84 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 7.69 724-AH 66.67 749-AH 67.44 725-AH 67.92 750-AH 20.00 488 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.DE_INDEXBL AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,887 Pooled false Geometric Mean Average Precision 0.2056 Baseline using standard IR single index Binary Preference (BPREF) 0.3276 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.89 DE_INDEXBL 10 60.62 90% 20 49.19 80% 30 43.29 40 38.19 70% 50 32.83 60% 60 27.75 Precision 70 20.33 50% 80 15.82 40% 90 10.63 30% 100 3.90 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 32.70 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0098 First Quartile 0.0908 Second Quartile 0.2507 Third Quartile 0.5347 Interquartile range 0.4440 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3270 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2658 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0098 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3270 4 3 Std With No Outliers 0.2658 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXBL 0.8 701-AH 29.10 726-AH 7.05 0.6 702-AH 81.38 727-AH 8.17 0.4 703-AH 53.82 728-AH 24.49 0.2 Difference 704-AH 18.42 729-AH 1.90 0 705-AH 11.95 730-AH 6.24 −0.2 −0.4 706-AH 57.48 731-AH 48.65 −0.6 707-AH 53.47 732-AH 3.22 −0.8 708-AH 69.71 733-AH 39.07 −1 709-AH 42.47 734-AH 29.69 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 16.04 735-AH 22.38 711-AH 31.11 736-AH 3.60 712-AH 100.00 737-AH 7.37 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXBL 713-AH 10.33 738-AH 46.78 0.8 714-AH 31.89 739-AH 74.65 0.6 715-AH 41.97 740-AH 2.72 0.4 716-AH 62.64 741-AH 38.93 0.2 Difference 717-AH 20.68 742-AH 0.98 0 718-AH 33.04 743-AH 4.20 −0.2 −0.4 719-AH 17.39 744-AH 70.68 −0.6 720-AH 95.44 745-AH 25.65 −0.8 721-AH 19.08 746-AH 14.64 −1 722-AH 21.68 747-AH 8.58 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.03 748-AH 9.08 724-AH 65.29 749-AH 64.04 725-AH 66.91 750-AH 18.16 489 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.DE_INDEXBL AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 52.40 DE_INDEXBL 10 docs 48.60 90% 15 docs 44.67 80% 20 docs 41.60 30 docs 36.07 70% 100 docs 22.48 60% 200 docs 14.05 Precision 500 docs 6.80 50% 1000 docs 3.77 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 35.07 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1321 Second Quartile 0.3008 Third Quartile 0.5909 Interquartile range 0.4588 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3507 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2495 6 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 5 Upper Outlier Threshold 1.0000 4 Mean With No Outliers 0.3507 3 Std With No Outliers 0.2495 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXBL 0.8 701-AH 33.33 726-AH 11.11 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 44.44 728-AH 35.00 0.2 Difference 704-AH 18.52 729-AH 9.09 0 705-AH 17.86 730-AH 15.56 −0.2 −0.4 706-AH 61.68 731-AH 49.40 −0.6 707-AH 62.07 732-AH 8.00 −0.8 708-AH 62.69 733-AH 44.26 −1 709-AH 47.78 734-AH 29.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.78 735-AH 28.51 711-AH 43.75 736-AH 13.21 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXBL 713-AH 21.28 738-AH 62.26 0.8 714-AH 34.00 739-AH 63.64 0.6 715-AH 47.06 740-AH 4.35 0.4 716-AH 66.67 741-AH 33.33 0.2 Difference 717-AH 22.22 742-AH 5.88 0 718-AH 30.61 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 59.09 −0.6 720-AH 90.57 745-AH 29.23 −0.8 721-AH 10.00 746-AH 25.71 −1 722-AH 33.33 747-AH 16.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 7.69 724-AH 66.67 749-AH 65.12 725-AH 67.92 750-AH 26.67 490 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.FR_INDEXALLESA AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,733 Pooled false Geometric Mean Average Precision 0.1771 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.3125 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.66 FR_INDEXALLESA 10 59.43 90% 20 48.17 80% 30 40.26 40 34.99 70% 50 27.87 60% 60 23.03 Precision 70 16.99 50% 80 11.67 40% 90 6.18 30% 100 0.79 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.11 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9396 Minimum 0.0011 First Quartile 0.1044 Second Quartile 0.2206 Third Quartile 0.4331 Interquartile range 0.3288 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2911 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2366 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0011 8 Upper Outlier Threshold 0.8230 6 Mean With No Outliers 0.2779 4 Std With No Outliers 0.2195 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXALLESA 0.8 701-AH 31.83 726-AH 23.68 0.6 702-AH 82.30 727-AH 20.00 0.4 703-AH 43.31 728-AH 20.75 0.2 Difference 704-AH 22.53 729-AH 7.04 0 705-AH 24.51 730-AH 64.41 −0.2 −0.4 706-AH 56.30 731-AH 60.34 −0.6 707-AH 47.76 732-AH 1.54 −0.8 708-AH 0.35 733-AH 25.31 −1 709-AH 27.03 734-AH 54.77 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.74 735-AH 7.52 711-AH 16.97 736-AH 11.57 712-AH 70.00 737-AH 6.52 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXALLESA 713-AH 21.59 738-AH 20.03 0.8 714-AH 38.57 739-AH 70.89 0.6 715-AH 30.45 740-AH 5.92 0.4 716-AH 36.66 741-AH 0.11 0.2 Difference 717-AH 9.98 742-AH 57.14 0 718-AH 30.68 743-AH 12.47 −0.2 −0.4 719-AH 3.01 744-AH 38.85 −0.6 720-AH 93.96 745-AH 19.04 −0.8 721-AH 20.00 746-AH 7.17 −1 722-AH 18.66 747-AH 8.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 11.58 748-AH 10.44 724-AH 67.74 749-AH 23.66 725-AH 57.49 750-AH 4.00 491 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.FR_INDEXALLESA AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 54.00 FR_INDEXALLESA 10 docs 48.20 90% 15 docs 44.27 80% 20 docs 39.80 30 docs 35.20 70% 100 docs 20.24 60% 200 docs 12.85 Precision 500 docs 6.11 50% 1000 docs 3.47 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 33.30 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9057 Minimum 0.0000 First Quartile 0.1667 Second Quartile 0.2709 Third Quartile 0.4800 Interquartile range 0.3133 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3330 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2225 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.9057 5 Mean With No Outliers 0.3330 4 3 Std With No Outliers 0.2225 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXALLESA 0.8 701-AH 38.10 726-AH 31.75 0.6 702-AH 79.31 727-AH 25.00 0.4 703-AH 36.11 728-AH 30.00 0.2 Difference 704-AH 22.22 729-AH 11.36 0 705-AH 21.43 730-AH 65.56 −0.2 −0.4 706-AH 59.81 731-AH 62.65 −0.6 707-AH 62.07 732-AH 4.00 −0.8 708-AH 2.99 733-AH 27.87 −1 709-AH 32.22 734-AH 61.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 11.11 735-AH 17.87 711-AH 25.00 736-AH 16.98 712-AH 70.00 737-AH 11.11 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXALLESA 713-AH 42.55 738-AH 33.02 0.8 714-AH 48.00 739-AH 68.18 0.6 715-AH 35.29 740-AH 13.04 0.4 716-AH 47.62 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 58.82 0 718-AH 40.82 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 40.91 −0.6 720-AH 90.57 745-AH 24.62 −0.8 721-AH 10.00 746-AH 17.14 −1 722-AH 17.95 747-AH 19.46 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 61.90 749-AH 20.93 725-AH 57.55 750-AH 16.67 492 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.FR_INDEXBL AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,830 Pooled false Geometric Mean Average Precision 0.1898 Baseline using standard IR single index Binary Preference (BPREF) 0.3266 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.65 FR_INDEXBL 10 59.06 90% 20 48.45 80% 30 40.98 40 36.94 70% 50 32.36 60% 60 25.39 Precision 70 18.65 50% 80 13.98 40% 90 8.20 30% 100 3.59 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 31.28 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0006 First Quartile 0.1168 Second Quartile 0.2407 Third Quartile 0.4976 Interquartile range 0.3808 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3128 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2522 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0006 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3128 4 3 Std With No Outliers 0.2522 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXBL 0.8 701-AH 29.10 726-AH 25.39 0.6 702-AH 81.38 727-AH 19.61 0.4 703-AH 42.98 728-AH 23.16 0.2 Difference 704-AH 18.08 729-AH 6.85 0 705-AH 11.82 730-AH 68.44 −0.2 −0.4 706-AH 57.64 731-AH 59.41 −0.6 707-AH 48.97 732-AH 3.22 −0.8 708-AH 0.37 733-AH 26.69 −1 709-AH 28.47 734-AH 53.83 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.90 735-AH 11.68 711-AH 22.42 736-AH 13.43 712-AH 100.00 737-AH 5.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXBL 713-AH 27.61 738-AH 46.78 0.8 714-AH 49.76 739-AH 66.36 0.6 715-AH 31.77 740-AH 9.57 0.4 716-AH 42.25 741-AH 0.06 0.2 Difference 717-AH 10.03 742-AH 56.74 0 718-AH 37.63 743-AH 12.37 −0.2 −0.4 719-AH 2.45 744-AH 54.75 −0.6 720-AH 95.50 745-AH 20.24 −0.8 721-AH 19.54 746-AH 4.24 −1 722-AH 14.26 747-AH 7.08 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 11.98 748-AH 9.28 724-AH 66.74 749-AH 24.98 725-AH 54.16 750-AH 18.33 493 karlsruhe 10.2415/AH-TEL-BILI-X2EN-CLEF2009.KARLSRUHE.FR_INDEXBL AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 54.80 FR_INDEXBL 10 docs 48.40 90% 15 docs 44.93 80% 20 docs 41.90 30 docs 36.67 70% 100 docs 21.38 60% 200 docs 13.14 Precision 500 docs 6.45 50% 1000 docs 3.66 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.61 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1667 Second Quartile 0.2592 Third Quartile 0.5682 Interquartile range 0.4015 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3461 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2418 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3461 4 3 Std With No Outliers 0.2418 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXBL 0.8 701-AH 33.33 726-AH 30.16 0.6 702-AH 79.31 727-AH 25.00 0.4 703-AH 36.11 728-AH 35.00 0.2 Difference 704-AH 18.52 729-AH 11.36 0 705-AH 17.86 730-AH 71.11 −0.2 −0.4 706-AH 60.75 731-AH 61.45 −0.6 707-AH 62.07 732-AH 8.00 −0.8 708-AH 2.99 733-AH 29.51 −1 709-AH 34.44 734-AH 56.82 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.33 735-AH 22.55 711-AH 25.00 736-AH 18.87 712-AH 100.00 737-AH 11.11 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXBL 713-AH 25.53 738-AH 62.26 0.8 714-AH 56.00 739-AH 63.64 0.6 715-AH 35.29 740-AH 17.39 0.4 716-AH 52.38 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 58.82 0 718-AH 44.90 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 50.00 −0.6 720-AH 90.57 745-AH 21.54 −0.8 721-AH 10.00 746-AH 8.57 −1 722-AH 17.95 747-AH 16.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.32 748-AH 7.69 724-AH 61.90 749-AH 23.26 725-AH 58.02 750-AH 16.67 494 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE1 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,392 Pooled true Geometric Mean Average Precision 0.0524 (Title+Desc), Google Translate, Field Structure Binary Preference (BPREF) 0.1694 Query, PRF(10,10) Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 47.57 IAUTELGE1 10 34.19 90% 20 27.42 80% 30 21.99 40 17.69 70% 50 16.13 60% 60 13.98 Precision 70 11.07 50% 80 8.86 40% 90 5.81 30% 100 0.97 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.98 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8804 Minimum 0.0001 First Quartile 0.0134 Second Quartile 0.0663 Third Quartile 0.2731 Interquartile range 0.2597 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1698 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2148 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 20 Upper Outlier Threshold 0.6281 15 Mean With No Outliers 0.1434 10 Std With No Outliers 0.1732 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE1 0.8 701-AH 25.73 726-AH 0.72 0.6 702-AH 22.75 727-AH 9.14 0.4 703-AH 28.64 728-AH 9.16 0.2 Difference 704-AH 3.68 729-AH 1.34 0 705-AH 27.31 730-AH 2.81 −0.2 −0.4 706-AH 58.41 731-AH 2.02 −0.6 707-AH 9.58 732-AH 6.63 −0.8 708-AH 35.08 733-AH 7.04 −1 709-AH 40.67 734-AH 48.71 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.17 735-AH 0.83 711-AH 2.90 736-AH 0.17 712-AH 0.80 737-AH 3.39 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE1 713-AH 0.01 738-AH 19.46 0.8 714-AH 1.14 739-AH 52.92 0.6 715-AH 18.93 740-AH 2.42 0.4 716-AH 23.52 741-AH 11.53 0.2 Difference 717-AH 30.44 742-AH 0.36 0 718-AH 6.63 743-AH 2.82 −0.2 −0.4 719-AH 1.06 744-AH 0.34 −0.6 720-AH 88.04 745-AH 12.53 −0.8 721-AH 6.51 746-AH 0.63 −1 722-AH 32.33 747-AH 4.13 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.43 748-AH 5.19 724-AH 62.81 749-AH 72.88 725-AH 41.09 750-AH 0.21 495 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE1 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 29.60 IAUTELGE1 10 docs 25.20 90% 15 docs 23.47 80% 20 docs 22.10 30 docs 20.13 70% 100 docs 13.90 60% 200 docs 9.54 Precision 500 docs 4.91 50% 1000 docs 2.78 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.49 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8302 Minimum 0.0000 First Quartile 0.0189 Second Quartile 0.0894 Third Quartile 0.2778 Interquartile range 0.2589 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1849 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2176 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5607 Mean With No Outliers 0.1384 10 Std With No Outliers 0.1537 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE1 0.8 701-AH 28.57 726-AH 3.17 0.6 702-AH 20.69 727-AH 12.50 0.4 703-AH 16.67 728-AH 5.00 0.2 Difference 704-AH 1.85 729-AH 2.27 0 705-AH 25.00 730-AH 7.78 −0.2 −0.4 706-AH 56.07 731-AH 0.00 −0.6 707-AH 3.45 732-AH 16.00 −0.8 708-AH 43.28 733-AH 4.92 −1 709-AH 38.89 734-AH 54.55 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 6.81 711-AH 0.00 736-AH 1.89 712-AH 0.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE1 713-AH 0.00 738-AH 26.42 0.8 714-AH 8.00 739-AH 68.18 0.6 715-AH 17.65 740-AH 8.70 0.4 716-AH 33.33 741-AH 8.33 0.2 Difference 717-AH 27.78 742-AH 0.00 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 83.02 745-AH 20.00 −0.8 721-AH 0.00 746-AH 5.71 −1 722-AH 38.46 747-AH 9.19 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 0.00 724-AH 66.67 749-AH 69.77 725-AH 38.21 750-AH 0.00 496 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE2 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,380 Pooled false Geometric Mean Average Precision 0.0766 (Title+Desc) , Google Translate, Field Structure Binary Preference (BPREF) 0.1825 Query Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.12 IAUTELGE2 10 39.93 90% 20 29.00 80% 30 23.22 40 18.07 70% 50 15.08 60% 60 12.27 Precision 70 9.70 50% 80 7.35 40% 90 4.12 30% 100 0.82 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 17.71 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8513 Minimum 0.0004 First Quartile 0.0235 Second Quartile 0.1182 Third Quartile 0.2522 Interquartile range 0.2287 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1771 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1921 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0004 15 Upper Outlier Threshold 0.5878 Mean With No Outliers 0.1634 10 Std With No Outliers 0.1674 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE2 0.8 701-AH 31.42 726-AH 0.97 0.6 702-AH 33.81 727-AH 10.08 0.4 703-AH 33.47 728-AH 9.56 0.2 Difference 704-AH 3.84 729-AH 1.26 0 705-AH 22.25 730-AH 2.99 −0.2 −0.4 706-AH 58.78 731-AH 2.35 −0.6 707-AH 20.05 732-AH 16.02 −0.8 708-AH 35.91 733-AH 5.17 −1 709-AH 36.15 734-AH 43.57 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.65 735-AH 6.51 711-AH 2.85 736-AH 0.92 712-AH 1.55 737-AH 3.72 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE2 713-AH 0.04 738-AH 18.17 0.8 714-AH 1.32 739-AH 51.74 0.6 715-AH 25.22 740-AH 13.82 0.4 716-AH 23.62 741-AH 14.67 0.2 Difference 717-AH 21.25 742-AH 17.84 0 718-AH 8.84 743-AH 2.26 −0.2 −0.4 719-AH 14.02 744-AH 0.29 −0.6 720-AH 85.13 745-AH 13.57 −0.8 721-AH 8.33 746-AH 1.98 −1 722-AH 15.45 747-AH 2.06 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.27 748-AH 9.89 724-AH 52.66 749-AH 58.13 725-AH 37.90 750-AH 0.41 497 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE2 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 34.40 IAUTELGE2 10 docs 28.80 90% 15 docs 26.67 80% 20 docs 24.80 30 docs 23.20 70% 100 docs 14.40 60% 200 docs 9.77 Precision 500 docs 4.75 50% 1000 docs 2.76 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.93 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8491 Minimum 0.0000 First Quartile 0.0476 Second Quartile 0.1292 Third Quartile 0.2821 Interquartile range 0.2344 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1993 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1971 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5888 10 Mean With No Outliers 0.1767 Std With No Outliers 0.1641 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE2 0.8 701-AH 33.33 726-AH 4.76 0.6 702-AH 31.03 727-AH 12.50 0.4 703-AH 22.22 728-AH 5.00 0.2 Difference 704-AH 3.70 729-AH 2.27 0 705-AH 23.81 730-AH 7.78 −0.2 −0.4 706-AH 58.88 731-AH 4.82 −0.6 707-AH 17.24 732-AH 12.00 −0.8 708-AH 43.28 733-AH 6.56 −1 709-AH 38.89 734-AH 45.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 12.34 711-AH 0.00 736-AH 3.77 712-AH 0.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE2 713-AH 0.00 738-AH 25.47 0.8 714-AH 8.00 739-AH 63.64 0.6 715-AH 23.53 740-AH 17.39 0.4 716-AH 33.33 741-AH 8.33 0.2 Difference 717-AH 27.78 742-AH 17.65 0 718-AH 26.53 743-AH 0.00 −0.2 −0.4 719-AH 22.22 744-AH 0.00 −0.6 720-AH 84.91 745-AH 18.46 −0.8 721-AH 10.00 746-AH 8.57 −1 722-AH 28.21 747-AH 3.78 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 57.14 749-AH 55.81 725-AH 40.09 750-AH 0.00 498 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE3 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 46,421 Source Language German Relevant 2,527 Topic Fields title Relevant retrieved 1,333 Pooled false Geometric Mean Average Precision 0.0605 (Title), Google Translate, Field Structure Query Binary Preference (BPREF) 0.1670 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 52.78 IAUTELGE3 10 36.34 90% 20 24.01 80% 30 18.49 40 15.43 70% 50 13.78 60% 60 11.31 Precision 70 9.02 50% 80 6.67 40% 90 4.08 30% 100 0.70 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.43 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8537 Minimum 0.0001 First Quartile 0.0198 Second Quartile 0.0956 Third Quartile 0.2213 Interquartile range 0.2015 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1543 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1789 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 15 Upper Outlier Threshold 0.5138 Mean With No Outliers 0.1307 10 Std With No Outliers 0.1355 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE3 0.8 701-AH 19.18 726-AH 0.81 0.6 702-AH 19.14 727-AH 6.79 0.4 703-AH 32.35 728-AH 9.14 0.2 Difference 704-AH 4.15 729-AH 0.12 0 705-AH 22.63 730-AH 2.65 −0.2 −0.4 706-AH 58.91 731-AH 1.80 −0.6 707-AH 9.88 732-AH 13.99 −0.8 708-AH 34.95 733-AH 4.71 −1 709-AH 34.24 734-AH 37.52 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.36 735-AH 5.30 711-AH 2.80 736-AH 0.70 712-AH 1.86 737-AH 3.61 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE3 713-AH 0.01 738-AH 16.83 0.8 714-AH 1.37 739-AH 51.38 0.6 715-AH 23.21 740-AH 4.64 0.4 716-AH 23.68 741-AH 15.29 0.2 Difference 717-AH 9.36 742-AH 17.85 0 718-AH 17.29 743-AH 1.22 −0.2 −0.4 719-AH 9.75 744-AH 0.26 −0.6 720-AH 85.37 745-AH 13.89 −0.8 721-AH 16.48 746-AH 1.19 −1 722-AH 10.71 747-AH 1.98 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.20 748-AH 8.69 724-AH 51.05 749-AH 22.13 725-AH 36.84 750-AH 0.39 499 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE3 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 31.60 IAUTELGE3 10 docs 26.20 90% 15 docs 23.73 80% 20 docs 22.70 30 docs 21.07 70% 100 docs 13.24 60% 200 docs 9.29 Precision 500 docs 4.66 50% 1000 docs 2.67 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.06 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8491 Minimum 0.0000 First Quartile 0.0492 Second Quartile 0.1181 Third Quartile 0.2453 Interquartile range 0.1961 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1806 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1873 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.4328 10 Mean With No Outliers 0.1388 Std With No Outliers 0.1216 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE3 0.8 701-AH 19.05 726-AH 3.17 0.6 702-AH 20.69 727-AH 12.50 0.4 703-AH 22.22 728-AH 10.00 0.2 Difference 704-AH 5.56 729-AH 2.27 0 705-AH 23.81 730-AH 7.78 −0.2 −0.4 706-AH 58.88 731-AH 6.02 −0.6 707-AH 6.90 732-AH 28.00 −0.8 708-AH 43.28 733-AH 4.92 −1 709-AH 37.78 734-AH 43.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 8.94 711-AH 0.00 736-AH 3.77 712-AH 0.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE3 713-AH 0.00 738-AH 24.53 0.8 714-AH 10.00 739-AH 63.64 0.6 715-AH 17.65 740-AH 17.39 0.4 716-AH 28.57 741-AH 8.33 0.2 Difference 717-AH 11.11 742-AH 17.65 0 718-AH 26.53 743-AH 0.00 −0.2 −0.4 719-AH 22.22 744-AH 0.00 −0.6 720-AH 84.91 745-AH 18.46 −0.8 721-AH 10.00 746-AH 5.71 −1 722-AH 15.38 747-AH 2.16 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 57.14 749-AH 27.91 725-AH 39.15 750-AH 0.00 500 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE4 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,487 Pooled false Geometric Mean Average Precision 0.1104 (Title+Desc) , Google Translate, Simple Structure Binary Preference (BPREF) 0.2225 Query Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.25 IAUTELGE4 10 48.07 90% 20 34.61 80% 30 29.75 40 24.58 70% 50 19.34 60% 60 16.03 Precision 70 12.99 50% 80 8.08 40% 90 4.66 30% 100 1.01 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.62 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8990 Minimum 0.0006 First Quartile 0.0374 Second Quartile 0.1719 Third Quartile 0.3388 Interquartile range 0.3014 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2162 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2063 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0006 Upper Outlier Threshold 0.7000 10 Mean With No Outliers 0.2023 Std With No Outliers 0.1831 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE4 0.8 701-AH 28.80 726-AH 7.42 0.6 702-AH 43.60 727-AH 9.98 0.4 703-AH 21.44 728-AH 9.07 0.2 Difference 704-AH 2.00 729-AH 1.32 0 705-AH 22.23 730-AH 2.99 −0.2 −0.4 706-AH 57.69 731-AH 10.26 −0.6 707-AH 35.79 732-AH 15.05 −0.8 708-AH 36.20 733-AH 6.09 −1 709-AH 33.21 734-AH 43.92 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.38 735-AH 5.90 711-AH 3.74 736-AH 1.89 712-AH 70.00 737-AH 3.64 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE4 713-AH 0.06 738-AH 21.52 0.8 714-AH 5.31 739-AH 51.60 0.6 715-AH 24.10 740-AH 21.82 0.4 716-AH 41.67 741-AH 16.56 0.2 Difference 717-AH 18.19 742-AH 17.83 0 718-AH 33.63 743-AH 2.27 −0.2 −0.4 719-AH 30.11 744-AH 52.73 −0.6 720-AH 89.90 745-AH 21.89 −0.8 721-AH 6.96 746-AH 2.79 −1 722-AH 8.47 747-AH 2.92 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.51 748-AH 6.31 724-AH 52.91 749-AH 33.88 725-AH 40.02 750-AH 0.40 501 qazviniau 10.2415/AH-TEL-BILI-X2EN-CLEF2009.QAZVINIAU.IAUTELGE4 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 43.20 IAUTELGE4 10 docs 36.40 90% 15 docs 31.20 80% 20 docs 29.00 30 docs 25.87 70% 100 docs 15.28 60% 200 docs 10.63 Precision 500 docs 5.26 50% 1000 docs 2.97 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.97 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8491 Minimum 0.0000 First Quartile 0.0656 Second Quartile 0.1559 Third Quartile 0.4082 Interquartile range 0.3426 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2397 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2138 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8491 6 Mean With No Outliers 0.2397 4 Std With No Outliers 0.2138 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries IAUTELGE4 0.8 701-AH 33.33 726-AH 14.29 0.6 702-AH 44.83 727-AH 12.50 0.4 703-AH 13.89 728-AH 5.00 0.2 Difference 704-AH 3.70 729-AH 0.00 0 705-AH 25.00 730-AH 7.78 −0.2 −0.4 706-AH 58.88 731-AH 12.05 −0.6 707-AH 51.72 732-AH 12.00 −0.8 708-AH 43.28 733-AH 6.56 −1 709-AH 38.89 734-AH 45.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.22 735-AH 11.06 711-AH 6.25 736-AH 5.66 712-AH 70.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) IAUTELGE4 713-AH 0.00 738-AH 27.36 0.8 714-AH 8.00 739-AH 65.91 0.6 715-AH 29.41 740-AH 21.74 0.4 716-AH 42.86 741-AH 8.33 0.2 Difference 717-AH 22.22 742-AH 17.65 0 718-AH 40.82 743-AH 0.00 −0.2 −0.4 719-AH 33.33 744-AH 50.00 −0.6 720-AH 84.91 745-AH 23.08 −0.8 721-AH 0.00 746-AH 5.71 −1 722-AH 15.38 747-AH 8.11 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 0.00 724-AH 57.14 749-AH 39.53 725-AH 43.40 750-AH 0.00 502 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDDEENRUN2 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,976 Pooled false Geometric Mean Average Precision 0.2171 LM-abs-GRR Binary Preference (BPREF) 0.3596 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.50 TCDDEENRUN2 10 61.59 90% 20 50.73 80% 30 44.02 40 41.27 70% 50 35.46 60% 60 29.57 Precision 70 24.52 50% 80 19.98 40% 90 13.61 30% 100 4.20 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 35.00 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0060 First Quartile 0.0928 Second Quartile 0.2716 Third Quartile 0.5764 Interquartile range 0.4836 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3500 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2839 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0060 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3500 4 Std With No Outliers 0.2839 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEENRUN2 0.8 701-AH 29.12 726-AH 7.63 0.6 702-AH 86.07 727-AH 9.28 0.4 703-AH 61.09 728-AH 7.74 0.2 Difference 704-AH 9.89 729-AH 0.60 0 705-AH 23.75 730-AH 4.40 −0.2 −0.4 706-AH 56.46 731-AH 28.34 −0.6 707-AH 61.47 732-AH 2.04 −0.8 708-AH 64.76 733-AH 57.64 −1 709-AH 44.86 734-AH 74.51 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.08 735-AH 17.79 711-AH 27.48 736-AH 1.68 712-AH 100.00 737-AH 5.74 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDEENRUN2 713-AH 18.36 738-AH 45.06 0.8 714-AH 26.83 739-AH 78.99 0.6 715-AH 49.00 740-AH 6.72 0.4 716-AH 29.89 741-AH 41.55 0.2 Difference 717-AH 26.46 742-AH 11.46 0 718-AH 45.86 743-AH 2.62 −0.2 −0.4 719-AH 19.96 744-AH 71.59 −0.6 720-AH 94.76 745-AH 35.13 −0.8 721-AH 31.90 746-AH 15.84 −1 722-AH 19.03 747-AH 25.78 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 9.26 748-AH 7.16 724-AH 80.65 749-AH 85.28 725-AH 66.14 750-AH 9.24 503 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDDEENRUN2 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.60 TCDDEENRUN2 10 docs 50.40 90% 15 docs 44.93 80% 20 docs 41.80 30 docs 36.67 70% 100 docs 22.86 60% 200 docs 14.19 Precision 500 docs 7.18 50% 1000 docs 3.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 37.37 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1746 Second Quartile 0.2951 Third Quartile 0.6230 Interquartile range 0.4483 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3737 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2674 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3737 4 3 Std With No Outliers 0.2674 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEENRUN2 0.8 701-AH 23.81 726-AH 17.46 0.6 702-AH 86.21 727-AH 12.50 0.4 703-AH 50.00 728-AH 15.00 0.2 Difference 704-AH 11.11 729-AH 0.00 0 705-AH 21.43 730-AH 10.00 −0.2 −0.4 706-AH 62.62 731-AH 34.94 −0.6 707-AH 55.17 732-AH 4.00 −0.8 708-AH 68.66 733-AH 62.30 −1 709-AH 48.89 734-AH 77.27 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 26.67 735-AH 25.96 711-AH 43.75 736-AH 5.66 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDEENRUN2 713-AH 27.66 738-AH 63.21 0.8 714-AH 34.00 739-AH 79.55 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 23.81 741-AH 50.00 0.2 Difference 717-AH 22.22 742-AH 17.65 0 718-AH 55.10 743-AH 0.00 −0.2 −0.4 719-AH 22.22 744-AH 63.64 −0.6 720-AH 94.34 745-AH 32.31 −0.8 721-AH 40.00 746-AH 22.86 −1 722-AH 17.95 747-AH 31.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 66.67 749-AH 76.74 725-AH 64.15 750-AH 20.00 504 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDDEENRUN3 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,976 Pooled false Geometric Mean Average Precision 0.2175 LM-abs-GRRS Binary Preference (BPREF) 0.3602 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 75.18 TCDDEENRUN3 10 60.99 90% 20 51.01 80% 30 44.29 40 41.05 70% 50 35.42 60% 60 29.52 Precision 70 24.73 50% 80 20.20 40% 90 13.94 30% 100 4.37 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 35.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0059 First Quartile 0.0977 Second Quartile 0.2730 Third Quartile 0.5972 Interquartile range 0.4995 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3505 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2840 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0059 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3505 4 3 Std With No Outliers 0.2840 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEENRUN3 0.8 701-AH 29.56 726-AH 7.51 0.6 702-AH 85.94 727-AH 9.37 0.4 703-AH 60.83 728-AH 7.64 0.2 Difference 704-AH 10.58 729-AH 0.59 0 705-AH 23.61 730-AH 4.48 −0.2 −0.4 706-AH 57.03 731-AH 28.38 −0.6 707-AH 60.12 732-AH 2.07 −0.8 708-AH 64.54 733-AH 59.72 −1 709-AH 44.53 734-AH 75.72 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.07 735-AH 17.19 711-AH 27.99 736-AH 1.66 712-AH 100.00 737-AH 5.73 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDEENRUN3 713-AH 18.83 738-AH 45.19 0.8 714-AH 26.17 739-AH 78.49 0.6 715-AH 49.16 740-AH 6.35 0.4 716-AH 28.90 741-AH 40.66 0.2 Difference 717-AH 26.61 742-AH 11.47 0 718-AH 46.51 743-AH 2.59 −0.2 −0.4 719-AH 21.61 744-AH 71.14 −0.6 720-AH 94.80 745-AH 34.10 −0.8 721-AH 33.51 746-AH 15.99 −1 722-AH 18.82 747-AH 25.02 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 9.77 748-AH 6.92 724-AH 80.58 749-AH 85.28 725-AH 66.68 750-AH 9.38 505 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDDEENRUN3 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 58.80 TCDDEENRUN3 10 docs 50.40 90% 15 docs 45.33 80% 20 docs 41.20 30 docs 36.20 70% 100 docs 22.72 60% 200 docs 14.15 Precision 500 docs 7.22 50% 1000 docs 3.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.95 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1746 Second Quartile 0.2949 Third Quartile 0.5909 Interquartile range 0.4163 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3695 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2630 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3695 4 3 Std With No Outliers 0.2630 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEENRUN3 0.8 701-AH 23.81 726-AH 17.46 0.6 702-AH 86.21 727-AH 12.50 0.4 703-AH 50.00 728-AH 15.00 0.2 Difference 704-AH 14.81 729-AH 0.00 0 705-AH 22.62 730-AH 10.00 −0.2 −0.4 706-AH 62.62 731-AH 33.73 −0.6 707-AH 51.72 732-AH 4.00 −0.8 708-AH 67.16 733-AH 62.30 −1 709-AH 48.89 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 24.44 735-AH 23.40 711-AH 43.75 736-AH 3.77 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDEENRUN3 713-AH 29.79 738-AH 63.21 0.8 714-AH 30.00 739-AH 75.00 0.6 715-AH 47.06 740-AH 13.04 0.4 716-AH 28.57 741-AH 50.00 0.2 Difference 717-AH 22.22 742-AH 17.65 0 718-AH 55.10 743-AH 0.00 −0.2 −0.4 719-AH 22.22 744-AH 59.09 −0.6 720-AH 92.45 745-AH 30.77 −0.8 721-AH 40.00 746-AH 22.86 −1 722-AH 17.95 747-AH 29.19 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 66.67 749-AH 76.74 725-AH 65.09 750-AH 20.00 506 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDFRENRUN2 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,859 Pooled true Geometric Mean Average Precision 0.1870 LM-abs-GRR Binary Preference (BPREF) 0.3527 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 77.01 TCDFRENRUN2 10 63.00 90% 20 50.63 80% 30 43.57 40 40.36 70% 50 35.56 60% 60 29.59 Precision 70 23.51 50% 80 18.70 40% 90 11.33 30% 100 4.17 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 34.88 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0003 First Quartile 0.1074 Second Quartile 0.2623 Third Quartile 0.5705 Interquartile range 0.4631 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3488 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2821 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0003 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3488 4 3 Std With No Outliers 0.2821 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRENRUN2 0.8 701-AH 37.54 726-AH 30.43 0.6 702-AH 86.07 727-AH 14.94 0.4 703-AH 48.64 728-AH 10.74 0.2 Difference 704-AH 9.89 729-AH 2.45 0 705-AH 22.01 730-AH 80.46 −0.2 −0.4 706-AH 57.05 731-AH 66.43 −0.6 707-AH 58.60 732-AH 0.26 −0.8 708-AH 0.47 733-AH 33.12 −1 709-AH 49.55 734-AH 63.44 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.79 735-AH 5.56 711-AH 13.79 736-AH 27.43 712-AH 100.00 737-AH 5.83 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRENRUN2 713-AH 42.57 738-AH 45.06 0.8 714-AH 56.59 739-AH 83.72 0.6 715-AH 44.17 740-AH 16.14 0.4 716-AH 12.63 741-AH 0.03 0.2 Difference 717-AH 9.70 742-AH 58.48 0 718-AH 46.51 743-AH 19.21 −0.2 −0.4 719-AH 1.39 744-AH 65.92 −0.6 720-AH 94.58 745-AH 15.42 −0.8 721-AH 25.03 746-AH 23.63 −1 722-AH 19.87 747-AH 6.01 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.86 748-AH 10.64 724-AH 80.62 749-AH 51.18 725-AH 58.26 750-AH 13.17 507 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDFRENRUN2 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.20 TCDFRENRUN2 10 docs 52.20 90% 15 docs 45.07 80% 20 docs 41.40 30 docs 37.53 70% 100 docs 22.44 60% 200 docs 13.63 Precision 500 docs 6.74 50% 1000 docs 3.72 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.90 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1459 Second Quartile 0.2857 Third Quartile 0.6000 Interquartile range 0.4541 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3690 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2683 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3690 4 3 Std With No Outliers 0.2683 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRENRUN2 0.8 701-AH 28.57 726-AH 39.68 0.6 702-AH 86.21 727-AH 25.00 0.4 703-AH 41.67 728-AH 15.00 0.2 Difference 704-AH 11.11 729-AH 9.09 0 705-AH 19.05 730-AH 80.00 −0.2 −0.4 706-AH 62.62 731-AH 61.45 −0.6 707-AH 65.52 732-AH 0.00 −0.8 708-AH 2.99 733-AH 42.62 −1 709-AH 54.44 734-AH 63.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 15.56 735-AH 14.89 711-AH 12.50 736-AH 33.96 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRENRUN2 713-AH 44.68 738-AH 63.21 0.8 714-AH 60.00 739-AH 77.27 0.6 715-AH 47.06 740-AH 17.39 0.4 716-AH 9.52 741-AH 0.00 0.2 Difference 717-AH 11.11 742-AH 52.94 0 718-AH 53.06 743-AH 25.00 −0.2 −0.4 719-AH 11.11 744-AH 63.64 −0.6 720-AH 92.45 745-AH 12.31 −0.8 721-AH 20.00 746-AH 28.57 −1 722-AH 17.95 747-AH 14.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 7.69 724-AH 71.43 749-AH 55.81 725-AH 56.13 750-AH 16.67 508 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDFRENRUN3 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,859 Pooled false Geometric Mean Average Precision 0.1884 LM-abs-GRRS Binary Preference (BPREF) 0.3535 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 77.01 TCDFRENRUN3 10 63.17 90% 20 51.31 80% 30 43.81 40 40.22 70% 50 35.61 60% 60 29.28 Precision 70 24.11 50% 80 19.06 40% 90 11.54 30% 100 4.21 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 35.00 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0004 First Quartile 0.1110 Second Quartile 0.2658 Third Quartile 0.5748 Interquartile range 0.4638 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3500 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2831 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0004 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3500 4 3 Std With No Outliers 0.2831 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRENRUN3 0.8 701-AH 37.58 726-AH 29.84 0.6 702-AH 85.94 727-AH 14.45 0.4 703-AH 48.50 728-AH 10.87 0.2 Difference 704-AH 11.10 729-AH 2.28 0 705-AH 22.45 730-AH 80.21 −0.2 −0.4 706-AH 57.48 731-AH 69.51 −0.6 707-AH 59.58 732-AH 0.31 −0.8 708-AH 0.49 733-AH 31.69 −1 709-AH 49.74 734-AH 63.60 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.65 735-AH 5.46 711-AH 13.59 736-AH 28.23 712-AH 100.00 737-AH 5.98 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRENRUN3 713-AH 39.80 738-AH 45.43 0.8 714-AH 56.06 739-AH 83.41 0.6 715-AH 45.12 740-AH 16.64 0.4 716-AH 12.59 741-AH 0.04 0.2 Difference 717-AH 9.44 742-AH 58.44 0 718-AH 46.52 743-AH 19.18 −0.2 −0.4 719-AH 1.39 744-AH 66.03 −0.6 720-AH 94.81 745-AH 15.30 −0.8 721-AH 24.94 746-AH 23.99 −1 722-AH 20.27 747-AH 6.19 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.84 748-AH 10.86 724-AH 81.77 749-AH 51.42 725-AH 59.05 750-AH 12.73 509 trinity 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY.TCDFRENRUN3 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 57.60 TCDFRENRUN3 10 docs 51.40 90% 15 docs 45.07 80% 20 docs 40.90 30 docs 37.60 70% 100 docs 22.50 60% 200 docs 13.69 Precision 500 docs 6.79 50% 1000 docs 3.72 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 36.90 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1362 Second Quartile 0.2857 Third Quartile 0.5909 Interquartile range 0.4547 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3690 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2671 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3690 4 3 Std With No Outliers 0.2671 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRENRUN3 0.8 701-AH 28.57 726-AH 39.68 0.6 702-AH 86.21 727-AH 25.00 0.4 703-AH 38.89 728-AH 15.00 0.2 Difference 704-AH 12.96 729-AH 9.09 0 705-AH 20.24 730-AH 80.00 −0.2 −0.4 706-AH 61.68 731-AH 60.24 −0.6 707-AH 65.52 732-AH 0.00 −0.8 708-AH 2.99 733-AH 39.34 −1 709-AH 54.44 734-AH 63.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 13.33 735-AH 13.62 711-AH 12.50 736-AH 35.85 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRENRUN3 713-AH 48.94 738-AH 63.21 0.8 714-AH 60.00 739-AH 77.27 0.6 715-AH 47.06 740-AH 17.39 0.4 716-AH 9.52 741-AH 0.00 0.2 Difference 717-AH 11.11 742-AH 52.94 0 718-AH 53.06 743-AH 25.00 −0.2 −0.4 719-AH 11.11 744-AH 59.09 −0.6 720-AH 94.34 745-AH 13.85 −0.8 721-AH 20.00 746-AH 28.57 −1 722-AH 17.95 747-AH 15.68 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 7.69 724-AH 71.43 749-AH 53.49 725-AH 57.55 750-AH 20.00 510 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCUDEEN1 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,966 Pooled false Geometric Mean Average Precision 0.1981 Bilingual DEEN 1 Binary Preference (BPREF) 0.3392 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 73.23 TCDDCUDEEN1 10 57.14 90% 20 49.53 80% 30 43.14 40 37.14 70% 50 34.13 60% 60 29.11 Precision 70 23.80 50% 80 19.53 40% 90 13.24 30% 100 5.02 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 33.33 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0063 First Quartile 0.0826 Second Quartile 0.2630 Third Quartile 0.5264 Interquartile range 0.4437 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3333 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2778 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0063 Upper Outlier Threshold 1.0000 10 Mean With No Outliers 0.3333 Std With No Outliers 0.2778 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDEEN1 0.8 701-AH 19.05 726-AH 31.06 0.6 702-AH 85.95 727-AH 8.00 0.4 703-AH 59.38 728-AH 10.65 0.2 Difference 704-AH 6.23 729-AH 0.63 0 705-AH 25.09 730-AH 6.55 −0.2 −0.4 706-AH 52.64 731-AH 26.39 −0.6 707-AH 61.36 732-AH 1.52 −0.8 708-AH 50.53 733-AH 63.57 −1 709-AH 43.26 734-AH 68.32 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.49 735-AH 9.11 711-AH 20.35 736-AH 3.84 712-AH 100.00 737-AH 3.00 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDEEN1 713-AH 8.45 738-AH 42.87 0.8 714-AH 26.21 739-AH 78.68 0.6 715-AH 32.93 740-AH 2.05 0.4 716-AH 29.87 741-AH 43.20 0.2 Difference 717-AH 26.01 742-AH 20.88 0 718-AH 46.39 743-AH 2.83 −0.2 −0.4 719-AH 43.62 744-AH 66.96 −0.6 720-AH 94.73 745-AH 29.38 −0.8 721-AH 31.32 746-AH 9.53 −1 722-AH 6.13 747-AH 25.80 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 9.39 748-AH 8.26 724-AH 67.36 749-AH 78.65 725-AH 66.89 750-AH 5.91 511 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCUDEEN1 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.60 TCDDCUDEEN1 10 docs 44.20 90% 15 docs 40.27 80% 20 docs 38.00 30 docs 34.93 70% 100 docs 22.14 60% 200 docs 13.93 Precision 500 docs 7.01 50% 1000 docs 3.93 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 34.86 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1277 Second Quartile 0.3063 Third Quartile 0.5522 Interquartile range 0.4246 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3486 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2658 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3486 4 3 Std With No Outliers 0.2658 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDEEN1 0.8 701-AH 23.81 726-AH 39.68 0.6 702-AH 86.21 727-AH 0.00 0.4 703-AH 41.67 728-AH 10.00 0.2 Difference 704-AH 11.11 729-AH 0.00 0 705-AH 22.62 730-AH 14.44 −0.2 −0.4 706-AH 58.88 731-AH 31.33 −0.6 707-AH 51.72 732-AH 0.00 −0.8 708-AH 55.22 733-AH 62.30 −1 709-AH 48.89 734-AH 68.18 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.78 735-AH 22.13 711-AH 31.25 736-AH 9.43 712-AH 100.00 737-AH 2.22 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDEEN1 713-AH 12.77 738-AH 58.49 0.8 714-AH 30.00 739-AH 75.00 0.6 715-AH 35.29 740-AH 4.35 0.4 716-AH 28.57 741-AH 58.33 0.2 Difference 717-AH 22.22 742-AH 23.53 0 718-AH 59.18 743-AH 0.00 −0.2 −0.4 719-AH 33.33 744-AH 54.55 −0.6 720-AH 92.45 745-AH 27.69 −0.8 721-AH 40.00 746-AH 17.14 −1 722-AH 2.56 747-AH 36.22 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 0.00 724-AH 52.38 749-AH 76.74 725-AH 66.04 750-AH 16.67 512 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCUDEEN3 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,895 Pooled false Geometric Mean Average Precision 0.1351 Bilingual DEEN 3 Binary Preference (BPREF) 0.3181 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.53 TCDDCUDEEN3 10 48.17 90% 20 42.43 80% 30 38.77 40 35.04 70% 50 31.63 60% 60 26.06 Precision 70 21.41 50% 80 17.39 40% 90 12.46 30% 100 4.78 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 29.47 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0014 First Quartile 0.0649 Second Quartile 0.1841 Third Quartile 0.4960 Interquartile range 0.4312 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2947 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2868 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0014 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.2947 4 Std With No Outliers 0.2868 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDEEN3 0.8 701-AH 18.31 726-AH 7.64 0.6 702-AH 88.45 727-AH 7.25 0.4 703-AH 54.16 728-AH 10.65 0.2 Difference 704-AH 3.55 729-AH 0.63 0 705-AH 26.79 730-AH 5.23 −0.2 −0.4 706-AH 54.38 731-AH 33.84 −0.6 707-AH 62.37 732-AH 0.63 −0.8 708-AH 50.53 733-AH 45.82 −1 709-AH 42.10 734-AH 74.04 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.77 735-AH 7.69 711-AH 18.51 736-AH 0.14 712-AH 100.00 737-AH 4.27 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDEEN3 713-AH 1.92 738-AH 44.30 0.8 714-AH 49.60 739-AH 78.68 0.6 715-AH 7.20 740-AH 0.58 0.4 716-AH 29.83 741-AH 43.20 0.2 Difference 717-AH 22.08 742-AH 6.49 0 718-AH 45.10 743-AH 2.83 −0.2 −0.4 719-AH 10.24 744-AH 68.00 −0.6 720-AH 95.04 745-AH 14.20 −0.8 721-AH 37.11 746-AH 8.06 −1 722-AH 8.54 747-AH 18.66 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 14.28 748-AH 7.72 724-AH 5.18 749-AH 78.65 725-AH 54.80 750-AH 0.34 513 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCUDEEN3 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 43.20 TCDDCUDEEN3 10 docs 39.00 90% 15 docs 36.67 80% 20 docs 34.50 30 docs 31.47 70% 100 docs 19.90 60% 200 docs 12.64 Precision 500 docs 6.74 50% 1000 docs 3.79 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 30.75 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0741 Second Quartile 0.2138 Third Quartile 0.5522 Interquartile range 0.4782 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3075 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2818 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 1.0000 6 Mean With No Outliers 0.3075 4 Std With No Outliers 0.2818 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCUDEEN3 0.8 701-AH 14.29 726-AH 14.29 0.6 702-AH 86.21 727-AH 0.00 0.4 703-AH 44.44 728-AH 10.00 0.2 Difference 704-AH 7.41 729-AH 0.00 0 705-AH 30.95 730-AH 8.89 −0.2 −0.4 706-AH 59.81 731-AH 36.14 −0.6 707-AH 51.72 732-AH 0.00 −0.8 708-AH 55.22 733-AH 45.90 −1 709-AH 48.89 734-AH 70.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 6.67 735-AH 21.70 711-AH 25.00 736-AH 0.00 712-AH 100.00 737-AH 6.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCUDEEN3 713-AH 2.13 738-AH 59.43 0.8 714-AH 58.00 739-AH 75.00 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 28.57 741-AH 58.33 0.2 Difference 717-AH 16.67 742-AH 17.65 0 718-AH 57.14 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 54.55 −0.6 720-AH 92.45 745-AH 15.38 −0.8 721-AH 30.00 746-AH 11.43 −1 722-AH 10.26 747-AH 23.24 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 21.05 748-AH 0.00 724-AH 4.76 749-AH 76.74 725-AH 57.08 750-AH 0.00 514 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCU_FREN1F AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,827 Pooled true Geometric Mean Average Precision 0.1761 French to English 1 Binary Preference (BPREF) 0.3415 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 72.22 TCDDCU_FREN1F 10 57.85 90% 20 46.33 80% 30 43.23 40 39.95 70% 50 36.71 60% 60 30.73 Precision 70 24.51 50% 80 16.64 40% 90 9.07 30% 100 4.63 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 33.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0011 First Quartile 0.0769 Second Quartile 0.2191 Third Quartile 0.5625 Interquartile range 0.4856 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.3323 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2927 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0011 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3323 4 3 Std With No Outliers 0.2927 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FREN1F 0.8 701-AH 20.50 726-AH 30.27 0.6 702-AH 84.16 727-AH 23.33 0.4 703-AH 49.27 728-AH 17.30 0.2 Difference 704-AH 63.73 729-AH 6.99 0 705-AH 34.22 730-AH 76.54 −0.2 −0.4 706-AH 57.10 731-AH 79.34 −0.6 707-AH 61.45 732-AH 1.05 −0.8 708-AH 0.99 733-AH 33.54 −1 709-AH 43.18 734-AH 56.25 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 7.24 735-AH 7.69 711-AH 16.25 736-AH 2.61 712-AH 100.00 737-AH 5.84 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FREN1F 713-AH 38.23 738-AH 52.88 0.8 714-AH 40.80 739-AH 81.72 0.6 715-AH 10.18 740-AH 2.99 0.4 716-AH 71.47 741-AH 0.11 0.2 Difference 717-AH 4.91 742-AH 26.92 0 718-AH 40.71 743-AH 5.06 −0.2 −0.4 719-AH 1.97 744-AH 54.54 −0.6 720-AH 96.72 745-AH 14.49 −0.8 721-AH 17.44 746-AH 3.06 −1 722-AH 8.11 747-AH 16.61 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 18.17 748-AH 7.87 724-AH 78.87 749-AH 16.17 725-AH 63.67 750-AH 8.95 515 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCU_FREN1F AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 51.20 TCDDCU_FREN1F 10 docs 48.20 90% 15 docs 44.53 80% 20 docs 42.40 30 docs 37.60 70% 100 docs 22.04 60% 200 docs 14.11 Precision 500 docs 6.62 50% 1000 docs 3.65 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 35.67 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.1026 Second Quartile 0.2628 Third Quartile 0.6168 Interquartile range 0.5143 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.3567 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2791 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 1.0000 5 Mean With No Outliers 0.3567 4 3 Std With No Outliers 0.2791 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FREN1F 0.8 701-AH 19.05 726-AH 41.27 0.6 702-AH 82.76 727-AH 25.00 0.4 703-AH 47.22 728-AH 30.00 0.2 Difference 704-AH 70.37 729-AH 6.82 0 705-AH 22.62 730-AH 71.11 −0.2 −0.4 706-AH 61.68 731-AH 78.31 −0.6 707-AH 62.07 732-AH 0.00 −0.8 708-AH 8.96 733-AH 37.70 −1 709-AH 50.00 734-AH 65.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.78 735-AH 16.60 711-AH 18.75 736-AH 5.66 712-AH 100.00 737-AH 6.67 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FREN1F 713-AH 44.68 738-AH 59.43 0.8 714-AH 44.00 739-AH 77.27 0.6 715-AH 17.65 740-AH 4.35 0.4 716-AH 71.43 741-AH 0.00 0.2 Difference 717-AH 11.11 742-AH 41.18 0 718-AH 55.10 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 45.45 −0.6 720-AH 92.45 745-AH 7.69 −0.8 721-AH 10.00 746-AH 8.57 −1 722-AH 10.26 747-AH 27.57 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 7.69 724-AH 71.43 749-AH 18.60 725-AH 61.79 750-AH 10.00 516 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCU_FREN2 AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,523 Pooled false Geometric Mean Average Precision 0.0533 French to English 2 Binary Preference (BPREF) 0.2447 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 57.24 TCDDCU_FREN2 10 45.03 90% 20 30.75 80% 30 27.68 40 24.22 70% 50 19.76 60% 60 14.31 Precision 70 9.61 50% 80 7.15 40% 90 4.74 30% 100 3.45 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 20.72 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0196 Second Quartile 0.1055 Third Quartile 0.3559 Interquartile range 0.3363 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2072 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2431 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.7506 Mean With No Outliers 0.1910 10 Std With No Outliers 0.2167 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FREN2 0.8 701-AH 17.24 726-AH 14.04 0.6 702-AH 47.16 727-AH 7.99 0.4 703-AH 14.50 728-AH 0.30 0.2 Difference 704-AH 46.42 729-AH 0.41 0 705-AH 5.49 730-AH 56.64 −0.2 −0.4 706-AH 55.90 731-AH 49.52 −0.6 707-AH 63.08 732-AH 1.09 −0.8 708-AH 0.47 733-AH 0.82 −1 709-AH 30.66 734-AH 35.59 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.33 735-AH 17.91 711-AH 5.49 736-AH 20.50 712-AH 100.00 737-AH 5.91 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FREN2 713-AH 14.30 738-AH 48.75 0.8 714-AH 4.37 739-AH 62.30 0.6 715-AH 19.09 740-AH 2.61 0.4 716-AH 57.76 741-AH 0.00 0.2 Difference 717-AH 15.62 742-AH 1.12 0 718-AH 1.96 743-AH 12.50 −0.2 −0.4 719-AH 5.65 744-AH 0.62 −0.6 720-AH 22.28 745-AH 0.97 −0.8 721-AH 0.00 746-AH 7.13 −1 722-AH 1.90 747-AH 5.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 8.59 748-AH 0.00 724-AH 75.06 749-AH 14.36 725-AH 48.00 750-AH 3.99 517 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCU_FREN2 AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 42.00 TCDDCU_FREN2 10 docs 38.00 90% 15 docs 33.47 80% 20 docs 30.20 30 docs 26.07 70% 100 docs 15.80 60% 200 docs 10.15 Precision 500 docs 5.22 50% 1000 docs 3.05 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.31 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0870 Second Quartile 0.1447 Third Quartile 0.3778 Interquartile range 0.2908 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2331 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2255 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6190 10 Mean With No Outliers 0.2175 Std With No Outliers 0.1985 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FREN2 0.8 701-AH 19.05 726-AH 28.57 0.6 702-AH 48.28 727-AH 12.50 0.4 703-AH 13.89 728-AH 5.00 0.2 Difference 704-AH 48.15 729-AH 0.00 0 705-AH 16.67 730-AH 55.56 −0.2 −0.4 706-AH 58.88 731-AH 55.42 −0.6 707-AH 51.72 732-AH 0.00 −0.8 708-AH 2.99 733-AH 4.92 −1 709-AH 37.78 734-AH 34.09 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 11.11 735-AH 28.51 711-AH 12.50 736-AH 22.64 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FREN2 713-AH 14.89 738-AH 59.43 0.8 714-AH 12.00 739-AH 59.09 0.6 715-AH 17.65 740-AH 8.70 0.4 716-AH 52.38 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 0.00 0 718-AH 2.04 743-AH 12.50 −0.2 −0.4 719-AH 11.11 744-AH 4.55 −0.6 720-AH 18.87 745-AH 3.08 −0.8 721-AH 0.00 746-AH 20.00 −1 722-AH 10.26 747-AH 14.05 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 0.00 724-AH 61.90 749-AH 13.95 725-AH 49.53 750-AH 10.00 518 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCU_FREN2F AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,681 Pooled false Geometric Mean Average Precision 0.0497 French to English 2 Binary Preference (BPREF) 0.2761 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 59.21 TCDDCU_FREN2F 10 47.80 90% 20 35.27 80% 30 33.03 40 30.74 70% 50 28.14 60% 60 22.54 Precision 70 18.53 50% 80 11.20 40% 90 5.96 30% 100 4.08 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.51 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0137 Second Quartile 0.1408 Third Quartile 0.5341 Interquartile range 0.5204 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2551 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2810 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 1.0000 Mean With No Outliers 0.2551 10 Std With No Outliers 0.2810 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FREN2F 0.8 701-AH 20.52 726-AH 16.38 0.6 702-AH 64.89 727-AH 13.53 0.4 703-AH 17.18 728-AH 0.01 0.2 Difference 704-AH 64.72 729-AH 0.48 0 705-AH 19.15 730-AH 77.20 −0.2 −0.4 706-AH 56.99 731-AH 53.41 −0.6 707-AH 65.21 732-AH 1.05 −0.8 708-AH 0.98 733-AH 1.45 −1 709-AH 43.12 734-AH 56.25 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.77 735-AH 14.63 711-AH 11.83 736-AH 29.90 712-AH 100.00 737-AH 6.54 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FREN2F 713-AH 11.46 738-AH 52.88 0.8 714-AH 12.70 739-AH 81.72 0.6 715-AH 10.09 740-AH 1.76 0.4 716-AH 61.97 741-AH 0.00 0.2 Difference 717-AH 17.97 742-AH 0.00 0 718-AH 1.37 743-AH 1.25 −0.2 −0.4 719-AH 5.75 744-AH 0.52 −0.6 720-AH 54.08 745-AH 0.80 −0.8 721-AH 0.00 746-AH 10.98 −1 722-AH 0.30 747-AH 23.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 18.17 748-AH 0.00 724-AH 78.87 749-AH 16.17 725-AH 63.67 750-AH 8.95 519 trinity-dcu 10.2415/AH-TEL-BILI-X2EN-CLEF2009.TRINITY-DCU.TCDDCU_FREN2F AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 42.40 TCDDCU_FREN2F 10 docs 39.20 90% 15 docs 36.00 80% 20 docs 33.90 30 docs 29.80 70% 100 docs 18.74 60% 200 docs 12.09 Precision 500 docs 5.96 50% 1000 docs 3.36 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.90 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 1.0000 Minimum 0.0000 First Quartile 0.0308 Second Quartile 0.1623 Third Quartile 0.5238 Interquartile range 0.4930 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2690 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2742 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 1.0000 10 Mean With No Outliers 0.2690 Std With No Outliers 0.2742 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDCU_FREN2F 0.8 701-AH 19.05 726-AH 31.75 0.6 702-AH 72.41 727-AH 12.50 0.4 703-AH 11.11 728-AH 0.00 0.2 Difference 704-AH 64.81 729-AH 0.00 0 705-AH 22.62 730-AH 72.22 −0.2 −0.4 706-AH 61.68 731-AH 51.81 −0.6 707-AH 55.17 732-AH 0.00 −0.8 708-AH 5.97 733-AH 4.92 −1 709-AH 50.00 734-AH 65.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 8.89 735-AH 29.36 711-AH 12.50 736-AH 28.30 712-AH 100.00 737-AH 8.89 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDCU_FREN2F 713-AH 10.64 738-AH 59.43 0.8 714-AH 12.00 739-AH 77.27 0.6 715-AH 17.65 740-AH 0.00 0.4 716-AH 52.38 741-AH 0.00 0.2 Difference 717-AH 16.67 742-AH 0.00 0 718-AH 2.04 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 0.00 −0.6 720-AH 58.49 745-AH 3.08 −0.8 721-AH 0.00 746-AH 22.86 −1 722-AH 2.56 747-AH 31.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 15.79 748-AH 0.00 724-AH 71.43 749-AH 18.60 725-AH 61.79 750-AH 10.00 520 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.CLESA169283DEINEN AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,398 Pooled true Geometric Mean Average Precision 0.0278 CL-ESA with 169283 dimensions, querying the english Binary Preference (BPREF) 0.1434 collection with german topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 37.79 CLESA169283DEINEN 10 23.46 90% 20 19.96 80% 30 18.71 40 17.01 70% 50 15.87 60% 60 14.03 Precision 70 12.05 50% 80 9.46 40% 90 5.93 30% 100 2.49 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.40 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8315 Minimum 0.0000 First Quartile 0.0044 Second Quartile 0.0688 Third Quartile 0.1854 Interquartile range 0.1810 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1440 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.1977 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3914 15 Mean With No Outliers 0.0903 10 Std With No Outliers 0.1126 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283DEINEN 0.8 701-AH 7.95 726-AH 8.35 0.6 702-AH 53.60 727-AH 2.51 0.4 703-AH 24.00 728-AH 11.79 0.2 Difference 704-AH 4.49 729-AH 0.00 0 705-AH 56.32 730-AH 0.00 −0.2 −0.4 706-AH 0.01 731-AH 12.42 −0.6 707-AH 7.96 732-AH 0.32 −0.8 708-AH 10.68 733-AH 38.97 −1 709-AH 29.47 734-AH 15.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.26 735-AH 4.24 711-AH 0.62 736-AH 2.53 712-AH 83.15 737-AH 2.19 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283DEINEN 713-AH 7.22 738-AH 1.87 0.8 714-AH 0.33 739-AH 54.09 0.6 715-AH 6.54 740-AH 0.08 0.4 716-AH 31.96 741-AH 15.51 0.2 Difference 717-AH 7.77 742-AH 0.01 0 718-AH 5.31 743-AH 0.44 −0.2 −0.4 719-AH 0.15 744-AH 39.14 −0.6 720-AH 34.84 745-AH 3.16 −0.8 721-AH 7.83 746-AH 0.23 −1 722-AH 0.17 747-AH 4.04 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 9.86 748-AH 18.54 724-AH 66.26 749-AH 1.16 725-AH 25.38 750-AH 0.13 521 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.CLESA169283DEINEN AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 20.80 CLESA169283DEINEN 10 docs 17.00 90% 15 docs 17.07 80% 20 docs 16.00 30 docs 15.80 70% 100 docs 10.90 60% 200 docs 7.43 Precision 500 docs 4.49 50% 1000 docs 2.80 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.50 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0787 Third Quartile 0.2308 Interquartile range 0.2308 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1550 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2081 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5714 15 Mean With No Outliers 0.1111 10 Std With No Outliers 0.1479 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283DEINEN 0.8 701-AH 4.76 726-AH 19.05 0.6 702-AH 58.62 727-AH 0.00 0.4 703-AH 25.00 728-AH 10.00 0.2 Difference 704-AH 7.41 729-AH 0.00 0 705-AH 61.90 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 15.66 −0.6 707-AH 3.45 732-AH 0.00 −0.8 708-AH 11.94 733-AH 40.98 −1 709-AH 33.33 734-AH 13.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 11.49 711-AH 0.00 736-AH 5.66 712-AH 80.00 737-AH 0.00 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283DEINEN 713-AH 8.51 738-AH 3.77 0.8 714-AH 0.00 739-AH 63.64 0.6 715-AH 11.76 740-AH 0.00 0.4 716-AH 33.33 741-AH 8.33 0.2 Difference 717-AH 11.11 742-AH 0.00 0 718-AH 12.24 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 36.36 −0.6 720-AH 54.72 745-AH 1.54 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 0.00 747-AH 7.03 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.53 748-AH 23.08 724-AH 57.14 749-AH 0.00 725-AH 29.25 750-AH 0.00 522 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.CLESA169283FRINEN AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,347 Pooled false Geometric Mean Average Precision 0.0296 CL-ESA with 169283 dimensions, querying the english Binary Preference (BPREF) 0.1634 collection with french topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 40.35 CLESA169283FRINEN 10 25.54 90% 20 19.95 80% 30 17.85 40 14.88 70% 50 13.23 60% 60 11.68 Precision 70 9.17 50% 80 7.95 40% 90 6.12 30% 100 2.52 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 13.91 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8997 Minimum 0.0000 First Quartile 0.0074 Second Quartile 0.0524 Third Quartile 0.1295 Interquartile range 0.1221 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1391 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2109 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.2389 15 Mean With No Outliers 0.0565 10 Std With No Outliers 0.0617 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283FRINEN 0.8 701-AH 9.09 726-AH 3.29 0.6 702-AH 59.91 727-AH 4.90 0.4 703-AH 16.33 728-AH 4.09 0.2 Difference 704-AH 0.74 729-AH 1.28 0 705-AH 58.58 730-AH 5.23 −0.2 −0.4 706-AH 0.73 731-AH 12.95 −0.6 707-AH 8.18 732-AH 0.92 −0.8 708-AH 0.17 733-AH 22.39 −1 709-AH 0.46 734-AH 18.51 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.40 735-AH 8.02 711-AH 0.68 736-AH 0.01 712-AH 89.97 737-AH 2.22 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283FRINEN 713-AH 2.89 738-AH 3.19 0.8 714-AH 8.25 739-AH 66.86 0.6 715-AH 1.16 740-AH 0.22 0.4 716-AH 43.43 741-AH 0.00 0.2 Difference 717-AH 5.26 742-AH 0.20 0 718-AH 4.62 743-AH 12.16 −0.2 −0.4 719-AH 0.00 744-AH 40.50 −0.6 720-AH 9.94 745-AH 2.05 −0.8 721-AH 8.63 746-AH 0.61 −1 722-AH 6.41 747-AH 8.09 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.43 748-AH 23.89 724-AH 66.39 749-AH 9.81 725-AH 32.21 750-AH 0.07 523 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.CLESA169283FRINEN AH-TEL-BILI-X2EN-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 24.40 CLESA169283FRINEN 10 docs 20.40 90% 15 docs 19.07 80% 20 docs 17.60 30 docs 16.20 70% 100 docs 10.28 60% 200 docs 7.13 Precision 500 docs 4.16 50% 1000 docs 2.69 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 14.88 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0222 Second Quartile 0.0589 Third Quartile 0.1702 Interquartile range 0.1480 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1488 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2078 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3810 15 Mean With No Outliers 0.0816 10 Std With No Outliers 0.0906 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283FRINEN 0.8 701-AH 14.29 726-AH 7.94 0.6 702-AH 62.07 727-AH 12.50 0.4 703-AH 8.33 728-AH 5.00 0.2 Difference 704-AH 3.70 729-AH 4.55 0 705-AH 64.29 730-AH 3.33 −0.2 −0.4 706-AH 2.80 731-AH 16.87 −0.6 707-AH 3.45 732-AH 4.00 −0.8 708-AH 0.00 733-AH 21.31 −1 709-AH 1.11 734-AH 20.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.78 735-AH 17.02 711-AH 0.00 736-AH 0.00 712-AH 90.00 737-AH 2.22 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283FRINEN 713-AH 6.38 738-AH 4.72 0.8 714-AH 20.00 739-AH 65.91 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 38.10 741-AH 0.00 0.2 Difference 717-AH 5.56 742-AH 0.00 0 718-AH 6.12 743-AH 12.50 −0.2 −0.4 719-AH 0.00 744-AH 45.45 −0.6 720-AH 5.66 745-AH 3.08 −0.8 721-AH 0.00 746-AH 2.86 −1 722-AH 10.26 747-AH 13.51 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 15.38 724-AH 57.14 749-AH 13.95 725-AH 34.43 750-AH 0.00 524 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.COMBINEDDEINEN AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 2,527 Topic Fields title, description Relevant retrieved 1,632 Pooled false Geometric Mean Average Precision 0.0913 (See overleaf for description) Binary Preference (BPREF) 0.2438 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 60.04 COMBINEDDEINEN 10 40.48 90% 20 34.51 80% 30 29.08 40 25.05 70% 50 22.52 60% 60 17.94 Precision 70 13.65 50% 80 9.40 40% 90 5.41 30% 100 2.62 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.53 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9698 Minimum 0.0001 First Quartile 0.0397 Second Quartile 0.1167 Third Quartile 0.2917 Interquartile range 0.2521 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2153 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2461 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 Upper Outlier Threshold 0.5236 10 Mean With No Outliers 0.1501 Std With No Outliers 0.1517 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDDEINEN 0.8 701-AH 14.76 726-AH 4.96 0.6 702-AH 79.82 727-AH 0.64 0.4 703-AH 27.48 728-AH 8.68 0.2 Difference 704-AH 26.65 729-AH 1.60 0 705-AH 20.60 730-AH 3.97 −0.2 −0.4 706-AH 15.19 731-AH 29.17 −0.6 707-AH 52.36 732-AH 1.39 −0.8 708-AH 0.01 733-AH 17.01 −1 709-AH 18.14 734-AH 52.03 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.25 735-AH 5.78 711-AH 15.90 736-AH 0.33 712-AH 96.98 737-AH 5.88 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDDEINEN 713-AH 6.82 738-AH 47.53 0.8 714-AH 1.88 739-AH 51.02 0.6 715-AH 11.10 740-AH 1.36 0.4 716-AH 31.90 741-AH 2.18 0.2 Difference 717-AH 11.16 742-AH 44.75 0 718-AH 13.64 743-AH 2.91 −0.2 −0.4 719-AH 13.67 744-AH 24.32 −0.6 720-AH 76.16 745-AH 11.39 −0.8 721-AH 5.06 746-AH 9.22 −1 722-AH 11.94 747-AH 9.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.93 748-AH 1.86 724-AH 68.57 749-AH 79.56 725-AH 29.61 750-AH 0.65 525 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.COMBINEDDEINEN AH-TEL-BILI-X2EN-CLEF2009 Combined rankings, each computed with a different topic field, querying the english collection with german topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 35.20 COMBINEDDEINEN 10 docs 31.20 90% 15 docs 27.73 80% 20 docs 28.30 30 docs 25.13 70% 100 docs 15.36 60% 200 docs 10.15 Precision 500 docs 5.43 50% 1000 docs 3.26 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.50 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0526 Second Quartile 0.1566 Third Quartile 0.3519 Interquartile range 0.2992 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2450 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2381 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7931 10 Mean With No Outliers 0.2317 Std With No Outliers 0.2208 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDDEINEN 0.8 701-AH 19.05 726-AH 14.29 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 33.33 728-AH 15.00 0.2 Difference 704-AH 35.19 729-AH 9.09 0 705-AH 36.90 730-AH 11.11 −0.2 −0.4 706-AH 16.82 731-AH 31.33 −0.6 707-AH 62.07 732-AH 4.00 −0.8 708-AH 0.00 733-AH 9.84 −1 709-AH 35.56 734-AH 52.27 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 8.89 735-AH 13.62 711-AH 25.00 736-AH 0.00 712-AH 90.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDDEINEN 713-AH 4.26 738-AH 56.60 0.8 714-AH 4.00 739-AH 56.82 0.6 715-AH 11.76 740-AH 4.35 0.4 716-AH 33.33 741-AH 0.00 0.2 Difference 717-AH 5.56 742-AH 52.94 0 718-AH 16.33 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 27.27 −0.6 720-AH 66.04 745-AH 20.00 −0.8 721-AH 0.00 746-AH 20.00 −1 722-AH 30.77 747-AH 14.05 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.26 748-AH 0.00 724-AH 57.14 749-AH 76.74 725-AH 34.91 750-AH 0.00 526 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.COMBINEDFRINEN AH-TEL-BILI-X2EN-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 2,527 Topic Fields title, description Relevant retrieved 1,674 Pooled false Geometric Mean Average Precision 0.0969 (See overleaf for description) Binary Preference (BPREF) 0.2523 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 61.00 COMBINEDFRINEN 10 41.56 90% 20 34.86 80% 30 29.62 40 26.34 70% 50 23.56 60% 60 19.34 Precision 70 14.87 50% 80 11.13 40% 90 6.68 30% 100 2.99 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.52 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9909 Minimum 0.0001 First Quartile 0.0496 Second Quartile 0.1341 Third Quartile 0.2663 Interquartile range 0.2167 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2252 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2499 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 Upper Outlier Threshold 0.5519 10 Mean With No Outliers 0.1587 Std With No Outliers 0.1535 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDFRINEN 0.8 701-AH 14.45 726-AH 18.00 0.6 702-AH 79.82 727-AH 2.90 0.4 703-AH 26.63 728-AH 6.75 0.2 Difference 704-AH 26.51 729-AH 1.20 0 705-AH 24.43 730-AH 12.68 −0.2 −0.4 706-AH 20.70 731-AH 29.17 −0.6 707-AH 52.35 732-AH 1.05 −0.8 708-AH 0.01 733-AH 17.04 −1 709-AH 21.67 734-AH 52.16 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 4.96 735-AH 5.66 711-AH 19.99 736-AH 0.36 712-AH 99.09 737-AH 5.81 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDFRINEN 713-AH 8.47 738-AH 47.53 0.8 714-AH 1.07 739-AH 55.19 0.6 715-AH 13.35 740-AH 1.36 0.4 716-AH 34.07 741-AH 1.15 0.2 Difference 717-AH 11.11 742-AH 45.13 0 718-AH 13.60 743-AH 1.79 −0.2 −0.4 719-AH 13.47 744-AH 24.31 −0.6 720-AH 76.16 745-AH 11.98 −0.8 721-AH 5.76 746-AH 9.24 −1 722-AH 8.57 747-AH 9.27 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 4.46 748-AH 2.44 724-AH 77.22 749-AH 79.28 725-AH 25.77 750-AH 0.64 527 weimar 10.2415/AH-TEL-BILI-X2EN-CLEF2009.WEIMAR.COMBINEDFRINEN AH-TEL-BILI-X2EN-CLEF2009 Combined rankings, each computed with a different topic field, querying the english collection with french topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual English Task − Retrieved documents vs Mean Precision 100% 5 docs 36.00 COMBINEDFRINEN 10 docs 33.40 90% 15 docs 29.87 80% 20 docs 28.80 30 docs 25.60 70% 100 docs 16.14 60% 200 docs 10.70 Precision 500 docs 5.74 50% 1000 docs 3.35 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.68 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual English Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0556 Second Quartile 0.1856 Third Quartile 0.3704 Interquartile range 0.3148 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2468 Ad−Hoc TEL Bilingual English Task − Distribution of the Topics of the Experiment Standard Deviation 0.2428 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7931 10 Mean With No Outliers 0.2334 Std With No Outliers 0.2260 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDFRINEN 0.8 701-AH 19.05 726-AH 25.40 0.6 702-AH 79.31 727-AH 0.00 0.4 703-AH 30.56 728-AH 10.00 0.2 Difference 704-AH 37.04 729-AH 6.82 0 705-AH 45.24 730-AH 5.56 −0.2 −0.4 706-AH 22.43 731-AH 31.33 −0.6 707-AH 62.07 732-AH 4.00 −0.8 708-AH 0.00 733-AH 9.84 −1 709-AH 37.78 734-AH 45.45 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 8.89 735-AH 12.77 711-AH 18.75 736-AH 0.00 712-AH 90.00 737-AH 13.33 1 Ad−Hoc TEL Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDFRINEN 713-AH 8.51 738-AH 56.60 0.8 714-AH 2.00 739-AH 61.36 0.6 715-AH 11.76 740-AH 4.35 0.4 716-AH 33.33 741-AH 0.00 0.2 Difference 717-AH 5.56 742-AH 52.94 0 718-AH 16.33 743-AH 0.00 −0.2 −0.4 719-AH 11.11 744-AH 27.27 −0.6 720-AH 66.04 745-AH 20.00 −0.8 721-AH 0.00 746-AH 20.00 −1 722-AH 20.51 747-AH 18.38 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.26 748-AH 0.00 724-AH 66.67 749-AH 76.74 725-AH 33.49 750-AH 0.00 528 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_ENONB_BASE AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 39,646 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 497 Pooled false Geometric Mean Average Precision 0.0059 Bilingual | base search Binary Preference (BPREF) 0.1225 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 32.49 CACAO_ENONB_BASE 10 24.57 90% 20 14.40 80% 30 11.63 40 9.53 70% 50 7.24 60% 60 5.54 Precision 70 2.50 50% 80 1.75 40% 90 0.42 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 9.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6380 Minimum 0.0000 First Quartile 0.0004 Second Quartile 0.0139 Third Quartile 0.0715 Interquartile range 0.0711 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0905 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1600 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1423 25 Mean With No Outliers 0.0238 20 15 Std With No Outliers 0.0370 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENONB_BASE 0.8 701-AH 0.35 726-AH 0.06 0.6 702-AH 5.65 727-AH 0.01 0.4 703-AH 14.00 728-AH 0.64 0.2 Difference 704-AH 4.21 729-AH 1.18 0 705-AH 33.79 730-AH 3.13 −0.2 −0.4 706-AH 5.22 731-AH 6.01 −0.6 707-AH 0.00 732-AH 1.61 −0.8 708-AH 1.04 733-AH 0.04 −1 709-AH 2.53 734-AH 0.05 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 52.17 735-AH 0.01 711-AH 0.96 736-AH 0.17 712-AH 14.23 737-AH 2.35 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENONB_BASE 713-AH 0.00 738-AH 0.58 0.8 714-AH 4.06 739-AH 23.21 0.6 715-AH 3.26 740-AH 0.48 0.4 716-AH 32.80 741-AH 0.00 0.2 Difference 717-AH 25.19 742-AH 0.00 0 718-AH 7.15 743-AH 2.66 −0.2 −0.4 719-AH 0.17 744-AH 38.13 −0.6 720-AH 26.74 745-AH 59.26 −0.8 721-AH 0.00 746-AH 0.01 −1 722-AH 11.80 747-AH 0.02 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.84 748-AH 0.00 724-AH 63.80 749-AH 0.07 725-AH 0.03 750-AH 0.04 529 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_ENONB_BASE AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 20.40 CACAO_ENONB_BASE 10 docs 15.40 90% 15 docs 13.73 80% 20 docs 12.50 30 docs 10.87 70% 100 docs 5.68 60% 200 docs 3.39 Precision 500 docs 1.78 50% 1000 docs 0.99 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 11.22 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6042 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0420 Third Quartile 0.1250 Interquartile range 0.1250 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1122 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1649 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.3125 20 Mean With No Outliers 0.0545 15 Std With No Outliers 0.0739 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENONB_BASE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 8.93 729-AH 3.12 0 705-AH 35.71 730-AH 5.00 −0.2 −0.4 706-AH 10.00 731-AH 12.28 −0.6 707-AH 0.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 0.00 −1 709-AH 12.50 734-AH 0.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 58.62 735-AH 0.00 711-AH 6.25 736-AH 0.00 712-AH 16.67 737-AH 2.38 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENONB_BASE 713-AH 0.00 738-AH 2.94 0.8 714-AH 9.09 739-AH 24.14 0.6 715-AH 12.50 740-AH 4.69 0.4 716-AH 34.62 741-AH 0.00 0.2 Difference 717-AH 38.10 742-AH 0.00 0 718-AH 12.50 743-AH 6.67 −0.2 −0.4 719-AH 0.00 744-AH 42.31 −0.6 720-AH 31.25 745-AH 56.94 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 11.11 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 0.00 724-AH 60.42 749-AH 0.00 725-AH 0.00 750-AH 0.00 530 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_ENONB_ML AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 37,964 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 484 Pooled false Geometric Mean Average Precision 0.0060 Bilingual+ | base search Binary Preference (BPREF) 0.1219 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 32.37 CACAO_ENONB_ML 10 24.65 90% 20 16.33 80% 30 11.68 40 9.26 70% 50 7.00 60% 60 3.97 Precision 70 2.18 50% 80 1.68 40% 90 0.09 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 8.96 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5760 Minimum 0.0000 First Quartile 0.0006 Second Quartile 0.0151 Third Quartile 0.0728 Interquartile range 0.0722 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0896 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1544 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1423 25 Mean With No Outliers 0.0233 20 15 Std With No Outliers 0.0355 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENONB_ML 0.8 701-AH 0.40 726-AH 0.06 0.6 702-AH 5.57 727-AH 0.01 0.4 703-AH 11.63 728-AH 0.58 0.2 Difference 704-AH 4.41 729-AH 1.34 0 705-AH 33.86 730-AH 3.33 −0.2 −0.4 706-AH 4.12 731-AH 7.09 −0.6 707-AH 0.00 732-AH 1.68 −0.8 708-AH 0.80 733-AH 0.03 −1 709-AH 2.28 734-AH 0.12 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 46.00 735-AH 0.01 711-AH 0.90 736-AH 0.13 712-AH 14.23 737-AH 1.97 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENONB_ML 713-AH 0.00 738-AH 0.70 0.8 714-AH 4.27 739-AH 27.50 0.6 715-AH 3.26 740-AH 0.46 0.4 716-AH 34.90 741-AH 0.00 0.2 Difference 717-AH 25.39 742-AH 0.00 0 718-AH 7.28 743-AH 2.71 −0.2 −0.4 719-AH 0.13 744-AH 39.65 −0.6 720-AH 30.33 745-AH 57.60 −0.8 721-AH 0.00 746-AH 0.01 −1 722-AH 11.77 747-AH 0.01 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.88 748-AH 0.00 724-AH 57.31 749-AH 0.12 725-AH 0.06 750-AH 0.06 531 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_ENONB_ML AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 20.40 CACAO_ENONB_ML 10 docs 15.80 90% 15 docs 13.60 80% 20 docs 12.50 30 docs 10.80 70% 100 docs 5.68 60% 200 docs 3.43 Precision 500 docs 1.77 50% 1000 docs 0.97 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 11.16 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5833 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0420 Third Quartile 0.1364 Interquartile range 0.1364 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1116 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1608 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.3125 20 Mean With No Outliers 0.0557 15 Std With No Outliers 0.0766 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENONB_ML 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 8.93 729-AH 3.12 0 705-AH 35.71 730-AH 5.00 −0.2 −0.4 706-AH 10.00 731-AH 14.04 −0.6 707-AH 0.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 0.00 −1 709-AH 12.50 734-AH 0.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 55.17 735-AH 0.00 711-AH 6.25 736-AH 0.00 712-AH 16.67 737-AH 2.38 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENONB_ML 713-AH 0.00 738-AH 2.94 0.8 714-AH 9.09 739-AH 27.59 0.6 715-AH 12.50 740-AH 4.69 0.4 716-AH 34.62 741-AH 0.00 0.2 Difference 717-AH 38.10 742-AH 0.00 0 718-AH 12.50 743-AH 6.67 −0.2 −0.4 719-AH 0.00 744-AH 42.31 −0.6 720-AH 31.25 745-AH 58.33 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 11.11 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 0.00 724-AH 54.17 749-AH 0.00 725-AH 0.00 750-AH 0.00 532 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_FRONB_BASE AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 39,397 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 481 Pooled false Geometric Mean Average Precision 0.0060 Bilingual | base search Binary Preference (BPREF) 0.1258 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 33.63 CACAO_FRONB_BASE 10 22.85 90% 20 13.76 80% 30 11.66 40 8.88 70% 50 7.10 60% 60 4.54 Precision 70 3.70 50% 80 1.70 40% 90 0.74 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 8.74 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6918 Minimum 0.0000 First Quartile 0.0005 Second Quartile 0.0159 Third Quartile 0.0970 Interquartile range 0.0965 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0874 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1503 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1867 25 Mean With No Outliers 0.0307 20 15 Std With No Outliers 0.0496 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRONB_BASE 0.8 701-AH 0.00 726-AH 3.35 0.6 702-AH 5.74 727-AH 0.01 0.4 703-AH 9.42 728-AH 0.05 0.2 Difference 704-AH 12.61 729-AH 1.54 0 705-AH 33.59 730-AH 0.39 −0.2 −0.4 706-AH 17.38 731-AH 4.31 −0.6 707-AH 0.00 732-AH 2.18 −0.8 708-AH 2.47 733-AH 0.00 −1 709-AH 0.04 734-AH 26.07 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.12 735-AH 0.15 711-AH 0.07 736-AH 0.81 712-AH 14.23 737-AH 0.01 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRONB_BASE 713-AH 18.67 738-AH 0.03 0.8 714-AH 46.59 739-AH 24.56 0.6 715-AH 0.11 740-AH 0.05 0.4 716-AH 39.19 741-AH 0.00 0.2 Difference 717-AH 9.70 742-AH 0.00 0 718-AH 0.69 743-AH 1.71 −0.2 −0.4 719-AH 0.16 744-AH 24.19 −0.6 720-AH 8.95 745-AH 44.58 −0.8 721-AH 5.65 746-AH 0.53 −1 722-AH 0.75 747-AH 2.96 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 2.31 748-AH 0.00 724-AH 69.18 749-AH 1.64 725-AH 0.04 750-AH 0.05 533 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_FRONB_BASE AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 19.20 CACAO_FRONB_BASE 10 docs 16.40 90% 15 docs 14.80 80% 20 docs 12.90 30 docs 10.93 70% 100 docs 5.54 60% 200 docs 3.38 Precision 500 docs 1.75 50% 1000 docs 0.96 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 10.99 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6458 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0329 Third Quartile 0.1818 Interquartile range 0.1818 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1099 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1612 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.4231 20 Mean With No Outliers 0.0812 15 Std With No Outliers 0.1150 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRONB_BASE 0.8 701-AH 0.00 726-AH 6.25 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 21.43 729-AH 3.12 0 705-AH 35.71 730-AH 0.00 −0.2 −0.4 706-AH 30.00 731-AH 12.28 −0.6 707-AH 0.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 0.00 −1 709-AH 0.00 734-AH 35.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.45 735-AH 1.37 711-AH 0.00 736-AH 0.00 712-AH 16.67 737-AH 0.00 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRONB_BASE 713-AH 18.18 738-AH 0.00 0.8 714-AH 57.58 739-AH 24.14 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 42.31 741-AH 0.00 0.2 Difference 717-AH 21.43 742-AH 0.00 0 718-AH 0.00 743-AH 6.67 −0.2 −0.4 719-AH 0.00 744-AH 26.92 −0.6 720-AH 6.25 745-AH 45.83 −0.8 721-AH 14.71 746-AH 3.90 −1 722-AH 0.00 747-AH 6.98 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 0.00 724-AH 64.58 749-AH 2.67 725-AH 0.00 750-AH 0.00 534 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_FRONB_ML AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 36,229 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 477 Pooled false Geometric Mean Average Precision 0.0060 Bilingual+ | base search Binary Preference (BPREF) 0.1260 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 33.50 CACAO_FRONB_ML 10 22.78 90% 20 13.71 80% 30 11.25 40 8.64 70% 50 7.15 60% 60 4.92 Precision 70 3.56 50% 80 2.70 40% 90 0.38 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 8.78 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6983 Minimum 0.0000 First Quartile 0.0005 Second Quartile 0.0147 Third Quartile 0.1117 Interquartile range 0.1111 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0878 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1507 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.2611 25 Mean With No Outliers 0.0457 20 15 Std With No Outliers 0.0737 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRONB_ML 0.8 701-AH 0.00 726-AH 3.73 0.6 702-AH 5.45 727-AH 0.01 0.4 703-AH 11.17 728-AH 0.05 0.2 Difference 704-AH 13.07 729-AH 1.32 0 705-AH 33.52 730-AH 0.34 −0.2 −0.4 706-AH 16.80 731-AH 4.84 −0.6 707-AH 0.00 732-AH 2.38 −0.8 708-AH 2.38 733-AH 0.00 −1 709-AH 0.04 734-AH 26.11 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.11 735-AH 0.14 711-AH 0.07 736-AH 0.76 712-AH 14.24 737-AH 0.01 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRONB_ML 713-AH 18.69 738-AH 0.03 0.8 714-AH 46.59 739-AH 25.00 0.6 715-AH 0.12 740-AH 0.07 0.4 716-AH 41.54 741-AH 0.00 0.2 Difference 717-AH 9.79 742-AH 0.00 0 718-AH 0.71 743-AH 1.79 −0.2 −0.4 719-AH 0.15 744-AH 24.30 −0.6 720-AH 9.02 745-AH 41.95 −0.8 721-AH 5.14 746-AH 0.58 −1 722-AH 0.76 747-AH 2.54 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 2.32 748-AH 0.00 724-AH 69.83 749-AH 1.62 725-AH 0.02 750-AH 0.05 535 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_FRONB_ML AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 19.20 CACAO_FRONB_ML 10 docs 16.00 90% 15 docs 14.67 80% 20 docs 13.10 30 docs 11.00 70% 100 docs 5.58 60% 200 docs 3.47 Precision 500 docs 1.74 50% 1000 docs 0.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 10.91 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6458 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0290 Third Quartile 0.1818 Interquartile range 0.1818 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1091 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1626 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.4306 20 Mean With No Outliers 0.0803 15 Std With No Outliers 0.1166 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_FRONB_ML 0.8 701-AH 0.00 726-AH 6.25 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 21.43 729-AH 3.12 0 705-AH 35.71 730-AH 0.00 −0.2 −0.4 706-AH 20.00 731-AH 12.28 −0.6 707-AH 0.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 0.00 −1 709-AH 0.00 734-AH 40.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.37 711-AH 0.00 736-AH 0.00 712-AH 16.67 737-AH 0.00 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_FRONB_ML 713-AH 18.18 738-AH 0.00 0.8 714-AH 57.58 739-AH 27.59 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 46.15 741-AH 0.00 0.2 Difference 717-AH 21.43 742-AH 0.00 0 718-AH 0.00 743-AH 6.67 −0.2 −0.4 719-AH 0.00 744-AH 26.92 −0.6 720-AH 6.25 745-AH 43.06 −0.8 721-AH 14.71 746-AH 3.90 −1 722-AH 0.00 747-AH 6.98 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 0.00 724-AH 64.58 749-AH 2.67 725-AH 0.00 750-AH 0.00 536 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_ITONB_BASE AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 38,902 Source Language Italian Relevant 1,559 Topic Fields title, description Relevant retrieved 402 Pooled false Geometric Mean Average Precision 0.0023 Bilingual | base search Binary Preference (BPREF) 0.1123 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 23.79 CACAO_ITONB_BASE 10 19.22 90% 20 13.26 80% 30 10.59 40 9.57 70% 50 5.36 60% 60 3.11 Precision 70 2.16 50% 80 1.23 40% 90 0.79 30% 100 0.00 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 7.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5805 Minimum 0.0000 First Quartile 0.0001 Second Quartile 0.0070 Third Quartile 0.0564 Interquartile range 0.0563 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0723 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1461 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.1167 25 Mean With No Outliers 0.0127 20 15 Std With No Outliers 0.0239 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITONB_BASE 0.8 701-AH 0.02 726-AH 0.00 0.6 702-AH 1.47 727-AH 1.13 0.4 703-AH 0.00 728-AH 0.47 0.2 Difference 704-AH 1.01 729-AH 0.00 0 705-AH 45.68 730-AH 0.00 −0.2 −0.4 706-AH 5.64 731-AH 24.57 −0.6 707-AH 16.80 732-AH 3.02 −0.8 708-AH 0.00 733-AH 6.20 −1 709-AH 0.01 734-AH 31.77 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.07 735-AH 0.06 711-AH 0.24 736-AH 7.20 712-AH 11.67 737-AH 1.49 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITONB_BASE 713-AH 0.00 738-AH 0.00 0.8 714-AH 0.00 739-AH 15.22 0.6 715-AH 0.01 740-AH 0.03 0.4 716-AH 49.50 741-AH 0.00 0.2 Difference 717-AH 18.68 742-AH 0.00 0 718-AH 1.47 743-AH 2.32 −0.2 −0.4 719-AH 0.12 744-AH 48.91 −0.6 720-AH 0.57 745-AH 0.00 −0.8 721-AH 0.83 746-AH 2.38 −1 722-AH 1.00 747-AH 1.41 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.73 748-AH 0.00 724-AH 58.05 749-AH 0.55 725-AH 0.03 750-AH 0.01 537 celi 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CELI.CACAO_ITONB_BASE AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 14.00 CACAO_ITONB_BASE 10 docs 12.60 90% 15 docs 11.07 80% 20 docs 10.90 30 docs 8.40 70% 100 docs 4.70 60% 200 docs 2.84 Precision 500 docs 1.47 50% 1000 docs 0.80 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 8.97 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5417 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0000 Third Quartile 0.1000 Interquartile range 0.1000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.0897 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1548 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.2414 25 Mean With No Outliers 0.0386 20 15 Std With No Outliers 0.0678 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITONB_BASE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 0.00 728-AH 0.00 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 42.86 730-AH 0.00 −0.2 −0.4 706-AH 10.00 731-AH 45.61 −0.6 707-AH 10.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 17.39 −1 709-AH 0.00 734-AH 40.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 0.00 736-AH 19.23 712-AH 16.67 737-AH 4.76 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITONB_BASE 713-AH 0.00 738-AH 0.00 0.8 714-AH 0.00 739-AH 24.14 0.6 715-AH 0.00 740-AH 0.00 0.4 716-AH 42.31 741-AH 0.00 0.2 Difference 717-AH 23.81 742-AH 0.00 0 718-AH 9.38 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 53.85 −0.6 720-AH 0.00 745-AH 0.00 −0.8 721-AH 2.94 746-AH 7.79 −1 722-AH 0.00 747-AH 8.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 0.00 724-AH 54.17 749-AH 5.33 725-AH 0.00 750-AH 0.00 538 chemnitz 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHEMNITZ.CUT_5_BILI_MERGED_EN2DE_1_2 AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 1,042 Pooled true Geometric Mean Average Precision 0.0736 bilingual en2de merged cut_1 + cut_2 Binary Preference (BPREF) 0.2528 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.17 CUT_5_BILI_MERGED_EN2DE_1_2 10 52.08 90% 20 43.28 80% 30 34.85 40 29.63 70% 50 24.50 60% 60 19.96 Precision 70 14.23 50% 80 9.80 40% 90 6.47 30% 100 2.95 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.83 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8440 Minimum 0.0000 First Quartile 0.0783 Second Quartile 0.1925 Third Quartile 0.4350 Interquartile range 0.3567 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2583 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2323 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8440 6 Mean With No Outliers 0.2583 4 Std With No Outliers 0.2323 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_5_BILI_MERGED_EN2DE_1_2 0.8 701-AH 10.22 726-AH 5.02 0.6 702-AH 5.47 727-AH 19.06 0.4 703-AH 40.41 728-AH 10.86 0.2 Difference 704-AH 14.81 729-AH 0.02 0 705-AH 42.89 730-AH 11.15 −0.2 −0.4 706-AH 20.46 731-AH 34.77 −0.6 707-AH 51.34 732-AH 23.57 −0.8 708-AH 45.69 733-AH 0.29 −1 709-AH 30.40 734-AH 84.40 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 12.75 711-AH 32.46 736-AH 2.39 712-AH 21.73 737-AH 9.76 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_5_BILI_MERGED_EN2DE_1_2 713-AH 28.24 738-AH 3.11 0.8 714-AH 0.00 739-AH 60.81 0.6 715-AH 4.51 740-AH 57.21 0.4 716-AH 81.68 741-AH 43.50 0.2 Difference 717-AH 58.98 742-AH 66.78 0 718-AH 21.43 743-AH 9.98 −0.2 −0.4 719-AH 0.00 744-AH 54.21 −0.6 720-AH 45.42 745-AH 8.98 −0.8 721-AH 9.01 746-AH 41.83 −1 722-AH 0.74 747-AH 15.93 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 19.43 724-AH 57.14 749-AH 7.83 725-AH 52.10 750-AH 12.94 539 chemnitz 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHEMNITZ.CUT_5_BILI_MERGED_EN2DE_1_2 AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 44.40 CUT_5_BILI_MERGED_EN2DE_1_2 10 docs 35.20 90% 15 docs 31.07 80% 20 docs 29.70 30 docs 25.73 70% 100 docs 12.84 60% 200 docs 7.95 Precision 500 docs 3.83 50% 1000 docs 2.08 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.96 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.1250 Second Quartile 0.2165 Third Quartile 0.4444 Interquartile range 0.3194 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2796 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2161 8 Number of Topics of the Experiment 7 Lower Outlier Threshold 0.0000 6 Upper Outlier Threshold 0.8000 5 Mean With No Outliers 0.2796 4 3 Std With No Outliers 0.2161 2 1 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_5_BILI_MERGED_EN2DE_1_2 0.8 701-AH 13.33 726-AH 6.25 0.6 702-AH 13.64 727-AH 18.52 0.4 703-AH 45.45 728-AH 21.05 0.2 Difference 704-AH 26.79 729-AH 0.00 0 705-AH 21.43 730-AH 20.00 −0.2 −0.4 706-AH 20.00 731-AH 40.35 −0.6 707-AH 40.00 732-AH 33.33 −0.8 708-AH 44.44 733-AH 4.35 −1 709-AH 37.50 734-AH 80.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 21.92 711-AH 37.50 736-AH 15.38 712-AH 25.00 737-AH 14.29 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_5_BILI_MERGED_EN2DE_1_2 713-AH 27.27 738-AH 2.94 0.8 714-AH 0.00 739-AH 62.07 0.6 715-AH 12.50 740-AH 64.06 0.4 716-AH 73.08 741-AH 40.00 0.2 Difference 717-AH 54.76 742-AH 66.67 0 718-AH 21.88 743-AH 6.67 −0.2 −0.4 719-AH 0.00 744-AH 46.15 −0.6 720-AH 56.25 745-AH 19.44 −0.8 721-AH 11.76 746-AH 46.75 −1 722-AH 0.00 747-AH 15.12 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 58.33 749-AH 13.33 725-AH 53.19 750-AH 12.00 540 chemnitz 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHEMNITZ.CUT_6_BILI_MERGED_FR2DE_1_2 AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 1,064 Pooled false Geometric Mean Average Precision 0.0708 bilingual fr2de merged cut_1 + cut_2 Binary Preference (BPREF) 0.2698 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.29 CUT_6_BILI_MERGED_FR2DE_1_2 10 51.51 90% 20 45.82 80% 30 34.02 40 29.80 70% 50 23.92 60% 60 17.75 Precision 70 14.67 50% 80 10.58 40% 90 5.83 30% 100 2.38 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.52 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9117 Minimum 0.0000 First Quartile 0.0513 Second Quartile 0.2088 Third Quartile 0.4239 Interquartile range 0.3726 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2552 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2343 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.9117 10 Mean With No Outliers 0.2552 Std With No Outliers 0.2343 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_6_BILI_MERGED_FR2DE_1_2 0.8 701-AH 20.03 726-AH 8.02 0.6 702-AH 15.82 727-AH 16.91 0.4 703-AH 46.71 728-AH 11.79 0.2 Difference 704-AH 31.89 729-AH 1.20 0 705-AH 42.39 730-AH 25.68 −0.2 −0.4 706-AH 18.24 731-AH 39.66 −0.6 707-AH 57.52 732-AH 28.98 −0.8 708-AH 42.26 733-AH 0.00 −1 709-AH 33.00 734-AH 91.17 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 73.14 735-AH 9.67 711-AH 0.11 736-AH 0.68 712-AH 21.74 737-AH 8.02 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_6_BILI_MERGED_FR2DE_1_2 713-AH 28.26 738-AH 7.14 0.8 714-AH 0.29 739-AH 53.86 0.6 715-AH 22.06 740-AH 55.06 0.4 716-AH 81.61 741-AH 0.05 0.2 Difference 717-AH 48.96 742-AH 0.51 0 718-AH 22.24 743-AH 7.29 −0.2 −0.4 719-AH 0.10 744-AH 45.53 −0.6 720-AH 47.55 745-AH 0.10 −0.8 721-AH 1.85 746-AH 37.13 −1 722-AH 0.27 747-AH 17.18 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 5.13 724-AH 48.47 749-AH 34.23 725-AH 53.19 750-AH 13.07 541 chemnitz 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHEMNITZ.CUT_6_BILI_MERGED_FR2DE_1_2 AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 46.80 CUT_6_BILI_MERGED_FR2DE_1_2 10 docs 37.80 90% 15 docs 33.20 80% 20 docs 30.60 30 docs 26.33 70% 100 docs 13.06 60% 200 docs 7.93 Precision 500 docs 3.80 50% 1000 docs 2.13 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.11 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8276 Minimum 0.0000 First Quartile 0.0625 Second Quartile 0.2471 Third Quartile 0.4231 Interquartile range 0.3606 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2711 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2245 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8276 10 Mean With No Outliers 0.2711 Std With No Outliers 0.2245 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_6_BILI_MERGED_FR2DE_1_2 0.8 701-AH 26.67 726-AH 12.50 0.6 702-AH 22.73 727-AH 14.81 0.4 703-AH 45.45 728-AH 15.79 0.2 Difference 704-AH 32.14 729-AH 6.25 0 705-AH 21.43 730-AH 30.00 −0.2 −0.4 706-AH 20.00 731-AH 38.60 −0.6 707-AH 40.00 732-AH 33.33 −0.8 708-AH 44.44 733-AH 0.00 −1 709-AH 45.83 734-AH 80.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 82.76 735-AH 17.81 711-AH 0.00 736-AH 0.00 712-AH 25.00 737-AH 11.90 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_6_BILI_MERGED_FR2DE_1_2 713-AH 27.27 738-AH 17.65 0.8 714-AH 0.00 739-AH 55.17 0.6 715-AH 31.25 740-AH 57.81 0.4 716-AH 73.08 741-AH 0.00 0.2 Difference 717-AH 50.00 742-AH 0.00 0 718-AH 28.12 743-AH 13.33 −0.2 −0.4 719-AH 0.00 744-AH 42.31 −0.6 720-AH 56.25 745-AH 1.39 −0.8 721-AH 2.94 746-AH 40.26 −1 722-AH 0.00 747-AH 24.42 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 50.00 749-AH 41.33 725-AH 55.32 750-AH 20.00 542 chemnitz 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 1,050 Pooled false Geometric Mean Average Precision 0.0754 bilingual+ en2de merged multilingual reference Binary Preference (BPREF) 0.2512 cut_1 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 68.61 CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 10 53.27 90% 20 44.25 80% 30 35.12 40 28.45 70% 50 22.33 60% 60 18.27 Precision 70 13.78 50% 80 10.92 40% 90 7.06 30% 100 2.28 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.80 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8883 Minimum 0.0000 First Quartile 0.0792 Second Quartile 0.1991 Third Quartile 0.4263 Interquartile range 0.3471 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2580 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2288 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8883 10 Mean With No Outliers 0.2580 Std With No Outliers 0.2288 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 0.8 701-AH 8.07 726-AH 3.86 0.6 702-AH 12.22 727-AH 32.98 0.4 703-AH 23.62 728-AH 8.36 0.2 Difference 704-AH 32.54 729-AH 0.10 0 705-AH 47.94 730-AH 13.57 −0.2 −0.4 706-AH 14.50 731-AH 32.76 −0.6 707-AH 55.66 732-AH 22.23 −0.8 708-AH 46.93 733-AH 0.11 −1 709-AH 27.11 734-AH 88.15 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 14.78 711-AH 42.63 736-AH 2.37 712-AH 17.58 737-AH 11.14 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 713-AH 22.62 738-AH 4.08 0.8 714-AH 0.00 739-AH 60.07 0.6 715-AH 12.73 740-AH 29.18 0.4 716-AH 88.83 741-AH 33.06 0.2 Difference 717-AH 40.55 742-AH 55.66 0 718-AH 53.09 743-AH 7.92 −0.2 −0.4 719-AH 0.00 744-AH 55.59 −0.6 720-AH 54.52 745-AH 4.14 −0.8 721-AH 15.63 746-AH 35.11 −1 722-AH 3.80 747-AH 11.46 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 11.06 724-AH 48.29 749-AH 5.80 725-AH 53.42 750-AH 24.06 543 chemnitz 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 47.20 CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 10 docs 36.80 90% 15 docs 33.20 80% 20 docs 30.00 30 docs 24.87 70% 100 docs 12.40 60% 200 docs 7.68 Precision 500 docs 3.90 50% 1000 docs 2.10 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 27.07 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8462 Minimum 0.0000 First Quartile 0.0882 Second Quartile 0.2500 Third Quartile 0.4026 Interquartile range 0.3144 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2707 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2181 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8462 6 Mean With No Outliers 0.2707 4 Std With No Outliers 0.2181 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 0.8 701-AH 0.00 726-AH 6.25 0.6 702-AH 18.18 727-AH 37.04 0.4 703-AH 18.18 728-AH 5.26 0.2 Difference 704-AH 33.93 729-AH 0.00 0 705-AH 35.71 730-AH 15.00 −0.2 −0.4 706-AH 20.00 731-AH 42.11 −0.6 707-AH 40.00 732-AH 40.74 −0.8 708-AH 44.44 733-AH 0.00 −1 709-AH 29.17 734-AH 80.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 23.29 711-AH 37.50 736-AH 11.54 712-AH 25.00 737-AH 15.48 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_7_BILI_EN2DE_MERGED_LANG_SPEC_REF_CUT_1 713-AH 27.27 738-AH 8.82 0.8 714-AH 0.00 739-AH 51.72 0.6 715-AH 25.00 740-AH 29.69 0.4 716-AH 84.62 741-AH 35.00 0.2 Difference 717-AH 38.10 742-AH 66.67 0 718-AH 53.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 57.69 −0.6 720-AH 56.25 745-AH 12.50 −0.8 721-AH 20.59 746-AH 40.26 −1 722-AH 11.11 747-AH 15.12 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 47.92 749-AH 8.00 725-AH 57.45 750-AH 28.00 544 chemnitz 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 1,059 Pooled false Geometric Mean Average Precision 0.0589 bilingual+ fr2de merged multilingual reference Binary Preference (BPREF) 0.2642 cut_1 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 63.10 CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 10 48.18 90% 20 40.62 80% 30 32.60 40 28.60 70% 50 22.40 60% 60 17.48 Precision 70 14.33 50% 80 10.73 40% 90 6.60 30% 100 1.98 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.44 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.9287 Minimum 0.0000 First Quartile 0.0220 Second Quartile 0.1936 Third Quartile 0.4295 Interquartile range 0.4075 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2444 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2393 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.9287 10 Mean With No Outliers 0.2444 Std With No Outliers 0.2393 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 0.8 701-AH 15.45 726-AH 7.37 0.6 702-AH 8.72 727-AH 25.30 0.4 703-AH 43.21 728-AH 6.56 0.2 Difference 704-AH 25.53 729-AH 0.04 0 705-AH 48.41 730-AH 22.55 −0.2 −0.4 706-AH 15.79 731-AH 57.19 −0.6 707-AH 57.99 732-AH 20.49 −0.8 708-AH 53.50 733-AH 0.00 −1 709-AH 18.23 734-AH 92.87 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 60.57 735-AH 9.43 711-AH 0.11 736-AH 0.91 712-AH 17.57 737-AH 7.20 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 713-AH 22.67 738-AH 21.64 0.8 714-AH 0.21 739-AH 51.99 0.6 715-AH 12.26 740-AH 42.95 0.4 716-AH 89.65 741-AH 0.06 0.2 Difference 717-AH 48.00 742-AH 0.56 0 718-AH 40.46 743-AH 3.30 −0.2 −0.4 719-AH 0.12 744-AH 24.05 −0.6 720-AH 55.05 745-AH 0.16 −0.8 721-AH 2.20 746-AH 34.26 −1 722-AH 0.02 747-AH 8.47 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 1.44 724-AH 46.09 749-AH 40.21 725-AH 38.03 750-AH 23.25 545 chemnitz 10.2415/AH-TEL-BILI-X2DE- AH-TEL-BILI-X2DE-CLEF2009 CLEF2009.CHEMNITZ.CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 42.80 CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 10 docs 34.80 90% 15 docs 30.80 80% 20 docs 28.70 30 docs 24.67 70% 100 docs 12.16 60% 200 docs 7.50 Precision 500 docs 3.74 50% 1000 docs 2.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.73 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.9000 Minimum 0.0000 First Quartile 0.0385 Second Quartile 0.2500 Third Quartile 0.4286 Interquartile range 0.3901 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2673 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2305 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.9000 10 Mean With No Outliers 0.2673 Std With No Outliers 0.2305 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 0.8 701-AH 20.00 726-AH 18.75 0.6 702-AH 18.18 727-AH 29.63 0.4 703-AH 54.55 728-AH 5.26 0.2 Difference 704-AH 41.07 729-AH 0.00 0 705-AH 42.86 730-AH 25.00 −0.2 −0.4 706-AH 30.00 731-AH 59.65 −0.6 707-AH 40.00 732-AH 29.63 −0.8 708-AH 44.44 733-AH 0.00 −1 709-AH 20.83 734-AH 90.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 62.07 735-AH 17.81 711-AH 0.00 736-AH 3.85 712-AH 25.00 737-AH 11.90 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_8_BILI_FR2DE_MERGED_LANG_SPEC_REF_CUT_1 713-AH 27.27 738-AH 38.24 0.8 714-AH 0.00 739-AH 48.28 0.6 715-AH 12.50 740-AH 48.44 0.4 716-AH 84.62 741-AH 0.00 0.2 Difference 717-AH 38.10 742-AH 0.00 0 718-AH 50.00 743-AH 6.67 −0.2 −0.4 719-AH 0.00 744-AH 23.08 −0.6 720-AH 56.25 745-AH 1.39 −0.8 721-AH 2.94 746-AH 40.26 −1 722-AH 0.00 747-AH 6.98 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 43.75 749-AH 46.67 725-AH 42.55 750-AH 28.00 546 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIENDET2FB AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,415 Source Language Chinese Relevant 1,559 Topic Fields title, description Relevant retrieved 554 Pooled true Geometric Mean Average Precision 0.0082 English to German using Trec2 with Blind Feedback Binary Preference (BPREF) 0.1053 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 41.50 BIENDET2FB 10 24.80 90% 20 17.86 80% 30 13.58 40 9.80 70% 50 8.45 60% 60 6.95 Precision 70 5.67 50% 80 4.64 40% 90 2.85 30% 100 2.03 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 10.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8966 Minimum 0.0000 First Quartile 0.0024 Second Quartile 0.0213 Third Quartile 0.1466 Interquartile range 0.1442 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1031 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1752 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.3608 25 Mean With No Outliers 0.0745 20 15 Std With No Outliers 0.1029 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIENDET2FB 0.8 701-AH 1.38 726-AH 0.01 0.6 702-AH 0.93 727-AH 1.07 0.4 703-AH 12.19 728-AH 12.16 0.2 Difference 704-AH 2.51 729-AH 0.00 0 705-AH 20.78 730-AH 0.00 −0.2 −0.4 706-AH 20.78 731-AH 11.96 −0.6 707-AH 0.00 732-AH 3.67 −0.8 708-AH 1.83 733-AH 8.96 −1 709-AH 1.11 734-AH 89.66 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 31.27 735-AH 7.84 711-AH 0.00 736-AH 1.94 712-AH 0.37 737-AH 7.08 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIENDET2FB 713-AH 0.48 738-AH 0.95 0.8 714-AH 0.04 739-AH 3.45 0.6 715-AH 1.05 740-AH 0.00 0.4 716-AH 26.55 741-AH 23.48 0.2 Difference 717-AH 20.51 742-AH 0.00 0 718-AH 34.46 743-AH 0.24 −0.2 −0.4 719-AH 0.59 744-AH 4.26 −0.6 720-AH 36.08 745-AH 0.01 −0.8 721-AH 0.00 746-AH 2.40 −1 722-AH 18.57 747-AH 2.32 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 14.66 748-AH 0.00 724-AH 68.40 749-AH 0.25 725-AH 19.10 750-AH 0.10 547 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIENDET2FB AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 16.40 BIENDET2FB 10 docs 15.60 90% 15 docs 14.53 80% 20 docs 13.30 30 docs 11.93 70% 100 docs 6.48 60% 200 docs 4.09 Precision 500 docs 1.92 50% 1000 docs 1.11 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 12.29 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8500 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0452 Third Quartile 0.2143 Interquartile range 0.2143 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1229 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1760 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4138 15 Mean With No Outliers 0.0982 10 Std With No Outliers 0.1261 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIENDET2FB 0.8 701-AH 6.67 726-AH 0.00 0.6 702-AH 0.00 727-AH 7.41 0.4 703-AH 9.09 728-AH 15.79 0.2 Difference 704-AH 3.57 729-AH 0.00 0 705-AH 21.43 730-AH 0.00 −0.2 −0.4 706-AH 20.00 731-AH 22.81 −0.6 707-AH 0.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 8.70 −1 709-AH 10.42 734-AH 85.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 41.38 735-AH 24.66 711-AH 0.00 736-AH 0.00 712-AH 0.00 737-AH 11.90 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIENDET2FB 713-AH 0.00 738-AH 0.00 0.8 714-AH 0.00 739-AH 3.45 0.6 715-AH 6.25 740-AH 0.00 0.4 716-AH 38.46 741-AH 30.00 0.2 Difference 717-AH 30.95 742-AH 0.00 0 718-AH 34.38 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 3.85 −0.6 720-AH 37.50 745-AH 0.00 −0.8 721-AH 0.00 746-AH 5.19 −1 722-AH 22.22 747-AH 5.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 58.33 749-AH 2.67 725-AH 29.79 750-AH 0.00 548 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIENDET2FBX AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 604 Pooled false Geometric Mean Average Precision 0.0127 English to German and French + original English Binary Preference (BPREF) 0.1231 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 41.91 BIENDET2FBX 10 23.47 90% 20 19.29 80% 30 16.18 40 12.44 70% 50 8.90 60% 60 6.47 Precision 70 5.59 50% 80 4.69 40% 90 3.53 30% 100 2.01 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 11.50 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8683 Minimum 0.0000 First Quartile 0.0034 Second Quartile 0.0276 Third Quartile 0.1030 Interquartile range 0.0995 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1150 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2039 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.1488 20 Mean With No Outliers 0.0375 15 Std With No Outliers 0.0445 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIENDET2FBX 0.8 701-AH 5.80 726-AH 0.33 0.6 702-AH 0.01 727-AH 6.34 0.4 703-AH 14.88 728-AH 1.09 0.2 Difference 704-AH 8.13 729-AH 0.60 0 705-AH 7.79 730-AH 5.29 −0.2 −0.4 706-AH 41.21 731-AH 29.53 −0.6 707-AH 0.17 732-AH 14.28 −0.8 708-AH 0.00 733-AH 1.62 −1 709-AH 0.12 734-AH 86.83 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 10.30 735-AH 8.76 711-AH 0.00 736-AH 3.04 712-AH 0.48 737-AH 2.49 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIENDET2FBX 713-AH 0.86 738-AH 5.98 0.8 714-AH 0.55 739-AH 14.36 0.6 715-AH 9.29 740-AH 0.01 0.4 716-AH 73.47 741-AH 10.87 0.2 Difference 717-AH 5.68 742-AH 0.00 0 718-AH 29.35 743-AH 0.03 −0.2 −0.4 719-AH 4.44 744-AH 5.68 −0.6 720-AH 43.17 745-AH 2.08 −0.8 721-AH 0.00 746-AH 1.07 −1 722-AH 36.26 747-AH 1.52 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.07 748-AH 0.00 724-AH 77.73 749-AH 0.30 725-AH 0.34 750-AH 2.00 549 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIENDET2FBX AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 22.80 BIENDET2FBX 10 docs 18.20 90% 15 docs 15.87 80% 20 docs 14.90 30 docs 12.60 70% 100 docs 6.30 60% 200 docs 3.85 Precision 500 docs 1.97 50% 1000 docs 1.21 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 12.98 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0601 Third Quartile 0.1724 Interquartile range 0.1724 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1298 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1869 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4000 Mean With No Outliers 0.0846 10 Std With No Outliers 0.1044 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIENDET2FBX 0.8 701-AH 6.67 726-AH 0.00 0.6 702-AH 0.00 727-AH 11.11 0.4 703-AH 9.09 728-AH 5.26 0.2 Difference 704-AH 10.71 729-AH 0.00 0 705-AH 7.14 730-AH 5.00 −0.2 −0.4 706-AH 40.00 731-AH 35.09 −0.6 707-AH 0.00 732-AH 22.22 −0.8 708-AH 0.00 733-AH 4.35 −1 709-AH 0.00 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.24 735-AH 19.18 711-AH 0.00 736-AH 3.85 712-AH 0.00 737-AH 5.95 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIENDET2FBX 713-AH 0.00 738-AH 20.59 0.8 714-AH 6.06 739-AH 17.24 0.6 715-AH 18.75 740-AH 0.00 0.4 716-AH 65.38 741-AH 5.00 0.2 Difference 717-AH 9.52 742-AH 0.00 0 718-AH 31.25 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 7.69 −0.6 720-AH 50.00 745-AH 11.11 −0.8 721-AH 0.00 746-AH 2.60 −1 722-AH 33.33 747-AH 5.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 64.58 749-AH 1.33 725-AH 0.00 750-AH 8.00 550 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIFRDET2FB AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,736 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 621 Pooled false Geometric Mean Average Precision 0.0088 French to German using Trec2 with Blind Feedback Binary Preference (BPREF) 0.1325 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 33.80 BIFRDET2FB 10 24.36 90% 20 17.20 80% 30 13.36 40 11.06 70% 50 9.40 60% 60 7.15 Precision 70 5.00 50% 80 4.21 40% 90 2.36 30% 100 1.38 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 9.91 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8215 Minimum 0.0000 First Quartile 0.0011 Second Quartile 0.0311 Third Quartile 0.1224 Interquartile range 0.1213 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0991 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1654 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.2622 20 Mean With No Outliers 0.0529 15 Std With No Outliers 0.0696 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIFRDET2FB 0.8 701-AH 6.09 726-AH 7.53 0.6 702-AH 3.66 727-AH 0.02 0.4 703-AH 3.28 728-AH 0.25 0.2 Difference 704-AH 3.40 729-AH 0.00 0 705-AH 20.54 730-AH 8.80 −0.2 −0.4 706-AH 17.32 731-AH 33.89 −0.6 707-AH 0.00 732-AH 2.66 −0.8 708-AH 10.65 733-AH 17.70 −1 709-AH 1.87 734-AH 82.15 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 23.83 735-AH 5.54 711-AH 0.00 736-AH 3.84 712-AH 1.10 737-AH 8.37 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIFRDET2FB 713-AH 0.53 738-AH 0.00 0.8 714-AH 0.11 739-AH 8.43 0.6 715-AH 1.77 740-AH 12.24 0.4 716-AH 9.90 741-AH 0.04 0.2 Difference 717-AH 26.22 742-AH 0.00 0 718-AH 43.02 743-AH 0.11 −0.2 −0.4 719-AH 0.32 744-AH 36.52 −0.6 720-AH 0.69 745-AH 0.00 −0.8 721-AH 0.00 746-AH 2.93 −1 722-AH 12.72 747-AH 2.16 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 12.40 748-AH 0.00 724-AH 62.03 749-AH 0.18 725-AH 0.64 750-AH 0.04 551 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIFRDET2FB AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 16.00 BIFRDET2FB 10 docs 15.60 90% 15 docs 14.00 80% 20 docs 13.00 30 docs 12.33 70% 100 docs 7.26 60% 200 docs 4.35 Precision 500 docs 2.09 50% 1000 docs 1.24 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 12.34 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0477 Third Quartile 0.1905 Interquartile range 0.1905 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1234 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1728 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4524 15 Mean With No Outliers 0.0840 10 Std With No Outliers 0.1102 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIFRDET2FB 0.8 701-AH 0.00 726-AH 12.50 0.6 702-AH 9.09 727-AH 0.00 0.4 703-AH 9.09 728-AH 0.00 0.2 Difference 704-AH 12.50 729-AH 0.00 0 705-AH 21.43 730-AH 15.00 −0.2 −0.4 706-AH 20.00 731-AH 49.12 −0.6 707-AH 0.00 732-AH 3.70 −0.8 708-AH 11.11 733-AH 4.35 −1 709-AH 6.25 734-AH 70.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 27.59 735-AH 15.07 711-AH 0.00 736-AH 7.69 712-AH 0.00 737-AH 19.05 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIFRDET2FB 713-AH 0.00 738-AH 0.00 0.8 714-AH 3.03 739-AH 24.14 0.6 715-AH 0.00 740-AH 20.31 0.4 716-AH 11.54 741-AH 0.00 0.2 Difference 717-AH 45.24 742-AH 0.00 0 718-AH 53.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 38.46 −0.6 720-AH 0.00 745-AH 0.00 −0.8 721-AH 0.00 746-AH 5.19 −1 722-AH 11.11 747-AH 3.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.67 748-AH 0.00 724-AH 58.33 749-AH 2.67 725-AH 0.00 750-AH 0.00 552 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIFRDET2FBX AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 598 Pooled false Geometric Mean Average Precision 0.0102 French to English and German + original French Binary Preference (BPREF) 0.1027 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 33.65 BIFRDET2FBX 10 21.89 90% 20 15.24 80% 30 13.14 40 10.28 70% 50 6.75 60% 60 5.10 Precision 70 2.95 50% 80 2.46 40% 90 1.90 30% 100 1.62 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 8.82 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6955 Minimum 0.0000 First Quartile 0.0040 Second Quartile 0.0188 Third Quartile 0.0949 Interquartile range 0.0909 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0882 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1525 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.2222 25 Mean With No Outliers 0.0341 20 15 Std With No Outliers 0.0493 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIFRDET2FBX 0.8 701-AH 12.65 726-AH 1.29 0.6 702-AH 0.59 727-AH 1.84 0.4 703-AH 0.40 728-AH 3.60 0.2 Difference 704-AH 3.44 729-AH 2.85 0 705-AH 7.83 730-AH 1.98 −0.2 −0.4 706-AH 38.43 731-AH 30.75 −0.6 707-AH 0.00 732-AH 14.13 −0.8 708-AH 1.19 733-AH 2.17 −1 709-AH 0.02 734-AH 53.77 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 14.85 735-AH 4.69 711-AH 0.00 736-AH 0.87 712-AH 1.08 737-AH 3.73 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIFRDET2FBX 713-AH 1.16 738-AH 1.08 0.8 714-AH 0.06 739-AH 43.75 0.6 715-AH 10.46 740-AH 0.42 0.4 716-AH 22.22 741-AH 0.05 0.2 Difference 717-AH 9.49 742-AH 0.00 0 718-AH 31.22 743-AH 0.00 −0.2 −0.4 719-AH 0.26 744-AH 6.61 −0.6 720-AH 1.37 745-AH 2.83 −0.8 721-AH 0.00 746-AH 1.62 −1 722-AH 26.89 747-AH 1.39 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 1.91 748-AH 0.00 724-AH 69.55 749-AH 0.18 725-AH 0.33 750-AH 6.10 553 cheshire 10.2415/AH-TEL-BILI-X2DE-CLEF2009.CHESHIRE.BIFRDET2FBX AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 18.80 BIFRDET2FBX 10 docs 16.00 90% 15 docs 13.60 80% 20 docs 12.50 30 docs 10.80 70% 100 docs 6.18 60% 200 docs 3.60 Precision 500 docs 1.87 50% 1000 docs 1.20 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 11.34 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6458 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0625 Third Quartile 0.1250 Interquartile range 0.1250 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1134 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1567 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.2692 15 Mean With No Outliers 0.0576 10 Std With No Outliers 0.0678 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIFRDET2FBX 0.8 701-AH 13.33 726-AH 6.25 0.6 702-AH 0.00 727-AH 7.41 0.4 703-AH 0.00 728-AH 10.53 0.2 Difference 704-AH 12.50 729-AH 6.25 0 705-AH 7.14 730-AH 5.00 −0.2 −0.4 706-AH 50.00 731-AH 35.09 −0.6 707-AH 0.00 732-AH 22.22 −0.8 708-AH 0.00 733-AH 4.35 −1 709-AH 0.00 734-AH 40.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.24 735-AH 10.96 711-AH 0.00 736-AH 0.00 712-AH 8.33 737-AH 8.33 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIFRDET2FBX 713-AH 0.00 738-AH 2.94 0.8 714-AH 0.00 739-AH 41.38 0.6 715-AH 18.75 740-AH 3.12 0.4 716-AH 26.92 741-AH 0.00 0.2 Difference 717-AH 11.90 742-AH 0.00 0 718-AH 43.75 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 11.54 −0.6 720-AH 0.00 745-AH 11.11 −0.8 721-AH 0.00 746-AH 6.49 −1 722-AH 44.44 747-AH 5.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 64.58 749-AH 1.33 725-AH 0.00 750-AH 8.00 554 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.EN_INDEXALL AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 824 Pooled false Geometric Mean Average Precision 0.0473 IR with multiple indexes and aggregated ranks Binary Preference (BPREF) 0.1484 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 48.34 EN_INDEXALL 10 35.84 90% 20 29.51 80% 30 21.93 40 14.30 70% 50 11.90 60% 60 10.01 Precision 70 6.49 50% 80 4.20 40% 90 2.33 30% 100 0.76 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.13 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7548 Minimum 0.0000 First Quartile 0.0273 Second Quartile 0.0740 Third Quartile 0.2371 Interquartile range 0.2099 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1513 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1797 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4148 15 Mean With No Outliers 0.1178 10 Std With No Outliers 0.1229 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXALL 0.8 701-AH 5.97 726-AH 12.12 0.6 702-AH 6.04 727-AH 0.03 0.4 703-AH 14.95 728-AH 0.36 0.2 Difference 704-AH 9.67 729-AH 1.15 0 705-AH 30.87 730-AH 10.34 −0.2 −0.4 706-AH 17.20 731-AH 13.22 −0.6 707-AH 34.04 732-AH 2.98 −0.8 708-AH 1.53 733-AH 28.02 −1 709-AH 21.44 734-AH 75.48 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.20 735-AH 3.69 711-AH 0.02 736-AH 4.94 712-AH 7.14 737-AH 2.73 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXALL 713-AH 10.98 738-AH 0.65 0.8 714-AH 4.08 739-AH 26.30 0.6 715-AH 3.89 740-AH 19.03 0.4 716-AH 31.70 741-AH 60.30 0.2 Difference 717-AH 35.05 742-AH 0.00 0 718-AH 37.63 743-AH 0.26 −0.2 −0.4 719-AH 2.42 744-AH 41.48 −0.6 720-AH 32.71 745-AH 0.17 −0.8 721-AH 3.94 746-AH 5.11 −1 722-AH 23.71 747-AH 3.15 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 7.66 748-AH 9.42 724-AH 66.75 749-AH 0.97 725-AH 21.61 750-AH 3.26 555 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.EN_INDEXALL AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 28.00 EN_INDEXALL 10 docs 23.60 90% 15 docs 21.47 80% 20 docs 19.60 30 docs 16.27 70% 100 docs 9.02 60% 200 docs 5.55 Precision 500 docs 2.84 50% 1000 docs 1.65 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.07 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7000 Minimum 0.0000 First Quartile 0.0133 Second Quartile 0.1348 Third Quartile 0.2812 Interquartile range 0.2679 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1707 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1764 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6042 Mean With No Outliers 0.1599 10 Std With No Outliers 0.1606 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXALL 0.8 701-AH 0.00 726-AH 25.00 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 16.07 729-AH 0.00 0 705-AH 21.43 730-AH 5.00 −0.2 −0.4 706-AH 20.00 731-AH 26.32 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 34.78 −1 709-AH 25.00 734-AH 70.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 15.07 711-AH 0.00 736-AH 3.85 712-AH 16.67 737-AH 5.95 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXALL 713-AH 9.09 738-AH 0.00 0.8 714-AH 0.00 739-AH 31.03 0.6 715-AH 6.25 740-AH 28.12 0.4 716-AH 46.15 741-AH 55.00 0.2 Difference 717-AH 42.86 742-AH 0.00 0 718-AH 37.50 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 34.62 −0.6 720-AH 37.50 745-AH 1.39 −0.8 721-AH 8.82 746-AH 16.88 −1 722-AH 22.22 747-AH 4.65 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 60.42 749-AH 1.33 725-AH 29.79 750-AH 12.00 556 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.EN_INDEXALLESA AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 855 Pooled true Geometric Mean Average Precision 0.0496 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.1436 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 44.99 EN_INDEXALLESA 10 34.78 90% 20 27.73 80% 30 20.84 40 14.60 70% 50 12.28 60% 60 9.76 Precision 70 6.97 50% 80 4.60 40% 90 2.64 30% 100 0.95 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.68 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7886 Minimum 0.0000 First Quartile 0.0297 Second Quartile 0.0636 Third Quartile 0.2644 Interquartile range 0.2347 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1468 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1784 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5995 15 Mean With No Outliers 0.1231 10 Std With No Outliers 0.1362 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXALLESA 0.8 701-AH 6.65 726-AH 11.57 0.6 702-AH 6.08 727-AH 0.09 0.4 703-AH 17.22 728-AH 0.39 0.2 Difference 704-AH 11.13 729-AH 1.12 0 705-AH 28.28 730-AH 10.80 −0.2 −0.4 706-AH 15.83 731-AH 12.22 −0.6 707-AH 34.43 732-AH 3.30 −0.8 708-AH 1.62 733-AH 29.79 −1 709-AH 21.38 734-AH 78.86 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.28 735-AH 2.97 711-AH 0.07 736-AH 4.52 712-AH 2.98 737-AH 3.12 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXALLESA 713-AH 4.76 738-AH 3.09 0.8 714-AH 4.43 739-AH 26.75 0.6 715-AH 5.34 740-AH 12.80 0.4 716-AH 33.50 741-AH 59.95 0.2 Difference 717-AH 32.23 742-AH 0.00 0 718-AH 37.20 743-AH 0.30 −0.2 −0.4 719-AH 1.81 744-AH 28.26 −0.6 720-AH 34.49 745-AH 0.20 −0.8 721-AH 3.77 746-AH 3.96 −1 722-AH 26.44 747-AH 3.25 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 7.80 748-AH 9.60 724-AH 64.53 749-AH 1.19 725-AH 21.15 750-AH 2.63 557 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.EN_INDEXALLESA AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 26.00 EN_INDEXALLESA 10 docs 22.60 90% 15 docs 21.33 80% 20 docs 19.00 30 docs 16.40 70% 100 docs 9.06 60% 200 docs 5.73 Precision 500 docs 2.90 50% 1000 docs 1.71 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.10 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7500 Minimum 0.0000 First Quartile 0.0370 Second Quartile 0.1267 Third Quartile 0.2500 Interquartile range 0.2130 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1710 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1766 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5500 Mean With No Outliers 0.1500 10 Std With No Outliers 0.1447 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXALLESA 0.8 701-AH 6.67 726-AH 25.00 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 16.07 729-AH 0.00 0 705-AH 21.43 730-AH 5.00 −0.2 −0.4 706-AH 20.00 731-AH 26.32 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 39.13 −1 709-AH 25.00 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.59 711-AH 0.00 736-AH 3.85 712-AH 8.33 737-AH 5.95 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXALLESA 713-AH 9.09 738-AH 14.71 0.8 714-AH 3.03 739-AH 31.03 0.6 715-AH 6.25 740-AH 21.88 0.4 716-AH 50.00 741-AH 55.00 0.2 Difference 717-AH 42.86 742-AH 0.00 0 718-AH 34.38 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 23.08 −0.6 720-AH 37.50 745-AH 1.39 −0.8 721-AH 8.82 746-AH 15.58 −1 722-AH 22.22 747-AH 4.65 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 60.42 749-AH 1.33 725-AH 29.79 750-AH 12.00 558 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.EN_INDEXBL AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 818 Pooled false Geometric Mean Average Precision 0.0557 Baseline using standard IR single index Binary Preference (BPREF) 0.1630 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.10 EN_INDEXBL 10 39.60 90% 20 29.00 80% 30 23.36 40 16.93 70% 50 13.44 60% 60 10.24 Precision 70 6.55 50% 80 4.79 40% 90 2.86 30% 100 1.15 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.46 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7962 Minimum 0.0000 First Quartile 0.0316 Second Quartile 0.0812 Third Quartile 0.2457 Interquartile range 0.2141 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1646 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1985 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4864 15 Mean With No Outliers 0.1285 10 Std With No Outliers 0.1390 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXBL 0.8 701-AH 6.88 726-AH 24.57 0.6 702-AH 6.31 727-AH 0.63 0.4 703-AH 14.18 728-AH 0.44 0.2 Difference 704-AH 10.09 729-AH 1.07 0 705-AH 33.58 730-AH 4.25 −0.2 −0.4 706-AH 10.78 731-AH 13.55 −0.6 707-AH 34.09 732-AH 5.89 −0.8 708-AH 1.59 733-AH 42.96 −1 709-AH 22.20 734-AH 77.83 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.06 735-AH 3.66 711-AH 1.28 736-AH 4.78 712-AH 14.53 737-AH 3.42 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXBL 713-AH 11.76 738-AH 3.16 0.8 714-AH 3.90 739-AH 22.97 0.6 715-AH 1.12 740-AH 30.64 0.4 716-AH 29.51 741-AH 61.72 0.2 Difference 717-AH 48.64 742-AH 0.00 0 718-AH 40.86 743-AH 0.26 −0.2 −0.4 719-AH 2.43 744-AH 43.92 −0.6 720-AH 32.57 745-AH 0.05 −0.8 721-AH 4.28 746-AH 8.36 −1 722-AH 12.30 747-AH 3.68 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 7.87 748-AH 8.73 724-AH 79.62 749-AH 1.15 725-AH 21.61 750-AH 3.29 559 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.EN_INDEXBL AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 31.60 EN_INDEXBL 10 docs 26.00 90% 15 docs 24.00 80% 20 docs 22.00 30 docs 18.07 70% 100 docs 9.36 60% 200 docs 5.80 Precision 500 docs 2.80 50% 1000 docs 1.64 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.06 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7000 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1156 Third Quartile 0.3000 Interquartile range 0.3000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1806 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1955 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.7000 Mean With No Outliers 0.1806 10 Std With No Outliers 0.1955 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXBL 0.8 701-AH 0.00 726-AH 43.75 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 9.09 728-AH 0.00 0.2 Difference 704-AH 16.07 729-AH 0.00 0 705-AH 21.43 730-AH 0.00 −0.2 −0.4 706-AH 10.00 731-AH 28.07 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 47.83 −1 709-AH 25.00 734-AH 70.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 12.33 711-AH 0.00 736-AH 3.85 712-AH 16.67 737-AH 9.52 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXBL 713-AH 9.09 738-AH 14.71 0.8 714-AH 0.00 739-AH 31.03 0.6 715-AH 0.00 740-AH 40.62 0.4 716-AH 42.31 741-AH 60.00 0.2 Difference 717-AH 47.62 742-AH 0.00 0 718-AH 40.62 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 46.15 −0.6 720-AH 37.50 745-AH 0.00 −0.8 721-AH 8.82 746-AH 18.18 −1 722-AH 11.11 747-AH 4.65 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 66.67 749-AH 4.00 725-AH 29.79 750-AH 12.00 560 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.FR_INDEXALLESA AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 850 Pooled false Geometric Mean Average Precision 0.0380 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.1575 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 46.59 FR_INDEXALLESA 10 34.96 90% 20 27.13 80% 30 19.95 40 14.29 70% 50 11.35 60% 60 8.37 Precision 70 6.30 50% 80 4.42 40% 90 2.54 30% 100 0.76 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.13 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7218 Minimum 0.0000 First Quartile 0.0090 Second Quartile 0.0692 Third Quartile 0.2356 Interquartile range 0.2266 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1413 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1677 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5046 15 Mean With No Outliers 0.1193 10 Std With No Outliers 0.1300 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXALLESA 0.8 701-AH 22.22 726-AH 6.37 0.6 702-AH 6.33 727-AH 0.16 0.4 703-AH 15.09 728-AH 6.83 0.2 Difference 704-AH 16.68 729-AH 1.30 0 705-AH 35.29 730-AH 2.29 −0.2 −0.4 706-AH 20.54 731-AH 8.58 −0.6 707-AH 34.81 732-AH 3.41 −0.8 708-AH 39.43 733-AH 28.02 −1 709-AH 17.72 734-AH 61.50 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 31.46 735-AH 0.52 711-AH 0.23 736-AH 0.64 712-AH 23.56 737-AH 3.71 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXALLESA 713-AH 9.64 738-AH 0.68 0.8 714-AH 3.87 739-AH 7.00 0.6 715-AH 8.11 740-AH 17.09 0.4 716-AH 50.46 741-AH 0.09 0.2 Difference 717-AH 32.33 742-AH 0.00 0 718-AH 16.52 743-AH 0.01 −0.2 −0.4 719-AH 0.10 744-AH 25.66 −0.6 720-AH 23.57 745-AH 26.75 −0.8 721-AH 3.50 746-AH 2.42 −1 722-AH 4.76 747-AH 3.13 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.05 748-AH 0.33 724-AH 72.18 749-AH 0.38 725-AH 0.06 750-AH 0.90 561 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.FR_INDEXALLESA AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 22.80 FR_INDEXALLESA 10 docs 20.20 90% 15 docs 18.00 80% 20 docs 17.20 30 docs 14.40 70% 100 docs 8.80 60% 200 docs 5.60 Precision 500 docs 2.84 50% 1000 docs 1.70 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.90 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5769 Minimum 0.0000 First Quartile 0.0267 Second Quartile 0.1348 Third Quartile 0.2812 Interquartile range 0.2546 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1690 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1606 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5769 Mean With No Outliers 0.1690 10 Std With No Outliers 0.1606 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXALLESA 0.8 701-AH 20.00 726-AH 18.75 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 15.79 0.2 Difference 704-AH 25.00 729-AH 3.12 0 705-AH 21.43 730-AH 5.00 −0.2 −0.4 706-AH 20.00 731-AH 21.05 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 44.44 733-AH 30.43 −1 709-AH 29.17 734-AH 50.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 37.93 735-AH 0.00 711-AH 0.00 736-AH 0.00 712-AH 25.00 737-AH 7.14 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXALLESA 713-AH 9.09 738-AH 0.00 0.8 714-AH 0.00 739-AH 17.24 0.6 715-AH 12.50 740-AH 26.56 0.4 716-AH 57.69 741-AH 0.00 0.2 Difference 717-AH 35.71 742-AH 0.00 0 718-AH 28.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 34.62 −0.6 720-AH 37.50 745-AH 34.72 −0.8 721-AH 8.82 746-AH 11.69 −1 722-AH 11.11 747-AH 3.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 56.25 749-AH 2.67 725-AH 0.00 750-AH 4.00 562 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.FR_INDEXBL AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 836 Pooled false Geometric Mean Average Precision 0.0388 Baseline using standard IR single index Binary Preference (BPREF) 0.1670 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 50.74 FR_INDEXBL 10 36.99 90% 20 26.88 80% 30 20.79 40 14.26 70% 50 12.34 60% 60 9.33 Precision 70 5.64 50% 80 4.23 40% 90 2.71 30% 100 1.13 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7880 Minimum 0.0000 First Quartile 0.0146 Second Quartile 0.0871 Third Quartile 0.2177 Interquartile range 0.2031 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1505 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1783 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.4532 15 Mean With No Outliers 0.1210 10 Std With No Outliers 0.1343 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXBL 0.8 701-AH 17.31 726-AH 9.95 0.6 702-AH 7.47 727-AH 0.49 0.4 703-AH 14.54 728-AH 6.49 0.2 Difference 704-AH 23.32 729-AH 1.21 0 705-AH 33.12 730-AH 3.10 −0.2 −0.4 706-AH 10.77 731-AH 12.30 −0.6 707-AH 34.22 732-AH 5.85 −0.8 708-AH 39.53 733-AH 52.23 −1 709-AH 18.16 734-AH 45.32 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 24.60 735-AH 1.46 711-AH 0.23 736-AH 1.05 712-AH 21.01 737-AH 3.95 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXBL 713-AH 10.25 738-AH 0.09 0.8 714-AH 4.16 739-AH 7.38 0.6 715-AH 1.96 740-AH 15.82 0.4 716-AH 43.85 741-AH 0.07 0.2 Difference 717-AH 40.87 742-AH 0.00 0 718-AH 18.19 743-AH 0.00 −0.2 −0.4 719-AH 0.10 744-AH 52.76 −0.6 720-AH 21.77 745-AH 35.26 −0.8 721-AH 3.54 746-AH 2.28 −1 722-AH 11.36 747-AH 3.50 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 10.09 748-AH 0.38 724-AH 78.80 749-AH 0.36 725-AH 0.09 750-AH 1.95 563 karlsruhe 10.2415/AH-TEL-BILI-X2DE-CLEF2009.KARLSRUHE.FR_INDEXBL AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 27.60 FR_INDEXBL 10 docs 22.20 90% 15 docs 20.27 80% 20 docs 18.30 30 docs 15.47 70% 100 docs 9.10 60% 200 docs 5.85 Precision 500 docs 2.85 50% 1000 docs 1.67 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.25 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1144 Third Quartile 0.2812 Interquartile range 0.2812 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1725 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1731 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6667 Mean With No Outliers 0.1725 10 Std With No Outliers 0.1731 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries FR_INDEXBL 0.8 701-AH 20.00 726-AH 18.75 0.6 702-AH 18.18 727-AH 0.00 0.4 703-AH 9.09 728-AH 15.79 0.2 Difference 704-AH 26.79 729-AH 0.00 0 705-AH 21.43 730-AH 5.00 −0.2 −0.4 706-AH 10.00 731-AH 24.56 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 44.44 733-AH 47.83 −1 709-AH 31.25 734-AH 30.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 31.03 735-AH 10.96 711-AH 0.00 736-AH 0.00 712-AH 25.00 737-AH 10.71 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) FR_INDEXBL 713-AH 9.09 738-AH 0.00 0.8 714-AH 0.00 739-AH 17.24 0.6 715-AH 0.00 740-AH 23.44 0.4 716-AH 53.85 741-AH 0.00 0.2 Difference 717-AH 38.10 742-AH 0.00 0 718-AH 28.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 53.85 −0.6 720-AH 37.50 745-AH 44.44 −0.8 721-AH 11.76 746-AH 9.09 −1 722-AH 11.11 747-AH 3.49 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 66.67 749-AH 2.67 725-AH 0.00 750-AH 4.00 564 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDENDERUN2 AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 808 Pooled true Geometric Mean Average Precision 0.0671 LM-abs-GRR Binary Preference (BPREF) 0.1922 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.80 TCDENDERUN2 10 45.05 90% 20 34.00 80% 30 26.73 40 19.31 70% 50 16.44 60% 60 12.27 Precision 70 9.67 50% 80 6.41 40% 90 4.78 30% 100 2.36 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.10 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8331 Minimum 0.0000 First Quartile 0.0309 Second Quartile 0.1104 Third Quartile 0.2520 Interquartile range 0.2211 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1910 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2170 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4661 Mean With No Outliers 0.1337 10 Std With No Outliers 0.1346 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENDERUN2 0.8 701-AH 6.09 726-AH 0.00 0.6 702-AH 8.02 727-AH 0.77 0.4 703-AH 24.38 728-AH 1.02 0.2 Difference 704-AH 14.62 729-AH 1.34 0 705-AH 22.10 730-AH 3.09 −0.2 −0.4 706-AH 25.45 731-AH 22.58 −0.6 707-AH 23.56 732-AH 16.76 −0.8 708-AH 4.66 733-AH 21.61 −1 709-AH 19.89 734-AH 83.31 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.04 735-AH 0.52 711-AH 6.96 736-AH 5.67 712-AH 14.03 737-AH 4.81 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENDERUN2 713-AH 15.76 738-AH 11.30 0.8 714-AH 2.57 739-AH 43.02 0.6 715-AH 25.53 740-AH 44.17 0.4 716-AH 68.61 741-AH 34.12 0.2 Difference 717-AH 46.61 742-AH 0.41 0 718-AH 58.64 743-AH 0.07 −0.2 −0.4 719-AH 4.15 744-AH 1.26 −0.6 720-AH 46.06 745-AH 0.07 −0.8 721-AH 7.36 746-AH 10.78 −1 722-AH 6.83 747-AH 7.93 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.76 748-AH 70.00 724-AH 72.89 749-AH 1.16 725-AH 25.20 750-AH 12.48 565 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDENDERUN2 AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 34.80 TCDENDERUN2 10 docs 29.20 90% 15 docs 26.53 80% 20 docs 24.40 30 docs 19.07 70% 100 docs 10.74 60% 200 docs 6.36 Precision 500 docs 2.91 50% 1000 docs 1.62 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 21.55 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7500 Minimum 0.0000 First Quartile 0.0400 Second Quartile 0.1791 Third Quartile 0.3333 Interquartile range 0.2933 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2155 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1973 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7500 10 Mean With No Outliers 0.2155 Std With No Outliers 0.1973 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENDERUN2 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 5.26 0.2 Difference 704-AH 21.43 729-AH 0.00 0 705-AH 14.29 730-AH 5.00 −0.2 −0.4 706-AH 30.00 731-AH 36.84 −0.6 707-AH 30.00 732-AH 18.52 −0.8 708-AH 0.00 733-AH 21.74 −1 709-AH 25.00 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.45 735-AH 5.48 711-AH 25.00 736-AH 3.85 712-AH 25.00 737-AH 13.10 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENDERUN2 713-AH 36.36 738-AH 17.65 0.8 714-AH 3.03 739-AH 41.38 0.6 715-AH 37.50 740-AH 50.00 0.4 716-AH 57.69 741-AH 45.00 0.2 Difference 717-AH 50.00 742-AH 0.00 0 718-AH 62.50 743-AH 0.00 −0.2 −0.4 719-AH 12.00 744-AH 3.85 −0.6 720-AH 43.75 745-AH 0.00 −0.8 721-AH 11.76 746-AH 24.68 −1 722-AH 11.11 747-AH 9.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 33.33 724-AH 68.75 749-AH 4.00 725-AH 29.79 750-AH 20.00 566 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDENDERUN3 AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 808 Pooled false Geometric Mean Average Precision 0.0660 LM-abs-GRRS Binary Preference (BPREF) 0.1944 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.96 TCDENDERUN3 10 44.66 90% 20 33.94 80% 30 26.78 40 19.91 70% 50 16.50 60% 60 12.94 Precision 70 9.52 50% 80 6.50 40% 90 4.73 30% 100 2.40 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 19.35 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8667 Minimum 0.0000 First Quartile 0.0310 Second Quartile 0.1114 Third Quartile 0.2509 Interquartile range 0.2199 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1935 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2260 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5698 Mean With No Outliers 0.1427 10 Std With No Outliers 0.1489 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENDERUN3 0.8 701-AH 6.10 726-AH 0.00 0.6 702-AH 8.34 727-AH 0.70 0.4 703-AH 24.48 728-AH 0.87 0.2 Difference 704-AH 14.04 729-AH 1.22 0 705-AH 21.76 730-AH 3.10 −0.2 −0.4 706-AH 26.64 731-AH 21.55 −0.6 707-AH 23.57 732-AH 15.39 −0.8 708-AH 4.15 733-AH 20.61 −1 709-AH 19.37 734-AH 83.05 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 1.08 735-AH 0.53 711-AH 7.09 736-AH 5.67 712-AH 14.03 737-AH 4.95 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENDERUN3 713-AH 15.49 738-AH 11.13 0.8 714-AH 2.57 739-AH 44.19 0.6 715-AH 25.81 740-AH 43.49 0.4 716-AH 68.11 741-AH 33.41 0.2 Difference 717-AH 47.59 742-AH 0.31 0 718-AH 56.98 743-AH 0.07 −0.2 −0.4 719-AH 4.20 744-AH 1.28 −0.6 720-AH 47.28 745-AH 0.06 −0.8 721-AH 7.34 746-AH 11.15 −1 722-AH 6.50 747-AH 8.10 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.96 748-AH 86.67 724-AH 73.12 749-AH 1.16 725-AH 25.09 750-AH 12.04 567 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDENDERUN3 AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 34.80 TCDENDERUN3 10 docs 29.20 90% 15 docs 25.87 80% 20 docs 23.70 30 docs 19.13 70% 100 docs 10.62 60% 200 docs 6.34 Precision 500 docs 2.92 50% 1000 docs 1.62 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 21.63 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7500 Minimum 0.0000 First Quartile 0.0385 Second Quartile 0.1610 Third Quartile 0.3509 Interquartile range 0.3124 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2163 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2042 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7500 10 Mean With No Outliers 0.2163 Std With No Outliers 0.2042 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENDERUN3 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 21.43 729-AH 0.00 0 705-AH 14.29 730-AH 5.00 −0.2 −0.4 706-AH 30.00 731-AH 35.09 −0.6 707-AH 30.00 732-AH 14.81 −0.8 708-AH 0.00 733-AH 17.39 −1 709-AH 22.92 734-AH 75.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.45 735-AH 5.48 711-AH 25.00 736-AH 3.85 712-AH 25.00 737-AH 13.10 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENDERUN3 713-AH 36.36 738-AH 17.65 0.8 714-AH 3.03 739-AH 41.38 0.6 715-AH 37.50 740-AH 48.44 0.4 716-AH 57.69 741-AH 45.00 0.2 Difference 717-AH 47.62 742-AH 0.00 0 718-AH 59.38 743-AH 0.00 −0.2 −0.4 719-AH 12.00 744-AH 3.85 −0.6 720-AH 37.50 745-AH 0.00 −0.8 721-AH 11.76 746-AH 24.68 −1 722-AH 11.11 747-AH 9.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 66.67 724-AH 68.75 749-AH 5.33 725-AH 29.79 750-AH 20.00 568 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDFRDERUN2 AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 754 Pooled false Geometric Mean Average Precision 0.0469 LM-abs-GRR Binary Preference (BPREF) 0.2063 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.62 TCDFRDERUN2 10 43.49 90% 20 35.08 80% 30 25.58 40 18.74 70% 50 14.47 60% 60 10.43 Precision 70 7.84 50% 80 5.31 40% 90 3.45 30% 100 1.43 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 18.40 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8564 Minimum 0.0000 First Quartile 0.0128 Second Quartile 0.0746 Third Quartile 0.2749 Interquartile range 0.2621 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1840 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2141 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5132 Mean With No Outliers 0.1573 10 Std With No Outliers 0.1719 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRDERUN2 0.8 701-AH 16.69 726-AH 6.25 0.6 702-AH 8.20 727-AH 3.50 0.4 703-AH 19.02 728-AH 0.97 0.2 Difference 704-AH 26.59 729-AH 1.00 0 705-AH 21.56 730-AH 1.28 −0.2 −0.4 706-AH 25.32 731-AH 17.98 −0.6 707-AH 51.32 732-AH 4.56 −0.8 708-AH 48.11 733-AH 19.59 −1 709-AH 50.10 734-AH 85.64 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.66 735-AH 3.52 711-AH 0.21 736-AH 5.75 712-AH 25.15 737-AH 1.07 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRDERUN2 713-AH 25.35 738-AH 0.10 0.8 714-AH 5.80 739-AH 27.58 0.6 715-AH 27.49 740-AH 43.91 0.4 716-AH 44.02 741-AH 0.08 0.2 Difference 717-AH 43.06 742-AH 9.68 0 718-AH 44.92 743-AH 0.00 −0.2 −0.4 719-AH 0.88 744-AH 43.92 −0.6 720-AH 46.06 745-AH 1.62 −0.8 721-AH 1.56 746-AH 3.21 −1 722-AH 6.04 747-AH 2.08 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.72 748-AH 0.00 724-AH 79.30 749-AH 0.14 725-AH 0.50 750-AH 11.94 569 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDFRDERUN2 AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 35.20 TCDFRDERUN2 10 docs 27.80 90% 15 docs 23.87 80% 20 docs 21.50 30 docs 18.07 70% 100 docs 9.16 60% 200 docs 5.37 Precision 500 docs 2.56 50% 1000 docs 1.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 20.50 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0476 Second Quartile 0.1333 Third Quartile 0.3571 Interquartile range 0.3095 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2050 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2031 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8000 10 Mean With No Outliers 0.2050 Std With No Outliers 0.2031 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRDERUN2 0.8 701-AH 13.33 726-AH 6.25 0.6 702-AH 13.64 727-AH 14.81 0.4 703-AH 18.18 728-AH 5.26 0.2 Difference 704-AH 35.71 729-AH 3.12 0 705-AH 14.29 730-AH 5.00 −0.2 −0.4 706-AH 30.00 731-AH 36.84 −0.6 707-AH 50.00 732-AH 11.11 −0.8 708-AH 44.44 733-AH 13.04 −1 709-AH 52.08 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 10.96 711-AH 0.00 736-AH 15.38 712-AH 25.00 737-AH 4.76 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRDERUN2 713-AH 27.27 738-AH 0.00 0.8 714-AH 9.09 739-AH 27.59 0.6 715-AH 37.50 740-AH 53.12 0.4 716-AH 53.85 741-AH 0.00 0.2 Difference 717-AH 40.48 742-AH 0.00 0 718-AH 50.00 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 34.62 −0.6 720-AH 43.75 745-AH 5.56 −0.8 721-AH 2.94 746-AH 10.39 −1 722-AH 11.11 747-AH 5.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 68.75 749-AH 2.67 725-AH 0.00 750-AH 20.00 570 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDFRDERUN3 AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 754 Pooled false Geometric Mean Average Precision 0.0471 LM-abs-GRRS Binary Preference (BPREF) 0.2050 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.58 TCDFRDERUN3 10 43.77 90% 20 35.03 80% 30 25.35 40 18.60 70% 50 14.56 60% 60 10.59 Precision 70 7.84 50% 80 5.31 40% 90 3.46 30% 100 1.36 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 18.39 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8487 Minimum 0.0000 First Quartile 0.0128 Second Quartile 0.0789 Third Quartile 0.2756 Interquartile range 0.2629 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1839 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.2132 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5238 Mean With No Outliers 0.1573 10 Std With No Outliers 0.1714 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRDERUN3 0.8 701-AH 16.32 726-AH 6.25 0.6 702-AH 8.91 727-AH 3.41 0.4 703-AH 18.97 728-AH 0.83 0.2 Difference 704-AH 26.96 729-AH 1.05 0 705-AH 23.87 730-AH 1.28 −0.2 −0.4 706-AH 25.46 731-AH 18.39 −0.6 707-AH 52.38 732-AH 4.38 −0.8 708-AH 47.95 733-AH 19.94 −1 709-AH 49.85 734-AH 84.87 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.62 735-AH 3.78 711-AH 0.20 736-AH 5.81 712-AH 23.08 737-AH 1.19 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDFRDERUN3 713-AH 25.37 738-AH 0.11 0.8 714-AH 6.00 739-AH 27.60 0.6 715-AH 27.56 740-AH 44.43 0.4 716-AH 42.14 741-AH 0.08 0.2 Difference 717-AH 42.90 742-AH 9.14 0 718-AH 45.16 743-AH 0.00 −0.2 −0.4 719-AH 0.85 744-AH 43.28 −0.6 720-AH 45.57 745-AH 1.47 −0.8 721-AH 1.55 746-AH 3.24 −1 722-AH 5.98 747-AH 2.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.87 748-AH 0.00 724-AH 79.28 749-AH 0.17 725-AH 0.53 750-AH 12.14 571 trinity 10.2415/AH-TEL-BILI-X2DE-CLEF2009.TRINITY.TCDFRDERUN3 AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 35.60 TCDFRDERUN3 10 docs 27.60 90% 15 docs 24.13 80% 20 docs 21.50 30 docs 18.27 70% 100 docs 9.26 60% 200 docs 5.40 Precision 500 docs 2.60 50% 1000 docs 1.51 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 20.16 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0400 Second Quartile 0.1333 Third Quartile 0.3571 Interquartile range 0.3171 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2016 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1997 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8000 10 Mean With No Outliers 0.2016 Std With No Outliers 0.1997 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDFRDERUN3 0.8 701-AH 13.33 726-AH 6.25 0.6 702-AH 13.64 727-AH 11.11 0.4 703-AH 18.18 728-AH 0.00 0.2 Difference 704-AH 35.71 729-AH 3.12 0 705-AH 21.43 730-AH 5.00 −0.2 −0.4 706-AH 30.00 731-AH 36.84 −0.6 707-AH 50.00 732-AH 7.41 −0.8 708-AH 44.44 733-AH 17.39 −1 709-AH 50.00 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 10.96 711-AH 0.00 736-AH 15.38 712-AH 25.00 737-AH 5.95 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDFRDERUN3 713-AH 27.27 738-AH 0.00 0.8 714-AH 9.09 739-AH 27.59 0.6 715-AH 37.50 740-AH 51.56 0.4 716-AH 50.00 741-AH 0.00 0.2 Difference 717-AH 40.48 742-AH 0.00 0 718-AH 50.00 743-AH 0.00 −0.2 −0.4 719-AH 4.00 744-AH 34.62 −0.6 720-AH 37.50 745-AH 5.56 −0.8 721-AH 2.94 746-AH 9.09 −1 722-AH 11.11 747-AH 5.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 13.33 748-AH 0.00 724-AH 66.67 749-AH 2.67 725-AH 0.00 750-AH 20.00 572 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.CLESA169283ENINDE AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 743 Pooled true Geometric Mean Average Precision 0.0238 CL-ESA with 169283 dimensions, querying the german Binary Preference (BPREF) 0.1223 collection with english topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.46 CLESA169283ENINDE 10 27.37 90% 20 21.01 80% 30 17.29 40 12.74 70% 50 10.57 60% 60 8.31 Precision 70 5.41 50% 80 4.48 40% 90 2.92 30% 100 1.25 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 12.35 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7545 Minimum 0.0000 First Quartile 0.0069 Second Quartile 0.0354 Third Quartile 0.1794 Interquartile range 0.1725 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1235 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1776 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.4279 20 Mean With No Outliers 0.0995 15 Std With No Outliers 0.1342 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283ENINDE 0.8 701-AH 25.87 726-AH 7.60 0.6 702-AH 0.21 727-AH 0.01 0.4 703-AH 16.37 728-AH 3.69 0.2 Difference 704-AH 9.97 729-AH 0.95 0 705-AH 23.09 730-AH 3.04 −0.2 −0.4 706-AH 1.11 731-AH 0.03 −0.6 707-AH 0.67 732-AH 4.82 −0.8 708-AH 0.96 733-AH 40.78 −1 709-AH 0.69 734-AH 41.51 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.04 735-AH 0.79 711-AH 4.15 736-AH 3.73 712-AH 17.94 737-AH 3.13 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283ENINDE 713-AH 2.19 738-AH 0.85 0.8 714-AH 2.52 739-AH 33.19 0.6 715-AH 0.59 740-AH 1.75 0.4 716-AH 75.45 741-AH 26.40 0.2 Difference 717-AH 25.99 742-AH 0.00 0 718-AH 14.49 743-AH 0.03 −0.2 −0.4 719-AH 0.25 744-AH 42.79 −0.6 720-AH 37.51 745-AH 6.44 −0.8 721-AH 2.42 746-AH 0.20 −1 722-AH 15.17 747-AH 5.83 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.14 748-AH 38.78 724-AH 64.56 749-AH 3.38 725-AH 0.02 750-AH 0.26 573 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.CLESA169283ENINDE AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 20.00 CLESA169283ENINDE 10 docs 17.80 90% 15 docs 15.47 80% 20 docs 14.40 30 docs 12.33 70% 100 docs 6.64 60% 200 docs 4.30 Precision 500 docs 2.36 50% 1000 docs 1.49 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 14.70 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6875 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0616 Third Quartile 0.2222 Interquartile range 0.2222 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1470 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1832 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5217 15 Mean With No Outliers 0.1260 10 Std With No Outliers 0.1538 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283ENINDE 0.8 701-AH 20.00 726-AH 6.25 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 18.18 728-AH 5.26 0.2 Difference 704-AH 21.43 729-AH 0.00 0 705-AH 35.71 730-AH 5.00 −0.2 −0.4 706-AH 0.00 731-AH 0.00 −0.6 707-AH 0.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 52.17 −1 709-AH 4.17 734-AH 40.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.37 711-AH 6.25 736-AH 3.85 712-AH 16.67 737-AH 4.76 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283ENINDE 713-AH 9.09 738-AH 0.00 0.8 714-AH 6.06 739-AH 34.48 0.6 715-AH 0.00 740-AH 6.25 0.4 716-AH 61.54 741-AH 40.00 0.2 Difference 717-AH 35.71 742-AH 0.00 0 718-AH 28.12 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 46.15 −0.6 720-AH 43.75 745-AH 15.28 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 22.22 747-AH 10.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 20.00 748-AH 33.33 724-AH 68.75 749-AH 5.33 725-AH 0.00 750-AH 0.00 574 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.CLESA169283FRINDE AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 711 Pooled false Geometric Mean Average Precision 0.0122 CL-ESA with 169283 dimensions, querying the german Binary Preference (BPREF) 0.1228 collection with french topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 38.81 CLESA169283FRINDE 10 24.23 90% 20 17.12 80% 30 15.47 40 10.15 70% 50 8.95 60% 60 7.51 Precision 70 4.83 50% 80 3.92 40% 90 2.48 30% 100 0.80 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 10.80 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7638 Minimum 0.0000 First Quartile 0.0018 Second Quartile 0.0301 Third Quartile 0.1212 Interquartile range 0.1194 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1080 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1764 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.2928 25 Mean With No Outliers 0.0466 20 15 Std With No Outliers 0.0683 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283FRINDE 0.8 701-AH 13.00 726-AH 8.29 0.6 702-AH 8.07 727-AH 0.21 0.4 703-AH 12.12 728-AH 3.45 0.2 Difference 704-AH 1.71 729-AH 1.03 0 705-AH 24.48 730-AH 0.00 −0.2 −0.4 706-AH 11.18 731-AH 0.05 −0.6 707-AH 3.34 732-AH 1.79 −0.8 708-AH 0.04 733-AH 37.01 −1 709-AH 0.00 734-AH 42.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.82 711-AH 0.58 736-AH 0.28 712-AH 13.27 737-AH 2.57 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283FRINDE 713-AH 1.20 738-AH 0.75 0.8 714-AH 8.70 739-AH 29.28 0.6 715-AH 3.12 740-AH 2.94 0.4 716-AH 76.38 741-AH 0.06 0.2 Difference 717-AH 37.43 742-AH 0.00 0 718-AH 6.90 743-AH 0.01 −0.2 −0.4 719-AH 0.03 744-AH 43.34 −0.6 720-AH 7.47 745-AH 19.96 −0.8 721-AH 3.08 746-AH 0.12 −1 722-AH 1.56 747-AH 4.42 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.06 748-AH 33.78 724-AH 69.01 749-AH 4.37 725-AH 0.02 750-AH 0.18 575 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.CLESA169283FRINDE AH-TEL-BILI-X2DE-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 18.80 CLESA169283FRINDE 10 docs 15.60 90% 15 docs 12.80 80% 20 docs 12.30 30 docs 11.07 70% 100 docs 5.88 60% 200 docs 4.06 Precision 500 docs 2.20 50% 1000 docs 1.42 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 12.45 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6875 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0610 Third Quartile 0.1667 Interquartile range 0.1667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1245 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1776 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3571 15 Mean With No Outliers 0.0773 10 Std With No Outliers 0.1065 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283FRINDE 0.8 701-AH 20.00 726-AH 12.50 0.6 702-AH 13.64 727-AH 0.00 0.4 703-AH 18.18 728-AH 10.53 0.2 Difference 704-AH 7.14 729-AH 3.12 0 705-AH 35.71 730-AH 0.00 −0.2 −0.4 706-AH 10.00 731-AH 0.00 −0.6 707-AH 0.00 732-AH 3.70 −0.8 708-AH 0.00 733-AH 52.17 −1 709-AH 0.00 734-AH 35.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 2.74 711-AH 0.00 736-AH 0.00 712-AH 16.67 737-AH 5.95 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283FRINDE 713-AH 0.00 738-AH 0.00 0.8 714-AH 9.09 739-AH 31.03 0.6 715-AH 6.25 740-AH 6.25 0.4 716-AH 61.54 741-AH 0.00 0.2 Difference 717-AH 50.00 742-AH 0.00 0 718-AH 15.62 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 42.31 −0.6 720-AH 6.25 745-AH 29.17 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 0.00 747-AH 9.30 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 68.75 749-AH 6.67 725-AH 0.00 750-AH 0.00 576 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.COMBINEDENINDE AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,559 Topic Fields title, description Relevant retrieved 714 Pooled false Geometric Mean Average Precision 0.0396 (See overleaf for description) Binary Preference (BPREF) 0.1432 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 49.43 COMBINEDENINDE 10 32.21 90% 20 26.84 80% 30 18.85 40 10.50 70% 50 8.23 60% 60 6.68 Precision 70 5.27 50% 80 3.66 40% 90 1.14 30% 100 0.49 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 12.93 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7715 Minimum 0.0004 First Quartile 0.0075 Second Quartile 0.0533 Third Quartile 0.2188 Interquartile range 0.2114 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1293 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1736 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0004 20 Upper Outlier Threshold 0.3808 15 Mean With No Outliers 0.1030 10 Std With No Outliers 0.1177 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDENINDE 0.8 701-AH 0.41 726-AH 0.71 0.6 702-AH 5.24 727-AH 0.04 0.4 703-AH 21.88 728-AH 0.43 0.2 Difference 704-AH 7.73 729-AH 0.47 0 705-AH 13.97 730-AH 2.65 −0.2 −0.4 706-AH 0.06 731-AH 17.88 −0.6 707-AH 38.08 732-AH 1.24 −0.8 708-AH 1.34 733-AH 7.56 −1 709-AH 10.02 734-AH 77.15 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.75 735-AH 0.62 711-AH 12.45 736-AH 2.81 712-AH 20.28 737-AH 1.16 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDENINDE 713-AH 12.06 738-AH 1.13 0.8 714-AH 0.47 739-AH 22.06 0.6 715-AH 4.81 740-AH 35.39 0.4 716-AH 22.91 741-AH 8.36 0.2 Difference 717-AH 22.12 742-AH 33.33 0 718-AH 32.22 743-AH 0.42 −0.2 −0.4 719-AH 1.33 744-AH 22.49 −0.6 720-AH 37.18 745-AH 27.77 −0.8 721-AH 0.60 746-AH 5.41 −1 722-AH 19.34 747-AH 1.44 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.77 748-AH 0.85 724-AH 74.59 749-AH 0.34 725-AH 10.33 750-AH 0.59 577 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.COMBINEDENINDE AH-TEL-BILI-X2DE-CLEF2009 Combined rankings, each computed with a different topic field, querying the german collection with english topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 24.80 COMBINEDENINDE 10 docs 20.40 90% 15 docs 17.87 80% 20 docs 17.00 30 docs 14.27 70% 100 docs 7.90 60% 200 docs 4.99 Precision 500 docs 2.44 50% 1000 docs 1.43 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.19 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0294 Second Quartile 0.0785 Third Quartile 0.2500 Interquartile range 0.2206 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1519 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1747 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4844 Mean With No Outliers 0.1281 10 Std With No Outliers 0.1308 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDENINDE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 9.09 727-AH 0.00 0.4 703-AH 27.27 728-AH 5.26 0.2 Difference 704-AH 12.50 729-AH 0.00 0 705-AH 21.43 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 29.82 −0.6 707-AH 30.00 732-AH 7.41 −0.8 708-AH 0.00 733-AH 4.35 −1 709-AH 14.58 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 5.48 711-AH 12.50 736-AH 7.69 712-AH 25.00 737-AH 4.76 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDENINDE 713-AH 9.09 738-AH 2.94 0.8 714-AH 0.00 739-AH 27.59 0.6 715-AH 0.00 740-AH 48.44 0.4 716-AH 23.08 741-AH 5.00 0.2 Difference 717-AH 33.33 742-AH 33.33 0 718-AH 37.50 743-AH 0.00 −0.2 −0.4 719-AH 8.00 744-AH 23.08 −0.6 720-AH 37.50 745-AH 31.94 −0.8 721-AH 2.94 746-AH 11.69 −1 722-AH 22.22 747-AH 6.98 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 6.67 748-AH 0.00 724-AH 64.58 749-AH 5.33 725-AH 17.02 750-AH 4.00 578 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.COMBINEDFRINDE AH-TEL-BILI-X2DE-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language French Relevant 1,559 Topic Fields title, description Relevant retrieved 847 Pooled false Geometric Mean Average Precision 0.0673 (See overleaf for description) Binary Preference (BPREF) 0.1780 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual German Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.54 COMBINEDFRINDE 10 42.42 90% 20 31.50 80% 30 21.47 40 14.03 70% 50 11.99 60% 60 9.09 Precision 70 6.34 50% 80 4.38 40% 90 1.28 30% 100 0.15 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.75 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7739 Minimum 0.0017 First Quartile 0.0267 Second Quartile 0.1234 Third Quartile 0.2202 Interquartile range 0.1935 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1575 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1693 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0017 15 Upper Outlier Threshold 0.3957 Mean With No Outliers 0.1320 10 Std With No Outliers 0.1150 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDFRINDE 0.8 701-AH 2.48 726-AH 0.72 0.6 702-AH 10.32 727-AH 0.36 0.4 703-AH 16.61 728-AH 0.21 0.2 Difference 704-AH 18.67 729-AH 0.17 0 705-AH 15.81 730-AH 0.43 −0.2 −0.4 706-AH 0.20 731-AH 19.05 −0.6 707-AH 37.74 732-AH 1.04 −0.8 708-AH 6.85 733-AH 13.57 −1 709-AH 7.16 734-AH 77.39 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 21.43 735-AH 0.78 711-AH 22.02 736-AH 5.32 712-AH 20.27 737-AH 20.70 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDFRINDE 713-AH 5.52 738-AH 2.77 0.8 714-AH 1.84 739-AH 28.84 0.6 715-AH 16.57 740-AH 39.57 0.4 716-AH 30.74 741-AH 25.11 0.2 Difference 717-AH 21.74 742-AH 11.11 0 718-AH 23.13 743-AH 0.32 −0.2 −0.4 719-AH 6.18 744-AH 15.69 −0.6 720-AH 35.33 745-AH 27.76 −0.8 721-AH 2.77 746-AH 29.53 −1 722-AH 15.90 747-AH 2.67 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 25.52 748-AH 8.33 724-AH 76.79 749-AH 3.92 725-AH 10.24 750-AH 0.50 579 weimar 10.2415/AH-TEL-BILI-X2DE-CLEF2009.WEIMAR.COMBINEDFRINDE AH-TEL-BILI-X2DE-CLEF2009 Combined rankings, each computed with a different topic field, querying the german collection with french topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual German Task − Retrieved documents vs Mean Precision 100% 5 docs 32.00 COMBINEDFRINDE 10 docs 28.80 90% 15 docs 25.73 80% 20 docs 23.40 30 docs 19.07 70% 100 docs 9.46 60% 200 docs 5.96 Precision 500 docs 2.83 50% 1000 docs 1.69 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 20.48 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual German Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8000 Minimum 0.0000 First Quartile 0.0581 Second Quartile 0.1779 Third Quartile 0.3000 Interquartile range 0.2419 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2048 Ad−Hoc TEL Bilingual German Task − Distribution of the Topics of the Experiment Standard Deviation 0.1814 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5625 10 Mean With No Outliers 0.1824 Std With No Outliers 0.1459 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDFRINDE 0.8 701-AH 0.00 726-AH 0.00 0.6 702-AH 18.18 727-AH 0.00 0.4 703-AH 27.27 728-AH 0.00 0.2 Difference 704-AH 23.21 729-AH 0.00 0 705-AH 28.57 730-AH 0.00 −0.2 −0.4 706-AH 0.00 731-AH 28.07 −0.6 707-AH 30.00 732-AH 3.70 −0.8 708-AH 11.11 733-AH 17.39 −1 709-AH 8.33 734-AH 80.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 17.24 735-AH 8.22 711-AH 18.75 736-AH 7.69 712-AH 25.00 737-AH 25.00 1 Ad−Hoc TEL Bilingual German Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDFRINDE 713-AH 9.09 738-AH 11.76 0.8 714-AH 6.06 739-AH 34.48 0.6 715-AH 37.50 740-AH 56.25 0.4 716-AH 38.46 741-AH 45.00 0.2 Difference 717-AH 33.33 742-AH 33.33 0 718-AH 28.12 743-AH 0.00 −0.2 −0.4 719-AH 16.00 744-AH 19.23 −0.6 720-AH 43.75 745-AH 30.56 −0.8 721-AH 14.71 746-AH 38.96 −1 722-AH 22.22 747-AH 5.81 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 26.67 748-AH 0.00 724-AH 68.75 749-AH 5.33 725-AH 17.02 750-AH 4.00 580 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_DEBNF_BASE AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,190 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 931 Pooled false Geometric Mean Average Precision 0.0195 Bilingual | base search Binary Preference (BPREF) 0.1586 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 39.11 CACAO_DEBNF_BASE 10 24.13 90% 20 18.38 80% 30 15.72 40 12.76 70% 50 10.43 60% 60 6.50 Precision 70 4.49 50% 80 2.31 40% 90 1.25 30% 100 0.04 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 10.94 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.5678 Minimum 0.0000 First Quartile 0.0106 Second Quartile 0.0485 Third Quartile 0.1122 Interquartile range 0.1016 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1094 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1586 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.2096 15 Mean With No Outliers 0.0456 10 Std With No Outliers 0.0516 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEBNF_BASE 0.8 701-AH 35.45 726-AH 0.00 0.6 702-AH 0.36 727-AH 0.48 0.4 703-AH 29.89 728-AH 1.06 0.2 Difference 704-AH 10.36 729-AH 5.39 0 705-AH 56.78 730-AH 7.42 −0.2 −0.4 706-AH 0.00 731-AH 7.42 −0.6 707-AH 0.20 732-AH 11.22 −0.8 708-AH 18.88 733-AH 4.56 −1 709-AH 53.27 734-AH 7.42 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 5.25 735-AH 8.37 711-AH 0.61 736-AH 1.16 712-AH 43.94 737-AH 2.07 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEBNF_BASE 713-AH 0.03 738-AH 3.96 0.8 714-AH 0.00 739-AH 11.92 0.6 715-AH 0.96 740-AH 3.05 0.4 716-AH 2.49 741-AH 0.00 0.2 Difference 717-AH 2.70 742-AH 5.43 0 718-AH 5.30 743-AH 0.83 −0.2 −0.4 719-AH 3.43 744-AH 1.37 −0.6 720-AH 1.61 745-AH 20.96 −0.8 721-AH 44.42 746-AH 16.42 −1 722-AH 1.09 747-AH 5.67 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 5.46 748-AH 0.00 724-AH 46.44 749-AH 1.41 725-AH 45.57 750-AH 5.14 581 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_DEBNF_BASE AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 21.60 CACAO_DEBNF_BASE 10 docs 19.00 90% 15 docs 17.33 80% 20 docs 17.10 30 docs 15.07 70% 100 docs 8.52 60% 200 docs 5.82 Precision 500 docs 3.26 50% 1000 docs 1.86 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 13.97 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5660 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0819 Third Quartile 0.1818 Interquartile range 0.1818 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1397 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1670 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.4545 Mean With No Outliers 0.1057 10 Std With No Outliers 0.1248 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_DEBNF_BASE 0.8 701-AH 45.21 726-AH 0.00 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 38.37 728-AH 0.00 0.2 Difference 704-AH 18.18 729-AH 7.69 0 705-AH 56.52 730-AH 12.96 −0.2 −0.4 706-AH 0.00 731-AH 17.39 −0.6 707-AH 1.39 732-AH 14.71 −0.8 708-AH 28.89 733-AH 16.67 −1 709-AH 56.60 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 11.76 711-AH 0.00 736-AH 6.90 712-AH 50.00 737-AH 7.32 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_DEBNF_BASE 713-AH 0.00 738-AH 6.67 0.8 714-AH 0.00 739-AH 20.00 0.6 715-AH 0.00 740-AH 7.41 0.4 716-AH 3.03 741-AH 0.00 0.2 Difference 717-AH 4.76 742-AH 13.64 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 8.70 744-AH 3.23 −0.6 720-AH 0.00 745-AH 26.98 −0.8 721-AH 48.72 746-AH 18.33 −1 722-AH 0.00 747-AH 11.11 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 38.89 749-AH 1.69 725-AH 45.45 750-AH 15.73 582 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ENBNF_BASE AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 41,192 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,041 Pooled false Geometric Mean Average Precision 0.0360 Bilingual | base search Binary Preference (BPREF) 0.1905 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 43.45 CACAO_ENBNF_BASE 10 30.39 90% 20 23.26 80% 30 19.12 40 16.74 70% 50 14.38 60% 60 10.00 Precision 70 6.44 50% 80 4.61 40% 90 1.76 30% 100 0.03 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.05 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7497 Minimum 0.0000 First Quartile 0.0047 Second Quartile 0.0573 Third Quartile 0.2424 Interquartile range 0.2377 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1405 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1785 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5785 15 Mean With No Outliers 0.1281 10 Std With No Outliers 0.1569 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBNF_BASE 0.8 701-AH 31.36 726-AH 0.74 0.6 702-AH 0.27 727-AH 2.43 0.4 703-AH 27.41 728-AH 33.39 0.2 Difference 704-AH 5.45 729-AH 0.22 0 705-AH 56.46 730-AH 0.40 −0.2 −0.4 706-AH 23.96 731-AH 11.98 −0.6 707-AH 0.19 732-AH 4.16 −0.8 708-AH 0.44 733-AH 11.93 −1 709-AH 43.64 734-AH 6.83 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.47 735-AH 6.25 711-AH 1.54 736-AH 3.14 712-AH 0.44 737-AH 13.30 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBNF_BASE 713-AH 21.42 738-AH 5.65 0.8 714-AH 0.42 739-AH 27.00 0.6 715-AH 1.43 740-AH 5.80 0.4 716-AH 57.85 741-AH 0.00 0.2 Difference 717-AH 36.29 742-AH 0.37 0 718-AH 6.32 743-AH 0.17 −0.2 −0.4 719-AH 0.06 744-AH 41.95 −0.6 720-AH 74.97 745-AH 25.29 −0.8 721-AH 0.34 746-AH 24.24 −1 722-AH 2.65 747-AH 0.70 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 17.22 748-AH 21.71 724-AH 2.26 749-AH 6.44 725-AH 30.47 750-AH 5.02 583 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ENBNF_BASE AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 26.40 CACAO_ENBNF_BASE 10 docs 23.80 90% 15 docs 21.20 80% 20 docs 20.10 30 docs 18.47 70% 100 docs 10.46 60% 200 docs 7.16 Precision 500 docs 3.73 50% 1000 docs 2.08 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.38 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7568 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0715 Third Quartile 0.3016 Interquartile range 0.3016 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1638 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1999 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5714 15 Mean With No Outliers 0.1517 10 Std With No Outliers 0.1825 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBNF_BASE 0.8 701-AH 46.58 726-AH 0.00 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 32.56 728-AH 57.14 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 55.43 730-AH 0.00 −0.2 −0.4 706-AH 24.69 731-AH 17.39 −0.6 707-AH 1.39 732-AH 2.94 −0.8 708-AH 2.22 733-AH 16.67 −1 709-AH 56.60 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 6.90 712-AH 0.00 737-AH 18.29 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBNF_BASE 713-AH 31.91 738-AH 6.67 0.8 714-AH 3.23 739-AH 40.00 0.6 715-AH 0.00 740-AH 7.41 0.4 716-AH 48.48 741-AH 0.00 0.2 Difference 717-AH 38.10 742-AH 0.00 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 51.61 −0.6 720-AH 75.68 745-AH 30.16 −0.8 721-AH 2.56 746-AH 31.67 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 13.33 724-AH 5.56 749-AH 10.17 725-AH 27.27 750-AH 14.61 584 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ENBNF_ML AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 40,473 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,056 Pooled false Geometric Mean Average Precision 0.0354 Bilingual+ | base search Binary Preference (BPREF) 0.1913 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 42.91 CACAO_ENBNF_ML 10 31.24 90% 20 23.94 80% 30 19.54 40 16.83 70% 50 14.52 60% 60 9.91 Precision 70 6.81 50% 80 3.69 40% 90 1.68 30% 100 0.03 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.23 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7051 Minimum 0.0000 First Quartile 0.0041 Second Quartile 0.0587 Third Quartile 0.2574 Interquartile range 0.2533 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1423 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1774 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5930 15 Mean With No Outliers 0.1308 10 Std With No Outliers 0.1593 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBNF_ML 0.8 701-AH 33.59 726-AH 0.68 0.6 702-AH 0.26 727-AH 3.44 0.4 703-AH 26.98 728-AH 33.58 0.2 Difference 704-AH 5.83 729-AH 0.22 0 705-AH 57.41 730-AH 0.27 −0.2 −0.4 706-AH 27.51 731-AH 9.94 −0.6 707-AH 0.19 732-AH 5.54 −0.8 708-AH 0.37 733-AH 13.25 −1 709-AH 40.39 734-AH 5.91 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.47 735-AH 6.28 711-AH 1.27 736-AH 3.53 712-AH 0.23 737-AH 13.44 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBNF_ML 713-AH 23.84 738-AH 6.19 0.8 714-AH 0.37 739-AH 30.23 0.6 715-AH 1.35 740-AH 5.81 0.4 716-AH 59.30 741-AH 0.00 0.2 Difference 717-AH 36.22 742-AH 0.36 0 718-AH 7.34 743-AH 0.17 −0.2 −0.4 719-AH 0.06 744-AH 42.50 −0.6 720-AH 70.51 745-AH 25.74 −0.8 721-AH 0.41 746-AH 25.19 −1 722-AH 2.68 747-AH 0.32 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 17.23 748-AH 18.41 724-AH 2.87 749-AH 6.64 725-AH 31.75 750-AH 5.22 585 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ENBNF_ML AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 26.80 CACAO_ENBNF_ML 10 docs 24.40 90% 15 docs 22.27 80% 20 docs 20.20 30 docs 18.67 70% 100 docs 10.74 60% 200 docs 7.27 Precision 500 docs 3.80 50% 1000 docs 2.11 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.45 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.7297 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0830 Third Quartile 0.3167 Interquartile range 0.3167 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1645 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1951 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.7297 Mean With No Outliers 0.1645 10 Std With No Outliers 0.1951 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ENBNF_ML 0.8 701-AH 49.32 726-AH 0.00 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 33.72 728-AH 57.14 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 56.52 730-AH 0.00 −0.2 −0.4 706-AH 24.69 731-AH 17.39 −0.6 707-AH 1.39 732-AH 5.88 −0.8 708-AH 2.22 733-AH 16.67 −1 709-AH 52.83 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 9.80 711-AH 0.00 736-AH 6.90 712-AH 0.00 737-AH 19.51 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ENBNF_ML 713-AH 36.17 738-AH 7.50 0.8 714-AH 3.23 739-AH 35.00 0.6 715-AH 0.00 740-AH 7.41 0.4 716-AH 48.48 741-AH 0.00 0.2 Difference 717-AH 38.10 742-AH 0.00 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 45.16 −0.6 720-AH 72.97 745-AH 31.75 −0.8 721-AH 2.56 746-AH 31.67 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 6.67 724-AH 11.11 749-AH 11.86 725-AH 27.27 750-AH 14.61 586 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ITBNF_BASE AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 39,355 Source Language Italian Relevant 1,853 Topic Fields title, description Relevant retrieved 922 Pooled false Geometric Mean Average Precision 0.0225 Bilingual | base search Binary Preference (BPREF) 0.1743 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 44.01 CACAO_ITBNF_BASE 10 26.45 90% 20 20.83 80% 30 16.38 40 13.07 70% 50 11.12 60% 60 8.18 Precision 70 5.77 50% 80 2.98 40% 90 0.90 30% 100 0.01 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 11.98 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6528 Minimum 0.0000 First Quartile 0.0116 Second Quartile 0.0368 Third Quartile 0.1888 Interquartile range 0.1773 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1198 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1716 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.4146 20 Mean With No Outliers 0.0731 15 Std With No Outliers 0.1005 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITBNF_BASE 0.8 701-AH 48.12 726-AH 7.56 0.6 702-AH 0.36 727-AH 0.08 0.4 703-AH 2.53 728-AH 0.65 0.2 Difference 704-AH 1.17 729-AH 6.42 0 705-AH 56.49 730-AH 2.42 −0.2 −0.4 706-AH 3.09 731-AH 8.77 −0.6 707-AH 2.21 732-AH 7.58 −0.8 708-AH 22.88 733-AH 0.36 −1 709-AH 41.46 734-AH 5.77 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.77 735-AH 1.71 711-AH 1.34 736-AH 3.02 712-AH 65.28 737-AH 14.74 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITBNF_BASE 713-AH 4.25 738-AH 0.86 0.8 714-AH 4.89 739-AH 22.14 0.6 715-AH 0.34 740-AH 24.47 0.4 716-AH 2.49 741-AH 0.01 0.2 Difference 717-AH 18.88 742-AH 6.49 0 718-AH 5.87 743-AH 0.00 −0.2 −0.4 719-AH 7.82 744-AH 48.54 −0.6 720-AH 1.89 745-AH 0.09 −0.8 721-AH 0.02 746-AH 19.51 −1 722-AH 1.16 747-AH 3.39 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 51.27 749-AH 35.93 725-AH 27.14 750-AH 3.58 587 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ITBNF_BASE AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 22.40 CACAO_ITBNF_BASE 10 docs 20.80 90% 15 docs 18.27 80% 20 docs 16.80 30 docs 15.13 70% 100 docs 9.60 60% 200 docs 6.29 Precision 500 docs 3.32 50% 1000 docs 1.84 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.10 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0918 Third Quartile 0.2381 Interquartile range 0.2381 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1510 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1770 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5543 Mean With No Outliers 0.1405 10 Std With No Outliers 0.1622 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITBNF_BASE 0.8 701-AH 53.42 726-AH 11.76 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 4.65 728-AH 0.00 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 55.43 730-AH 9.26 −0.2 −0.4 706-AH 8.64 731-AH 21.74 −0.6 707-AH 5.56 732-AH 11.76 −0.8 708-AH 28.89 733-AH 0.00 −1 709-AH 52.83 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 5.88 711-AH 0.00 736-AH 10.34 712-AH 66.67 737-AH 21.95 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITBNF_BASE 713-AH 10.64 738-AH 10.00 0.8 714-AH 12.90 739-AH 25.00 0.6 715-AH 0.00 740-AH 27.78 0.4 716-AH 3.03 741-AH 0.00 0.2 Difference 717-AH 23.81 742-AH 13.64 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 13.04 744-AH 54.84 −0.6 720-AH 0.00 745-AH 1.59 −0.8 721-AH 0.00 746-AH 30.00 −1 722-AH 0.00 747-AH 6.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 38.89 749-AH 42.37 725-AH 27.27 750-AH 8.99 588 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ITBNF_ML AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 38,706 Source Language Italian Relevant 1,853 Topic Fields title, description Relevant retrieved 947 Pooled false Geometric Mean Average Precision 0.0238 Bilingual+ | base search Binary Preference (BPREF) 0.1758 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 44.45 CACAO_ITBNF_ML 10 27.39 90% 20 20.93 80% 30 17.18 40 13.94 70% 50 11.51 60% 60 8.46 Precision 70 6.00 50% 80 3.15 40% 90 0.65 30% 100 0.01 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 12.32 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6432 Minimum 0.0000 First Quartile 0.0123 Second Quartile 0.0380 Third Quartile 0.1878 Interquartile range 0.1755 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1232 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1727 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.3988 20 Mean With No Outliers 0.0759 15 Std With No Outliers 0.1001 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITBNF_ML 0.8 701-AH 47.51 726-AH 9.28 0.6 702-AH 0.36 727-AH 0.13 0.4 703-AH 2.68 728-AH 0.65 0.2 Difference 704-AH 1.35 729-AH 6.48 0 705-AH 56.69 730-AH 1.88 −0.2 −0.4 706-AH 3.04 731-AH 8.69 −0.6 707-AH 2.20 732-AH 11.43 −0.8 708-AH 23.28 733-AH 0.42 −1 709-AH 39.88 734-AH 7.46 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.76 735-AH 1.76 711-AH 1.26 736-AH 3.19 712-AH 64.32 737-AH 15.35 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITBNF_ML 713-AH 3.84 738-AH 0.65 0.8 714-AH 7.86 739-AH 20.61 0.6 715-AH 0.43 740-AH 24.06 0.4 716-AH 6.41 741-AH 0.01 0.2 Difference 717-AH 18.78 742-AH 6.75 0 718-AH 5.96 743-AH 0.00 −0.2 −0.4 719-AH 7.00 744-AH 53.98 −0.6 720-AH 1.90 745-AH 0.10 −0.8 721-AH 0.02 746-AH 19.50 −1 722-AH 1.23 747-AH 3.14 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 51.76 749-AH 37.71 725-AH 27.50 750-AH 3.64 589 celi 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CELI.CACAO_ITBNF_ML AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 23.20 CACAO_ITBNF_ML 10 docs 20.80 90% 15 docs 18.80 80% 20 docs 16.70 30 docs 15.67 70% 100 docs 9.84 60% 200 docs 6.44 Precision 500 docs 3.35 50% 1000 docs 1.89 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 15.20 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0866 Third Quartile 0.2381 Interquartile range 0.2381 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1520 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1763 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.5761 10 Mean With No Outliers 0.1415 Std With No Outliers 0.1615 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CACAO_ITBNF_ML 0.8 701-AH 53.42 726-AH 11.76 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 5.81 728-AH 0.00 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 57.61 730-AH 7.41 −0.2 −0.4 706-AH 7.41 731-AH 21.74 −0.6 707-AH 5.56 732-AH 17.65 −0.8 708-AH 28.89 733-AH 0.00 −1 709-AH 49.06 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 5.88 711-AH 0.00 736-AH 10.34 712-AH 66.67 737-AH 21.95 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CACAO_ITBNF_ML 713-AH 10.64 738-AH 8.33 0.8 714-AH 16.13 739-AH 25.00 0.6 715-AH 0.00 740-AH 25.93 0.4 716-AH 6.06 741-AH 0.00 0.2 Difference 717-AH 23.81 742-AH 13.64 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 13.04 744-AH 54.84 −0.6 720-AH 0.00 745-AH 1.59 −0.8 721-AH 0.00 746-AH 28.33 −1 722-AH 0.00 747-AH 6.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 38.89 749-AH 44.07 725-AH 27.27 750-AH 8.99 590 chemnitz 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHEMNITZ.CUT_21_BILI_MERGED_EN2FR_17_18 AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,362 Pooled true Geometric Mean Average Precision 0.1229 bilingual en2fr merged reference cut_17 + cut_18 Binary Preference (BPREF) 0.2230 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 66.29 CUT_21_BILI_MERGED_EN2FR_17_18 10 41.83 90% 20 36.27 80% 30 30.91 40 26.07 70% 50 22.49 60% 60 18.83 Precision 70 14.82 50% 80 10.99 40% 90 5.72 30% 100 1.68 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.20 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0016 First Quartile 0.0666 Second Quartile 0.1833 Third Quartile 0.2963 Interquartile range 0.2297 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2320 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2112 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0016 8 Upper Outlier Threshold 0.6144 6 Mean With No Outliers 0.1967 4 Std With No Outliers 0.1619 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_21_BILI_MERGED_EN2FR_17_18 0.8 701-AH 21.40 726-AH 34.78 0.6 702-AH 14.29 727-AH 9.69 0.4 703-AH 18.52 728-AH 4.72 0.2 Difference 704-AH 13.41 729-AH 5.94 0 705-AH 52.16 730-AH 16.87 −0.2 −0.4 706-AH 27.01 731-AH 14.47 −0.6 707-AH 24.71 732-AH 19.94 −0.8 708-AH 14.35 733-AH 0.16 −1 709-AH 61.44 734-AH 8.04 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 11.42 735-AH 9.17 711-AH 5.95 736-AH 1.15 712-AH 83.33 737-AH 5.47 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_21_BILI_MERGED_EN2FR_17_18 713-AH 51.52 738-AH 26.28 0.8 714-AH 6.66 739-AH 25.46 0.6 715-AH 6.71 740-AH 27.84 0.4 716-AH 74.50 741-AH 26.55 0.2 Difference 717-AH 22.73 742-AH 34.79 0 718-AH 3.11 743-AH 4.56 −0.2 −0.4 719-AH 0.79 744-AH 10.21 −0.6 720-AH 77.59 745-AH 29.09 −0.8 721-AH 50.42 746-AH 40.29 −1 722-AH 0.31 747-AH 1.04 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.26 748-AH 18.13 724-AH 45.56 749-AH 48.30 725-AH 29.63 750-AH 19.09 591 chemnitz 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHEMNITZ.CUT_21_BILI_MERGED_EN2FR_17_18 AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 39.60 CUT_21_BILI_MERGED_EN2FR_17_18 10 docs 34.80 90% 15 docs 32.13 80% 20 docs 30.10 30 docs 27.33 70% 100 docs 16.14 60% 200 docs 10.28 Precision 500 docs 5.01 50% 1000 docs 2.72 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 25.79 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0909 Second Quartile 0.2395 Third Quartile 0.4091 Interquartile range 0.3182 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2579 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2042 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2579 4 Std With No Outliers 0.2042 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_21_BILI_MERGED_EN2FR_17_18 0.8 701-AH 19.18 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 22.09 728-AH 3.57 0.2 Difference 704-AH 27.27 729-AH 7.69 0 705-AH 48.91 730-AH 25.93 −0.2 −0.4 706-AH 33.33 731-AH 17.39 −0.6 707-AH 36.11 732-AH 26.47 −0.8 708-AH 15.56 733-AH 0.00 −1 709-AH 47.17 734-AH 5.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 9.09 735-AH 17.65 711-AH 14.29 736-AH 3.45 712-AH 83.33 737-AH 10.98 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_21_BILI_MERGED_EN2FR_17_18 713-AH 61.70 738-AH 32.50 0.8 714-AH 25.81 739-AH 35.00 0.6 715-AH 12.50 740-AH 37.04 0.4 716-AH 57.58 741-AH 33.33 0.2 Difference 717-AH 19.05 742-AH 40.91 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 16.13 −0.6 720-AH 75.68 745-AH 30.16 −0.8 721-AH 43.59 746-AH 45.00 −1 722-AH 0.00 747-AH 1.59 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 50.00 749-AH 49.15 725-AH 40.91 750-AH 31.46 592 chemnitz 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHEMNITZ.CUT_22_BILI_MERGED_DE2FR_17_18 AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 1,309 Pooled false Geometric Mean Average Precision 0.0726 bilingual de2fr merged reference cut_17 + cut_18 Binary Preference (BPREF) 0.2018 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 53.78 CUT_22_BILI_MERGED_DE2FR_17_18 10 40.30 90% 20 33.83 80% 30 27.09 40 22.61 70% 50 20.20 60% 60 17.19 Precision 70 14.80 50% 80 12.38 40% 90 6.61 30% 100 2.27 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.19 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0314 Second Quartile 0.1240 Third Quartile 0.3175 Interquartile range 0.2860 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2119 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2268 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.6940 Mean With No Outliers 0.1871 10 Std With No Outliers 0.1945 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_22_BILI_MERGED_DE2FR_17_18 0.8 701-AH 25.06 726-AH 33.31 0.6 702-AH 14.29 727-AH 12.34 0.4 703-AH 19.21 728-AH 29.28 0.2 Difference 704-AH 9.27 729-AH 4.10 0 705-AH 52.35 730-AH 10.52 −0.2 −0.4 706-AH 25.77 731-AH 11.58 −0.6 707-AH 18.62 732-AH 14.70 −0.8 708-AH 24.66 733-AH 4.86 −1 709-AH 63.82 734-AH 6.67 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.31 735-AH 0.73 711-AH 0.53 736-AH 1.78 712-AH 83.33 737-AH 4.25 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_22_BILI_MERGED_DE2FR_17_18 713-AH 9.01 738-AH 27.85 0.8 714-AH 0.00 739-AH 47.62 0.6 715-AH 3.14 740-AH 16.26 0.4 716-AH 69.40 741-AH 7.98 0.2 Difference 717-AH 0.92 742-AH 0.04 0 718-AH 2.84 743-AH 1.77 −0.2 −0.4 719-AH 1.11 744-AH 57.19 −0.6 720-AH 78.36 745-AH 6.68 −0.8 721-AH 60.17 746-AH 38.46 −1 722-AH 0.19 747-AH 15.85 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.15 748-AH 12.46 724-AH 43.52 749-AH 31.75 725-AH 45.27 750-AH 10.35 593 chemnitz 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHEMNITZ.CUT_22_BILI_MERGED_DE2FR_17_18 AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 36.40 CUT_22_BILI_MERGED_DE2FR_17_18 10 docs 32.00 90% 15 docs 29.60 80% 20 docs 27.50 30 docs 25.07 70% 100 docs 14.44 60% 200 docs 9.46 Precision 500 docs 4.66 50% 1000 docs 2.62 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 21.66 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1830 Third Quartile 0.3571 Interquartile range 0.3571 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2166 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2185 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.8333 Mean With No Outliers 0.2166 10 Std With No Outliers 0.2185 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_22_BILI_MERGED_DE2FR_17_18 0.8 701-AH 21.92 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 22.09 728-AH 35.71 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 50.00 730-AH 14.81 −0.2 −0.4 706-AH 33.33 731-AH 21.74 −0.6 707-AH 27.78 732-AH 26.47 −0.8 708-AH 28.89 733-AH 0.00 −1 709-AH 54.72 734-AH 5.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 3.92 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 9.76 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_22_BILI_MERGED_DE2FR_17_18 713-AH 19.15 738-AH 31.67 0.8 714-AH 0.00 739-AH 40.00 0.6 715-AH 0.00 740-AH 20.37 0.4 716-AH 57.58 741-AH 8.33 0.2 Difference 717-AH 4.76 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 54.84 −0.6 720-AH 75.68 745-AH 7.94 −0.8 721-AH 48.72 746-AH 45.00 −1 722-AH 0.00 747-AH 17.46 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 44.44 749-AH 28.81 725-AH 50.00 750-AH 20.22 594 chemnitz 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 CLEF2009.CHEMNITZ.CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 1,313 Pooled false Geometric Mean Average Precision 0.0735 bilingual+ de2x merged multilingual reference Binary Preference (BPREF) 0.2261 cut_17 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 52.25 CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 10 43.42 90% 20 34.23 80% 30 29.56 40 25.94 70% 50 21.76 60% 60 19.50 Precision 70 15.50 50% 80 12.48 40% 90 6.44 30% 100 2.26 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.55 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0387 Second Quartile 0.1145 Third Quartile 0.3819 Interquartile range 0.3431 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2255 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2392 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2255 Std With No Outliers 0.2392 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 0.8 701-AH 49.22 726-AH 23.08 0.6 702-AH 12.63 727-AH 10.61 0.4 703-AH 32.80 728-AH 24.92 0.2 Difference 704-AH 9.80 729-AH 4.63 0 705-AH 53.63 730-AH 12.28 −0.2 −0.4 706-AH 38.19 731-AH 10.03 −0.6 707-AH 17.03 732-AH 13.44 −0.8 708-AH 28.15 733-AH 7.66 −1 709-AH 63.35 734-AH 8.88 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.31 735-AH 8.30 711-AH 0.60 736-AH 0.68 712-AH 83.33 737-AH 7.43 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 713-AH 5.01 738-AH 28.76 0.8 714-AH 0.00 739-AH 46.94 0.6 715-AH 1.48 740-AH 24.84 0.4 716-AH 74.19 741-AH 9.10 0.2 Difference 717-AH 0.36 742-AH 0.04 0 718-AH 2.97 743-AH 2.35 −0.2 −0.4 719-AH 2.32 744-AH 60.04 −0.6 720-AH 81.29 745-AH 3.87 −0.8 721-AH 55.77 746-AH 57.47 −1 722-AH 0.12 747-AH 6.68 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.08 748-AH 14.89 724-AH 42.99 749-AH 31.52 725-AH 47.78 750-AH 5.54 595 chemnitz 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 CLEF2009.CHEMNITZ.CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 39.20 CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 10 docs 34.20 90% 15 docs 32.13 80% 20 docs 29.30 30 docs 26.67 70% 100 docs 15.42 60% 200 docs 9.90 Precision 500 docs 4.70 50% 1000 docs 2.63 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 23.99 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8378 Minimum 0.0000 First Quartile 0.0417 Second Quartile 0.1742 Third Quartile 0.4070 Interquartile range 0.3653 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2399 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2274 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8378 10 Mean With No Outliers 0.2399 Std With No Outliers 0.2274 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 0.8 701-AH 61.64 726-AH 41.18 0.6 702-AH 0.00 727-AH 15.79 0.4 703-AH 40.70 728-AH 21.43 0.2 Difference 704-AH 18.18 729-AH 0.00 0 705-AH 46.74 730-AH 18.52 −0.2 −0.4 706-AH 35.80 731-AH 21.74 −0.6 707-AH 22.22 732-AH 23.53 −0.8 708-AH 28.89 733-AH 16.67 −1 709-AH 50.94 734-AH 10.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 0.00 735-AH 13.73 711-AH 0.00 736-AH 0.00 712-AH 83.33 737-AH 14.63 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_23_BILI_DE2FR_MERGED_LANG_SPEC_REF_CUT_17 713-AH 12.77 738-AH 33.33 0.8 714-AH 0.00 739-AH 45.00 0.6 715-AH 0.00 740-AH 31.48 0.4 716-AH 60.61 741-AH 4.17 0.2 Difference 717-AH 4.76 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 13.04 744-AH 54.84 −0.6 720-AH 83.78 745-AH 9.52 −0.8 721-AH 56.41 746-AH 53.33 −1 722-AH 0.00 747-AH 15.87 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 6.67 724-AH 38.89 749-AH 33.90 725-AH 45.45 750-AH 10.11 596 chemnitz 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 CLEF2009.CHEMNITZ.CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,368 Pooled false Geometric Mean Average Precision 0.1347 bilingual+ en2x merged multilingual reference Binary Preference (BPREF) 0.2525 cut_17 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 64.10 CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 10 48.04 90% 20 40.26 80% 30 34.89 40 30.04 70% 50 25.67 60% 60 19.78 Precision 70 16.04 50% 80 12.00 40% 90 6.25 30% 100 2.21 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 25.57 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0027 First Quartile 0.0628 Second Quartile 0.1996 Third Quartile 0.3926 Interquartile range 0.3299 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2557 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2242 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0027 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2557 4 Std With No Outliers 0.2242 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 0.8 701-AH 47.59 726-AH 30.92 0.6 702-AH 14.55 727-AH 10.10 0.4 703-AH 32.78 728-AH 5.62 0.2 Difference 704-AH 20.32 729-AH 7.45 0 705-AH 54.18 730-AH 19.76 −0.2 −0.4 706-AH 36.72 731-AH 12.53 −0.6 707-AH 26.95 732-AH 18.61 −0.8 708-AH 10.58 733-AH 3.33 −1 709-AH 59.01 734-AH 7.92 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 1.47 735-AH 9.89 711-AH 5.80 736-AH 0.92 712-AH 83.33 737-AH 9.95 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 713-AH 50.58 738-AH 24.83 0.8 714-AH 6.28 739-AH 34.22 0.6 715-AH 2.51 740-AH 39.26 0.4 716-AH 75.98 741-AH 31.43 0.2 Difference 717-AH 20.15 742-AH 36.80 0 718-AH 3.30 743-AH 3.88 −0.2 −0.4 719-AH 1.00 744-AH 17.53 −0.6 720-AH 77.73 745-AH 37.66 −0.8 721-AH 51.67 746-AH 59.75 −1 722-AH 0.27 747-AH 0.96 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.28 748-AH 22.33 724-AH 41.45 749-AH 50.41 725-AH 45.32 750-AH 12.53 597 chemnitz 10.2415/AH-TEL-BILI-X2FR- AH-TEL-BILI-X2FR-CLEF2009 CLEF2009.CHEMNITZ.CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 44.40 CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 10 docs 40.20 90% 15 docs 36.27 80% 20 docs 34.60 30 docs 29.60 70% 100 docs 17.16 60% 200 docs 10.68 Precision 500 docs 5.09 50% 1000 docs 2.74 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 29.13 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.1000 Second Quartile 0.2697 Third Quartile 0.4583 Interquartile range 0.3583 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2913 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2192 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2913 4 Std With No Outliers 0.2192 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 0.8 701-AH 57.53 726-AH 41.18 0.6 702-AH 0.00 727-AH 15.79 0.4 703-AH 40.70 728-AH 7.14 0.2 Difference 704-AH 27.27 729-AH 7.69 0 705-AH 46.74 730-AH 29.63 −0.2 −0.4 706-AH 33.33 731-AH 21.74 −0.6 707-AH 41.67 732-AH 23.53 −0.8 708-AH 15.56 733-AH 16.67 −1 709-AH 52.83 734-AH 10.00 701−AH702−AH703−AH704−AH705−AH706−AH707−AH708−AH709−AH710−AH711−AH712−AH713−AH714−AH715−AH716−AH717−AH718−AH719−AH720−AH721−AH722−AH723−AH724−AH725−AH Topic Identifier 710-AH 9.09 735-AH 13.73 711-AH 0.00 736-AH 0.00 712-AH 83.33 737-AH 20.73 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CUT_24_BILI_EN2FR_MERGED_LANG_SPEC_REF_CUT_17 713-AH 59.57 738-AH 32.50 0.8 714-AH 16.13 739-AH 45.00 0.6 715-AH 12.50 740-AH 46.30 0.4 716-AH 63.64 741-AH 45.83 0.2 Difference 717-AH 28.57 742-AH 50.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 22.58 −0.6 720-AH 75.68 745-AH 38.10 −0.8 721-AH 53.85 746-AH 55.00 −1 722-AH 0.00 747-AH 1.59 726−AH727−AH728−AH729−AH730−AH731−AH732−AH733−AH734−AH735−AH736−AH737−AH738−AH739−AH740−AH741−AH742−AH743−AH744−AH745−AH746−AH747−AH748−AH749−AH750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 44.44 749-AH 52.54 725-AH 45.45 750-AH 20.22 598 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIDEFRT2FB AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 1,062 Pooled true Geometric Mean Average Precision 0.0511 German to French using Trec2 with Blind Feedback Binary Preference (BPREF) 0.1657 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 45.30 BIDEFRT2FB 10 35.57 90% 20 27.54 80% 30 24.03 40 19.57 70% 50 16.51 60% 60 11.65 Precision 70 9.24 50% 80 7.19 40% 90 3.52 30% 100 1.40 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.52 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7522 Minimum 0.0002 First Quartile 0.0189 Second Quartile 0.1044 Third Quartile 0.2252 Interquartile range 0.2063 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1652 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1920 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0002 15 Upper Outlier Threshold 0.4980 Mean With No Outliers 0.1319 10 Std With No Outliers 0.1412 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIDEFRT2FB 0.8 701-AH 36.55 726-AH 0.04 0.6 702-AH 2.64 727-AH 13.94 0.4 703-AH 47.21 728-AH 2.53 0.2 Difference 704-AH 13.02 729-AH 10.25 0 705-AH 40.31 730-AH 2.87 −0.2 −0.4 706-AH 1.60 731-AH 9.96 −0.6 707-AH 13.05 732-AH 11.16 −0.8 708-AH 14.60 733-AH 0.03 −1 709-AH 47.03 734-AH 18.48 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.02 735-AH 3.87 711-AH 0.60 736-AH 2.73 712-AH 73.92 737-AH 1.74 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIDEFRT2FB 713-AH 10.97 738-AH 17.24 0.8 714-AH 8.38 739-AH 57.05 0.6 715-AH 1.89 740-AH 20.82 0.4 716-AH 75.22 741-AH 8.40 0.2 Difference 717-AH 10.63 742-AH 32.82 0 718-AH 5.09 743-AH 7.69 −0.2 −0.4 719-AH 15.15 744-AH 49.80 −0.6 720-AH 1.80 745-AH 0.03 −0.8 721-AH 10.99 746-AH 26.89 −1 722-AH 1.51 747-AH 7.47 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 28.85 748-AH 0.02 724-AH 35.36 749-AH 0.05 725-AH 22.52 750-AH 1.34 599 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIDEFRT2FB AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 30.00 BIDEFRT2FB 10 docs 28.20 90% 15 docs 25.47 80% 20 docs 22.80 30 docs 19.40 70% 100 docs 11.54 60% 200 docs 7.59 Precision 500 docs 3.68 50% 1000 docs 2.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.75 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6970 Minimum 0.0000 First Quartile 0.0417 Second Quartile 0.1429 Third Quartile 0.3478 Interquartile range 0.3062 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1975 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1952 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6970 10 Mean With No Outliers 0.1975 Std With No Outliers 0.1952 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIDEFRT2FB 0.8 701-AH 46.58 726-AH 0.00 0.6 702-AH 0.00 727-AH 5.26 0.4 703-AH 55.81 728-AH 10.71 0.2 Difference 704-AH 18.18 729-AH 7.69 0 705-AH 40.22 730-AH 7.41 −0.2 −0.4 706-AH 1.23 731-AH 26.09 −0.6 707-AH 15.28 732-AH 20.59 −0.8 708-AH 22.22 733-AH 0.00 −1 709-AH 47.17 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 7.84 711-AH 0.00 736-AH 6.90 712-AH 66.67 737-AH 4.88 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIDEFRT2FB 713-AH 19.15 738-AH 21.67 0.8 714-AH 22.58 739-AH 50.00 0.6 715-AH 0.00 740-AH 29.63 0.4 716-AH 69.70 741-AH 4.17 0.2 Difference 717-AH 23.81 742-AH 40.91 0 718-AH 14.29 743-AH 0.00 −0.2 −0.4 719-AH 34.78 744-AH 41.94 −0.6 720-AH 5.41 745-AH 0.00 −0.8 721-AH 5.13 746-AH 40.00 −1 722-AH 0.00 747-AH 14.29 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.00 748-AH 0.00 724-AH 38.89 749-AH 1.69 725-AH 31.82 750-AH 6.74 600 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIDEFRT2FBX AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 1,027 Pooled false Geometric Mean Average Precision 0.0314 German to English and French + original German Binary Preference (BPREF) 0.1423 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 45.99 BIDEFRT2FBX 10 27.58 90% 20 18.93 80% 30 15.16 40 12.05 70% 50 8.84 60% 60 6.77 Precision 70 5.59 50% 80 4.10 40% 90 1.78 30% 100 0.55 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 11.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7400 Minimum 0.0001 First Quartile 0.0064 Second Quartile 0.0491 Third Quartile 0.1685 Interquartile range 0.1621 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1131 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1472 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 20 Upper Outlier Threshold 0.3719 15 Mean With No Outliers 0.0924 10 Std With No Outliers 0.1048 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIDEFRT2FBX 0.8 701-AH 34.10 726-AH 1.36 0.6 702-AH 0.29 727-AH 4.80 0.4 703-AH 21.61 728-AH 0.64 0.2 Difference 704-AH 12.13 729-AH 6.27 0 705-AH 26.40 730-AH 3.64 −0.2 −0.4 706-AH 13.75 731-AH 12.52 −0.6 707-AH 19.77 732-AH 6.34 −0.8 708-AH 3.25 733-AH 0.54 −1 709-AH 18.96 734-AH 15.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.01 735-AH 1.83 711-AH 0.05 736-AH 7.64 712-AH 74.00 737-AH 1.59 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIDEFRT2FBX 713-AH 4.22 738-AH 16.85 0.8 714-AH 1.88 739-AH 27.80 0.6 715-AH 0.10 740-AH 11.74 0.4 716-AH 37.19 741-AH 4.39 0.2 Difference 717-AH 17.11 742-AH 5.01 0 718-AH 11.45 743-AH 0.10 −0.2 −0.4 719-AH 3.31 744-AH 8.66 −0.6 720-AH 0.18 745-AH 0.20 −0.8 721-AH 3.99 746-AH 34.17 −1 722-AH 0.98 747-AH 0.07 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.25 748-AH 0.06 724-AH 27.50 749-AH 13.01 725-AH 47.67 750-AH 0.64 601 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIDEFRT2FBX AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 24.00 BIDEFRT2FBX 10 docs 20.20 90% 15 docs 17.47 80% 20 docs 15.80 30 docs 13.00 70% 100 docs 8.96 60% 200 docs 6.09 Precision 500 docs 3.50 50% 1000 docs 2.05 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 14.12 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0848 Third Quartile 0.2222 Interquartile range 0.2222 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1412 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1581 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5000 15 Mean With No Outliers 0.1305 10 Std With No Outliers 0.1402 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIDEFRT2FBX 0.8 701-AH 39.73 726-AH 0.00 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 32.56 728-AH 3.57 0.2 Difference 704-AH 18.18 729-AH 7.69 0 705-AH 33.70 730-AH 11.11 −0.2 −0.4 706-AH 22.22 731-AH 26.09 −0.6 707-AH 38.89 732-AH 17.65 −0.8 708-AH 4.44 733-AH 0.00 −1 709-AH 32.08 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.96 711-AH 0.00 736-AH 10.34 712-AH 66.67 737-AH 4.88 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIDEFRT2FBX 713-AH 6.38 738-AH 20.00 0.8 714-AH 3.23 739-AH 30.00 0.6 715-AH 0.00 740-AH 9.26 0.4 716-AH 30.30 741-AH 0.00 0.2 Difference 717-AH 19.05 742-AH 4.55 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 13.04 744-AH 12.90 −0.6 720-AH 0.00 745-AH 0.00 −0.8 721-AH 5.13 746-AH 43.33 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 27.78 749-AH 22.03 725-AH 50.00 750-AH 4.49 602 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIENFRT2FB AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,127 Pooled false Geometric Mean Average Precision 0.0420 English to using Trec2 with Blind Feedback Binary Preference (BPREF) 0.1951 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 49.96 BIENFRT2FB 10 33.07 90% 20 25.58 80% 30 22.53 40 19.14 70% 50 16.62 60% 60 14.35 Precision 70 10.44 50% 80 7.49 40% 90 3.67 30% 100 1.62 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.77 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7716 Minimum 0.0000 First Quartile 0.0219 Second Quartile 0.0948 Third Quartile 0.2652 Interquartile range 0.2434 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1677 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2035 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5965 Mean With No Outliers 0.1429 10 Std With No Outliers 0.1658 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIENFRT2FB 0.8 701-AH 44.78 726-AH 1.66 0.6 702-AH 2.45 727-AH 3.70 0.4 703-AH 47.85 728-AH 6.07 0.2 Difference 704-AH 0.07 729-AH 1.48 0 705-AH 37.21 730-AH 5.64 −0.2 −0.4 706-AH 37.07 731-AH 11.85 −0.6 707-AH 12.75 732-AH 10.25 −0.8 708-AH 2.19 733-AH 0.35 −1 709-AH 34.70 734-AH 9.48 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 2.23 711-AH 0.00 736-AH 2.66 712-AH 77.16 737-AH 11.19 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIENFRT2FB 713-AH 26.52 738-AH 17.03 0.8 714-AH 0.00 739-AH 59.65 0.6 715-AH 4.22 740-AH 9.45 0.4 716-AH 75.37 741-AH 0.29 0.2 Difference 717-AH 13.18 742-AH 9.48 0 718-AH 3.04 743-AH 0.10 −0.2 −0.4 719-AH 16.33 744-AH 26.67 −0.6 720-AH 57.72 745-AH 10.16 −0.8 721-AH 0.66 746-AH 34.03 −1 722-AH 21.17 747-AH 0.96 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 3.96 748-AH 17.10 724-AH 47.47 749-AH 13.06 725-AH 6.81 750-AH 1.50 603 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIENFRT2FB AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 31.20 BIENFRT2FB 10 docs 28.00 90% 15 docs 26.67 80% 20 docs 23.40 30 docs 20.47 70% 100 docs 12.10 60% 200 docs 7.73 Precision 500 docs 3.96 50% 1000 docs 2.25 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 19.80 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6970 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.1283 Third Quartile 0.3585 Interquartile range 0.3585 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1980 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2099 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6970 10 Mean With No Outliers 0.1980 Std With No Outliers 0.2099 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIENFRT2FB 0.8 701-AH 46.58 726-AH 0.00 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 61.63 728-AH 7.14 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 41.30 730-AH 20.37 −0.2 −0.4 706-AH 38.27 731-AH 17.39 −0.6 707-AH 15.28 732-AH 14.71 −0.8 708-AH 8.89 733-AH 0.00 −1 709-AH 35.85 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 7.84 711-AH 0.00 736-AH 6.90 712-AH 66.67 737-AH 23.17 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIENFRT2FB 713-AH 38.30 738-AH 21.67 0.8 714-AH 0.00 739-AH 65.00 0.6 715-AH 12.50 740-AH 12.96 0.4 716-AH 69.70 741-AH 0.00 0.2 Difference 717-AH 23.81 742-AH 9.09 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 30.43 744-AH 38.71 −0.6 720-AH 56.76 745-AH 12.70 −0.8 721-AH 0.00 746-AH 36.67 −1 722-AH 16.67 747-AH 7.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 61.11 749-AH 16.95 725-AH 4.55 750-AH 5.62 604 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIENFRT2FBX AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,027 Pooled false Geometric Mean Average Precision 0.0314 English to French and German + original English Binary Preference (BPREF) 0.1423 using Trec2 with Blind Feedback Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 45.99 BIENFRT2FBX 10 27.58 90% 20 18.93 80% 30 15.16 40 12.05 70% 50 8.84 60% 60 6.77 Precision 70 5.59 50% 80 4.10 40% 90 1.78 30% 100 0.55 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 11.31 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.7400 Minimum 0.0001 First Quartile 0.0064 Second Quartile 0.0491 Third Quartile 0.1685 Interquartile range 0.1621 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1131 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1472 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0001 20 Upper Outlier Threshold 0.3719 15 Mean With No Outliers 0.0924 10 Std With No Outliers 0.1048 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries BIENFRT2FBX 0.8 701-AH 34.10 726-AH 1.36 0.6 702-AH 0.29 727-AH 4.80 0.4 703-AH 21.61 728-AH 0.64 0.2 Difference 704-AH 12.13 729-AH 6.27 0 705-AH 26.40 730-AH 3.64 −0.2 −0.4 706-AH 13.75 731-AH 12.52 −0.6 707-AH 19.77 732-AH 6.34 −0.8 708-AH 3.25 733-AH 0.54 −1 709-AH 18.96 734-AH 15.36 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.01 735-AH 1.83 711-AH 0.05 736-AH 7.64 712-AH 74.00 737-AH 1.59 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) BIENFRT2FBX 713-AH 4.22 738-AH 16.85 0.8 714-AH 1.88 739-AH 27.80 0.6 715-AH 0.10 740-AH 11.74 0.4 716-AH 37.19 741-AH 4.39 0.2 Difference 717-AH 17.11 742-AH 5.01 0 718-AH 11.45 743-AH 0.10 −0.2 −0.4 719-AH 3.31 744-AH 8.66 −0.6 720-AH 0.18 745-AH 0.20 −0.8 721-AH 3.99 746-AH 34.17 −1 722-AH 0.98 747-AH 0.07 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.25 748-AH 0.06 724-AH 27.50 749-AH 13.01 725-AH 47.67 750-AH 0.64 605 cheshire 10.2415/AH-TEL-BILI-X2FR-CLEF2009.CHESHIRE.BIENFRT2FBX AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 24.00 BIENFRT2FBX 10 docs 20.20 90% 15 docs 17.47 80% 20 docs 15.80 30 docs 13.00 70% 100 docs 8.96 60% 200 docs 6.09 Precision 500 docs 3.50 50% 1000 docs 2.05 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 14.12 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6667 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0848 Third Quartile 0.2222 Interquartile range 0.2222 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1412 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1581 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5000 15 Mean With No Outliers 0.1305 10 Std With No Outliers 0.1402 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries BIENFRT2FBX 0.8 701-AH 39.73 726-AH 0.00 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 32.56 728-AH 3.57 0.2 Difference 704-AH 18.18 729-AH 7.69 0 705-AH 33.70 730-AH 11.11 −0.2 −0.4 706-AH 22.22 731-AH 26.09 −0.6 707-AH 38.89 732-AH 17.65 −0.8 708-AH 4.44 733-AH 0.00 −1 709-AH 32.08 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.96 711-AH 0.00 736-AH 10.34 712-AH 66.67 737-AH 4.88 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) BIENFRT2FBX 713-AH 6.38 738-AH 20.00 0.8 714-AH 3.23 739-AH 30.00 0.6 715-AH 0.00 740-AH 9.26 0.4 716-AH 30.30 741-AH 0.00 0.2 Difference 717-AH 19.05 742-AH 4.55 0 718-AH 17.86 743-AH 0.00 −0.2 −0.4 719-AH 13.04 744-AH 12.90 −0.6 720-AH 0.00 745-AH 0.00 −0.8 721-AH 5.13 746-AH 43.33 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 27.78 749-AH 22.03 725-AH 50.00 750-AH 4.49 606 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.DE_INDEXALL AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 5 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 1,385 Pooled false Geometric Mean Average Precision 0.0916 IR with multiple indexes and aggregated ranks Binary Preference (BPREF) 0.2171 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 52.81 DE_INDEXALL 10 38.75 90% 20 31.43 80% 30 27.66 40 24.98 70% 50 22.25 60% 60 19.58 Precision 70 17.04 50% 80 13.67 40% 90 6.43 30% 100 1.96 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.56 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0013 First Quartile 0.0352 Second Quartile 0.1098 Third Quartile 0.3355 Interquartile range 0.3003 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2156 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2350 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0013 15 Upper Outlier Threshold 0.6871 Mean With No Outliers 0.1907 10 Std With No Outliers 0.2043 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALL 0.8 701-AH 53.71 726-AH 24.38 0.6 702-AH 3.34 727-AH 9.75 0.4 703-AH 36.29 728-AH 14.84 0.2 Difference 704-AH 3.81 729-AH 2.00 0 705-AH 61.86 730-AH 15.22 −0.2 −0.4 706-AH 38.17 731-AH 10.42 −0.6 707-AH 8.61 732-AH 6.48 −0.8 708-AH 18.86 733-AH 4.27 −1 709-AH 64.86 734-AH 11.53 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.41 735-AH 10.05 711-AH 0.23 736-AH 3.20 712-AH 83.33 737-AH 4.44 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALL 713-AH 3.52 738-AH 12.35 0.8 714-AH 0.15 739-AH 68.71 0.6 715-AH 0.13 740-AH 31.08 0.4 716-AH 68.30 741-AH 5.73 0.2 Difference 717-AH 9.70 742-AH 3.11 0 718-AH 5.03 743-AH 0.89 −0.2 −0.4 719-AH 1.23 744-AH 54.95 −0.6 720-AH 79.30 745-AH 23.72 −0.8 721-AH 42.58 746-AH 33.55 −1 722-AH 11.62 747-AH 2.80 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.21 748-AH 22.44 724-AH 31.49 749-AH 17.31 725-AH 45.81 750-AH 9.10 607 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.DE_INDEXALL AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 31.60 DE_INDEXALL 10 docs 32.40 90% 15 docs 28.00 80% 20 docs 27.00 30 docs 24.33 70% 100 docs 15.54 60% 200 docs 9.76 Precision 500 docs 4.91 50% 1000 docs 2.77 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.40 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0714 Second Quartile 0.1712 Third Quartile 0.4333 Interquartile range 0.3619 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2440 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2252 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2440 Std With No Outliers 0.2252 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALL 0.8 701-AH 58.90 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 45.35 728-AH 14.29 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 59.78 730-AH 24.07 −0.2 −0.4 706-AH 44.44 731-AH 17.39 −0.6 707-AH 20.83 732-AH 8.82 −0.8 708-AH 24.44 733-AH 0.00 −1 709-AH 56.60 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 13.73 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 14.63 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALL 713-AH 14.89 738-AH 16.67 0.8 714-AH 0.00 739-AH 65.00 0.6 715-AH 0.00 740-AH 33.33 0.4 716-AH 60.61 741-AH 4.17 0.2 Difference 717-AH 19.05 742-AH 4.55 0 718-AH 7.14 743-AH 0.00 −0.2 −0.4 719-AH 8.70 744-AH 45.16 −0.6 720-AH 81.08 745-AH 26.98 −0.8 721-AH 46.15 746-AH 43.33 −1 722-AH 16.67 747-AH 9.52 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 33.33 749-AH 23.73 725-AH 45.45 750-AH 16.85 608 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.DE_INDEXALLESA AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 1,382 Pooled true Geometric Mean Average Precision 0.0911 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.2159 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 52.95 DE_INDEXALLESA 10 38.57 90% 20 32.02 80% 30 27.27 40 24.72 70% 50 21.58 60% 60 19.05 Precision 70 16.79 50% 80 13.52 40% 90 6.31 30% 100 2.19 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 21.45 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0013 First Quartile 0.0372 Second Quartile 0.1121 Third Quartile 0.3312 Interquartile range 0.2939 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2145 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2348 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0013 15 Upper Outlier Threshold 0.6830 Mean With No Outliers 0.1895 10 Std With No Outliers 0.2038 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALLESA 0.8 701-AH 54.07 726-AH 27.15 0.6 702-AH 3.55 727-AH 8.83 0.4 703-AH 34.97 728-AH 14.84 0.2 Difference 704-AH 4.03 729-AH 1.98 0 705-AH 61.47 730-AH 15.18 −0.2 −0.4 706-AH 33.12 731-AH 10.34 −0.6 707-AH 9.71 732-AH 7.75 −0.8 708-AH 19.09 733-AH 4.45 −1 709-AH 64.80 734-AH 11.24 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.41 735-AH 11.78 711-AH 0.32 736-AH 3.46 712-AH 83.33 737-AH 4.72 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALLESA 713-AH 3.72 738-AH 11.43 0.8 714-AH 0.14 739-AH 68.30 0.6 715-AH 0.13 740-AH 31.05 0.4 716-AH 67.21 741-AH 5.67 0.2 Difference 717-AH 11.17 742-AH 2.82 0 718-AH 4.94 743-AH 0.89 −0.2 −0.4 719-AH 1.27 744-AH 58.65 −0.6 720-AH 79.45 745-AH 23.67 −0.8 721-AH 43.02 746-AH 29.01 −1 722-AH 7.47 747-AH 1.50 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.23 748-AH 22.22 724-AH 33.59 749-AH 17.61 725-AH 45.38 750-AH 8.36 609 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.DE_INDEXALLESA AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 34.00 DE_INDEXALLESA 10 docs 32.60 90% 15 docs 27.33 80% 20 docs 26.70 30 docs 24.20 70% 100 docs 15.24 60% 200 docs 9.66 Precision 500 docs 4.88 50% 1000 docs 2.76 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.57 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0714 Second Quartile 0.1952 Third Quartile 0.4118 Interquartile range 0.3403 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2457 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2242 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2457 Std With No Outliers 0.2242 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXALLESA 0.8 701-AH 58.90 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 45.35 728-AH 14.29 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 56.52 730-AH 24.07 −0.2 −0.4 706-AH 37.04 731-AH 21.74 −0.6 707-AH 20.83 732-AH 11.76 −0.8 708-AH 24.44 733-AH 0.00 −1 709-AH 58.49 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 23.53 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 13.41 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXALLESA 713-AH 14.89 738-AH 16.67 0.8 714-AH 0.00 739-AH 65.00 0.6 715-AH 0.00 740-AH 31.48 0.4 716-AH 63.64 741-AH 4.17 0.2 Difference 717-AH 19.05 742-AH 4.55 0 718-AH 7.14 743-AH 0.00 −0.2 −0.4 719-AH 8.70 744-AH 48.39 −0.6 720-AH 81.08 745-AH 25.40 −0.8 721-AH 46.15 746-AH 41.67 −1 722-AH 16.67 747-AH 7.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 33.33 749-AH 25.42 725-AH 45.45 750-AH 16.85 610 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.DE_INDEXBL AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 1,418 Pooled false Geometric Mean Average Precision 0.1123 Baseline using standard IR single index Binary Preference (BPREF) 0.2305 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 60.01 DE_INDEXBL 10 44.14 90% 20 34.89 80% 30 30.91 40 26.80 70% 50 23.35 60% 60 19.84 Precision 70 16.06 50% 80 12.81 40% 90 6.98 30% 100 2.62 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 23.76 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0011 First Quartile 0.0572 Second Quartile 0.1215 Third Quartile 0.3495 Interquartile range 0.2923 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2376 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2307 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0011 Upper Outlier Threshold 0.7750 10 Mean With No Outliers 0.2254 Std With No Outliers 0.2163 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXBL 0.8 701-AH 50.36 726-AH 35.39 0.6 702-AH 6.64 727-AH 11.66 0.4 703-AH 41.53 728-AH 29.67 0.2 Difference 704-AH 5.59 729-AH 3.12 0 705-AH 58.18 730-AH 11.41 −0.2 −0.4 706-AH 26.18 731-AH 10.32 −0.6 707-AH 9.88 732-AH 12.64 −0.8 708-AH 23.09 733-AH 7.41 −1 709-AH 66.73 734-AH 7.74 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.52 735-AH 4.46 711-AH 0.16 736-AH 0.73 712-AH 83.33 737-AH 8.57 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXBL 713-AH 9.96 738-AH 25.61 0.8 714-AH 0.11 739-AH 65.58 0.6 715-AH 1.31 740-AH 22.80 0.4 716-AH 73.77 741-AH 5.72 0.2 Difference 717-AH 29.03 742-AH 3.92 0 718-AH 4.62 743-AH 1.02 −0.2 −0.4 719-AH 1.46 744-AH 54.31 −0.6 720-AH 77.50 745-AH 23.75 −0.8 721-AH 53.61 746-AH 20.40 −1 722-AH 32.21 747-AH 11.03 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.20 748-AH 23.96 724-AH 47.02 749-AH 29.54 725-AH 34.95 750-AH 10.21 611 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.DE_INDEXBL AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 38.40 DE_INDEXBL 10 docs 35.40 90% 15 docs 31.73 80% 20 docs 30.40 30 docs 26.87 70% 100 docs 15.72 60% 200 docs 10.12 Precision 500 docs 5.00 50% 1000 docs 2.84 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 25.28 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0870 Second Quartile 0.1925 Third Quartile 0.4118 Interquartile range 0.3248 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2528 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2234 10 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 8 Upper Outlier Threshold 0.8333 6 Mean With No Outliers 0.2528 4 Std With No Outliers 0.2234 2 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries DE_INDEXBL 0.8 701-AH 57.53 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 47.67 728-AH 25.00 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 52.17 730-AH 16.67 −0.2 −0.4 706-AH 34.57 731-AH 21.74 −0.6 707-AH 19.44 732-AH 20.59 −0.8 708-AH 26.67 733-AH 16.67 −1 709-AH 58.49 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 13.73 711-AH 0.00 736-AH 0.00 712-AH 83.33 737-AH 13.41 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) DE_INDEXBL 713-AH 12.77 738-AH 28.33 0.8 714-AH 0.00 739-AH 60.00 0.6 715-AH 0.00 740-AH 27.78 0.4 716-AH 60.61 741-AH 4.17 0.2 Difference 717-AH 19.05 742-AH 0.00 0 718-AH 7.14 743-AH 0.00 −0.2 −0.4 719-AH 8.70 744-AH 45.16 −0.6 720-AH 78.38 745-AH 23.81 −0.8 721-AH 61.54 746-AH 31.67 −1 722-AH 16.67 747-AH 12.70 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 55.56 749-AH 30.51 725-AH 45.45 750-AH 17.98 612 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.EN_INDEXALLESA AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,412 Pooled false Geometric Mean Average Precision 0.0747 IR with multiple indexes, ESA and aggregated scores Binary Preference (BPREF) 0.2223 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 55.75 EN_INDEXALLESA 10 42.32 90% 20 32.37 80% 30 27.79 40 25.08 70% 50 22.80 60% 60 19.53 Precision 70 16.24 50% 80 13.83 40% 90 6.48 30% 100 2.18 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 22.40 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0424 Second Quartile 0.1741 Third Quartile 0.3260 Interquartile range 0.2836 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2240 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2280 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.7489 10 Mean With No Outliers 0.2115 Std With No Outliers 0.2125 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXALLESA 0.8 701-AH 53.62 726-AH 22.41 0.6 702-AH 3.56 727-AH 4.50 0.4 703-AH 16.66 728-AH 5.09 0.2 Difference 704-AH 5.52 729-AH 2.42 0 705-AH 61.94 730-AH 24.92 −0.2 −0.4 706-AH 32.40 731-AH 10.92 −0.6 707-AH 18.17 732-AH 6.56 −0.8 708-AH 5.82 733-AH 0.00 −1 709-AH 66.67 734-AH 10.61 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.49 735-AH 4.24 711-AH 0.94 736-AH 3.43 712-AH 83.33 737-AH 6.82 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXALLESA 713-AH 21.32 738-AH 14.77 0.8 714-AH 0.36 739-AH 53.02 0.6 715-AH 0.08 740-AH 21.25 0.4 716-AH 67.48 741-AH 27.71 0.2 Difference 717-AH 21.02 742-AH 56.61 0 718-AH 5.19 743-AH 0.00 −0.2 −0.4 719-AH 0.67 744-AH 56.52 −0.6 720-AH 74.89 745-AH 27.68 −0.8 721-AH 43.40 746-AH 25.25 −1 722-AH 18.50 747-AH 2.08 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.72 748-AH 20.02 724-AH 32.60 749-AH 34.16 725-AH 32.60 750-AH 10.87 613 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.EN_INDEXALLESA AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 37.20 EN_INDEXALLESA 10 docs 33.60 90% 15 docs 31.87 80% 20 docs 29.20 30 docs 25.87 70% 100 docs 15.12 60% 200 docs 9.48 Precision 500 docs 4.95 50% 1000 docs 2.82 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 24.49 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0435 Second Quartile 0.2000 Third Quartile 0.3636 Interquartile range 0.3202 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2449 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2282 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2449 Std With No Outliers 0.2282 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXALLESA 0.8 701-AH 58.90 726-AH 35.29 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 17.44 728-AH 10.71 0.2 Difference 704-AH 0.00 729-AH 0.00 0 705-AH 57.61 730-AH 33.33 −0.2 −0.4 706-AH 37.04 731-AH 13.04 −0.6 707-AH 20.83 732-AH 5.88 −0.8 708-AH 11.11 733-AH 0.00 −1 709-AH 64.15 734-AH 20.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 11.76 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 10.98 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXALLESA 713-AH 29.79 738-AH 20.83 0.8 714-AH 0.00 739-AH 60.00 0.6 715-AH 0.00 740-AH 27.78 0.4 716-AH 63.64 741-AH 20.83 0.2 Difference 717-AH 23.81 742-AH 54.55 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 48.39 −0.6 720-AH 78.38 745-AH 30.16 −0.8 721-AH 51.28 746-AH 38.33 −1 722-AH 16.67 747-AH 7.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 20.00 724-AH 33.33 749-AH 35.59 725-AH 36.36 750-AH 16.85 614 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.EN_INDEXBL AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,402 Pooled false Geometric Mean Average Precision 0.0933 Baseline using standard IR single index Binary Preference (BPREF) 0.2430 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 60.80 EN_INDEXBL 10 45.70 90% 20 37.01 80% 30 33.24 40 28.25 70% 50 25.37 60% 60 20.89 Precision 70 16.47 50% 80 12.33 40% 90 6.79 30% 100 2.52 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 24.62 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0526 Second Quartile 0.1749 Third Quartile 0.4315 Interquartile range 0.3789 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.2462 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2336 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2462 Std With No Outliers 0.2336 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXBL 0.8 701-AH 50.46 726-AH 33.73 0.6 702-AH 6.64 727-AH 6.69 0.4 703-AH 16.69 728-AH 2.43 0.2 Difference 704-AH 10.08 729-AH 5.26 0 705-AH 58.18 730-AH 18.26 −0.2 −0.4 706-AH 27.67 731-AH 12.46 −0.6 707-AH 22.26 732-AH 11.79 −0.8 708-AH 6.15 733-AH 0.00 −1 709-AH 68.60 734-AH 8.51 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 2.04 735-AH 5.98 711-AH 0.40 736-AH 1.03 712-AH 83.33 737-AH 14.92 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXBL 713-AH 26.59 738-AH 27.43 0.8 714-AH 0.23 739-AH 44.82 0.6 715-AH 0.34 740-AH 26.11 0.4 716-AH 73.77 741-AH 27.40 0.2 Difference 717-AH 43.15 742-AH 61.44 0 718-AH 4.85 743-AH 0.05 −0.2 −0.4 719-AH 1.01 744-AH 51.01 −0.6 720-AH 76.24 745-AH 32.44 −0.8 721-AH 56.99 746-AH 16.53 −1 722-AH 19.33 747-AH 3.24 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.57 748-AH 21.97 724-AH 47.04 749-AH 47.75 725-AH 30.39 750-AH 16.72 615 karlsruhe 10.2415/AH-TEL-BILI-X2FR-CLEF2009.KARLSRUHE.EN_INDEXBL AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 41.20 EN_INDEXBL 10 docs 38.60 90% 15 docs 34.13 80% 20 docs 32.00 30 docs 27.67 70% 100 docs 16.16 60% 200 docs 10.18 Precision 500 docs 5.03 50% 1000 docs 2.80 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 26.65 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0769 Second Quartile 0.2457 Third Quartile 0.4286 Interquartile range 0.3516 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.2665 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2226 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.8333 10 Mean With No Outliers 0.2665 Std With No Outliers 0.2226 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries EN_INDEXBL 0.8 701-AH 57.53 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 17.44 728-AH 3.57 0.2 Difference 704-AH 27.27 729-AH 7.69 0 705-AH 52.17 730-AH 29.63 −0.2 −0.4 706-AH 38.27 731-AH 13.04 −0.6 707-AH 27.78 732-AH 20.59 −0.8 708-AH 8.89 733-AH 0.00 −1 709-AH 62.26 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 11.76 711-AH 0.00 736-AH 0.00 712-AH 83.33 737-AH 21.95 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) EN_INDEXBL 713-AH 29.79 738-AH 31.67 0.8 714-AH 3.23 739-AH 45.00 0.6 715-AH 0.00 740-AH 31.48 0.4 716-AH 60.61 741-AH 20.83 0.2 Difference 717-AH 42.86 742-AH 54.55 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 48.39 −0.6 720-AH 78.38 745-AH 31.75 −0.8 721-AH 53.85 746-AH 30.00 −1 722-AH 16.67 747-AH 12.70 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 26.67 724-AH 55.56 749-AH 50.85 725-AH 31.82 750-AH 22.47 616 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDDEFRRUN2 AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 974 Pooled false Geometric Mean Average Precision 0.0219 LM-abs-GRR Binary Preference (BPREF) 0.1752 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 40.56 TCDDEFRRUN2 10 29.16 90% 20 24.90 80% 30 22.60 40 19.34 70% 50 17.03 60% 60 13.42 Precision 70 11.99 50% 80 8.87 40% 90 4.50 30% 100 1.51 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.33 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0052 Second Quartile 0.0626 Third Quartile 0.2559 Interquartile range 0.2507 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1633 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2198 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5186 Mean With No Outliers 0.1130 10 Std With No Outliers 0.1413 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEFRRUN2 0.8 701-AH 0.09 726-AH 27.45 0.6 702-AH 0.11 727-AH 17.66 0.4 703-AH 0.00 728-AH 27.07 0.2 Difference 704-AH 8.59 729-AH 5.01 0 705-AH 49.24 730-AH 8.37 −0.2 −0.4 706-AH 19.99 731-AH 10.05 −0.6 707-AH 5.14 732-AH 9.04 −0.8 708-AH 12.59 733-AH 5.41 −1 709-AH 68.99 734-AH 6.80 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.10 735-AH 0.52 711-AH 0.25 736-AH 2.55 712-AH 83.33 737-AH 0.50 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDEFRRUN2 713-AH 26.98 738-AH 50.84 0.8 714-AH 0.00 739-AH 2.28 0.6 715-AH 5.30 740-AH 4.20 0.4 716-AH 71.67 741-AH 4.02 0.2 Difference 717-AH 5.23 742-AH 0.07 0 718-AH 0.00 743-AH 5.71 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 72.92 745-AH 17.65 −0.8 721-AH 7.69 746-AH 0.00 −1 722-AH 0.98 747-AH 0.04 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 25.59 748-AH 27.62 724-AH 51.86 749-AH 16.18 725-AH 35.73 750-AH 12.26 617 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDDEFRRUN2 AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 26.00 TCDDEFRRUN2 10 docs 23.00 90% 15 docs 21.87 80% 20 docs 20.40 30 docs 18.40 70% 100 docs 10.98 60% 200 docs 7.28 Precision 500 docs 3.60 50% 1000 docs 1.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.98 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0909 Third Quartile 0.2979 Interquartile range 0.2979 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1798 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2287 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.6667 15 Mean With No Outliers 0.1536 10 Std With No Outliers 0.1923 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEFRRUN2 0.8 701-AH 1.37 726-AH 41.18 0.6 702-AH 0.00 727-AH 21.05 0.4 703-AH 0.00 728-AH 21.43 0.2 Difference 704-AH 9.09 729-AH 7.69 0 705-AH 50.00 730-AH 16.67 −0.2 −0.4 706-AH 33.33 731-AH 13.04 −0.6 707-AH 6.94 732-AH 14.71 −0.8 708-AH 15.56 733-AH 0.00 −1 709-AH 60.38 734-AH 0.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 3.92 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 2.44 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDEFRRUN2 713-AH 29.79 738-AH 49.17 0.8 714-AH 0.00 739-AH 0.00 0.6 715-AH 0.00 740-AH 9.26 0.4 716-AH 66.67 741-AH 4.17 0.2 Difference 717-AH 9.52 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 78.38 745-AH 12.70 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 0.00 747-AH 1.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.00 748-AH 33.33 724-AH 55.56 749-AH 22.03 725-AH 45.45 750-AH 16.85 618 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDDEFRRUN3 AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 49,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 974 Pooled false Geometric Mean Average Precision 0.0219 LM-abs-GRRS Binary Preference (BPREF) 0.1739 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 40.59 TCDDEFRRUN3 10 28.79 90% 20 24.81 80% 30 22.50 40 19.49 70% 50 17.05 60% 60 13.42 Precision 70 11.93 50% 80 8.59 40% 90 4.37 30% 100 1.47 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 16.24 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0051 Second Quartile 0.0635 Third Quartile 0.2569 Interquartile range 0.2518 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1624 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2183 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5226 Mean With No Outliers 0.1123 10 Std With No Outliers 0.1400 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEFRRUN3 0.8 701-AH 0.09 726-AH 27.41 0.6 702-AH 0.10 727-AH 15.79 0.4 703-AH 0.00 728-AH 27.46 0.2 Difference 704-AH 8.46 729-AH 5.45 0 705-AH 47.36 730-AH 8.70 −0.2 −0.4 706-AH 20.13 731-AH 9.87 −0.6 707-AH 5.20 732-AH 8.75 −0.8 708-AH 13.21 733-AH 5.87 −1 709-AH 67.35 734-AH 6.84 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 3.09 735-AH 0.51 711-AH 0.26 736-AH 2.56 712-AH 83.33 737-AH 0.49 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDDEFRRUN3 713-AH 27.12 738-AH 50.44 0.8 714-AH 0.00 739-AH 2.20 0.6 715-AH 5.26 740-AH 4.22 0.4 716-AH 71.42 741-AH 4.11 0.2 Difference 717-AH 5.19 742-AH 0.07 0 718-AH 0.00 743-AH 5.76 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 73.07 745-AH 17.60 −0.8 721-AH 7.30 746-AH 0.00 −1 722-AH 0.98 747-AH 0.04 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 25.69 748-AH 27.79 724-AH 52.26 749-AH 15.73 725-AH 35.12 750-AH 12.27 619 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDDEFRRUN3 AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 26.00 TCDDEFRRUN3 10 docs 22.60 90% 15 docs 21.47 80% 20 docs 19.80 30 docs 17.47 70% 100 docs 10.84 60% 200 docs 7.26 Precision 500 docs 3.58 50% 1000 docs 1.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.09 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0918 Third Quartile 0.3191 Interquartile range 0.3191 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1809 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2254 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.7838 15 Mean With No Outliers 0.1676 10 Std With No Outliers 0.2069 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDDEFRRUN3 0.8 701-AH 1.37 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 0.00 728-AH 21.43 0.2 Difference 704-AH 9.09 729-AH 7.69 0 705-AH 50.00 730-AH 16.67 −0.2 −0.4 706-AH 33.33 731-AH 13.04 −0.6 707-AH 4.17 732-AH 14.71 −0.8 708-AH 13.33 733-AH 16.67 −1 709-AH 58.49 734-AH 0.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 9.09 735-AH 3.92 711-AH 0.00 736-AH 3.45 712-AH 83.33 737-AH 2.44 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDDEFRRUN3 713-AH 31.91 738-AH 49.17 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 9.26 0.4 716-AH 63.64 741-AH 4.17 0.2 Difference 717-AH 9.52 742-AH 0.00 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 78.38 745-AH 12.70 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 0.00 747-AH 1.59 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 50.00 748-AH 33.33 724-AH 55.56 749-AH 22.03 725-AH 45.45 750-AH 19.10 620 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDENFRRUN2 AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,061 Pooled true Geometric Mean Average Precision 0.0273 LM-abs-GRR Binary Preference (BPREF) 0.1573 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 39.93 TCDENFRRUN2 10 29.74 90% 20 25.68 80% 30 21.95 40 19.19 70% 50 15.72 60% 60 13.59 Precision 70 11.16 50% 80 8.22 40% 90 3.91 30% 100 1.50 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.91 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0066 Second Quartile 0.0499 Third Quartile 0.2205 Interquartile range 0.2139 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1591 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2237 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5403 15 Mean With No Outliers 0.1096 10 Std With No Outliers 0.1499 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENFRRUN2 0.8 701-AH 3.65 726-AH 22.05 0.6 702-AH 0.11 727-AH 12.26 0.4 703-AH 6.27 728-AH 0.84 0.2 Difference 704-AH 8.29 729-AH 3.51 0 705-AH 49.43 730-AH 4.12 −0.2 −0.4 706-AH 21.91 731-AH 12.50 −0.6 707-AH 32.88 732-AH 9.74 −0.8 708-AH 1.76 733-AH 0.04 −1 709-AH 64.05 734-AH 7.13 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.06 735-AH 0.38 711-AH 0.05 736-AH 1.61 712-AH 83.33 737-AH 1.63 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENFRRUN2 713-AH 14.11 738-AH 50.79 0.8 714-AH 0.14 739-AH 4.67 0.6 715-AH 5.31 740-AH 1.84 0.4 716-AH 78.77 741-AH 32.55 0.2 Difference 717-AH 4.21 742-AH 0.66 0 718-AH 0.00 743-AH 0.05 −0.2 −0.4 719-AH 0.02 744-AH 0.00 −0.6 720-AH 65.57 745-AH 42.36 −0.8 721-AH 10.02 746-AH 0.96 −1 722-AH 0.42 747-AH 0.97 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.34 748-AH 25.62 724-AH 54.03 749-AH 17.50 725-AH 27.41 750-AH 9.74 621 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDENFRRUN2 AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 25.20 TCDENFRRUN2 10 docs 23.40 90% 15 docs 21.87 80% 20 docs 20.80 30 docs 19.07 70% 100 docs 11.20 60% 200 docs 7.40 Precision 500 docs 3.70 50% 1000 docs 2.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.73 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0528 Third Quartile 0.3210 Interquartile range 0.3210 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1773 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2243 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.6970 15 Mean With No Outliers 0.1639 10 Std With No Outliers 0.2054 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENFRRUN2 0.8 701-AH 4.11 726-AH 41.18 0.6 702-AH 0.00 727-AH 10.53 0.4 703-AH 26.74 728-AH 3.57 0.2 Difference 704-AH 9.09 729-AH 7.69 0 705-AH 48.91 730-AH 5.56 −0.2 −0.4 706-AH 32.10 731-AH 8.70 −0.6 707-AH 44.44 732-AH 17.65 −0.8 708-AH 2.22 733-AH 0.00 −1 709-AH 58.49 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.96 711-AH 0.00 736-AH 0.00 712-AH 83.33 737-AH 1.22 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENFRRUN2 713-AH 19.15 738-AH 49.17 0.8 714-AH 0.00 739-AH 5.00 0.6 715-AH 0.00 740-AH 1.85 0.4 716-AH 69.70 741-AH 41.67 0.2 Difference 717-AH 14.29 742-AH 4.55 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 64.86 745-AH 42.86 −0.8 721-AH 2.56 746-AH 0.00 −1 722-AH 0.00 747-AH 4.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 55.56 749-AH 16.95 725-AH 31.82 750-AH 15.73 622 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDENFRRUN3 AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,061 Pooled false Geometric Mean Average Precision 0.0267 LM-abs-GRRS Binary Preference (BPREF) 0.1561 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 39.73 TCDENFRRUN3 10 29.54 90% 20 24.86 80% 30 21.05 40 19.08 70% 50 16.12 60% 60 13.56 Precision 70 11.10 50% 80 8.24 40% 90 3.81 30% 100 1.46 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 15.76 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0063 Second Quartile 0.0507 Third Quartile 0.2350 Interquartile range 0.2286 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1576 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2216 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5390 15 Mean With No Outliers 0.1082 10 Std With No Outliers 0.1474 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries TCDENFRRUN3 0.8 701-AH 3.69 726-AH 23.50 0.6 702-AH 0.10 727-AH 11.55 0.4 703-AH 5.35 728-AH 0.85 0.2 Difference 704-AH 8.62 729-AH 3.36 0 705-AH 46.73 730-AH 4.42 −0.2 −0.4 706-AH 20.71 731-AH 13.32 −0.6 707-AH 33.34 732-AH 8.97 −0.8 708-AH 1.78 733-AH 0.03 −1 709-AH 63.16 734-AH 7.34 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.06 735-AH 0.40 711-AH 0.03 736-AH 1.74 712-AH 83.33 737-AH 1.55 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) TCDENFRRUN3 713-AH 13.99 738-AH 50.79 0.8 714-AH 0.14 739-AH 4.80 0.6 715-AH 5.66 740-AH 1.96 0.4 716-AH 78.41 741-AH 32.91 0.2 Difference 717-AH 4.27 742-AH 0.63 0 718-AH 0.00 743-AH 0.05 −0.2 −0.4 719-AH 0.02 744-AH 0.00 −0.6 720-AH 65.03 745-AH 39.10 −0.8 721-AH 9.28 746-AH 0.94 −1 722-AH 0.27 747-AH 0.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.43 748-AH 26.29 724-AH 53.90 749-AH 17.58 725-AH 27.30 750-AH 9.16 623 trinity 10.2415/AH-TEL-BILI-X2FR-CLEF2009.TRINITY.TCDENFRRUN3 AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 25.60 TCDENFRRUN3 10 docs 23.20 90% 15 docs 21.87 80% 20 docs 20.30 30 docs 18.60 70% 100 docs 11.30 60% 200 docs 7.43 Precision 500 docs 3.70 50% 1000 docs 2.12 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 17.72 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.8333 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0513 Third Quartile 0.3333 Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1772 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.2244 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.8333 15 Mean With No Outliers 0.1772 10 Std With No Outliers 0.2244 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries TCDENFRRUN3 0.8 701-AH 4.11 726-AH 41.18 0.6 702-AH 0.00 727-AH 5.26 0.4 703-AH 26.74 728-AH 3.57 0.2 Difference 704-AH 18.18 729-AH 0.00 0 705-AH 47.83 730-AH 7.41 −0.2 −0.4 706-AH 33.33 731-AH 8.70 −0.6 707-AH 45.83 732-AH 17.65 −0.8 708-AH 2.22 733-AH 0.00 −1 709-AH 56.60 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 1.96 711-AH 0.00 736-AH 0.00 712-AH 83.33 737-AH 1.22 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) TCDENFRRUN3 713-AH 17.02 738-AH 49.17 0.8 714-AH 0.00 739-AH 10.00 0.6 715-AH 0.00 740-AH 3.70 0.4 716-AH 69.70 741-AH 41.67 0.2 Difference 717-AH 14.29 742-AH 4.55 0 718-AH 0.00 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 0.00 −0.6 720-AH 64.86 745-AH 42.86 −0.8 721-AH 0.00 746-AH 0.00 −1 722-AH 0.00 747-AH 4.76 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 55.56 749-AH 16.95 725-AH 31.82 750-AH 15.73 624 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.CLESA169283DEINFR AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 2 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 995 Pooled false Geometric Mean Average Precision 0.0131 CL-ESA with 169283 dimensions, querying the french Binary Preference (BPREF) 0.1370 collection with german topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 29.96 CLESA169283DEINFR 10 21.07 90% 20 14.79 80% 30 12.86 40 11.31 70% 50 10.42 60% 60 9.25 Precision 70 7.77 50% 80 4.97 40% 90 3.46 30% 100 1.53 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 10.41 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6168 Minimum 0.0000 First Quartile 0.0052 Second Quartile 0.0329 Third Quartile 0.1156 Interquartile range 0.1104 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1041 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1617 30 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 25 Upper Outlier Threshold 0.2644 20 Mean With No Outliers 0.0448 15 Std With No Outliers 0.0592 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283DEINFR 0.8 701-AH 42.28 726-AH 1.10 0.6 702-AH 0.07 727-AH 5.54 0.4 703-AH 30.90 728-AH 4.87 0.2 Difference 704-AH 4.91 729-AH 0.00 0 705-AH 50.31 730-AH 0.00 −0.2 −0.4 706-AH 12.87 731-AH 3.41 −0.6 707-AH 5.47 732-AH 3.17 −0.8 708-AH 0.00 733-AH 18.98 −1 709-AH 2.23 734-AH 5.74 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.51 711-AH 0.70 736-AH 0.52 712-AH 18.38 737-AH 7.24 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283DEINFR 713-AH 1.93 738-AH 2.37 0.8 714-AH 0.06 739-AH 26.44 0.6 715-AH 0.06 740-AH 1.01 0.4 716-AH 61.68 741-AH 5.92 0.2 Difference 717-AH 11.56 742-AH 0.00 0 718-AH 2.96 743-AH 0.00 −0.2 −0.4 719-AH 0.14 744-AH 47.26 −0.6 720-AH 10.62 745-AH 5.04 −0.8 721-AH 51.64 746-AH 1.60 −1 722-AH 1.74 747-AH 2.48 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.72 748-AH 13.07 724-AH 43.67 749-AH 0.02 725-AH 4.90 750-AH 4.46 625 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.CLESA169283DEINFR AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 12.00 CLESA169283DEINFR 10 docs 13.40 90% 15 docs 13.47 80% 20 docs 13.20 30 docs 12.53 70% 100 docs 9.00 60% 200 docs 6.09 Precision 500 docs 3.25 50% 1000 docs 1.99 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 12.51 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5758 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0533 Third Quartile 0.1667 Interquartile range 0.1667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1251 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1693 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3889 15 Mean With No Outliers 0.0728 10 Std With No Outliers 0.0944 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283DEINFR 0.8 701-AH 52.05 726-AH 5.88 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 43.02 728-AH 14.29 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 51.09 730-AH 0.00 −0.2 −0.4 706-AH 22.22 731-AH 4.35 −0.6 707-AH 12.50 732-AH 0.00 −0.8 708-AH 0.00 733-AH 16.67 −1 709-AH 5.66 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 0.00 711-AH 0.00 736-AH 3.45 712-AH 16.67 737-AH 14.63 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283DEINFR 713-AH 4.26 738-AH 7.50 0.8 714-AH 0.00 739-AH 35.00 0.6 715-AH 0.00 740-AH 1.85 0.4 716-AH 57.58 741-AH 16.67 0.2 Difference 717-AH 23.81 742-AH 0.00 0 718-AH 7.14 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 45.16 −0.6 720-AH 2.70 745-AH 6.35 −0.8 721-AH 56.41 746-AH 3.33 −1 722-AH 0.00 747-AH 6.35 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 13.33 724-AH 38.89 749-AH 0.00 725-AH 4.55 750-AH 17.98 626 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.CLESA169283ENINFR AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 1 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 1,152 Pooled true Geometric Mean Average Precision 0.0442 CL-ESA with 169283 dimensions, querying the french Binary Preference (BPREF) 0.1552 collection with english topics Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 39.62 CLESA169283ENINFR 10 30.17 90% 20 22.17 80% 30 19.61 40 17.96 70% 50 15.71 60% 60 11.03 Precision 70 8.43 50% 80 6.12 40% 90 2.98 30% 100 1.04 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 14.51 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6929 Minimum 0.0000 First Quartile 0.0145 Second Quartile 0.0614 Third Quartile 0.2302 Interquartile range 0.2157 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1451 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1818 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.5129 15 Mean With No Outliers 0.1244 10 Std With No Outliers 0.1529 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283ENINFR 0.8 701-AH 50.44 726-AH 9.08 0.6 702-AH 0.00 727-AH 3.34 0.4 703-AH 28.44 728-AH 5.18 0.2 Difference 704-AH 2.51 729-AH 0.30 0 705-AH 51.29 730-AH 11.45 −0.2 −0.4 706-AH 11.69 731-AH 4.52 −0.6 707-AH 0.57 732-AH 3.74 −0.8 708-AH 1.45 733-AH 19.14 −1 709-AH 0.03 734-AH 1.81 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.56 735-AH 6.07 711-AH 1.25 736-AH 0.74 712-AH 43.28 737-AH 7.65 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) CLESA169283ENINFR 713-AH 8.23 738-AH 4.59 0.8 714-AH 6.94 739-AH 34.20 0.6 715-AH 0.06 740-AH 4.34 0.4 716-AH 69.29 741-AH 6.20 0.2 Difference 717-AH 9.62 742-AH 0.90 0 718-AH 4.51 743-AH 1.45 −0.2 −0.4 719-AH 0.13 744-AH 49.63 −0.6 720-AH 59.19 745-AH 11.78 −0.8 721-AH 41.70 746-AH 9.76 −1 722-AH 27.88 747-AH 3.08 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.57 748-AH 14.47 724-AH 40.44 749-AH 23.02 725-AH 23.54 750-AH 5.40 627 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.CLESA169283ENINFR AH-TEL-BILI-X2FR-CLEF2009 Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 22.80 CLESA169283ENINFR 10 docs 20.20 90% 15 docs 20.00 80% 20 docs 19.80 30 docs 18.33 70% 100 docs 11.38 60% 200 docs 7.25 Precision 500 docs 3.86 50% 1000 docs 2.30 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 18.61 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.6164 Minimum 0.0000 First Quartile 0.0444 Second Quartile 0.1297 Third Quartile 0.3051 Interquartile range 0.2606 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1861 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1880 15 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 Upper Outlier Threshold 0.6164 10 Mean With No Outliers 0.1861 Std With No Outliers 0.1880 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries CLESA169283ENINFR 0.8 701-AH 61.64 726-AH 23.53 0.6 702-AH 0.00 727-AH 5.26 0.4 703-AH 37.21 728-AH 14.29 0.2 Difference 704-AH 9.09 729-AH 0.00 0 705-AH 50.00 730-AH 20.37 −0.2 −0.4 706-AH 18.52 731-AH 13.04 −0.6 707-AH 1.39 732-AH 5.88 −0.8 708-AH 4.44 733-AH 16.67 −1 709-AH 0.00 734-AH 5.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 11.76 711-AH 0.00 736-AH 3.45 712-AH 50.00 737-AH 15.85 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) CLESA169283ENINFR 713-AH 10.64 738-AH 13.33 0.8 714-AH 12.90 739-AH 35.00 0.6 715-AH 0.00 740-AH 7.41 0.4 716-AH 60.61 741-AH 12.50 0.2 Difference 717-AH 19.05 742-AH 0.00 0 718-AH 7.14 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 51.61 −0.6 720-AH 56.76 745-AH 19.05 −0.8 721-AH 53.85 746-AH 18.33 −1 722-AH 50.00 747-AH 7.94 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 6.67 724-AH 38.89 749-AH 30.51 725-AH 31.82 750-AH 19.10 628 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.COMBINEDDEINFR AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 3 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language German Relevant 1,853 Topic Fields title, description Relevant retrieved 973 Pooled false Geometric Mean Average Precision 0.0351 (See overleaf for description) Binary Preference (BPREF) 0.1461 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 44.94 COMBINEDDEINFR 10 32.67 90% 20 24.00 80% 30 18.57 40 14.88 70% 50 11.45 60% 60 7.09 Precision 70 4.94 50% 80 2.98 40% 90 1.10 30% 100 0.41 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 13.15 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6498 Minimum 0.0000 First Quartile 0.0063 Second Quartile 0.0651 Third Quartile 0.1527 Interquartile range 0.1464 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.1315 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1757 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.2322 15 Mean With No Outliers 0.0616 10 Std With No Outliers 0.0626 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDDEINFR 0.8 701-AH 8.54 726-AH 7.73 0.6 702-AH 0.56 727-AH 0.21 0.4 703-AH 5.47 728-AH 0.01 0.2 Difference 704-AH 7.09 729-AH 0.44 0 705-AH 14.43 730-AH 5.88 −0.2 −0.4 706-AH 9.23 731-AH 12.74 −0.6 707-AH 1.65 732-AH 8.44 −0.8 708-AH 0.49 733-AH 6.67 −1 709-AH 39.49 734-AH 10.15 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 4.00 711-AH 0.11 736-AH 0.36 712-AH 64.98 737-AH 2.23 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDDEINFR 713-AH 10.19 738-AH 47.04 0.8 714-AH 0.36 739-AH 50.67 0.6 715-AH 13.84 740-AH 17.39 0.4 716-AH 54.16 741-AH 2.39 0.2 Difference 717-AH 23.22 742-AH 37.75 0 718-AH 6.36 743-AH 0.60 −0.2 −0.4 719-AH 0.64 744-AH 5.41 −0.6 720-AH 61.53 745-AH 1.31 −0.8 721-AH 2.79 746-AH 16.55 −1 722-AH 0.23 747-AH 0.25 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.63 748-AH 15.27 724-AH 43.16 749-AH 19.64 725-AH 10.84 750-AH 4.35 629 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.COMBINEDDEINFR AH-TEL-BILI-X2FR-CLEF2009 Combined rankings, each computed with a different topic field, querying the french collection with german topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 25.60 COMBINEDDEINFR 10 docs 25.00 90% 15 docs 21.73 80% 20 docs 19.50 30 docs 16.80 70% 100 docs 8.78 60% 200 docs 5.79 Precision 500 docs 3.28 50% 1000 docs 1.95 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 16.01 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5946 Minimum 0.0000 First Quartile 0.0222 Second Quartile 0.1293 Third Quartile 0.2174 Interquartile range 0.1952 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1601 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1636 20 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 15 Upper Outlier Threshold 0.5000 Mean With No Outliers 0.1435 10 Std With No Outliers 0.1442 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDDEINFR 0.8 701-AH 16.44 726-AH 5.88 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 2.33 728-AH 0.00 0.2 Difference 704-AH 18.18 729-AH 0.00 0 705-AH 18.48 730-AH 12.96 −0.2 −0.4 706-AH 16.05 731-AH 21.74 −0.6 707-AH 2.78 732-AH 20.59 −0.8 708-AH 2.22 733-AH 16.67 −1 709-AH 37.74 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 13.73 711-AH 0.00 736-AH 3.45 712-AH 50.00 737-AH 10.98 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDDEINFR 713-AH 21.28 738-AH 52.50 0.8 714-AH 3.23 739-AH 45.00 0.6 715-AH 12.50 740-AH 20.37 0.4 716-AH 48.48 741-AH 8.33 0.2 Difference 717-AH 23.81 742-AH 45.45 0 718-AH 3.57 743-AH 0.00 −0.2 −0.4 719-AH 4.35 744-AH 12.90 −0.6 720-AH 59.46 745-AH 1.59 −0.8 721-AH 0.00 746-AH 31.67 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 33.33 724-AH 33.33 749-AH 23.73 725-AH 18.18 750-AH 12.36 630 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.COMBINEDENINFR AH-TEL-BILI-X2FR-CLEF2009 Overall statistics for 50 queries : Priority 4 Total number of documents over all queries Query Construction AUTOMATIC Retrieved 50,000 Source Language English Relevant 1,853 Topic Fields title, description Relevant retrieved 611 Pooled false Geometric Mean Average Precision 0.0059 (See overleaf for description) Binary Preference (BPREF) 0.1163 Interploated Recall (%) Precision Averages (%) Ad−Hoc TEL Bilingual French Task − Standard Recall Levels vs Mean Interpolated Precision 100% 0 40.72 COMBINEDENINFR 10 25.64 90% 20 15.49 80% 30 11.93 40 8.35 70% 50 5.54 60% 60 3.43 Precision 70 2.12 50% 80 1.00 40% 90 0.10 30% 100 0.04 Average precision (non-interpolated) for all 20% relevant documents (averaged over queries) 8.67 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Recall Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment AVERAGE_PRECISION Maximum 0.6192 Minimum 0.0000 First Quartile 0.0002 Second Quartile 0.0205 Third Quartile 0.1042 Interquartile range 0.1039 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Mean 0.0867 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1382 40 Number of Topics of the Experiment 35 Lower Outlier Threshold 0.0000 30 Upper Outlier Threshold 0.2044 25 Mean With No Outliers 0.0469 20 15 Std With No Outliers 0.0635 10 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% Average Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDENINFR 0.8 701-AH 1.55 726-AH 6.61 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 0.00 728-AH 0.01 0.2 Difference 704-AH 0.56 729-AH 2.80 0 705-AH 5.38 730-AH 8.03 −0.2 −0.4 706-AH 15.63 731-AH 0.40 −0.6 707-AH 1.79 732-AH 7.93 −0.8 708-AH 0.00 733-AH 0.02 −1 709-AH 1.89 734-AH 10.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 3.26 711-AH 0.00 736-AH 0.48 712-AH 47.03 737-AH 0.98 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median Average Precision by Topic (Topics 726−AH to 750−AH) COMBINEDENINFR 713-AH 7.82 738-AH 18.75 0.8 714-AH 0.74 739-AH 18.93 0.6 715-AH 13.23 740-AH 17.18 0.4 716-AH 37.96 741-AH 2.22 0.2 Difference 717-AH 19.25 742-AH 35.58 0 718-AH 1.54 743-AH 0.36 −0.2 −0.4 719-AH 0.00 744-AH 4.72 −0.6 720-AH 61.92 745-AH 3.77 −0.8 721-AH 0.00 746-AH 20.44 −1 722-AH 0.00 747-AH 0.25 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 39.92 749-AH 10.42 725-AH 2.38 750-AH 1.83 631 weimar 10.2415/AH-TEL-BILI-X2FR-CLEF2009.WEIMAR.COMBINEDENINFR AH-TEL-BILI-X2FR-CLEF2009 Combined rankings, each computed with a different topic field, querying the french collection with english topics Docs Cutoff Levels Precision at DCL (%) Ad−Hoc TEL Bilingual French Task − Retrieved documents vs Mean Precision 100% 5 docs 20.80 COMBINEDENINFR 10 docs 18.40 90% 15 docs 16.40 80% 20 docs 14.80 30 docs 12.40 70% 100 docs 6.10 60% 200 docs 3.86 Precision 500 docs 2.04 50% 1000 docs 1.22 40% R-Precision (precision after R document retrieved, where R = Relevant retrieved) 30% 11.53 20% 10% 0% 5 10 15 20 30 100 200 500 1000 Retrieved Documents (logarithmic scale) Ad−Hoc TEL Bilingual French Task − Box plot of the Topics of the Experiment R_PRECISION Maximum 0.5946 Minimum 0.0000 First Quartile 0.0000 Second Quartile 0.0750 Third Quartile 0.1765 Interquartile range 0.1765 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Mean 0.1153 Ad−Hoc TEL Bilingual French Task − Distribution of the Topics of the Experiment Standard Deviation 0.1447 25 Number of Topics of the Experiment Lower Outlier Threshold 0.0000 20 Upper Outlier Threshold 0.3636 15 Mean With No Outliers 0.0897 10 Std With No Outliers 0.1045 5 0 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100% R−Precision Precision averages (%) for individual 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 701−AH to 725−AH) queries COMBINEDENINFR 0.8 701-AH 8.22 726-AH 5.88 0.6 702-AH 0.00 727-AH 0.00 0.4 703-AH 0.00 728-AH 0.00 0.2 Difference 704-AH 0.00 729-AH 7.69 0 705-AH 10.87 730-AH 18.52 −0.2 −0.4 706-AH 22.22 731-AH 0.00 −0.6 707-AH 4.17 732-AH 17.65 −0.8 708-AH 0.00 733-AH 0.00 −1 709-AH 1.89 734-AH 15.00 701−AH 702−AH 703−AH 704−AH 705−AH 706−AH 707−AH 708−AH 709−AH 710−AH 711−AH 712−AH 713−AH 714−AH 715−AH 716−AH 717−AH 718−AH 719−AH 720−AH 721−AH 722−AH 723−AH 724−AH 725−AH Topic Identifier 710-AH 0.00 735-AH 11.76 711-AH 0.00 736-AH 3.45 712-AH 50.00 737-AH 7.32 1 Ad−Hoc TEL Bilingual French Task − Comparison to Median R−Precision by Topic (Topics 726−AH to 750−AH) COMBINEDENINFR 713-AH 14.89 738-AH 23.33 0.8 714-AH 0.00 739-AH 30.00 0.6 715-AH 12.50 740-AH 20.37 0.4 716-AH 36.36 741-AH 8.33 0.2 Difference 717-AH 19.05 742-AH 45.45 0 718-AH 10.71 743-AH 0.00 −0.2 −0.4 719-AH 0.00 744-AH 9.68 −0.6 720-AH 59.46 745-AH 1.59 −0.8 721-AH 0.00 746-AH 35.00 −1 722-AH 0.00 747-AH 0.00 726−AH 727−AH 728−AH 729−AH 730−AH 731−AH 732−AH 733−AH 734−AH 735−AH 736−AH 737−AH 738−AH 739−AH 740−AH 741−AH 742−AH 743−AH 744−AH 745−AH 746−AH 747−AH 748−AH 749−AH 750−AH Topic Identifier 723-AH 0.00 748-AH 0.00 724-AH 33.33 749-AH 13.56 725-AH 13.64 750-AH 4.49 632